在前面的内容里，无论是 SE 、 CBAM 还是 ECA ，它们的通道注意力子模块第一步都是 全局平均池化（CBAM 额外加入了最大池化），将 �×�×� 的特征图压缩为 1×1×�。

这个过程实际上等价于把所有空间信息做了一个全局平均。对于要得出一个整体性的通道权重来说，这看起来是合理的。

但还有高手，21 的观点：

GAP 把空间位置信息全部丢弃了，而"特征在图像的哪个位置"本身就是重要信息。通道注意力完全可以同时编码通道关系和空间位置信息。

由此论文提出了 坐标注意力（Coordinate Attention，CA），下面就来详细展开。

1. GAP 的局限性#

我们还是先展开 CA 的提出动机，已知对于第 � 个通道的特征图 ��∈��×�，GAP 的操作是：

��=1�×�∑�=1�∑�=1���(�,�)

从效果上讲，GAP 能得到这个通道整体的响应强度。虽然带来了空间信息的损失，但因为这不是我们所关注的内容，因此仍然合理。

但 CA 对此提出了质疑，我们从两个问题出发阐述作者的思路。

1. 同一通道内，特征的大致位置重要吗？

答案是肯定的。
举个例子：同一个"耳朵轮廓"通道，它出现在图像的左上角还是右下角，对判定"这是猫还是狗"的决策路径可能完全不同。
但 GAP 后，这两种情况会得到完全相同的通道描述标量。

2. 通道之间，位置关系的交互重要吗？

同样重要。
比如"耳朵"通道和"眼睛"通道在空间位置上是高度相关的，它们应该出现在彼此附近。但这种跨通道的空间位置关联在 GAP 之后完全丢失。
ECA 虽然用一维卷积引入了局部通道交互，但它交互的是 GAP 之后的标量，空间的原始结构也早已被破坏。

你可能会想：

我们这么用本来就是只想算通道注意力，空间注意力我有另外的模块去做，你干嘛揪着这点不放？

但 CA 的作者说：

用我的方法，一个模块就可以实现这两个模块的工作，而且大多数情况下性能更好。

这便是 CA 的出发点，如果说 ECA 是 SE 的改进，那么从作用效果上来看，你也可以把 CA 看作 CBAM 的一种改进。

下面就来展开其具体逻辑:

2. CA 的具体改进点#

既然 GAP 的问题是"一次性全局压缩丢失了空间信息"，那 CA 的解决思路也很直接：

不要一次性把整个空间压成一个标量。而是沿两个空间方向分别编码，保留位置信息。

具体来说，CA 使用了两路并行的池化操作：

1. 沿水平方向（X 轴）池化：对每一行做平均池化，得到 �ℎ∈��×�×1。
2. 沿垂直方向（Y 轴）池化：对每一列做平均池化，得到 ��∈��×1×�。

​编辑
用公式表示，对于第 � 个通道就是：

��ℎ(ℎ)=1�∑0≤�<���(ℎ,�)

���(�)=1�∑0≤�<���(�,�)

于是，CA 生成了两组向量：一个沿高度方向，一个沿宽度方向。这两组向量保留了特征沿各自空间方向上的分布信息。

如果某个通道在图像的顶部响应强、底部响应弱，那么它的 �ℎ 向量会呈现出"上大下小"的趋势。

其实到这里，你会发现这还是一个粒度问题：
原本我们将一整个通道上的信息压缩为一个标量，现在我们将其压缩为两个方向上的向量，保留了空间维度上的信息，让模型可以学习到空间注意力。

3. CA 的完整结构#

了解了核心思路后，我们来展开 CA 模块的完整结构。
​编辑

3.1 信息交互#

如图所示，得到两路编码 �ℎ 和 �� 后，会先将二者沿空间维度拼接，送入一个共享的 1×1 卷积进行变换，再对输出进行应用 BN：

�=�(BN(Conv1×1([�ℎ,��])))

其中，� 是非线性激活函数，论文中使用的是 h-swish:

h-swish(�)=�⋅ReLU6(�+3)6

ReLU6(�)=min(max(�,0),6))

但论文里也提到这里只是为了引入非线性，并不强制某个具体函数。
而输出的 �∈��/�×(�+�)×1，� 是降维比例，与 SE 中的含义一致。

这一步的目的很明显：让水平和垂直两个方向的信息交互融合。

3.2 权重生成和注入#

完成两个方向上的信息交互后，我们就要再把他们拆开：
将 � 沿空间维度拆分为 �ℎ∈��/�×�×1 和 ��∈��/�×1×�，然后各自通过一个 1×1 卷积恢复到原始通道数 �，再经过 Sigmoid 得到最终的注意力权重：

�ℎ=�(Conv1×1ℎ(�ℎ))

��=�(Conv1×1�(��))

这里，权重 ��ℎ(�) 在同一行的所有列是共享的，而 ���(�) 在同一列的所有行是共享的。

最终，输入特征图 �� 上的每个位置 (�,�) 会被同时沿两个方向的权重加权：

��(�,�)=��(�,�)×��ℎ(�)×���(�)

也就是说，位置 (�,�) 的最终权重是由"第 � 行整体有多重要"和"第 � 列整体有多重要"共同决定的，这也就是“坐标注意力”的含义。
​编辑

这便是 CA 模块的完整逻辑，其最大的改进在于将最初的全局池化改为两个方向上的池化。

4. CA 的参数量#

最后，我们再来看看 CA 所需要的参数量：

首先是对拼接后的特征 [�ℎ,��] 进行的 1×1 卷积降维，这一层的参数量为：

���=�2�

这一点与 SE 完全一致，本质就是一个通道压缩。

接下来，CA 会分成两路，各自通过一个 1×1 卷积恢复通道数，具体为：

��→�

因此，每一路的参数量都是：

���=�2�

总计：

2�2�=2�2�

最终，将两部分相加，CA 的总参数量为：

�2�+2�2�=3�2�

可以发现：CA 比 SE 多了 �2�，也就是多出约 50% 的通道注意力参数。
但相应地，这换来了空间建模的能力。

而 CBAM 的参数量为：

卷积卷积2�2�+98(7×7卷积)

因此，二者的参数量还需要在具体数据中进行对比。
不过显而易见的是： CA 省掉了独立的空间注意力模块，避免了额外分支，这带来了结构上的工程优势。

最终，CA 在 MobileNetV2 和 MobileNeXt 等轻量级网络上替换 SE 后，在 ImageNet 分类和 COCO 目标检测上均取得了稳定提升，并且在多数任务上的指标也优于 CBAM，证明了保留空间位置信息对注意力机制的实用价值。