卷积神经网络中的注意力机制(Attention Mechanism)
Attention Mechanism in Convolutional Neural Networks.
卷积神经网络中的注意力机制(Attention Mechanism)表现为在特征的某个维度上计算相应统计量,并根据所计算的统计量对该维度上的每一个元素赋予不同的权重,用以增强网络的特征表达能力。
class Attention(nn.Module):
def __init__(self, ):
super(Attention, self).__init__()
self.layer() = nn.Sequential()
def forward(self, x):
b, c, h, w = x.size()
w = self.layer(x) # 在某特征维度上计算权重
return x * w.expand_as(x) # 对特征进行加权
卷积层的特征维度包括通道维度$C$和空间维度$H,W$,因此注意力机制可以应用在不同维度上:
- 通道注意力(Channel Attention):SENet, CMPT-SE, GENet, GSoP, SRM, SKNet, DIA, ECA-Net, S