脚本宝典收集整理的这篇文章主要介绍了第七周作业：，脚本宝典觉得挺不错的，现在分享给大家，也给大家做个参考。

BAM: Bottleneck Attention Module

1.提出了一种可以结合到任何前向传播卷积神经网络中的注意力模块。

2.整体网络结构：作者将BAM模块加载了Resnet中的每个stage之间，用于消除低层次特征，聚焦于明确的目标。

 

3.BAM块：

 

 

 （1）Channel attention branch 

　　为了整合通道信息，首先用了一个全局平均值池化，得到一个C*1*1的向量，之后为了整合不同通道间的信息，经过了一个含有一个隐藏层的MLP，最后结果经过一个BN。

 

（2）Spatial attention branch

 

 该部分是为了产生一个H*W的空间特征图用来表示不同空间位置的重要性，除此之外，为了增加感受野，这里采用了空洞卷积的方法。

具体的做法是：首先使用一个1*1卷积将通道数降到C/r，即得到一个C/r *H* W的输出，之后用两个3*3卷积来提取上下文信息最后再使用1*1卷积还原回去，最后经过一个BN层。

 

（3）Combine two attention branches

 因为大小不同，所以在进行融合前，先扩张到相同的尺寸C*H*W，之后用元素求和的方法来进行融合。之后再通过一个sigmoid函数，得到一个0到1范围内的三维注意力图，最后再与原始输入结合，得到最后的特征图。

 

 

 

Dual Attention Network for Scene Segmentation

1.提出了一种能自适应集成本地特征和全局特征的注意力网络.

2.网络结构：

(1)OVerview:

 

 首先将输出的特征图通过卷积变为原本大小的1/8，之后通过两个并行的注意力模块分别得到空间和通道特征，最后将其融合。

 

(2)Position Attention Module

 

 对于一个C*H*W的输入，首先将其输入卷积层，得到三个大小为C*H*W的输出，表示为B，C，D；之后将其reshape维C*N的输出（N=H*W）；之后对B的转置与C相乘，经过一个softmax层得到一个N*N输出。这个输出就是spatial attention map ，接着，将S的转置与D矩阵乘后，将结果reshape到(CxHxW)，乘以一个尺度因子后再加上原始输入图像得到最后的输出map 。

 

 

 Sji表示表示位置i对j的影响。

 

 

其中尺度因子a初始化为0，通过不断训练改变其权重。

 

（2）Channel Attention Module

 

 先对A进行reshape到(CxN)，然后A与A的转置进行矩阵乘，经过softmax后得到通道间的map X(CxC)，之后再乘以A(CxN)，得到的输出乘以尺度因子β后与原图相加后获得最后的输出E。

 该模块的重点是计算出map X，其每一行表示一个通道与其余通道间的依赖关系。

 

 

 1.本文作者认为，SeNet中使用两个FC层进行降为对channel attention预测是不利的，因此本文提出了如下的网络构造：

 

同时，该方法所带来的的参数量等的增加非常小。

 

SE block的结构由两部分组成：（1）global avg pooling产生1 ∗ 1 ∗ C 1*1*C1∗1∗C大小的feature maps；（2）两个fc层（中间有维度缩减）来产生每个channel的weight。

ECA-Net的结构：（1）global avg pooling产生1 ∗ 1 ∗ C 1*1*C1∗1∗C大小的feature maps；（2）计算得到自适应的kernel_size；（3）应用kernel_size于一维卷积中，得到每个channel的weight。

 

脚本宝典总结

以上是脚本宝典为你收集整理的第七周作业：全部内容，希望文章能够帮你解决第七周作业：所遇到的问题。

如果觉得脚本宝典网站内容还不错，欢迎将脚本宝典推荐好友。

本图文内容来源于网友网络收集整理提供，作为学习参考使用，版权属于原作者。
如您有任何意见或建议可联系处理。小编QQ：384754419，请注明来意。