Question

1. SENet 提出了一种新的架构单元来解决通道之间相互依赖的问题。它通过显式地对通道之间的相互依赖关系建模，自适应的重新校准通道维的特征响应，从而提高了网络的表达能力。
2. SENet 以2.251% top-5 的错误率获得了ILSVRC 2017 分类比赛的冠军。
3. SENet 是和ResNet 一样，都是一种网络框架。它可以直接与其他网络架构一起融合使用，只需要付出微小的计算成本就可以产生显著的性能提升。

7.1 SE 块

1. SE 块（Squeeze-and-Excitation）是SENet 中提出的新的架构单元，它主要由squeeze 操作和excitation 操作组成。

2. 对于给定的任何变换 $ MathJax-Element-269 $ ，其中： $ MathJax-Element-270 $ 为输入feature map，其尺寸为 $ MathJax-Element-286 $ ，通道数为 $ MathJax-Element-272 $ ； $ MathJax-Element-273 $ 为输出feature map，其尺寸为 $ MathJax-Element-601 $ ，通道数为 $ MathJax-Element-712 $ 。

   可以构建一个相应的SE块来对输出feature map $ MathJax-Element-311 $ 执行特征重新校准：

   • 首先对输出feature map $ MathJax-Element-311 $ squeeze操作，它对每个通道的全局信息建模，生成一组通道描述符。
   • 然后是一个excitation 操作，它对通道之间的依赖关系建模，生成一组权重信息（对应于每个通道的权重）。
   • 最后输出feature map $ MathJax-Element-311 $ 被重新加权以生成SE 块的输出。

   

3. SE 块可以理解为注意力机制的一个应用。它是一个轻量级的门机制，用于对通道关系进行建模。

   通过该机制，网络学习全局信息（全通道、全空间）来选择性的强调部分特征，并抑制其它特征。

4. 设 $ MathJax-Element-279 $ ， $ MathJax-Element-294 $ 为第 $ MathJax-Element-315 $ 个通道，是一个 $ MathJax-Element-601 $ 的矩阵；设 $ MathJax-Element-283 $ ， $ MathJax-Element-284 $ 为第 $ MathJax-Element-620 $ 个通道，是一个 $ MathJax-Element-286 $ 的矩阵。

   • 需要学习的变换 $ MathJax-Element-287 $ 就是一组卷积核。 $ MathJax-Element-296 $ 为第 $ MathJax-Element-315 $ 个卷积核，记做： $ MathJax-Element-290 $ ， $ MathJax-Element-291 $ 为第 $ MathJax-Element-315 $ 个卷积核的第 $ MathJax-Element-620 $ 通道，是一个二维矩阵。则：

     $ \mathbf u_c = \mathbf V_c *\mathbf X = \sum_{j=1}^{C^\prime} \mathbf v_c^{(j)}*\mathbf x_j $

     这里 * 表示卷积。同时为了描述简洁，这里忽略了偏置项。

   • 输出 $ MathJax-Element-294 $ 考虑了输入 $ MathJax-Element-486 $ 的所有通道，因此通道依赖性被隐式的嵌入到 $ MathJax-Element-296 $ 中。

7.1.1 squeeze 操作

1. squeeze 操作的作用是：跨空间 $ MathJax-Element-601 $ 聚合特征来产生通道描述符。

   该描述符嵌入了通道维度特征响应的全局分布，包含了全局感受野的信息。

2. 每个学到的滤波器都是对局部感受野进行操作，因此每个输出单元都无法利用局部感受野之外的上下文信息。

   在网络的低层，其感受野尺寸很小，这个问题更严重。

   

   为减轻这个问题，可以将全局空间信息压缩成一组通道描述符，每个通道对应一个通道描述符。然后利用该通道描述符。

   

3. 通常基于通道的全局平均池化来生成通道描述符（也可以考虑使用更复杂的聚合策略）。

   设所有通道的通道描述符组成一个向量 $ MathJax-Element-298 $ 。则有：

   $ \mathbf {\vec z}=[z_1,z_2,\cdots,z_C]\\ z_c=\frac{1}{W\times H}\sum_{i=1}^W\sum_{j=1}^Hu_c(i,j);\quad c=1,2,\cdots,C $

   .

7.1.2 excitation 操作

1. excitation 操作的作用是：通过自门机制来学习每个通道的激活值，从而控制每个通道的权重。

2. excitation 操作利用了squeeze 操作输出的通道描述符 $ MathJax-Element-304 $ 。

   • 首先，通道描述符 $ MathJax-Element-304 $ 经过线性降维之后，通过一个ReLU 激活函数。

     降维通过一个输出单元的数量为 $ MathJax-Element-301 $ 的全连接层来实现，其中 $ MathJax-Element-326 $ 为降维比例。

   • 然后，ReLU 激活函数的输出经过线性升维之后，通过一个sigmoid 激活函数。

     升维通过一个输出单元的数量为 $ MathJax-Element-712 $ 的全连接层来实现。

   通过对通道描述符 $ MathJax-Element-304 $ 进行降维，显式的对通道之间的相互依赖关系建模。

   

3. 设excitation 操作的输出为向量 $ MathJax-Element-305 $ ，则有： $ MathJax-Element-306 $ 。

   其中： $ MathJax-Element-307 $ 为sigmoid激活函数， $ MathJax-Element-308 $ 为降维层的权重， $ MathJax-Element-309 $ 为升维层的权重， $ MathJax-Element-326 $ 为降维比例。

4. 在经过excitation 操作之后，通过重新调节 $ MathJax-Element-311 $ 得到SE 块的输出。

   设SE 块的最终输出为 $ MathJax-Element-312 $ ，则有： $ MathJax-Element-313 $ 。这里 $ MathJax-Element-316 $ 为excitaion 操作的输出结果，它作为通道 $ MathJax-Element-315 $ 的权重。

   $ MathJax-Element-316 $ 不仅考虑了本通道的全局信息（由 $ MathJax-Element-317 $ 引入），还考虑了其它通道的全局信息（由 $ MathJax-Element-318 $ 引入）。

7.1.3 SE 块使用

1. 有两种使用SE 块来构建SENet 的方式：

   • 简单的堆叠SE块来构建一个新的网络。

   • 在现有网络架构中，用SE 块来替代原始块。

     下图中，左侧为原始Inception 模块，右侧为SE-Inception 模块。

     

     下图中，左侧为原始残差模块，右侧为SE-ResNet 模块。

     

2. 如果使用SE 块来替代现有网络架构中的原始块，则所有额外的参数都包含在门机制的两个全连接层中。

   引入的额外参数的数量为： $ MathJax-Element-319 $ 。其中： $ MathJax-Element-326 $ 表示降维比例（论文中设定为16）， $ MathJax-Element-321 $ 指的是SE 块的数量， $ MathJax-Element-717 $ 表示第 $ MathJax-Element-323 $ 个SE 块的输出通道的维度。

   如：SE-ResNet-50 在ResNet-50 所要求的大约2500万参数之外，额外引入了约250万参数，相对增加了10%。

3. 超参数 $ MathJax-Element-326 $ 称作减少比率，它刻画了需要将通道描述符组成的向量压缩的比例。它是一个重要的超参数，需要在精度和复杂度之间平衡。

   网络的精度并不会随着 $ MathJax-Element-326 $ 的增加而单调上升，因此需要多次实验并选取其中最好的那个值。

   如下所示为SE-ResNet-50 采用不同的 $ MathJax-Element-326 $ 在 ImageNet 验证集上的预测误差（single-crop）。original 表示原始的 ResNet-50 。

   

4. 虽然SE块可以应用在网络的任何地方，但是它在不同深度中承担了不同的作用。

   • 在网络较低的层中：对于不同类别的样本，特征通道的权重分布几乎相同。

     这说明在网络的最初阶段，特征通道的重要性很可能由不同的类别共享。即：低层特征通常更具有普遍性。

   • 在网络较高的层中：对于不同类别的样本，特征通道的权重分布开始分化。

     这说明在网络的高层，每个通道的值变得更具有类别特异性。即：高层特征通常更具有特异性。

   在网络的最后阶段的SE 块为网络提供重新校准所起到的作用，相对于网络的前面阶段的SE 块来说，更加不重要。

   这意味着可以删除最后一个阶段的SE 块，从而显著减少总体参数数量，仅仅带来一点点的损失。如：在SE-ResNet-50中，删除最后一个阶段的SE 块可以使得参数增加量下降到 4%，而在ImageNet上的top-1 错误率的损失小于 0.1% 。

   因此：Se 块执行特征通道重新校准的好处可以通过整个网络进行累积。

7.2 网络性能

1. 网络结构：其中 fc,[16,256] 表示 SE 块中的两个全连接层的输出维度。

   

2. 在ImageNet 验证集上的计算复杂度和预测误差比较(single-crop)。

   • original 列：从各自原始论文中给出的结果报告。

   • re-implementation 列：重新训练得到的结果报告。

   • SENet 列：通过引入SE块之后的结果报告。

   • GFLOPs/MFLOPs：计算复杂度，单位为 G/M FLOPs 。

   • MobileNet 采用的是 1.0 MobileNet-224，ShuffleNet 采用的是 1.0 ShuffleNet 1x(g=3) 。

   • 数据集增强和归一化：

     • 随机裁剪成 224x224 大小（Inception 系列裁剪成 299x299 ）。
     • 随机水平翻转。
     • 输入图片沿着通道归一化：每个像素减去本通道的像素均值。

   

   

3. 在ImageNet 验证集上的预测误差比较（single-crop）：

   其中 SENet-154(post-challenge) 是采用 320x320 大小的图片来训练的。