• 写在前面：

WeThinkIn   （公主号）

学习经验分享

目录

1、机器学习基础

2、深度学习基础

2.1 1*1卷积的作用

注：卷积核的个数对应输出的通道数（channels），比如输入6*6*64，卷积核1*1*32，输出为6*6*32

1. 实现特征信息的交互与融合。3x3，64channels的卷积核后面添加一个1x1，28channels的卷积核，就变成了3x3，28channels的卷积核，原来的64个channels就可以理解为跨通道线性组合变成了28 channels，这就是通道间的信息交互。
2. 对特征通道数进行升维和降维，降维时可以减少参数量。由于 1×1 并不会改变 height 和 width，改变通道的第一个最直观的结果，就是可以将原本的数据量进行增加或者减少。
3. 利用后面加激活函数增加非线性。保持特征图尺寸不发生变化，在增加网络深度的同时使网络学习更复杂的函数（特征信息）。

2.2 卷积核的大小如何选择

最常用的是3 * 3大小的卷积核，两个3 * 3卷积核和一个5 * 5卷积核的感受野相同，但是减少了参数量和计算量，加快了模型训练。与此同时由于卷积核的增加，模型的非线性表达能力大大增强。

不过大卷积核（7 * 7，9 * 9）也有使用的空间，在GAN，图像超分辨率，图像融合等领域依然有较多的应用。

注：感受野的计算：

• 例如：初始1*1——>经过3*3，得到（3-1）*1+1=3；——>在经过3*3得到（3-1）*1+3=5；
  •     初始1*1——>经过5*5得到（5-1）*1+1=5

所以。一个 5×5 卷积的感受野等于两个 3×3 卷积堆叠的感受野。一个 7×7 卷积的感受野等于三个 3×3 卷积堆叠的感受野。

每个卷积层的参数量计算如下：

每个卷积层的运算量计算如下：