不定期更新，建议关注收藏点赞。

---

最重要的模型架构无非是cnn 或 transformer

零碎小组件

• 全连接神经网络
  目前已经被替代。
  每个神经元都有参与，但由于数据中的特征点变化大，全连接神经网络把所有数据特征都学习了，故效果不好。
• 感受野：影响CNN特征的输入图像的区域

1. 感受野并非越大越好。CNN就是获取局部信息，达到提高特征有效性。
2. 实际感受野远小于理论感受野。因为感受野中的每个元素（像素）对输出单元的贡献不相同，实际上符合高斯分布，越边缘的贡献越小。
   比如，可视化以下算法的感受野
   

• • 如何增大感受野？CNN中可以堆叠卷积层，这个结论通过VGG得到，2个33的卷积=1个55的卷积；改变初始权重，使得卷积核中心的权值更小，边缘的权值更大，但不能改变本质是高斯分布；使用可变形卷积+扩张卷积，改变之前CNN每个单元连接到局部矩形卷积窗口，使用相同数量的连接将每个单元稀疏连接到更大的底层区域。
• 全局特征 v.s. 局部特征 ，低级特征v.s. 高级特征 在DL中都指代什么
  有时候这几个特征都描述的是同一个东西，只是在不同的故事中定位不一样。
• vision transormer理论上比cnn好在哪里？在所有的任务上都好吗？
  目前大部分不是CNN就是transformer。

经验总结

1. 代码不一定都要重写，东西不变故事变也是可以的
2. 深度学习中 特色的形状 不同的样子很重要，而不是纠结几个卷积几个池化，从VGG之后开始转向这一点
3. 要知道之前历史中的工作成果是哪些，弄清楚figure out
4. 模型如果开始出错，不停的反向传播之后会越来越错，形成一个恶性循环，故这里也是一个能发现纠错的方法。

早期的CNN

• LeNet5
  
  输入（HWC）：灰度图 32321
  模型组成：conv+pooling+FC（激活函数）
  应用场景：手写字符的识别与分类
  特点：用conv替代MLP（Multilayer Perceptron）极大降低参数量；通过池化进一步降低参数量，max和avg两种；同时提高了识别率

目前pooling用的比较少，因为丢失信息多

扩展：池化的反向传播是怎么处理的？

• VGG16
  

特点：

1. 结构非常简洁，整个网络都使用了相同大小的卷积核33，和最大池化尺寸22
2. 几个小滤波器33卷积层比一个大滤波器55或77卷积层好。因为2个33的卷积是有多个非线形层的多次整合，肯定比一次单次的好
3. 验证适度加深网络结构可以提升性能。（不是越深越好，见后面Resnet）
4. 耗费大量计算资源，使用更多的参数，占用140M内存，绝大多数参数来自FC

• ResNet
  特点：

1. 验证了模型深到一定程度效果不升反降，称为degradation；但这并不能用过拟合（训练误差小、测试误差大）来解释，因为这个模型训练误差和测试误差都很大；原因也不是梯度消失->0或爆炸，不会消失是因为模型中加上Batch Normalization BN归一化层控制每层输入的模值，不会爆炸是因为容易切割减小；由于非线性激活函数Relu使得输入到输出过程是不可逆的存在信息损失，每一层都会改变学习分布，对于通道数少的特征层需要扩张到5～30倍再Relu压缩才能保持信息。
2. 在原有的上进行查漏补缺比重新学简单，进行跳接shortcut connection，通过跳接在激活函数前，将上几层之前的输出与本层计算输出相加，结果输入到激活函数中作为本层输出。