在深度学习模型中引入先验

当面对复杂问题的时候，在深度学习模型提取特征的过程中完全抛弃知识是非常不明智的策略。虽然有很多研究者在深度网络处理数据之前，利用具有某种知识的模型驱动方法对数据进行预处理，但是这种方法没有进行实质性地改造深度网络，且这种两阶段方法从端到端学习策略来看很难达到最优。另一方面，具有某种知识的模型驱动方法如Schmid滤波器能够保持旋转不变性，这类知识很符合深度网络中浅层网络结构所需要的特征。因此，很多研究者利用具有某种知识的模型驱动方法来改进深度网络的网络结构，用这种方法在深度网络中融入知识能够提高模型的性能。这方面的研究主要分为三个大方向：通过知识对输入进行编码并添加到神经网络的输入端构建第一层网络、利用知识改变神经网络的部分结构、利用知识改变神经网络的整体结构。

第一种方式是通过编码知识作为神经网络的辅助输入构建第一层网络的方式实现的。

第二种方式是通过改变神经网络的部分结构(如：卷积神经网络中的卷积核)实现的：为保持深度网络往边缘以及纹理信息的方向进行端到端学习，很多研究者利用Gabor滤波器改进深度网络的网络结构，如使用固定参数Gabor滤波器作为第一卷积层的卷积核方法。

第三种方式是通过对整个神经网络的结构作出调整实现的。

几个小例子：

（1）在应用卷积神经网络之前，传统的图像滤波器已经得到了很好的发展，每个图像滤波器代表了领域知识的沉淀。例如：Sobel滤波器是一个离散差分算子，它可以提取图像边缘信息以进行边缘检测；Schmid滤波器表示的是各向同性的圆形算子，可以从图像中提取纹理信息以进行骨折检测；Gabor滤波器的频率和方向与人类视觉系统的频率和方向相似，因此Gabor滤波器可以提取纹理信息和边缘信息以进行人脸检测。图像滤波器使用领域知识来处理相关任务，但无法直接通过数据中自动学习更改参数值，他们的最佳参数值都是通过人类的实验经验进行调试得到的。根据传统的图像滤波器的特性，将图像滤波器嵌入到卷积神经网络进行后续的任务，具有很重要的意义。

（2）以旋转机械故障诊断来说，由于Morlet小波比较适合冲击信号的特征提取，所以很多研究将深层自编码器中的普通核函数换成Morlet小波核函数，当然也可以换成其他的小波核，换成小波核之后，网络的收敛变快，这在原理上也很容易解释。还有做图像识别的时候，有些学者会把CNN中的卷积核函数初始化为超小波核函数，比如曲波等等，相关的例子也很多。比如我曾做过基于深层小波散射网络的空气压缩机异常噪声诊断，就是用的小波散射做层层提取，比单纯的CNN效果好很多，可解释性也比较强。

（3）在做深度学习地震子波振幅谱估计的时候，通常地震子波振幅谱由地震记录振幅谱经非线性运算获得

为了使深度神经网络向正确的梯度更新方向进行训练，并充分学习子波振幅谱信息，可利用子波振幅谱的一些先验信息。Neidell指出，地震子波振幅谱基本为光滑、有限支集的函数（正频率或负频率）。基于这一先验信息，在已知子波振幅谱满足光滑分布的前提下，对上式得到的地震数据进行预处理，并将处理结果作为输入数据融入神经网络。