1.1 简述卷积的基本操作,卷积和全连接层的区别?
摘要:
全连接层的输出层每个节点与输入层的所有节点连接。
卷积层具有局部连接和权值共享的特性。
问题:简述卷积的基本操作,并分析其与全连接层的区别。
分析与解答:
-
卷积的基本操作:
具体来说,卷积层是通过特定数目的卷积核(又称滤波器)对输入的多通道(channel)特征图进行扫描和运算,从而**得到多个拥有更高层语义信息的输出特征图(**通道数目等于卷积核个数)。
-
卷积和全连接层的区别:
-
全连接层:在卷积神经网络出现之前,最常见的神经网络被称为多层感知机(Multi-Layer Perceptron,MLP)。这种神经网络相邻层的节点是全连接的,也就是输出层的每个节点会与输入层的所有节点连接,如图1.1(a)所示。
-
卷积层:与全连接网络不同,卷积神经网络主要是由卷积层构成的,它具有局部连接和权值共享等特性,如图1.1(b)所示。
局部连接:卷积核尺寸远小于输入特征图的尺寸,输出层上的每个节点都只与输入层的部分节点连接。这个特性与生物视觉信号的传导机制类似,存在一个感受野的概念。与此不同,在全连接层中,节点之间的连接是稠密的,输出层每个节点会与输入层所有节点都存在关联。
权值共享:卷积核的滑动窗机制,使得输出层上不同位置的节点与输入层的连接权值都是一样的(即卷积核参数)。而在全连接层中,不同节点的连接权值都是不同的。
输入/输出数据的结构化:局部连接和权值共享,使得卷积操作能够在输出数据中大致保持输入数据的结构信息。
例如,输入数据是二维图像((不考虑通道),采用二维卷积,则输出数据中不同节点仍然保持着与原始图像基本一致的空间对应关系;
输入数据是三维的视频(即多个连续的视频帧),采用三维卷积,则输出数据中也能保持着相应的空间、时间对应关系。若是将结构化信息(如二维图像)输入全连接层,其输出数据会被展成扁平的一维数组,从而丧失输入数据和输出数据在结构上的对应关系。
卷积的局部连接、权值共享等特性,使其具有远小于全连接层的参数量和计算复杂度,并且与生物视觉传导机制有一定的相似性,因此被广泛用于处理图像、视频等高维结构化数据。
参考文献:
《百面深度学习》 诸葛越 江云胜主编
出版社:人民邮电出版社(北京)
ISBN:978-7-115-53097-4
2020年7月第1版(2020年7月北京第二次印刷)