上一节介绍了训练和推理的概念,这一节接着训练和推理的概念讲一下,神经网络的正向传播和反向传播。
其实单看正向传播和反向传播这两个概念,很好理解。
正向传播(Forward Propagation)是指从输入层到输出层的数据流动过程,而反向传播(Backpropagation)是指数据从输出层到输入层的反向过程。
正常情况下,利用神经网络推理一张图片,数据从神经网络的输入层一直流到输出层就可以得到结果,这是典型的正向传播过程,因此在推理过程中只有正向传播。
那反向传播是用在什么地方呢?没错,是训练。
上一节举了个例子,训练的过程就好像我们在初中高中学习课本知识一样,不断的校正我们大脑中对于知识的理解。
因此训练的过程也需要有一个不断反馈,不断校正的过程,在神经网络中用于校正的参数被称为权重,比如卷积的卷积核的参数。
还记得之前在讲传统计算机视觉的时候讲到的均值滤波器吗?均值滤波器中的参数都是1的,可以完成对噪声的均匀滤除。
而神经网络中卷积核的参数是不确定的,我们没有办法来设计,只能让神经网络自己去学习,自己不断的调整。
因此科学家们设计了一个反向传播机制,