0.概述

在这篇文章中，我们将讨论两种基于深度学习的光流运动估计方法。FlowNet是第一个用于计算光流的CNN方法，RAFT是当前最先进的估计光流的方法。我们还将看到如何使用作者提供的经过训练的模型来使用PyTorch对新数据进行推断。

1. FlowNet

FlowNet architecture 于2015年推出，是第一个预测光流的CNN方法。作者受到CNN架构在分类、深度估计和语义分割任务中的成功结果的启发。随着深度学习方法和CNN成为解决许多计算机视觉任务的有利策略，作者又引入了两个用于光流估计的神经网络。

1.1 Architecture

FlowNetS和FlowNetCorr架构都包含类似于U-Net架构的编码器和解码器部分。编码器从两个连续的图像中提取特征，而解码器升级编码器特征图并获得最终的光流预测。让我们更深入地了解一下FlowNetS和FlowNetCorr网络。

1.2 FlowNetS encoder

流网络（也称为FlowNetSimple）中的输入数据是两个连续帧的串联。这两幅图像被放置到6通道张量中，其中前三个通道属于第一幅图像，其余三个通道属于第二幅图像。编码器部分由几个卷积层组成，后面是激活函数。这种架构允许网络自己决定如何处理两个堆叠的图像，并为以下结果细化提供特征图。

2.