---

这是群友的一篇工作，之前也没仔细看，正好今天放假，打算读一下论文陶冶情操。
这篇文章的公式比较多，我做一篇笔记解释一下，希望对大家有帮助~

论文地址: https://ojs.aaai.org/index.php/AAAI/article/view/28493

代码: https://github.com/corfyi/UCMCTrack

---

0. Abstract

在多目标跟踪中，相机不规则运动一直是一个难题，这是因为相机的快速运动会导致目标在画面中的位置发生突变，这样就很难再和过去的轨迹关联起来。一种办法是采用相机运动补偿（Camera Motion Compensation）方法，但是现有的利用CMC的方法速度都是比较慢的。为了解决这个问题，作者提出了一种新的Kalman Filter的方式，即将目标的运动状态与地面联系起来（地面就是画面中真实的地面，我认为这才是这篇论文核心的contribution。就是说，我们用边界框的坐标作为目标的运动特征，其实是有缺陷的，因为这只是目标在相机平面的投影。而目标在world coordinate中的真实位置，往往是更稳定的），并采用映射的Mahalanobis Distance作为IoU的一种替代方案，来度量目标与轨迹的相似性。

阅读这篇文章需要对Kalman Filter在MOT中的形式有基本了解，可以参见OCSORT
Mahalanobis Distance是原始Deep SORT论文中度量相似度的方式，其核心思想是按照Kalman状态向量的相似度衡量。具体参见我的B站讲解DeepSORT解读

可以看到，该方法的效果还是非常好的

1. Introduction

在引言部分，作者主要说明了用IoU metric为什么不行，这是因为相机运动的时候边界框变化会很大，如下图所示：

所以说，依靠相机平面（image plane）进行association是不可靠的，那么就要寻找一种可靠的表示，答案就是ground——把目标投影到真实的ground上，从而更加robust。

此外，过去的CMC方法（比如BoT-SORT）需要在每一帧，都估计前一帧到这一帧的相机运动，或者说计算两帧像素之间的仿射矩阵，这是很耗时的(我的实测，BoT-SORT在用orb算法做仿射矩阵的话，帧率好像只有5~10)。为了配合这一点，类似于ground-aware的Kalman Filter被提出了。该工作在一个序列中只使用一套参数，这样就避免了频繁计算仿射矩阵。

总结起来，核心创新点有两个：

1. 引入了一种创新的非loU距离测量, 也就是映射的Mahalanobis Distance
2. 为了应对相机运动的挑战，提出了一种不同于传统相机运动补偿技术的方法，不是逐帧计算视频序列的相机补偿参数，而是在整个序列上均匀地应用相同的补偿参数，大大减少了与相机运动偏差典型相关的计算负担。

2. Methodology

2.1 将坐标投射到3D世界坐标的地面上！

为了更本质地表征目标的运动，作者期望把目标的运动状态投影到地面上。一般来讲边界框的底边是地面，因此将边界框底边对应在地面上的坐标及其变化率作为状态向量:

$$\mathbf{x}=[x,y,\dot{x},\dot{y}]$$

根据线性相机模型，地面坐标$[x,y]$和图像平面中的坐标$[u,v]$存在如下关系：

$$\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\mathbf{A}\frac{1}{\gamma }\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]$$

其中$\gamma$是缩放因子，$\mathbf{A}$是投影矩阵。

在Kalman滤波中，我们还应定义状态向量噪声的协方差矩阵和观测（检测）噪声的协方差矩阵。我们假定检测噪声的协方差矩阵与边界框高宽有关，即：

$${\mathbf{R}}_k^{uv}=\left[\begin{array}{cc}{\left({\sigma }_m{w}_k\right)}^2& 0\\ 0& {\left({\sigma }_m{h}_k\right)}^2\end{array}\right]$$

其是一个$2\times 2$的矩阵，${\sigma }_m$是一个超参数，表示缩放因子，$k$表示第$k$个检测，相应地，$w_k,h_k$就是边界框的宽和高。

但是${\mathbf{R}}_k^{uv}$是图像平面上的观测噪声的协方差矩阵，我们现在要把坐标投影到地面，那么地面坐标噪声的协方差矩阵$\mathbf{R}$怎么办呢？

对于线性相机模型，如果已知相机的内参（由焦距、中心点等组成）${\mathbf{K}}_i$和外参（描述相机位姿变化的旋转矩阵与平移矩阵组成）${\mathbf{K}}_o$, 那么，从图像平面到3D世界坐标的转换方程为:

$${\gamma }_0\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]={\mathbf{K}}_i{\mathbf{K}}_o\left[\begin{array}{l}x\\ y\\ z\\ 1\end{array}\right]$$

我们令${\mathbf{K}}_i{\mathbf{K}}_o=[{\theta }_{i,j}{]}_{3\times 4}$, 并且假设地面为$XY$平面，也即坐标$z=z_0$为恒定值，则方程可以改写为

$${\gamma }_0\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{llll}{\theta }_{11}& {\theta }_{12}& {\theta }_{13}& {\theta }_{14}\\ {\theta }_{21}& {\theta }_{22}& {\theta }_{23}& {\theta }_{24}\\ {\theta }_{31}& {\theta }_{32}& {\theta }_{33}& {\theta }_{34}\end{array}\right]\left[\begin{array}{l}x\\ y\\ z_0\\ 1\end{array}\right]$$

$$=\left[\begin{array}{ccc}{\theta }_{11}& {\theta }_{12}& {\theta }_{13}{z}_0+{\theta }_{14}\\ {\theta }_{21}& {\theta }_{22}& {\theta }_{23}{z}_0+{\theta }_{24}\\ {\theta }_{31}& {\theta }_{32}& {\theta }_{33}{z}_0+{\theta }_{34}\end{array}\right]\frac{1}{\gamma }\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]$$

经过这种变形之后，$\gamma \ne {\gamma }_0$，但总之是个常数，所以我们就先这么表示。

比较上式和$$\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\mathbf{A}\frac{1}{\gamma }\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]$$

我们得到

$$\mathbf{A}==\left[\begin{array}{ccc}{\theta }_{11}& {\theta }_{12}& {\theta }_{13}{z}_0+{\theta }_{14}\\ {\theta }_{21}& {\theta }_{22}& {\theta }_{23}{z}_0+{\theta }_{24}\\ {\theta }_{31}& {\theta }_{32}& {\theta }_{33}{z}_0+{\theta }_{34}\end{array}\right]$$

现在我们知道$[u,v]$的协方差矩阵，要求$[x,y]$的，那么要找出$[x,y]$和$[u,v]$的关系。有:

$$\left[\begin{array}{l}x\\ y\\ 1\end{array}\right]=\gamma {\mathbf{A}}^{-1}\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]$$

我们记

$${\mathbf{A}}^{-1}=\left[\begin{array}{lll}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{33}\\ a_{31}& a_{32}& a_{33}\end{array}\right]$$

则

$$\begin{gathered} x=\gamma (a_{11}u+a_{12}v+a_{13}) \\ y=\gamma (a_{21}u+a_{22}v+a_{23}) \\ 1=\gamma (a_{31}u+a_{32}v+a_{33}) \end{gathered}$$

我们接下来简化这个方程组，因为我们发现最后一个方程不含变量$x,y$，因此这个方程组其实不是满秩的。

为表示方便，令

$$\begin{gathered} b_1=(a_{11}u+a_{12}v+a_{13}) \\ {b}_2=(a_{21}u+a_{22}v+a_{23}) \\ {b}_3=(a_{31}u+a_{32}v+a_{33}) \end{gathered}$$

这其实就是论文里的(19)式
$$b={\mathbf{A}}^{-1}\left[\begin{array}{l}u\\ v\\ 1\end{array}\right]=\left[\begin{array}{l}{b}_1\\ b_2\\ b_3\end{array}\right]$$

接下来，我们把上式两边对时间t求导，得到

$$\begin{gathered} dx=a_{11}(d\gamma u+du\gamma )+a_{12}(d\gamma v+dv\gamma )+a_{13}d\gamma \\ dy=a_{21}(d\gamma u+du\gamma )+a_{22}(d\gamma v+dv\gamma )+a_{23}d\gamma \\ 0=a_{31}(d\gamma u+du\gamma )+a_{32}(d\gamma v+dv\gamma )+a_{33}d\gamma \end{gathered}$$

整理后，有

$$\{\begin{array}{l}dx=\gamma \left(a_{11}du+a_{12}dv\right)+b_{1}d\gamma \\ dy=\gamma \left(a_{21}du+a_{22}dv\right)+b_{2}d\gamma \\ d\gamma =-{\left(\frac{1}{b_3}\right)}^2\left(a_{31}du+a_{32}dv\right)\end{array}$$

对于第一个式子，容易发现$b_1=b_{3}x$, 并将$d\gamma$带入，则

$$b_{1}d\gamma =b_{3}xd\gamma =-(\frac{1}{b_3})x(a_{31}du+a_{32}d)$$

所以

$$dx=du(\gamma a_{11}-a_{31}\frac{1}{b_3}x)+dv(\gamma a_{12}-a_{32}\frac{1}{b_3}x)$$

同理，我们也可以得到

$$dy=du(\gamma a_{21}-a_{31}\frac{1}{b_3}x)+dv(\gamma a_{22}-a_{32}\frac{1}{b_3}x)$$

当然，$\gamma =1/b_3$, 因此将上面两式子表示成矩阵：

$$\left[\begin{array}{l}dx\\ dy\end{array}\right]=\left[\begin{array}{cc}\gamma a_{11}-a_{31}\gamma x& \gamma a_{12}-a_{32}\gamma x\\ \gamma a_{21}-a_{31}\gamma y& \gamma a_{22}-a_{32}\gamma y\end{array}\right]\left[\begin{array}{l}du\\ dv\end{array}\right]$$

如果向量$x$的协方差矩阵为$R$, $y=Fx$, 则$y$的协方差矩阵为 $FR{F}^T$

根据上面的定理，这里

$$F=\left[\begin{array}{cc}\gamma a_{11}-a_{31}\gamma x& \gamma a_{12}-a_{32}\gamma x\\ \gamma a_{21}-a_{31}\gamma y& \gamma a_{22}-a_{32}\gamma y\end{array}\right]$$

所以地面投影观测的协方差矩阵为

$$\mathbf{R}=F{\mathbf{R}}_k^{uv}{F}^T$$

这样第一个创新点就讲完了，也就是在将图像平面坐标映射到世界坐标后，协方差矩阵是怎么做的，这样Kalman的形式就能够精确确定了。

2.2 投影到地面后的马氏距离计算

DeepSORT采用马氏距离对状态向量的相似度进行计算，这里采用了相似的方式。

首先计算观测值与预测值的差：

$$ϵ=\mathbf{z}-\mathbf{H}\hat{\mathbf{x}}$$

注意上面的量都是投射到地面之后的
随后计算残差的协方差矩阵：

$$\mathbf{S}=\mathbf{HP}{\mathbf{H}}^T+{\mathbf{R}}_k$$

其中$\mathbf{P}$为状态向量的协方差矩阵

距离为:

$$D=ϵ\mathbf{S}{ϵ}^{-1}+\ln \det \mathbf{S}$$

比DeepSORT多了一个$\ln \det \mathbf{S}$项. 我们知道行列式意义是矩阵张成形状的体积,我猜测在这里应该起到一个罚项的作用

用图解释就是下面这样, 意思就是在IoU=0的情况下, 普通的马氏距离是不行的, 因为线性模型本身就失效了, 而map到地面之后就可以:

2.3 处理噪声补偿

这部分的意思是, 当相机运动的时候, 恒定速度假设失效, 因此不妨搞一个非线性模型, 来对状态向量的噪声的协方差矩阵进行修正.

作者假设, 非线性运动的时候, 速度和时间成正比, 因此距离和时间二次方成正比:

$$\begin{gathered} \Delta x=1/2\sigma \Delta t^2 \\ \Delta v=\sigma \Delta t \end{gathered}$$

其中$\sigma$表示强度

那么, 噪声$[{\sigma }_x,{\sigma }_y]$的更新矩阵:

$$G=\left[\begin{array}{cc}1/2\Delta t^2& 0\\ \Delta t& 0\\ 0& 1/2\Delta t^2\\ 0& \Delta t\end{array}\right]$$

$$[{\sigma }_x,{\sigma }_y]=G[{\sigma }_x,{\sigma }_y]$$

因此, 原本的状态向量噪声的协方差矩阵为$diag({\sigma }_x,{\sigma }_y)$, 修正后为

$$Q_k=Gdiag({\sigma }_x,{\sigma }_y)G^T$$