本文来自公众号“AI大道理”

DeepSORT在SORT的基础上引入了深度学习的特征表示和更强大的目标关联方式，有效地减少了身份切换的数量，缓解了重识别问题。

1、DeepSORT简介

DeepSORT的主要思想是将目标检测和目标跟踪两个任务相结合。

首先使用目标检测算法（Faster R-CNN等）在每一帧中检测出目标物体的位置和边界框。然后，通过深度学习模型（如CNN）提取目标的特征表示，将每个目标与先前帧中已跟踪的目标进行匹配。

匹配过程中会考虑目标的特征相似度、运动一致性等因素，以确定目标的身份和轨迹。

DeepSORT的关键贡献之一是使用了一个强大的外观特征描述符，可以准确地区分不同目标之间的相似度。

DeepSORT还通过处理目标的消失和重新出现等复杂情况，实现了对长期跟踪的支持。

主要技术特点：

级联匹配
ReID 网络
马氏距离
余弦距离

2、级联匹配

原因：

当一个目标长时间被遮挡之后，kalman滤波预测的不确定性就会大大增加，状态空间内的可观察性就会大大降低。

假如此时两个追踪器竞争同一个检测结果的匹配权，往往遮挡时间较长的那条轨迹的马氏距离更小，使得检测结果更可能和遮挡时间较长的那条轨迹相关联，这种不理想的效果往往会破坏追踪的持续性。

这么理解吧，假设本来协方差矩阵是一个正态分布，那么连续的预测不更新就会导致这个正态分布的方差越来越大，那么离均值欧氏距离远的点可能和之前分布中离得较近的点获得同样的马氏距离值。所以，作者使用了级联匹配来对更加频繁出现的目标赋予优先权。

匹配：

为什么叫级联匹配，主要是它的匹配过程是一个循环。

即从missing age=0的轨迹，每一帧都匹配上，没有丢失过的轨迹到missing age=30的轨迹，丢失轨迹的最大时间30帧的轨迹，挨个的和检测结果进行匹配。

也就是说，对于没有丢失过的轨迹赋予优先匹配的权利，而丢失的最久的轨迹最后匹配。

这里丢失30帧了还给机会匹配，就是对遮挡目标的再跟踪。

级联匹配的距离度量是马氏距离和余弦距离的融合，设置了两个距离的阈值，先过滤一遍。

然后利用这个融合的距离进行匈牙利算法的匹配，匹配是对检测框和预测框的匹配。

而且匹配有优先级的，那些历史上一直有匹配上的轨迹优先匹配，而历史上已经已经很久没有匹配上的轨迹则最后匹配。

也就是说遮挡的可能性比较小，大部分没有匹配上的轨迹可能就是目标消失了。

匹配流程图：

（蓝字只对蓝线有效）

情况1：确定的轨迹，一级匹配成功

流程：

（1）轨迹（上一时刻的检测框）经过kalman滤波预测后，会对当前帧预测出一组检测框。

（2）目标检测算法对当前帧进行目标检测，产生检测框。

（3）对于确定的轨迹来说与目标检测的检测框进行级联匹配，也就是利用马氏距离和图像特征相似度余弦距离进行匈牙利算法的数据关联。

（4）轨迹（上一时刻的检测框）成功与检测框匹配。

（5）进行卡尔曼滤波的融合，是检测框与预测框的融合，融合完后更新到轨迹中。

情况2：确定的轨迹，一级匹配失败，二级匹配成功

匹配失败分为轨迹匹配失败和检测框匹配失败两种。

轨迹匹配失败：

有些轨迹没有检测框与之匹配，原因是检测可能发生了漏检，某时刻，预测的轨迹tracks还在，但是检测器没有检测到与之对应的目标；也可能是这个目标消失不见了，或者被遮挡了，没有检测框了。

检测框匹配失败：

有些检测框匹配不上轨迹，原因可能是某一时刻有一个物体是新进入的镜头，就会发生检测框匹配不到tracks的情况，因为这个物体是新来的，在这之前并没有它的轨迹；也可能是物体长时间被遮挡后的检测，导致检测到的物体没有可以与之匹配的轨迹（长时间遮挡超过阈值轨迹被删除）。

流程：

（1）对于确定的轨迹来说与目标检测的检测框进行级联匹配，也就是利用马氏距离和图像特征相似度余弦距离进行匈牙利算法的数据关联。

（2）轨迹没有与检测框匹配，则对这些轨迹进行与检测框的IOU匹配，匹配成功。

（IOU匹配可以有效匹配静态场景几何体的部分遮挡的情况，提高匹配成功率。这里相当于进行多次匹配，第一次匹配成功那就成功，匹配不上再给一次机会，进行IOU匹配，这次匹配上也算匹配上。）

（3）检测框没有与轨迹匹配上，则对这些检测框进行与轨迹的IOU匹配，匹配成功。

（4）进行卡尔曼滤波的融合，是检测框与预测框的融合，融合完后更新到轨迹中。

情况3：确定的轨迹，一级匹配失败，二级匹配也失败。

流程：

（1）对于二级匹配失败的检测框，建立一个新的不确定的轨迹。因为匹配失败可能是视野中出现新目标了，也可能就是检测器的误检测，对这个检测框要不要建立真实轨迹是不一定的，也就是unconfirmed轨迹。

（2）这个新不确定的轨迹要经过一个考验才能成为真实轨迹，那就是要连续三帧都要有检测框对其进行成功匹配，那就确定是一个真实轨迹了。

（3）对于考核期的轨迹（3帧考核，unconfirmed轨迹），直接进行IOU匹配，匹配成功，计数加1，连续三次匹配成功，则变更为确定的轨迹。确认的轨迹接下来就会保存外观特征100帧。考察期间的轨迹在3帧内匹配失败，则直接删除，判定为偶然的误报。

（4）对于再次匹配失败的轨迹来说，如果这个轨迹是待确定的轨迹，则删除，如果是确定的轨迹，则判断接下来几帧（max age帧，30帧）是否还能匹配上，超过30帧了还不能匹配上，放弃了，这个轨迹终止了。可能是真的终止了，也可能是长时间遮挡，这个就是这个阈值max age的容忍程度了，遮挡太久就没办法了，只能认为是新目标了，也就是跟丢了。

如果在30帧内，那继续给你机会进行IOU匹配，这时候即使匹配成功了，也要进行三帧考察。