目标跟踪简介

3.1 引言

       目标跟踪的任务是根据初始帧所给定的目标信息，对目标进行持续跟踪并对目标轨迹进行预测。研究人员已经在该领域探索多年，一大批优秀的目标跟踪算法涌现出来。而这些目标跟踪算法按照是否需要检测过程的参与，分为生成式算法与判别式算法。生成式算法首先要构建起目标的模型，而这就需要先获取目标的特征信息，处理当前帧与下一帧的关系。判别式算法通过目标检测找到图像中目标位置，并对信息进行判别处理。下面本文将对经典的目标跟踪算法作简介和进行对比分析，并对其存在的问题进行分析，对其未来发展方向作出合理展望。然后着重介绍ECO目标跟踪算法的理论与实现。

3.2 目标跟踪算法分类

3.2.1 生成式算法

       主流的生成式目标跟踪算法根据其作用机理又可以分为几类：核方法、粒子滤波方法、卡尔曼滤波方法、稀疏表示方法。

（1）核方法

       以均值漂移方法为代表的核方法的关键在于计算核密度函数的值，而该算法的优越性就在于它不需要提前知道目标的信息就可以计算和密度函数的值。首先它会建立模型，求取样本点与中心点的平均矢量差，根据矢量和的方向确定概率密度增加的方向，从而根据梯度下降法对目标模板逐步迭代寻找最优点。
该类方法计算容易；但是选取的特征易受遮挡、形变的影响，准确性不高等。

（2）粒子滤波方法

       粒子滤波算法将跟踪最优化问题转化为相应的概率密度函数获取最小的方差估计值。在目标跟踪过程中，它会根据一定规则来散布粒子在待检测区域，然后通过粒子滤波原理统计粒子的相似度，找出目标可能的位置，从而下一步在可能的区域迭代跟踪。
粒子滤波方法易于实现，可以有效改善遮挡带来的失真问题；但是需要散布、收集大量粒子，十分耗时，而且检测精度有限。

（3）卡尔曼滤波方法

       卡尔曼滤波对目标的运动模型建模，通过不断迭代纠正目标的运动状态，以此来预测目标下一帧的位置。具体流程是先根据目标的状态信息对滤波器进行初始化，然后迭代寻找与目标的最佳匹配，对目标的运动状态进行预估，然后进行状态更新，反复迭代。
       卡尔曼滤波方法有较强的抗噪性能，算法计算量小，易于实现，可以根据实际情况进行自适应调整。但是判别能力较差，限定目标运动必须满足线性高斯分布，脱离实际情况。

（4）稀疏表示方法

       基于稀疏表示的视频目标跟踪算法本质上是冗余字典下的稀疏逼近问题[19]。该方法通过将待检测区域进行稀疏建模表示，然后根据系数向量的稀疏度进行打分，选取分数高的样本，将与目标重构误差最小的样本作为结果输出。
       稀疏表示方法适用性较好，而且鲁棒性较好；但是特征不易提取，算法不易实现。

3.2.2 判别式方法

       判别式方法也叫跟踪检测，用训练好的分类器来选择目标，反复计算进行持续追踪。经典的判别式方法有很多，主流的算法大致分为两类，相关滤波方法（如CF、KCF、CN等）和深度学习方法（ECO）。

（1）相关滤波方法

       相关滤波方法（Correlation Filter Method）引入了快速傅里叶变换将目标跟踪的计算从时域转到频域，从而解决了时域计算时求复杂矩阵的逆耗费大量时间的问题，极大地提高了计算速度。相关滤波就是先建立目标的模板模型，然后与待处理的图像进行卷积操作选取得分最高的作为候选目标。MOSSE[20]是相关滤波方法的开山之作，该算法较为简单，但准确度不足；随后研究人员在MOSSE的基础上进行改进，提出了CSK[21]，但是特征表示仍然比较单一；之后提出的基于RGB颜色空间特征的CN[22]改进了目标选取特征单一的缺点；随后CSK的作者对算法进行改进，提出了基于HOG特征的KCF[23]算法，成为滤波算法的经典。为了追求跟踪目标尺度的自适应，DSST[24]提出了一种基于三维尺度空间相关滤波器的联合平移尺度跟踪方法。在DSST的基础上，STAPLE[25]选取了融合了HOG特征和颜色统计特征的融合特征，很好地解决了DSST算法不能适应目标形变的缺点，使得算法的准确性和鲁棒性有了很大的提升。

（2）深度学习方法

       深度学习方法（Deep Learning Method）由于其独有的优越性成为当前研究的热点，各种框架和算法层出不穷，这在前文的目标检测部分都有较为详细的介绍。
       DLT(Deep Learning Tracker)[26]开创深度学习应用于深度学习的先河，其算法思想为后来的很多算法沿用，但是该方法存在着训练样本分辨率低，目标与背景差异较大等问题，导致算法准确性不高。FCNT[27]提出一种卷积网络，该卷积神经网络不同层可以提取出各具特色的目标特征，从而能够更好地表示目标。
       深度学习获取的目标特征更具有代表性与精确性，而相关滤波方法的速度很快，为了兼顾两者的优点，许多学者尝试将两者优点有机结合，从而诞生了一大批优秀的跟踪算法。HCF[28]运用卷积神经网络提取目标的多层次特征，使用三层网络训练滤波器，然后进行相关操作，根据图片的响应获取目标信息。2012年CT[29]提出了一种压缩感知的思想，将高维的目标特征进行降维后，仍然保留其原始特性，方法简单有效。MDNet[30]提出一种多域学习的网络结构，用待处理视频代替训练数据集进行训练。ECO[31]提出一种因式分解的卷积操作，降低了模型复杂度；通过训练样本的分组，降低了内存和时间复杂度；将训练好的图像与相关滤波器进行卷积得到其响应输出，选取响应最大值作为目标。SiamFC[32]提出一种并行网络的思想，其中一个网络进行特征提取，另一个保存目标信息，将两个网络的输出结果进行相关滤波，根据图像的响应获取目标信息。
       深度学习算法的应用使得目标跟踪领域焕发出新的生机活力，但是深度学习也存在一些缺陷：如深度学习算法的复杂度高、实时性低等，所以目前人们多追求将深度学习与其它方法的优点进行有机结合，达到取长补短的目的。

3.3单摄像机多目标跟踪

       目标跟踪领域还有一个分支很特殊，也就是本文需要特别探讨的多目标跟踪。除了单目标跟踪需要检测出目标并进行持续性跟踪之外，单摄像机多目标跟踪还需要进行一些额外工作：如数据关联（Data Association），即确定每个目标，分辨出相互干扰的目标并给每个跟踪目标分配一个ID，记录各自的轨迹；跟踪目标的动态调整，即处理新旧目标的出现与消失；目标跟踪丢失出错如何进行重识别（Re-Identification，Re-ID）等。
       按照初始化方法的不同，单摄像机多目标跟踪可以分为基于初始化帧的跟踪和基于目标检测的跟踪[33]。

3.3.1 基于初始化帧的跟踪

       基于初始化帧的跟踪的基本思想是基于静态的思想，即初始化时选定好跟踪目标之后就目标就一直静态不变。这种跟踪方法效率高，但是严重依赖于检测模块，不能实时跟踪新增目标，实用性低。

3.3.2 基于目标检测的跟踪

       基于目标检测的跟踪将检测与跟踪结合，在每一帧中先检测出目标，然后与前一帧检测出的目标进行数据关联来实现跟踪。这种方式以牺牲一定的速度为代价，实现了真实有效的单摄像机多目标跟踪，可以随时跟踪新出现的目标。
        单摄像机多目标跟踪领域经过多年的发展，取得了一些成果，许多也投入了实际应用之中，比如行人跟踪、车辆追踪、视频监控等。但是它还存在一些问题，除了多目标自身面临的数据关联问题外，单摄像机多目标跟踪仍然面临很多外部难题，如数据集不足、开源代码少、标准不统一等。未来单摄像机多目标跟踪还有很大的发展空间，比如3D建模的应用，深度学习框架、多种计算机视觉任务结合等。
       单摄像机多目标跟踪由于要处理多目标的数据关联，为目标标定并维持ID，进行实时跟踪等，其面临的问题和挑战也更多。基于初始化帧与基于目标检测的跟踪，虽然框架上有所差异，但是其关键都是建立起检测与目标之间的数据匹配关联，深度学习能够很好地提取具有代表性的特征，因而基于深度学习在目标跟踪算法领域的兴盛也成为必然。

3.4 经典算法对比

       目标跟踪的评价标准有很多，公共的测试数据集也不少，主流的有OTB与VOT，本文选取OTB（Online Object Tracking Benchmark）[34]测试数据集，其采取的评价指标主要为平成功率图（Success Plot）和精度测算图 (Precesion Plot)，图像的参数有一次通过率（OPE）。
       下面本文将在OTB100上运行各类典型的目标跟踪算法进行对比分析，如下图所示。

3.5 小结

       可以看出，目标跟踪的两种主流方法中判别式方法较好，传统的生成式算法将淡出历史舞台，基于相关滤波理论与深度学习的结合方法将是未来发展的一大趋势，多目标跟踪的发展也是令人振奋的。而一些新技术如强化学习（Reinforcement Learning）、生成对抗网络（GAN）与3D模型有望应用于目标跟踪领域。虽然目标跟踪算法的正确率和精确度已经达到可喜的高度，但是还存在着诸多问题。
       综上所述，本文对目标检测与跟踪技术作出了详细阐述，对经典的目标检测与跟踪方法进行了梳理总结，并且实现了经典算法的对比分析，让我们可以更深入地理解目标检测与跟踪技术，为后续的研究打好坚实基础。其中，目标检测在一些情况下可以看做是目标跟踪的子过程，它的主要功能是获取目标的坐标与轮廓等初始信息；而目标跟踪就是在获取目标初始信息后，持续对目标进行跟踪的动态过程，它可以看作连续的目标检测的有机结合，本文将目标检测与跟踪的一般框架总结如下图：

参考文献

[19]	 石光明, 刘丹华, 高大化, 刘哲, 林杰, 王良君. 压缩感知理论及其研究进展. 电子学报, 2009.
[20]	 Hou X D, Zhang L Q. Saliency detection: a spectral residual approach. In: Proceedings of IEEE Conference on ComputerVision and Pattern Recognition. Minneapolis, Minnesota,USA: IEEE, 2007.
[21]	 Wang J P, Lu H C, Li X H, Tong N, Liu W. Saliency detection via background and foreground seed selection. Neuro-computing, 2015.
[22]	 Danelljan M, Khan F S, Felsberg M, et al. Adaptive Color Attributes for Real-Time Visual Tracking[C] IEEE Conference on Computer Vision & Pattern Recognition. 2014.
[23]	 Henriques J F , Caseiro R , Martins P , et al. High-Speed Tracking with Kernelized Correlation Filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015.
[24]	 Danelljan M, Häger G, Khan F, et al. Accurate scale estimation for robust visual tracking[C] British Machine Vision Conference, Nottingham, September 1-5, 2014. BMVA Press, 2014.
[25]	 Bertinetto L, Valmadre J, Golodetz S, et al. Staple: Complementary learners for real-time tracking[C] Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.
[26]	 Wang N, Yeung D Y. Learning a deep compact image representation for visual tracking[C] Advances in neural information processing systems. 2013.
[27]	 Wang L, Ouyang W, Wang X, et al. Visual tracking with fully convolutional networks[C] Proceedings of the IEEE international conference on computer vision. 2015.
[28]	 Ma C, Huang J B, Yang X, et al. Hierarchical convolutional features for visual tracking[C] Proceedings of the IEEE international conference on computer vision. 2015.
[29]	 Zhang K, Zhang L, Yang M H. Real-time compressive tracking[C] European conference on computer vision. Springer, Berlin, Heidelberg, 2012.
[30]	 Nam H, Han B. Learning multi-domain convolutional neural networks for visual tracking[C] Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.
[31]	 Danelljan M, Bhat G, Shahbaz Khan F, et al. ECO: efficient convolution operators for tracking[C] Proceedings of the IEEE conference on computer vision and pattern recognition. 2017.
[32]	 Bertinetto L, Valmadre J, Henriques J F, et al. Fully-convolutional siamese networks for object tracking[C] European conference on computer vision. Springer, Cham, 2016.
[33]	 Luo W, Xing J, Milan A, et al. Multiple object tracking: A literature review[J]. arXiv preprint arXiv:1409.7618, 2014.
[34]	 Wu Y, Lim J, Yang M H. Online object tracking: A benchmark[C] Proceedings of the IEEE conference on computer vision and pattern recognition. 2013.