RGB-T目标跟踪综述

评价指标进行了分析和对比，并指出RGB-T跟踪中值得研究的方面.

关键词 可见光-热红外;多模态;目标跟踪

中图分类号TP391

文献标志码A

0 引言

视觉目标跟踪，旨在从连续视频帧中估计出目标在每一帧中的位置和尺度信息，是计算机视觉中的一个热点问题，在视频监控、自动驾驶和机器人感知等方面有着广泛的应用.尽管目标跟踪取得了许多重要突破[1-8]，但现阶段的目标跟踪仍然面临许多挑战性问题，尤其是在各种复杂的环境条件下（如低光照、雨天、烟雾等），可见光图像的成像质量受到显著影响，使得跟踪目标物体是非常困难的.

热红外成像主要的优势体现在：它可以捕捉到目标所发出的热辐射，对光照变化不敏感，可以实现在零光照条件下跟踪目标;它还具有很强的穿透烟雾的能力，使得RGB-T（RGB-Thermal，可见光-热红外）目标跟踪比传统目标跟踪具有更强的潜在应用价值.

因此，结合可见光和热红外信息可以有效地提高目标跟踪性能，较好地实现全天时全天候的目标跟踪.图1是低光照（左）和强光照（右）情况下的可见光图像，目标在其中并不明显，但在图2相对应的热红外图像中目标轮廓清晰.图3呈现的两个热红外图像产生了热交叉现象，目标和背景极难区分，但目标在图4相对应的可见光图像中较为明显[9].可见，可见光和热红外信息相互补充，有助于复杂环境条件下的视觉跟踪.

最近几年，随着热红外传感器的普及，RGB-T跟踪在计算机视觉领域引起了越来越多的关注.由于RBG-T目标跟踪相对于单模态目标跟踪起步较晚，至今鲜见关于RGB-T目标跟踪进展的文献综述.本文将对该领域前后发展进行一个较为全面的综述.首先介绍RGB-T目标跟踪面临的挑战，然后回顾传统的RGB-T目标跟踪算法，主要包括基于人工设计特征和传统的机器学习技术的RGB-T目标跟踪算法，再介绍近几年出现的基于深度学习的RGB-T目标跟踪方法，最后对已有的多个RGB-T数据集、评价指标进行分析和对比.

1 RGB-T目标跟踪的挑战

一些早期的研究[10-11]表明将可见光和热红外数据结合起来，可以有效地提高跟踪性能.相对于传统的单模态目标跟踪，借助红外信息构建的多模态目标跟踪，其跟踪效果得到进一步提升，但在面对更复杂场景的情况下，RGB-T目标跟踪不仅遇到传统的目标跟踪所面临的挑战，而且也遇到新的挑战.

1.1 传统的目标跟踪的挑战举例

1）目标的形变与快速运动：当跟踪的目标发生较大的形变或尺度变化剧烈时，跟踪框不能及时适应变化，将会引入过多的背景信息污染模型，从而导致跟踪目标的丢失.另外对于快速运动的物体，由于相邻两帧的目标移动跨度较大，超出了候选区域，也将导致跟踪失败.

2）遮挡：目标被遮挡可以分为部分遮挡和完全遮挡.如果目标是部分被遮挡，在遇到遮挡物的第一帧，边界框会将遮挡物的信息包含在内，导致后续跟踪过程中的目标被错误判别;如果是完全遮挡，边界框找不到目标，会直接导致跟踪失败.如图5所示，红色框内跟踪目标人物在第2张图中部分被树叶遮挡，导致跟踪框内可能包含树叶信息，而在第3张图中则是完全被树叶遮挡，候选框内不能找到目标特征，导致目标丢失.

1.2 RGB-T目标跟踪的新挑战

1）RGB-T融合：如何将RGB和热红外两个模态进行有效的融合是RGB-T目标跟踪面临的挑战之一.如果两个模态中的一个模态成像不佳，则直接融合两个模态将会引入噪声，进而影响跟踪性能，所以两个模态的融合策略直接影响RGB-T跟踪性能.

2）特征表示：与传统目标跟踪相比，RGB-T目标跟踪的目标特征由RGB与T特征共同描述，更鲁棒的RGB-T特征表示必然可以提升跟踪的性能，这一点也得到了越来越多的关注.

3）成像受限：在零光照、光线强烈变化、雾霾等情况下，可见光谱成像受限;当目标与周边背景物体的温度差异较小时，则会有热交叉现象发生，热红外成像受限.

2 传统方法

RGB-T目标跟踪的传统方法多为在线目标跟踪，旨在利用简单有效的人工设计视觉特征，结合浅层外观模型，利用匹配或分类算法进行快速有效的目标跟踪.由于稀疏表示在抑制噪声、减少误差方面表现较好，故稀疏表示理论也被用于解决RGB-T目标跟踪问题[12-16]，并且取得了较好的效果.但稀疏表示模型计算复杂度较高，难以实时处理.随着相关滤波理论在单模态跟踪中取得了较为鲁棒的效果[17-19]，Zhai等[20]在RGB-T目标跟踪中引入交叉模态相关滤波器，更有效地进行可见光和红外模态的融合.为了改善RGB-T目标跟踪中的模型漂移现象，研究者在RGB-T目标跟踪中引入图的理论[21-23]，自适应地使用可见光和红外图像信息来学习模态权重.下面将从以下3个方面详细对RGB-T跟踪的传统方法进行阐述.

2.1 基于稀疏表示的RGB-T目标跟踪

近年来，使用稀疏表示的目标跟踪[11，24-25]能够较好地抑制噪声和减少误差.受此启发，Wu等[12]将RGB和T信息结合起来，稀疏地表示目标模板空间中的每个样本;Liu等[13]使用RGB和T信息计算出联合稀疏表示系数的最小操作來融合跟踪结果.在这些方法中，RGB模态和T模态贡献相同，故在处理干扰或者故障时可能会限制跟踪性能.

为了改善上述情况，Li等[14]引入反映其跟踪预测可靠性的模态权值，为每种模态引入模态权值来表示该模态的可靠性，实现不同模态的自适应融合.具体来说，在贝叶斯滤波技术的框架下，一种基于协同稀疏表示的自适应融合方法被提出.这种方法在每个模态中引入权值描述模态的可靠性，找到一种自适应的目标跟踪的协作稀疏表示方法，可以自适应地融合可见光信息和红外信息，进而实现全天候地对目标进行鲁棒跟踪，当目标在一种模态中处于不稳定或者故障时，通过赋予不可靠模态信息低权值，利用可靠的模态进行信息补充用于跟踪[10]，通过在线方式联合优化稀疏码、不同模态下的权值和最大似然判别法[26]对稀疏码进行有效的优化，并利用封闭形式解法进行求解，能够避免在目标跟踪中产生的模型漂移.该方法可增强跟踪鲁棒性，并防止之前视频帧的可见光和红外信息的累积产生的外观污染问题的发生.

推荐访问： 综述 跟踪 目标 RGB

---