A target tracking algorithm based on local feature segmentation

高精度稳定跟踪技术是计算机视觉领域一个富有挑战性的研究内容。国内外很多科研人员针对目标跟踪算法做了大量的研究^[1-3]。BAKER^[4-5]首先提出了基于灰度相关的模板匹配算法，其他学者在此基础上也做了进一步研究，如归一化互相关方法^[6-9](norma-lized cross correlation, NCC)、绝对差均值方法^[10](mean of absolute differences，MAD)、差方和方法^{[5, 11]}(sum of squared differences，SSD)、序贯相似性检测法^{[9, 12-13]}(sequential similarity detection algorithm，SSDA)等。由于复杂度不高、不适用复杂场景，随着技术的发展，很多新型方法被提出并应用，例如基于均值偏移的跟踪算法^[14-17]是基于梯度上升的局部寻优的模板匹配算法，对目标的非刚性变化、旋转等挑战具有鲁棒性，但不能较好地解决遮挡、尺度变化等问题。适用于不同场景的目标跟踪算法，直接关系着跟踪效果的优劣，包括目标跟踪系统场景适应性、稳定性、实时性等性能指标^[18-20]。

基于高能激光发射下的超高精度跟踪系统，由于高能激光照射到目标表面产生强光，导致跟踪图像的像素灰度分布发生急剧变化，出现目标被遮挡，难以跟踪，甚至目标在一段时间内丢失等情况，导致跟踪算法的性能大打折扣。此时，传统的模板匹配跟踪算法很难满足图像跟踪要求。为解决这一问题，本文中提出了一种基于局部特征分块的跟踪算法，高效稳定地实现目标的实时跟踪。

由于周围环境变化，每一时刻所拍摄的图像都不相同，目标图像跟踪是在一个“匹配-修正-预测”的过程中实现的。传统的帧相关跟踪原理是利用在前一帧图像建立的图像模板与下一帧或后面连续几帧的图像进行模板匹配，不断查询搜索与目标模板最相似的图像，即为最佳匹配图像，并将其作为新的跟踪点继续进行跟踪^[21]。图 1为模板匹配流程。

Figure 1.  Template matching process

如图 2所示, 本文中假设待搜索图像S的大小为(x_S, y_S)，模板M的大小为(x_M, y_M)，模板M在图像S上平移，搜索窗口所覆盖的子图记为M′，其中(x_i, y_i)为子图M′的左上角顶点在图像S中的坐标，最终通过比较M和M′的相似性，完成模板匹配过程。

Figure 2.  Template and template matching

传统的模板匹配算法准确度高、计算量大，且在面临目标突然遭遇激光照射等强光干扰情况下被遮挡或消失时算法不稳定，不能有效地对目标继续跟踪，如图 3所示。为此，作者提出了一种改进的基于局部特征分块的跟踪算法。

Figure 3.  During normal tracking, the target is suddenly irradiated by high-energy laser and strong light interference occurs

针对采用传统跟踪算法在面临高能激光干扰时目标受到遮挡或丢失等现象，本文中采用一种基于局部特征分块的图像跟踪算法。主要思想是基于局部特征对跟踪模板进行分块处理，计算分块模板的特征稳定度信息，选取其中有效的块模板，然后对每个块在当前帧的跟踪区域内进行模板匹配，最后将分块匹配结果合并。图 4是本文中的相关跟踪整体算法流程。

Figure 4.  The flow of the whole algorithm

算法具体步骤见下：

(1) 对读入的每一帧图像进行预处理(中值滤波、灰度直方图等)。

(2) 确定目标，首次确认需要用波门锁定目标以便选择模板。判断当前帧是否为初始帧，若是，则建立跟踪模板并保存；若不是，则判断是否已存在模板，有模板时则对当前帧计算sobel特征，无模板则继续下一帧处理。

模板一般以被跟踪目标的中心坐标(x₀, y₀)为中心，即所谓跟踪波门的中心。模板的大小即波门大小，是根据目标的特征和跟踪系统的实时性综合而定。模板位置和大小确定后即把图像数据存入模板M(x_M, y_M)，如图 5所示。

Figure 5.  The template

(3) 根据历史缓存信息预测下一帧目标的可能位置及跟踪范围，并在预测的范围内进行模板匹配。若匹配有效，锁定目标位置，保存当前帧图像、波门内图像、当前帧时间戳信息和当前波门坐标位置信息，并更新模板，继续跟踪；若匹配无效，则算法进入第(4)步开始分块跟踪过程。其中，关于预测和匹配过程说明如下。

预测:预测算法是取连续几帧缓存数据的历史坐标信息和每帧时间戳信息，计算出x和y方向上目标运动的平均速度，从而预测出当前帧中目标的中心位置，区域大小一般选定为模板(x_M, y_M)的整数倍。

匹配:判断模板匹配有效性时，建立匹配图保存跟踪范围内各个位置与跟踪模板的匹配度，匹配公式由下式计算：

式中, M代表模板图像，大小为(x_M, y_M)，M′为模板图像搜索时所覆盖的S区域的子图，其中(x_i, y_i)为子图M′的左上角顶点在图S中的坐标。R是M′在S中每个位置的匹配度，该匹配度越小表示相关性越大。经过匹配运算后，依次求得R值(R₁, R₂, …，R_xS×yS)。求取R中最小值，并验证匹配是否有效：

式中，R_min表示匹配运算后所求得的匹配度R的最小值，R_h和R_l表示为了验证匹配是否有效所设定的最高阈值和最低阈值。(2a)式为匹配有效且更新模板，(2b)式为匹配无效，(2c)式为匹配有效且无需更新模板。

(4) 局部特征分块算法。当有强光干扰匹配无效时，进入局部特征分块处理。图 6为局部特征分块算法流程图。

Figure 6.  The process of the algorithm based on local feature segmentation

(a) 对当前帧图像和模板进行sobel特征处理。

(b) 为了达到高帧频低延时的图像跟踪要求，此处分为粗跟踪和精跟踪两种情况。精跟踪时采用最临近插值法对模板和当前帧图像进行缩放调整以提高运算速度降低运算时间；粗跟踪时则使用原始的模板和当前帧图像，不做缩放变换。后将精跟踪缩放变换的模板或粗跟踪的原始模板进入下面的步骤(c)中进行分块处理; 最临近插值法不改变图像内容的前提下改变图像尺寸，分别由水平缩放系数U和垂直缩放系数V决定，这里一般取工程经验值:

式中，(x′, y′)为变换后图像像素点的位置坐标，(x, y)为源图像中的位置坐标。

(c) 将当前跟踪模板分成n块，块的大小根据波门决定，即块的高与宽分别和模板的高与宽成比例，模板大小为x_M×y_M，块的大小为p×g，整个模板包括n=c×d个分块，则有x_M=p×c, y_M=g×d。对分块进行优选是基于目标的角点检测特征和纹理频谱特征的，根据目标角点特征的分布和频域中易于识别的纹理模式进行分块选择。

(d) 计算每个块的sobel特征积分图I，根据预先设置好的阈值将被强光干扰和遮挡的块模板舍弃掉，在余下的块中选择目标块。

选取时把每个块的局部特征积分图I_i(i=1, 2, 3, …, n)，(n为分块的总块数)按照值的大小进行降序排列，将分块模板中稳定性最高即局部特征值最为突出的前T块作为新的跟踪模板，选取时需满足：

式中，R_e为解释度，表示应选取的前T块模板的特征值之和占据所有特征值的比例不小于R_e，一般该值的设置都在80%以上，这样只用其中几个块模板就能够表示出目标模板的主要特征。

(e) 对跟踪模板块分别进行模板匹配，对每个跟踪模板块的匹配过程中利用(1)式计算匹配图，并根据匹配图确定分块的匹配度和与之对应的坐标，得到匹配结果。

(f) 将T个跟踪模板块的匹配结果进行合并$H=\sum\limits_{i=1}^{T} h(i) $，最终得到目标位置。

(g) 根据合并后的匹配度利用(2)式验证匹配是否有效，若匹配有效，则目标输出、更新模板；匹配无效进入第(5)步。

(5) 进入记忆跟踪。利用保存的最近6帧历史模板信息采用帧差法对当前帧进行运动检测，检测到运动物体后，将历史模板与预处理后的图像进行模板匹配，验证匹配有效性。匹配有效退出记忆跟踪，进入正常跟踪状态；若无效，则取出下一个缓存的历史模板重新进行匹配；若所有历史模板均匹配无效，则读入下一帧视频，对当前帧重复上述过程。记忆跟踪流程如图 7所示。

Figure 7.  The process of the memory tracking

本文中试验将从跟踪稳定性、跟踪效率以及跟踪效果来进行试验验证。

试验中所用数据为高能激光照射无人机视频，视频图像为每秒500帧。试验过程中，无人机受到高能激光照射，图像瞬间出现强光干扰导致目标被遮挡，采用本文中分块算法对无人机实时跟踪，试验结果如图 8所示。图像分辨率大小为1280×1024，波门及目标模板大小为64×64，图中模板分成了6×6共36个块，即黑格栅所示，白框明亮区域所代表的是激光照射无人机后出现强光干扰对目标的遮挡。

Figure 8.  Six consecutive frames of tracking results

图 8是选取了视频中目标被遮挡的连续6帧跟踪结果图，明亮区域即强光干扰。从图中可以看出，明亮区域灰度骤变目标特征丢失，实际试验过程中采用传统模板匹配算法跟踪时目标丢失跟踪失败，无法稳定有效地持续跟踪，如图 9所示。但本文中提出的局部特征分块算法自动提取目标模板局部特征并进行分块，选取稳定度高的块模板进行匹配，可以继续实时有效地跟踪被强光遮挡并渐渐坠落的无人机。同时，该算法图像处理延迟时间在2ms以内，有较高的跟踪效率。

Figure 9.  Tracking results using traditional template matching algorithm

试验表明，在目标被遮挡或丢失时，与采用传统模板匹配算法目标丢失跟踪失败相比，本文中算法能有效地对目标实时稳定跟踪，具有较强的鲁棒性，算法效率高，可以应用于高精度稳定的目标跟踪。

作者提出了高能激光照射下目标跟踪的一种新方法，基于局部特征对跟踪模板进行分块处理，选取稳定性最高的块模板对目标进行匹配跟踪，该算法能有效地解决由于高能激光反射引起强光干扰导致目标遮挡或丢失的问题，同时算法的延迟在2ms以内，高效保证了目标实时跟踪的稳定性和基于高能激光发射的超高精度跟踪系统的工作性能，具有较高的应用价值。