高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种基于局部特征分块的目标跟踪算法

王宇慧 徐志远 叶德茂

引用本文:
Citation:

一种基于局部特征分块的目标跟踪算法

    作者简介: 王宇慧(1989-), 女, 硕士, 工程师, 现主要从事目标识别跟踪图像处理等方面的研究。E-mail:984731904@qq.com.
  • 中图分类号: TP391

A target tracking algorithm based on local feature segmentation

  • CLC number: TP391

  • 摘要: 为了解决传统目标跟踪算法在天空背景下面临高能激光反射时图像像素灰度分布发生剧烈变化, 从而导致目标遮挡或丢失的问题, 采用一种基于局部特征分块思想的相关跟踪算法, 根据局部特征对跟踪模板进行了分块处理, 计算并选取其中特征稳定度高的块模板, 在跟踪区域内对每个块做模板匹配, 并进行了理论分析和试验验证。结果表明, 该算法在强光干扰下能够有效地对目标实时稳定跟踪, 且图像处理延迟时间在2ms以内。该研究对基于高能激光发射下的超高精度跟踪系统工作性能的保证是有帮助的。
  • Figure 1.  Template matching process

    Figure 2.  Template and template matching

    Figure 3.  During normal tracking, the target is suddenly irradiated by high-energy laser and strong light interference occurs

    Figure 4.  The flow of the whole algorithm

    Figure 5.  The template

    Figure 6.  The process of the algorithm based on local feature segmentation

    Figure 7.  The process of the memory tracking

    Figure 8.  Six consecutive frames of tracking results

    Figure 9.  Tracking results using traditional template matching algorithm

  • [1]

    YIN H P, CHEN B, CHAI Y, et al. Vision-based object detection and tracking: A review[J]. Acta Automatica Sinica, 2016, 42(10): 1466-1489(in Chinese). 
    [2]

    QIU X R, PENG L, LIU Q Sh. Object tracking algorithm based on superpixel and discriminative sparsity[J]. Computer Engineering and Applications, 2018, 54(15): 1-5(in Chinese). 
    [3]

    LU H Ch, LI P X, WANG D. Visual object tracking: A survey[J]. Pattern Recognition and Artificial Intelligence, 2018, 31(1): 61-76(in Chinese). 
    [4]

    BAKER E S, DEGROAT R D. A correlation-based subspace tracking algorithm[J]. IEEE Transactions on Signal Processing, 1998, 46(11): 3112-3116. doi: 10.1109/78.726827
    [5]

    CAO H Y. Research and application of target tracking algorithm based on DSP platform [D]. Xi'an: Xidian University, 2017: 1-3(in Chin-ese).
    [6]

    ZITOVÁ B, FLUSSER J. Image registration methods: a survey[J]. Image & Vision Computing, 2003, 21(11): 977-1000. 
    [7]

    CHEN H Y, YANG Y. Rapid registration algorithm of large-scale images based on normalized gradient phase correlation [J]. Pattern Re-cognition and Artificial Intelligence, 2015, 28(8): 694-701(in Ch-inese). 
    [8]

    CHIN F J, FANG Q, ZHANG T, et al. A fast critical arrhythmic ECG waveform identification method using cross-correlation and multiple template matching[C]//The 32nd Annual International Conference of IEEE.New York, USA: IEEE, 2010: 1922-1925. 
    [9]

    XING C J, WEN L L, HE S Q. Target tracking of NCC fast matching method based on sequential similarity detection[J]. Electronic Design Engineering, 2015, 23(2): 187-190(in Chinese). 
    [10]

    ZHANG G S, CHEN D Sh, QIU H T, et al. Design of high speed image tracking system based on FPGA[J]. Microelectronics & Computer, 2017, 34(4): 13-16(in Chinese). 
    [11]

    DONG Y M. Visual object tracking based on correlation filters [D]. Beijing: Beijing Institute of Technology, 2015: 5-13(in Chinese).
    [12]

    XU Y Q, SHI Q H, QU Y D, et al. Study of image registration algorithm based on genetic algorithm [J]. Computer Science, 2016, 43(11A): 229-232(in Chinese).
    [13]

    SONG J H, YAN B L. Research on rapid mosaic technology of UAV aerial image based on SIFT [J].Computer Applications and Software, 2018, 35(2): 230-234(in Chinese). 
    [14]

    ZHENG T, HAO X M, CHEN M. Mean Shift motion detection and tracking based on feature matching estimation[J]. Transducer and Microsystem Technologies, 2018, 37(7): 135-138(in Chinese). 
    [15]

    ZHU H N, XU M M, SHEN Y. Research on multi video vehicle tracking based on mean shift [J]. Computer Science, 2018, 45(6A): 220-226(in Chinese). 
    [16]

    YANG K, LIU G H, XU F. Mean shift tracking algorithm based on BCH and HOG[J]. Transducer and Microsystem Technologies, 2018, 37(7): 138-141(in Chinese). 
    [17]

    SIDRAM M H, BHAJANTRI N U. Enhancement of mean shift tracking through joint histogram of color and color coherence vector[M]. New Deli, India:Springer, 2014: 547-555.
    [18]

    WEI B G, ZHAO S T, WEN X L. Multi-region tracking based on local histogram[J]. Computer Engineering and Application, 2018, 54(14): 26-33(in Chinese).
    [19]

    HOU T J. Design and implementation of image enhancement and template matching system based on FPGA [D]. Beijing: University of Chinese Academy of Sciences, 2016: 3-16(in Chinese).
    [20]

    FENG W, WANG Y D, ZHANG L. Deep feature extraction and classification recognition algorithm based on weighting and dimension reduction[J]. Laser Technology, 2018, 42(5):666-672(in Chin-ese). 
    [21]

    CHEN J L, MIAO D, KANG B, et al. Research of target tracking based on Kalman filtering and template matching[J]. Optics & Optoelectronic Technology, 2014, 12(6): 9-12(in Chinese). 
  • [1] 刘超军段喜萍谢宝文 . 应用GhostNet卷积特征的ECO目标跟踪算法改进. 激光技术, 2022, 46(2): 239-247. doi: 10.7510/jgjs.issn.1001-3806.2022.02.015
    [2] 平庆伟何佩琨 . 激光信号处理器的检测和虚警概率分析. 激光技术, 2004, 28(5): 527-530.
    [3] 王国军黄亚新赵启林张冬冬 . 基于自适应区域的光斑中心鲁棒性研究. 激光技术, 2020, 44(5): 616-622. doi: 10.7510/jgjs.issn.1001-3806.2020.05.015
    [4] 江天沈会良杨冬晓刘建军邹哲 . 基于模糊局部信息C均值的太赫兹图像目标检测. 激光技术, 2015, 39(3): 289-294. doi: 10.7510/jgjs.issn.1001-3806.2015.03.001
    [5] 李文龙戈海龙任远成巍 . 图像处理技术在激光熔池温度检测的应用. 激光技术, 2018, 42(5): 599-604. doi: 10.7510/jgjs.issn.1001-3806.2018.05.004
    [6] 张海庄姚梅雷萍李鹏曾庆平 . 远场激光光斑图像处理方法研究. 激光技术, 2013, 37(4): 460-463. doi: 10.7510/jgjs.issn.1001-3806.2013.04.010
    [7] 陈洵凛杨煜俊 . 基于小生境遗传算法的激光切割快速模板匹配. 激光技术, 2019, 43(1): 125-130. doi: 10.7510/jgjs.issn.1001-3806.2019.01.025
    [8] 汤敏王惠南 . 激光扫描共聚焦显微镜图像的计算机处理. 激光技术, 2007, 31(5): 558-560.
    [9] 冯煦张瑞瑛周萍李松 . 大功率半导体线激光图像处理方法研究. 激光技术, 2010, 34(5): 624-627. doi: 10.3969/j.issn.1001-3806.2010.O5.013
    [10] 苏平牛燕雄李大乾牛海莎李易难张超 . 基于面阵CCD的激光告警系统的图像采集与处理. 激光技术, 2013, 37(3): 394-399. doi: 10.7510/jgjs.issn.1001-3806.2013.03.028
    [11] 易亨瑜齐予易欣仪黄吉金 . 通用原子公司高能激光器研制进展. 激光技术, 2017, 41(2): 213-220. doi: 10.7510/jgjs.issn.1001-3806.2017.02.014
    [12] 王其华叶苗 . 基于裂变自举粒子滤波的红外目标跟踪处理. 激光技术, 2011, 35(1): 141-144. doi: 10.3969/j.issn.1001-3806.2011.01.038
    [13] 赵琦孟庆安蒋泽伟胡绍云耿旭高明伟 . 大口径高能脉冲激光参量测量装置的精度研究. 激光技术, 2015, 39(1): 100-103. doi: 10.7510/jgjs.issn.1001-3806.2015.01.020
    [14] 何易德朱斌王询陈好贾静 . 基于跟踪特征的目标模型逼真度评估方法. 激光技术, 2020, 44(4): 515-519. doi: 10.7510/jgjs.issn.1001-3806.2020.04.020
    [15] 易亨瑜齐予黄吉金 . 舰载激光武器的研制进展. 激光技术, 2015, 39(6): 834-839. doi: 10.7510/jgjs.issn.1001-3806.2015.06.022
    [16] 张凡 . 红外图像改进非局部均值滤波算法研究. 激光技术, 2015, 39(5): 662-665. doi: 10.7510/jgjs.issn.1001-3806.2015.05.016
    [17] 黄沛曹国辉张海晶张钧杰 . 美国陆军车载战术激光武器发展分析. 激光技术, 2022, 46(6): 817-822. doi: 10.7510/jgjs.issn.1001-3806.2022.06.017
    [18] 彭玉峰吴定允张毅程祖海 . 高功率激光反射镜热畸变补偿结构设计与仿真. 激光技术, 2012, 36(1): 120-123. doi: 10.3969/j.issn.1001-3806.2012.01.031
    [19] 葛成良张飞舟张凯雒仲祥童立新 . 近红外激光水面传输热晕效应缩比实验研究. 激光技术, 2022, 46(4): 516-518. doi: 10.7510/jgjs.issn.1001-3806.2022.04.012
    [20] 易亨瑜锁兴文易欣仪齐予张凯 . 美国运输机机载激光系统研制进展. 激光技术, 2021, 45(2): 174-181. doi: 10.7510/jgjs.issn.1001-3806.2021.02.008
  • 加载中
图(9)
计量
  • 文章访问数:  4983
  • HTML全文浏览量:  3327
  • PDF下载量:  20
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-08-06
  • 录用日期:  2018-12-21
  • 刊出日期:  2019-07-25

一种基于局部特征分块的目标跟踪算法

    作者简介: 王宇慧(1989-), 女, 硕士, 工程师, 现主要从事目标识别跟踪图像处理等方面的研究。E-mail:984731904@qq.com
  • 中国船舶重工集团公司 第七一三研究所, 郑州 450000

摘要: 为了解决传统目标跟踪算法在天空背景下面临高能激光反射时图像像素灰度分布发生剧烈变化, 从而导致目标遮挡或丢失的问题, 采用一种基于局部特征分块思想的相关跟踪算法, 根据局部特征对跟踪模板进行了分块处理, 计算并选取其中特征稳定度高的块模板, 在跟踪区域内对每个块做模板匹配, 并进行了理论分析和试验验证。结果表明, 该算法在强光干扰下能够有效地对目标实时稳定跟踪, 且图像处理延迟时间在2ms以内。该研究对基于高能激光发射下的超高精度跟踪系统工作性能的保证是有帮助的。

English Abstract

    • 高精度稳定跟踪技术是计算机视觉领域一个富有挑战性的研究内容。国内外很多科研人员针对目标跟踪算法做了大量的研究[1-3]。BAKER[4-5]首先提出了基于灰度相关的模板匹配算法,其他学者在此基础上也做了进一步研究,如归一化互相关方法[6-9](norma-lized cross correlation, NCC)、绝对差均值方法[10](mean of absolute differences,MAD)、差方和方法[5, 11](sum of squared differences,SSD)、序贯相似性检测法[9, 12-13](sequential similarity detection algorithm,SSDA)等。由于复杂度不高、不适用复杂场景,随着技术的发展,很多新型方法被提出并应用,例如基于均值偏移的跟踪算法[14-17]是基于梯度上升的局部寻优的模板匹配算法,对目标的非刚性变化、旋转等挑战具有鲁棒性,但不能较好地解决遮挡、尺度变化等问题。适用于不同场景的目标跟踪算法,直接关系着跟踪效果的优劣,包括目标跟踪系统场景适应性、稳定性、实时性等性能指标[18-20]

      基于高能激光发射下的超高精度跟踪系统,由于高能激光照射到目标表面产生强光,导致跟踪图像的像素灰度分布发生急剧变化,出现目标被遮挡,难以跟踪,甚至目标在一段时间内丢失等情况,导致跟踪算法的性能大打折扣。此时,传统的模板匹配跟踪算法很难满足图像跟踪要求。为解决这一问题,本文中提出了一种基于局部特征分块的跟踪算法,高效稳定地实现目标的实时跟踪。

    • 由于周围环境变化,每一时刻所拍摄的图像都不相同,目标图像跟踪是在一个“匹配-修正-预测”的过程中实现的。传统的帧相关跟踪原理是利用在前一帧图像建立的图像模板与下一帧或后面连续几帧的图像进行模板匹配,不断查询搜索与目标模板最相似的图像,即为最佳匹配图像,并将其作为新的跟踪点继续进行跟踪[21]图 1为模板匹配流程。

      Figure 1.  Template matching process

      图 2所示, 本文中假设待搜索图像S的大小为(xS, yS),模板M的大小为(xM, yM),模板M在图像S上平移,搜索窗口所覆盖的子图记为M′,其中(xi, yi)为子图M′的左上角顶点在图像S中的坐标,最终通过比较MM′的相似性,完成模板匹配过程。

      Figure 2.  Template and template matching

      传统的模板匹配算法准确度高、计算量大,且在面临目标突然遭遇激光照射等强光干扰情况下被遮挡或消失时算法不稳定,不能有效地对目标继续跟踪,如图 3所示。为此,作者提出了一种改进的基于局部特征分块的跟踪算法。

      Figure 3.  During normal tracking, the target is suddenly irradiated by high-energy laser and strong light interference occurs

    • 针对采用传统跟踪算法在面临高能激光干扰时目标受到遮挡或丢失等现象,本文中采用一种基于局部特征分块的图像跟踪算法。主要思想是基于局部特征对跟踪模板进行分块处理,计算分块模板的特征稳定度信息,选取其中有效的块模板,然后对每个块在当前帧的跟踪区域内进行模板匹配,最后将分块匹配结果合并。图 4是本文中的相关跟踪整体算法流程。

      Figure 4.  The flow of the whole algorithm

      算法具体步骤见下:

      (1) 对读入的每一帧图像进行预处理(中值滤波、灰度直方图等)。

      (2) 确定目标,首次确认需要用波门锁定目标以便选择模板。判断当前帧是否为初始帧,若是,则建立跟踪模板并保存;若不是,则判断是否已存在模板,有模板时则对当前帧计算sobel特征,无模板则继续下一帧处理。

      模板一般以被跟踪目标的中心坐标(x0, y0)为中心,即所谓跟踪波门的中心。模板的大小即波门大小,是根据目标的特征和跟踪系统的实时性综合而定。模板位置和大小确定后即把图像数据存入模板M(xM, yM),如图 5所示。

      Figure 5.  The template

      (3) 根据历史缓存信息预测下一帧目标的可能位置及跟踪范围,并在预测的范围内进行模板匹配。若匹配有效,锁定目标位置,保存当前帧图像、波门内图像、当前帧时间戳信息和当前波门坐标位置信息,并更新模板,继续跟踪;若匹配无效,则算法进入第(4)步开始分块跟踪过程。其中,关于预测和匹配过程说明如下。

      预测:预测算法是取连续几帧缓存数据的历史坐标信息和每帧时间戳信息,计算出xy方向上目标运动的平均速度,从而预测出当前帧中目标的中心位置,区域大小一般选定为模板(xM, yM)的整数倍。

      匹配:判断模板匹配有效性时,建立匹配图保存跟踪范围内各个位置与跟踪模板的匹配度,匹配公式由下式计算:

      $ \begin{aligned} R &=\sum\limits_{0}^{x_\boldsymbol{M}} \sum\limits_{0}^{y_\boldsymbol{M}}\left[\boldsymbol{M}\left(x_\boldsymbol{M}, y_\boldsymbol{M}\right)-\right.\\ & \boldsymbol{M}^{\prime}\left(x+x_\boldsymbol{M}, y+y_\boldsymbol{M}\right) ]^{2} \end{aligned} $

      (1)

      式中, M代表模板图像,大小为(xM, yM),M′为模板图像搜索时所覆盖的S区域的子图,其中(xi, yi)为子图M′的左上角顶点在图S中的坐标。RM′在S中每个位置的匹配度,该匹配度越小表示相关性越大。经过匹配运算后,依次求得R值(R1, R2, …,RxS×yS)。求取R中最小值,并验证匹配是否有效:

      $ \left\{\begin{array}{ll}{R_{\min } < R_{1}} & {(2 \mathrm{a})} \\ {R_{\min }>R_{\mathrm{h}}}& {(2 \mathrm{b})}\\ {R_{1}< R_{\min }< R_{\mathrm{h}}}& {(2 \mathrm{c})}\end{array}\right. $

      式中,Rmin表示匹配运算后所求得的匹配度R的最小值,RhRl表示为了验证匹配是否有效所设定的最高阈值和最低阈值。(2a)式为匹配有效且更新模板,(2b)式为匹配无效,(2c)式为匹配有效且无需更新模板。

      (4) 局部特征分块算法。当有强光干扰匹配无效时,进入局部特征分块处理。图 6为局部特征分块算法流程图。

      Figure 6.  The process of the algorithm based on local feature segmentation

      (a) 对当前帧图像和模板进行sobel特征处理。

      (b) 为了达到高帧频低延时的图像跟踪要求,此处分为粗跟踪和精跟踪两种情况。精跟踪时采用最临近插值法对模板和当前帧图像进行缩放调整以提高运算速度降低运算时间;粗跟踪时则使用原始的模板和当前帧图像,不做缩放变换。后将精跟踪缩放变换的模板或粗跟踪的原始模板进入下面的步骤(c)中进行分块处理; 最临近插值法不改变图像内容的前提下改变图像尺寸,分别由水平缩放系数U和垂直缩放系数V决定,这里一般取工程经验值:

      $ \left\{\begin{array}{l}{x^{\prime}=U(x, y)} \\ {y^{\prime}=V(x, y)}\end{array}\right. $

      (3)

      式中,(x′, y′)为变换后图像像素点的位置坐标,(x, y)为源图像中的位置坐标。

      (c) 将当前跟踪模板分成n块,块的大小根据波门决定,即块的高与宽分别和模板的高与宽成比例,模板大小为xM×yM,块的大小为p×g,整个模板包括n=c×d个分块,则有xM=p×c, yM=g×d。对分块进行优选是基于目标的角点检测特征和纹理频谱特征的,根据目标角点特征的分布和频域中易于识别的纹理模式进行分块选择。

      (d) 计算每个块的sobel特征积分图I,根据预先设置好的阈值将被强光干扰和遮挡的块模板舍弃掉,在余下的块中选择目标块。

      选取时把每个块的局部特征积分图Ii(i=1, 2, 3, …, n),(n为分块的总块数)按照值的大小进行降序排列,将分块模板中稳定性最高即局部特征值最为突出的前T块作为新的跟踪模板,选取时需满足:

      $ \frac{{\sum\limits_{i = 1}^T {{\mathit{\boldsymbol{I}}_i}} }}{{\sum\limits_{i = 1}^n {{\mathit{\boldsymbol{I}}_i}} }} \ge {R_{\rm{e}}} $

      (4)

      式中,Re为解释度,表示应选取的前T块模板的特征值之和占据所有特征值的比例不小于Re,一般该值的设置都在80%以上,这样只用其中几个块模板就能够表示出目标模板的主要特征。

      (e) 对跟踪模板块分别进行模板匹配,对每个跟踪模板块的匹配过程中利用(1)式计算匹配图,并根据匹配图确定分块的匹配度和与之对应的坐标,得到匹配结果。

      (f) 将T个跟踪模板块的匹配结果进行合并$H=\sum\limits_{i=1}^{T} h(i) $,最终得到目标位置。

      (g) 根据合并后的匹配度利用(2)式验证匹配是否有效,若匹配有效,则目标输出、更新模板;匹配无效进入第(5)步。

      (5) 进入记忆跟踪。利用保存的最近6帧历史模板信息采用帧差法对当前帧进行运动检测,检测到运动物体后,将历史模板与预处理后的图像进行模板匹配,验证匹配有效性。匹配有效退出记忆跟踪,进入正常跟踪状态;若无效,则取出下一个缓存的历史模板重新进行匹配;若所有历史模板均匹配无效,则读入下一帧视频,对当前帧重复上述过程。记忆跟踪流程如图 7所示。

      Figure 7.  The process of the memory tracking

    • 本文中试验将从跟踪稳定性、跟踪效率以及跟踪效果来进行试验验证。

      试验中所用数据为高能激光照射无人机视频,视频图像为每秒500帧。试验过程中,无人机受到高能激光照射,图像瞬间出现强光干扰导致目标被遮挡,采用本文中分块算法对无人机实时跟踪,试验结果如图 8所示。图像分辨率大小为1280×1024,波门及目标模板大小为64×64,图中模板分成了6×6共36个块,即黑格栅所示,白框明亮区域所代表的是激光照射无人机后出现强光干扰对目标的遮挡。

      Figure 8.  Six consecutive frames of tracking results

      图 8是选取了视频中目标被遮挡的连续6帧跟踪结果图,明亮区域即强光干扰。从图中可以看出,明亮区域灰度骤变目标特征丢失,实际试验过程中采用传统模板匹配算法跟踪时目标丢失跟踪失败,无法稳定有效地持续跟踪,如图 9所示。但本文中提出的局部特征分块算法自动提取目标模板局部特征并进行分块,选取稳定度高的块模板进行匹配,可以继续实时有效地跟踪被强光遮挡并渐渐坠落的无人机。同时,该算法图像处理延迟时间在2ms以内,有较高的跟踪效率。

      Figure 9.  Tracking results using traditional template matching algorithm

      试验表明,在目标被遮挡或丢失时,与采用传统模板匹配算法目标丢失跟踪失败相比,本文中算法能有效地对目标实时稳定跟踪,具有较强的鲁棒性,算法效率高,可以应用于高精度稳定的目标跟踪。

    • 作者提出了高能激光照射下目标跟踪的一种新方法,基于局部特征对跟踪模板进行分块处理,选取稳定性最高的块模板对目标进行匹配跟踪,该算法能有效地解决由于高能激光反射引起强光干扰导致目标遮挡或丢失的问题,同时算法的延迟在2ms以内,高效保证了目标实时跟踪的稳定性和基于高能激光发射的超高精度跟踪系统的工作性能,具有较高的应用价值。

参考文献 (21)

目录

    /

    返回文章
    返回