Advanced Search

ISSN1001-3806 CN51-1125/TN Map

Volume 44 Issue 4
Jul.  2020
Article Contents
Turn off MathJax

Citation:

Simulation model fidelity evaluation method based on key features

  • Corresponding author: ZHU Bin, wwzhzhcc@sina.com
  • Received Date: 2019-08-26
    Accepted Date: 2019-10-11
  • The method of extracting features of model, which was the core of tracking, was employed to evaluate the fidelity of infrared simulation model. By analyzing the kernel of tracking process, the image of a partial field around the center of target was chosen to evaluate the target model. Based on the existing evaluating methods of the infrared simulation model, a typical object-tracking algorithm was adopted to design the experiment. Following theoretical analysis, the corresponding experiment was then carried out. Result shows that the similar target model is more than 2 times as much as the dissimilar model based on the key features extracting method, and the difference between them can even get to 10 times. Therefore, the key feature extraction algorithm is a practical and feasible method to verify the validity of the target model. This evaluation method can provide theoretical guidance for the evaluation of model fidelity in the field of infrared target detection.
  • 加载中
  • [1]

    QU Y, TIAN X F, MA L H, et al. Application of VV & A in infrared target simulator and its fidelity evaluation[J]. Infrared, 2011, 32(7):28-33(in Chinese).
    [2]

    ZHOU Y F, ZHAO J, WANG D Y, et al. Detection and evaluation of fidelity and reliability of infrared target ship[J]. Infrared, 2013, 34(7):39-44(in Chinese).
    [3]

    LI H, WANG M, GUO Zh H, et al. Fidelity research on IR capturing and tracking device based on digital image injection simulation test[J]. Modern Defense Technology, 2018, 46(2): 193-201(in Chinese).
    [4]

    MA T, GENG M. Simulation of infrared target detection system[J]. Electro-Optic Technology Application, 2017, 32(2):62-67(in Chinese).
    [5]

    GONG Y, WANG Q Q, SHAN B, et al. Quantized fidelity evaluation scheme of laser target simulator[J].Infrared and Laser Engineering, 2016, 45(12):124-129(in Chinese).
    [6]

    TIAN X F, MA L H, ZHAO Sh H, et al. Fidelity evaluation scheme for IR target simulation[J].Semiconductor, 2012, 33(1):135-140(in Chinese).
    [7]

    LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.
    [8]

    BAY H, TUYTELAARS T, van GOOL L. Surf: Speeded up robust features[C]//The 9th European Conference on Computer Vision. Graz, Austria: Springer, 2006: 404-417.
    [9]

    BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2010: 2544-2550.
    [10]

    KRIZHEVSKY A, SUTSKEVER I, HINTON G. Image net classification with deep convolutional neural networks[C]// Twenty-fifth Conference on Neural Information Processing Systems. New York, USA: IEEE, 2012: 1097-1105.
    [11]

    NEYSHABUR B, BHOJANAPALLI S, MCALLESTER D, et al. Exploring generalization in deep learning[C]//Thirty-first Conference on Neural Information Processing Systems. New York, USA: IEEE, 2017: 5949-5958.
    [12]

    SONODA S, MURATA N. Neural network with unbounded activation functions is universal approximator[J]. Applied and Computational Harmonic Analysis, 2015, 43(2):233-268.
    [13]

    MA S, BELKIN M. Diving into the shallows: a computational perspective on large-scale shallow learning[C]//Thirty-first Conference on Neural Information Processing Systems. New York, USA: IEEE, 2017: 3781-3790.
    [14]

    HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3):583-596. doi: 10.1109/TPAMI.2014.2345390
    [15]

    REDMON J, FARHADI A. YOLO9000: Better, faster, stronger[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2017: 6517-6525.
    [16]

    DONAHUE J, JIA Y, VINYALS O, et al. DeCAF: A deep convolutional activation feature for generic visual recognition[C]//Proceedings of the 31st International Conference on Machine Learning. New York, USA: IEEE, 2014: 647-655.
    [17]

    ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks[C]//The 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014: 818-833.
    [18]

    LU Z, PU H, WANG F, et al. The expressive power of neural network: A view from the width[C]//Thirty-first Conference on Neural Information Processing Systems. New York, USA: IEEE, 2017: 6231-6239.
    [19]

    YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks?[C]//Twenty-eighth Conference on Neural Information Processing Systems. New York, USA: IEEE, 2014: 3320-3328.
    [20]

    HU H, ZHOU G T, DENG Z, et al. Learning structured inference neural networks with label relations[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2016: 2960-2968.
    [21]

    DENG Z, VAHDAT A, HU H, et al. Structure inference machine: Recurrent neural networks for analyzing relations in group activity recognition[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2016: 4772-4781.
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(5)

Article views(320) PDF downloads(3) Cited by()

Proportional views

Simulation model fidelity evaluation method based on key features

    Corresponding author: ZHU Bin, wwzhzhcc@sina.com
  • Southwest Institute of Technical Physics, Chengdu 610041, China

Abstract: The method of extracting features of model, which was the core of tracking, was employed to evaluate the fidelity of infrared simulation model. By analyzing the kernel of tracking process, the image of a partial field around the center of target was chosen to evaluate the target model. Based on the existing evaluating methods of the infrared simulation model, a typical object-tracking algorithm was adopted to design the experiment. Following theoretical analysis, the corresponding experiment was then carried out. Result shows that the similar target model is more than 2 times as much as the dissimilar model based on the key features extracting method, and the difference between them can even get to 10 times. Therefore, the key feature extraction algorithm is a practical and feasible method to verify the validity of the target model. This evaluation method can provide theoretical guidance for the evaluation of model fidelity in the field of infrared target detection.

引 言
  • 导引头半实物仿真试验要求目标/场景模型与真实目标/场景一致,需重点考虑目标尺度变化、遮挡、辐射信息等,因此加大了目标/场景的红外建模难度。若在给定的飞行轨迹、目标运动轨迹及复杂场景条件下,能定性分析和定量计算红外目标/场景模型的置信度,可逐步实现半实物仿真试验替代外场试验,从而提高导引头的研制效率,降低成本,缩短开发周期。高效实用的红外目标模型评估方法和相应模型数据库的建立在仿真方面有巨大的意义,是该领域的基础。

    最直观的方法是考虑场景/目标模型与实际拍摄红外图像来进行逐像素评估,利用统计分析和行业专家的主观经验来估计模型的逼真度。该方法简单可行,但从全局图像出发,忽略了成像过程的探测器光/电效应和图像内容,既不能充分说明图像的关键信息(如小目标), 又增加了目标/场景的红外辐射特性建模难度。不少研究者[1-5]通过分析半实物仿真试验中的目标模型传输流程,从目标模拟器方面来分析目标/场景的成像逼真度,但仅从传输的硬件入手评估无法解决模型源的真实逼真度。TIAN等人[6]提出等效逼真和过程逼真的概念,即深入分析目标模型在给定轨迹条件下与实际飞行条件中目标成像进行评估,对目标形状等效、面积等效、距离等效、辐射照度等效、辐射对比度等效指标进行评分和综合,完成目标模型逼真度的评估。该方案符合人眼视觉和传统跟踪算法中的时域模板匹配,但并不满足日益发展的跟踪需求,特别是初始阶段真实目标与伪目标并存的情况下,无法真实反映红外目标模型内在特征。

    现有方法没有从跟踪角度来分析红外仿真目标模型图像,仅仅从图像自身进行分析,忽略了目标模型仿真的实际意义。鉴于红外目标/场景模型图像的验证是现阶段半实物仿真试验的难点,且现有模型逼真度验证方法的不足,深入分析武器逼近中对红外目标的跟踪过程,在等效逼真原则下,本文中结合目标模型红外辐射特性建模流程和跟踪目标的关键特征提取算法,提出利用典型常用的跟踪算法的关键特征来验证红外目标模型图像的逼真度,并通过计算关键特征的均方差来量化模型的逼真度。

1.   仿真红外目标模型逼真度评估的前提
  • 评估红外仿真目标模型的前提是仿真目标模型图像与拍摄目标图像的成像条件一致,本文中采用起始等效逼真和过程等效逼真的观念[6],同时按照红外仿真建模的条件和流程对目标进行建模。

    起始等效逼真指末制导阶段开启图像功能并完成目标的搜索过程,将目标移至成像视场中心。过程逼真指跟踪逼近过程中,由于跟踪扰动或目标运动,成像视点均锁定目标,目的始终是将目标移至成像中心。起始等效逼真和过程逼真必须明确此刻的距离、角度、环境参量以及成像视场、成像分辨率、目标固有几何参量与物理属性等客观参量。目标固有几何参量指外观尺寸大小、部件组成、纹理等信息,物理属性指各部件的材质特性以及局部先验信息,物理属性与环境参量、距离、角度同时决定目标的红外辐射,显现为目标模型的灰度值、对比度等信息。结合实际场景和目标信息,基于热辐射原理,同时考虑目标与场景之间的散射辐射以及大气传输效应,对武器成像时的目标进行红外辐射特性建模。在等效逼真的前提下,采用提出的关键特征方法来评价目标模型图像与实际目标图像之间的逼真度。由于红外目标模拟器对仿真目标模型信息的损失在设计时已固定,已知目标模拟器的光学畸变等误差上界,故本文中暂不分析目标模拟器在仿真目标模型逼真度中的作用。

2.   模型评估的详细分析与评判标准设计
  • 本文中的核心是通过分析现有目标模型逼真度评价方法和目标模拟器在目标模型中的评估作用,深入剖析跟踪对真实目标红外辐射特性和目标红外模型的关键特征提取算法,提出在等效逼真和过程逼真的前提下目标辐射特性建模的侧重点应该符合实际跟踪算法处理的核心内容:关键特征,而不是目标/场景模型图像与实际红外成像逐像素一致。同时关键特征应从常用典型跟踪算法入手,不仅仅是传统的模板匹配跟踪算法。故目标模型逼真度的评估验证应以常用典型跟踪算法为基准,利用各跟踪算法提取目标模型图像关键特征描述来评估目标模型的逼真度;同时通过分析大量跟踪视频及跟踪过程,跟踪所关注的重点区域为包含目标模型的中心区域,而不是整幅图像(因为现阶段有效的跟踪算法仅仅能处理目标在成像视场内,对于目标长期在视场外的情况基本无法再次捕获并跟踪目标;稳定跟踪过程中,目标位于视场边缘或突变到视场外的时间非常短暂)。

    在下一节中, 详细设计所提出的目标模型逼真度评价方法时,遵循上述初始等效逼真和过程逼真的原则,详细分析常用典型跟踪的特征提取算法,选择目标红外辐射特性建模图像与实际目标辐射图像来提取关键特征进行描述评估,分析常用跟踪算法的特征提取,将特征量化并根据量化结果给出模型的逼真度值。

    (1) 模板匹配的跟踪算法过程重点关注目标面积和目标量化辐照对比度两个特征。在等效逼真前提下,计算仿真目标模型与拍摄目标图像的面积和辐射对比度特征均方差的加权和为:

    式中,α1α2为加权系数。

    (2) 基于关键特征点的跟踪算法,本文中采用尺度不变特征变换[7-8](scale invariant feature transform,SIFT)特征点提取算法,SIFT算法提取目标模型和拍摄目标图像的关键点特征,包括位置、尺度及方向等信息的点特征,利用此不变特征,利用SIFT特征描述子的信息组成(每一特征由128维向量组成)的加权均方差:

    式中,αk为加权系数,n为相对应的特征点总数,Vs, k(x1, x2, …, x128)为仿真目标模型对应的第k个特征点,每一特征点的描述由128维向量表征,Vk(x1, x2, …, x128)为实际拍摄目标图像对应的第k个特征点。

    (3) 基于相关滤波的跟踪算法,相关算法分别计算仿真目标模型和拍摄目标图像的最优滤波器[9],将计算得到的两个最优滤波器(即相关跟踪算法的特征)进行均方差:

    式中, i, j为滤波器大小,Xs, i, j表示目标模型图像最优滤波器,Xi, j表示实际拍摄图像最优滤波器。

    (4) 基于深度学习的跟踪算法,分别计算将仿真目标模型和拍摄目标图像输入训练卷积神经网络[10-13]得到的全连接层中的主要权系数(即为此跟踪算法所关注的特征)的加权均方差为:

    式中, n表示神经网络全连接层的主要特征数,αk为相应的加权系数,i, j为相应特征的大小,Xs, k, i, j表示目标模型图像的第k个特征,Xk, i, j表示实际拍摄图像的第k个特征。

3.   算法的试验设计与分析
  • 本文中详细分析了常用典型目标模型逼真度评估试验设计中涉及的目标跟踪特征提取算法,为接下来的试验结果分析提供基础。试验设计遵循等效逼真和过程逼真的原则,即试验中所采用的仿真目标模型图像与外拍目标图像具有相同的成像距离、成像角度、3维几何参量信息以及环境条件,对某些无法获取的实际图像,本文中尽量保证仿真目标模型图像和实际外拍图像的一致性。

  • 模板匹配跟踪算法利用的目标特征包括目标形状、面积、辐射对比度、辐射照度等,该算法具有简单、实时、高效、灵活的优势,是最常用的跟踪算法。大多的红外目标模型逼真度评估方法均以该算法为依据,结合行业专家主观判断或行业专家加权综合判断。此方法优于逐像素的统计分析方法,也是现阶段该领域大多数研究人员所采用的评估验证方法。通过计算目标模型图像和实际目标图像的等效面积和等效灰度对比度两类关键特征,在给定加权系数的条件下,计算该特征的加权均方差,该值说明目标模型的逼真度。

  • 图像最重要的信息是其包含的关键特征点,可通过特征点来描述整幅图像。基于关键特征点的提取方法,如SIFT算法,具有尺度和旋转不变性、抗遮挡等优点,已经大量应用于目标的跟踪和检测匹配。基于关键特征不变点的提取过程来指导目标模型的红外特性建模具有实际意义,根据关键特征点的描述可逆推得到目标模型的重点建模部分。通过计算目标模型图像和实际目标图像相匹配的关键特征点描述子的均方差加权求和来阐述目标模拟的逼真度。

    SIFT算法提取图像关键特征点的主要流程包括:(1)图像金字塔尺度空间的构建和极值检测;(2)关键特征点的定位与非极值点的抑制;(3)特征点方向的确定;(4)关键特征点的描述。

  • 相关滤波跟踪算法于2010年首次在学术界提出,该算法利用最小化平方和误差来迭代计算最优滤波器,使滤波器与输入图像的卷积响应达到最优峰值,在跟踪过程中,根据当前帧的滤波器和计算得到的位置模型更新下一帧的滤波器和位置模型,完成对目标的跟踪。该算法具有计算速率快、稳定等优点,研究人员在相关滤波算法的基础上提出了核相关滤波算法(kernel correlation filter, KCF)等[14]实时高效的跟踪算法。相关滤波算法通过输入多帧图像和初始的滤波器,迭代计算所需的最优滤波器模型,可简单表述为:

    式中,H*为所需求解的最优滤波器,Fl为输入图像的局部区域,Gl=Fl·H*。上述最优问题表示为:H*=$\frac{{\sum\limits_l {{G_l} \cdot {F_l}} }}{{\sum\limits_l {{F_l} \cdot {F_l}} }}$,跟踪过程中采用在线更新策略,即逐次迭代后Hl*=Al/Bl,其中, Al=ηGl·Fl+(1-η)Al-1Bl=ηFl·Fl+(1-η)Bl-1η为学习率。

    通过计算跟踪过程的最优滤波器的均方差来说明目标模型图像和实际目标图像的逼真度。

  • 深度学习的实质是表示学习算法,通过建立深层次的网络连接,利用大量训练样本来提取图像的隐式特征,对特征进行有效的表示,从而解决所面临的计算机视觉问题。本试验的设计目的是利用网络学习来提取目标模型图像与实际目标图像的卷积特征,采用迁移学习的主框架[15],提取全连接层中主要的目标卷积表示特征,采用加权求均方差的方法评价目标模型图像的逼真度。

    基于深度学习特征可靠性[16-21]迁移框架的目标关键特征流程可描述为:(1)选用成熟的深度学习框架,利用开源数据库对框架进行参量学习;(2)挑选开源数据库中的车辆图像对框架参量进行重点学习;(3)冻结框架中的大部分参量,输入给定的试验图像(图像经过旋转可得到多个样本),训练框架最后的全连接层,该层重点提取小样本中的关键特征; (4)输出全连接层的参量特征,进行统计比对试验。

4.   试验结果数据分析
  • 本文中根据试验设计与分析的内容,给出下列正反两对试验数据,图 1为所给定的两组试验图像数据(大小均为69pixel×143pixel)。依次为:卡车长波红外模型图像、长波红外实际拍摄卡车图像(对照试验);坦克长波红外模型图像、长波红外实际拍摄坦克图像(设计试验)。卡车图像为不同类型的卡车图像,目标面积、对比度等信息均有一定的差异,以此组图像作为对照试验,从反面来说明不同类型的模型跟踪算法所提取的特征非常不同。坦克图像为同类型坦克的红外仿真模型图像和实际拍摄图像,设计此图像的目的是为了从正面肯定本文中提出的方法。

    Figure 1.  Two sets of test images (truck and tank)

    在(1)式中,权重系数均取0.5,将目标灰度均值归一化到和面积(目标像素所占图像像素比)等效条件下,利用(1)式计算卡车图像面积和对比度特征的均方差为0.29,坦克图像面积和对比度特征的均方差为0.02。

    通过SIFT关键特征点(见图 2)的提取算法得到两张卡车图像总特征点均取25个,相匹配的特征点为5个;两张坦克图像总特征点取50个,相匹配的特征点为30个。在(2)式中,因为特征点总数和相匹配特征点数目的不一致,故卡车图像的权重系数取(5/25)-1×1/5=5×0.2,坦克图像的权重系数为(30/50)-1×1/30=5/3×1/30。利用(2)式计算卡车图像关键特征点的均方差为60.48,坦克图像关键特征点的均方差为16.26。

    Figure 2.  SIFT features of truck and tank

    通过相关滤波算法求取最优滤波器得到的卡车和坦克最优滤波器特征(见图 3),利用(3)式计算卡车图像最优滤波器特征的均方差为44.11,坦克图像最优滤波器的均方差为10.36。

    Figure 3.  Optimal filtering features of truck and tank

    通过卷积网络提取给定图像的全卷积层主要特征(见图 4图 5),在(4)式中,权重系数取1/36,利用(4)式计算的卡车图像卷积特征的均方差为41.22,坦克图像卷积特征的均方差为22.07。

    Figure 4.  Truck convolution neural network full-connection layer coefficients

    Figure 5.  Tank convolution neural network full-connection layer coefficients

    从上面给定的数据可知,对照试验组的均方差均是设计试验组的均方差的2倍以上。由于模板匹配中需要的目标面积和灰度均值为百分比格式,且外拍实际卡车图像与仿真卡车模型图像平均灰度值相差较大,故均方差比坦克图像的面积和对比度均方差相差10倍以上。(2)式的权重系数考虑了匹配的特征点数目与总特征点数目的比值后再取均值。

    通过上述试验及结果分析可知,本文中提出的方法在目标模型逼真度的评估方面有一定的效果,基于前人的等效逼真前提下,拓展了行业内仅考虑逐像素级评估和目标图像面积、对比度等特征的主观综合评价。该方法简单可行且符合实际情况,但由于现阶段行内领域缺乏有效的红外目标模型标准数据库,故此方法并未达到非常满意的结果,建立用于实验验证行业领域的红外目标模型标准数据库是接下来的研究方向之一。

5.   结 论
  • 本文中提出了一种有效的方法来评估仿真红外目标模型:利用跟踪过程提取的目标关键特征算法来评估仿真红外目标模型的逼真度,并重点考虑以目标模型为中心图像。设计分析了现阶段典型常用的跟踪算法的特征提取,在等效逼真前提下计算了给定目标图像对的逼真度,从正反两方面说明了基于目标图像关键特征来验证目标模型的有效性。

    红外目标/场景模型的逼真度验证是行业内的一大难点,现阶段主要根据行业专家的经验,结合外拍实际红外目标图像(可能并不是等效逼真前提下),给出综合的评价,实际应用中非常受限。本文中所设计的验证计算方案具有显著的效果和可行的操作,具有一定的说服力,因行业缺乏标准的红外目标模型数据库,故试验结果不尽人意,但是从跟踪算法的关键特征和接下的对目标模型库的建立是仿真试验验证的发展方向。建立红外目标/场景标准数据库对红外半实物仿真试验意义重大,可实现半实物仿真试验代替外场试验的可能性。

Reference (21)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return