Simulation model fidelity evaluation method based on key features

HE Yide; ZHU Bin; WANG Xun; CHEN Hao; JIA Jing

doi:10.7510/jgjs.issn.1001-3806.2020.04.020

The method of extracting features of model, which was the core of tracking, was employed to evaluate the fidelity of infrared simulation model. By analyzing the kernel of tracking process, the image of a partial field around the center of target was chosen to evaluate the target model. Based on the existing evaluating methods of the infrared simulation model, a typical object-tracking algorithm was adopted to design the experiment. Following theoretical analysis, the corresponding experiment was then carried out. Result shows that the similar target model is more than 2 times as much as the dissimilar model based on the key features extracting method, and the difference between them can even get to 10 times. Therefore, the key feature extraction algorithm is a practical and feasible method to verify the validity of the target model. This evaluation method can provide theoretical guidance for the evaluation of model fidelity in the field of infrared target detection.

HTML

引言

导引头半实物仿真试验要求目标/场景模型与真实目标/场景一致，需重点考虑目标尺度变化、遮挡、辐射信息等，因此加大了目标/场景的红外建模难度。若在给定的飞行轨迹、目标运动轨迹及复杂场景条件下，能定性分析和定量计算红外目标/场景模型的置信度，可逐步实现半实物仿真试验替代外场试验，从而提高导引头的研制效率，降低成本，缩短开发周期。高效实用的红外目标模型评估方法和相应模型数据库的建立在仿真方面有巨大的意义，是该领域的基础。

最直观的方法是考虑场景/目标模型与实际拍摄红外图像来进行逐像素评估，利用统计分析和行业专家的主观经验来估计模型的逼真度。该方法简单可行，但从全局图像出发，忽略了成像过程的探测器光/电效应和图像内容，既不能充分说明图像的关键信息(如小目标), 又增加了目标/场景的红外辐射特性建模难度。不少研究者^[1-5]通过分析半实物仿真试验中的目标模型传输流程，从目标模拟器方面来分析目标/场景的成像逼真度，但仅从传输的硬件入手评估无法解决模型源的真实逼真度。TIAN等人^[6]提出等效逼真和过程逼真的概念，即深入分析目标模型在给定轨迹条件下与实际飞行条件中目标成像进行评估，对目标形状等效、面积等效、距离等效、辐射照度等效、辐射对比度等效指标进行评分和综合，完成目标模型逼真度的评估。该方案符合人眼视觉和传统跟踪算法中的时域模板匹配，但并不满足日益发展的跟踪需求，特别是初始阶段真实目标与伪目标并存的情况下，无法真实反映红外目标模型内在特征。

现有方法没有从跟踪角度来分析红外仿真目标模型图像，仅仅从图像自身进行分析，忽略了目标模型仿真的实际意义。鉴于红外目标/场景模型图像的验证是现阶段半实物仿真试验的难点，且现有模型逼真度验证方法的不足，深入分析武器逼近中对红外目标的跟踪过程，在等效逼真原则下，本文中结合目标模型红外辐射特性建模流程和跟踪目标的关键特征提取算法，提出利用典型常用的跟踪算法的关键特征来验证红外目标模型图像的逼真度，并通过计算关键特征的均方差来量化模型的逼真度。

1. 仿真红外目标模型逼真度评估的前提

评估红外仿真目标模型的前提是仿真目标模型图像与拍摄目标图像的成像条件一致，本文中采用起始等效逼真和过程等效逼真的观念^[6]，同时按照红外仿真建模的条件和流程对目标进行建模。

起始等效逼真指末制导阶段开启图像功能并完成目标的搜索过程，将目标移至成像视场中心。过程逼真指跟踪逼近过程中，由于跟踪扰动或目标运动，成像视点均锁定目标，目的始终是将目标移至成像中心。起始等效逼真和过程逼真必须明确此刻的距离、角度、环境参量以及成像视场、成像分辨率、目标固有几何参量与物理属性等客观参量。目标固有几何参量指外观尺寸大小、部件组成、纹理等信息，物理属性指各部件的材质特性以及局部先验信息，物理属性与环境参量、距离、角度同时决定目标的红外辐射，显现为目标模型的灰度值、对比度等信息。结合实际场景和目标信息，基于热辐射原理，同时考虑目标与场景之间的散射辐射以及大气传输效应，对武器成像时的目标进行红外辐射特性建模。在等效逼真的前提下，采用提出的关键特征方法来评价目标模型图像与实际目标图像之间的逼真度。由于红外目标模拟器对仿真目标模型信息的损失在设计时已固定，已知目标模拟器的光学畸变等误差上界，故本文中暂不分析目标模拟器在仿真目标模型逼真度中的作用。

2. 模型评估的详细分析与评判标准设计

本文中的核心是通过分析现有目标模型逼真度评价方法和目标模拟器在目标模型中的评估作用，深入剖析跟踪对真实目标红外辐射特性和目标红外模型的关键特征提取算法，提出在等效逼真和过程逼真的前提下目标辐射特性建模的侧重点应该符合实际跟踪算法处理的核心内容：关键特征，而不是目标/场景模型图像与实际红外成像逐像素一致。同时关键特征应从常用典型跟踪算法入手，不仅仅是传统的模板匹配跟踪算法。故目标模型逼真度的评估验证应以常用典型跟踪算法为基准，利用各跟踪算法提取目标模型图像关键特征描述来评估目标模型的逼真度；同时通过分析大量跟踪视频及跟踪过程，跟踪所关注的重点区域为包含目标模型的中心区域，而不是整幅图像(因为现阶段有效的跟踪算法仅仅能处理目标在成像视场内，对于目标长期在视场外的情况基本无法再次捕获并跟踪目标；稳定跟踪过程中，目标位于视场边缘或突变到视场外的时间非常短暂)。

在下一节中, 详细设计所提出的目标模型逼真度评价方法时，遵循上述初始等效逼真和过程逼真的原则，详细分析常用典型跟踪的特征提取算法，选择目标红外辐射特性建模图像与实际目标辐射图像来提取关键特征进行描述评估，分析常用跟踪算法的特征提取，将特征量化并根据量化结果给出模型的逼真度值。

(1) 模板匹配的跟踪算法过程重点关注目标面积和目标量化辐照对比度两个特征。在等效逼真前提下，计算仿真目标模型与拍摄目标图像的面积和辐射对比度特征均方差的加权和为：

式中，α₁和α₂为加权系数。

(2) 基于关键特征点的跟踪算法，本文中采用尺度不变特征变换^[7-8](scale invariant feature transform，SIFT)特征点提取算法，SIFT算法提取目标模型和拍摄目标图像的关键点特征，包括位置、尺度及方向等信息的点特征，利用此不变特征，利用SIFT特征描述子的信息组成(每一特征由128维向量组成)的加权均方差：

式中，α_k为加权系数，n为相对应的特征点总数，V_{s, k}(x₁, x₂, …, x₁₂₈)为仿真目标模型对应的第k个特征点，每一特征点的描述由128维向量表征，V_k(x₁, x₂, …, x₁₂₈)为实际拍摄目标图像对应的第k个特征点。

(3) 基于相关滤波的跟踪算法，相关算法分别计算仿真目标模型和拍摄目标图像的最优滤波器^[9]，将计算得到的两个最优滤波器(即相关跟踪算法的特征)进行均方差：

式中, i, j为滤波器大小，X_{s, i, j}表示目标模型图像最优滤波器，X_{i, j}表示实际拍摄图像最优滤波器。

(4) 基于深度学习的跟踪算法，分别计算将仿真目标模型和拍摄目标图像输入训练卷积神经网络^[10-13]得到的全连接层中的主要权系数(即为此跟踪算法所关注的特征)的加权均方差为：

式中, n表示神经网络全连接层的主要特征数，α_k为相应的加权系数，i, j为相应特征的大小，X_{s, k, i, j}表示目标模型图像的第k个特征，X_{k, i, j}表示实际拍摄图像的第k个特征。

3. 算法的试验设计与分析

本文中详细分析了常用典型目标模型逼真度评估试验设计中涉及的目标跟踪特征提取算法，为接下来的试验结果分析提供基础。试验设计遵循等效逼真和过程逼真的原则，即试验中所采用的仿真目标模型图像与外拍目标图像具有相同的成像距离、成像角度、3维几何参量信息以及环境条件，对某些无法获取的实际图像，本文中尽量保证仿真目标模型图像和实际外拍图像的一致性。

3.1. 基于模板匹配的跟踪算法

模板匹配跟踪算法利用的目标特征包括目标形状、面积、辐射对比度、辐射照度等，该算法具有简单、实时、高效、灵活的优势，是最常用的跟踪算法。大多的红外目标模型逼真度评估方法均以该算法为依据，结合行业专家主观判断或行业专家加权综合判断。此方法优于逐像素的统计分析方法，也是现阶段该领域大多数研究人员所采用的评估验证方法。通过计算目标模型图像和实际目标图像的等效面积和等效灰度对比度两类关键特征，在给定加权系数的条件下，计算该特征的加权均方差，该值说明目标模型的逼真度。

3.2. 基于关键特征点的跟踪算法

图像最重要的信息是其包含的关键特征点，可通过特征点来描述整幅图像。基于关键特征点的提取方法，如SIFT算法，具有尺度和旋转不变性、抗遮挡等优点，已经大量应用于目标的跟踪和检测匹配。基于关键特征不变点的提取过程来指导目标模型的红外特性建模具有实际意义，根据关键特征点的描述可逆推得到目标模型的重点建模部分。通过计算目标模型图像和实际目标图像相匹配的关键特征点描述子的均方差加权求和来阐述目标模拟的逼真度。

SIFT算法提取图像关键特征点的主要流程包括：(1)图像金字塔尺度空间的构建和极值检测；(2)关键特征点的定位与非极值点的抑制；(3)特征点方向的确定；(4)关键特征点的描述。

3.3. 基于相关滤波的跟踪算法

相关滤波跟踪算法于2010年首次在学术界提出，该算法利用最小化平方和误差来迭代计算最优滤波器，使滤波器与输入图像的卷积响应达到最优峰值，在跟踪过程中，根据当前帧的滤波器和计算得到的位置模型更新下一帧的滤波器和位置模型，完成对目标的跟踪。该算法具有计算速率快、稳定等优点，研究人员在相关滤波算法的基础上提出了核相关滤波算法(kernel correlation filter, KCF)等^[14]实时高效的跟踪算法。相关滤波算法通过输入多帧图像和初始的滤波器，迭代计算所需的最优滤波器模型，可简单表述为：

式中，H^*为所需求解的最优滤波器，F_l为输入图像的局部区域，G_l=F_l·H^*。上述最优问题表示为：H^*=$\frac{{\sum\limits_l {{G_l} \cdot {F_l}} }}{{\sum\limits_l {{F_l} \cdot {F_l}} }}$，跟踪过程中采用在线更新策略，即逐次迭代后H_l^*=A_l/B_l，其中, A_l=ηG_l·F_l+(1-η)A_l-1，B_l=ηF_l·F_l+(1-η)B_l-1，η为学习率。

通过计算跟踪过程的最优滤波器的均方差来说明目标模型图像和实际目标图像的逼真度。

3.4. 基于深度学习的跟踪算法

深度学习的实质是表示学习算法，通过建立深层次的网络连接，利用大量训练样本来提取图像的隐式特征，对特征进行有效的表示，从而解决所面临的计算机视觉问题。本试验的设计目的是利用网络学习来提取目标模型图像与实际目标图像的卷积特征，采用迁移学习的主框架^[15]，提取全连接层中主要的目标卷积表示特征，采用加权求均方差的方法评价目标模型图像的逼真度。

基于深度学习特征可靠性^[16-21]迁移框架的目标关键特征流程可描述为：(1)选用成熟的深度学习框架，利用开源数据库对框架进行参量学习；(2)挑选开源数据库中的车辆图像对框架参量进行重点学习；(3)冻结框架中的大部分参量，输入给定的试验图像(图像经过旋转可得到多个样本)，训练框架最后的全连接层，该层重点提取小样本中的关键特征; (4)输出全连接层的参量特征，进行统计比对试验。

5. 结论

本文中提出了一种有效的方法来评估仿真红外目标模型：利用跟踪过程提取的目标关键特征算法来评估仿真红外目标模型的逼真度，并重点考虑以目标模型为中心图像。设计分析了现阶段典型常用的跟踪算法的特征提取，在等效逼真前提下计算了给定目标图像对的逼真度，从正反两方面说明了基于目标图像关键特征来验证目标模型的有效性。

红外目标/场景模型的逼真度验证是行业内的一大难点，现阶段主要根据行业专家的经验，结合外拍实际红外目标图像(可能并不是等效逼真前提下)，给出综合的评价，实际应用中非常受限。本文中所设计的验证计算方案具有显著的效果和可行的操作，具有一定的说服力，因行业缺乏标准的红外目标模型数据库，故试验结果不尽人意，但是从跟踪算法的关键特征和接下的对目标模型库的建立是仿真试验验证的发展方向。建立红外目标/场景标准数据库对红外半实物仿真试验意义重大，可实现半实物仿真试验代替外场试验的可能性。

Reference (21)

[1]	QU Y, TIAN X F, MA L H. Application of VV & A in infrared target simulator and its fidelity evaluation[J]. Infrared, 2011, 32(7): 28-33.
[2]	ZHOU Y F, ZHAO J, WANG D Y. Detection and evaluation of fidelity and reliability of infrared target ship[J]. Infrared, 2013, 34(7): 39-44.
[3]	LI H, WANG M, GUO Zh H. Fidelity research on IR capturing and tracking device based on digital image injection simulation test[J]. Modern Defense Technology, 2018, 46(2): 193-201.
[4]	MA T, GENG M. Simulation of infrared target detection system[J]. Electro-Optic Technology Application, 2017, 32(2): 62-67.
[5]	GONG Y, WANG Q Q, SHAN B. Quantized fidelity evaluation scheme of laser target simulator[J]. Infrared and Laser Engineering, 2016, 45(12): 124-129.
[6]	TIAN X F, MA L H, ZHAO Sh H. Fidelity evaluation scheme for IR target simulation[J]. Semiconductor, 2012, 33(1): 135-140.
[7]	LOWE D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.
[8]	BAY H, TUYTELAARS T, van GOOL L. Surf: Speeded up robust features[C]//The 9th European Conference on Computer Vision. Graz, Austria: Springer, 2006: 404-417.
[9]	BOLME D S, BEVERIDGE J R, DRAPER B A, et al. Visual object tracking using adaptive correlation filters[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2010: 2544-2550.
[10]	KRIZHEVSKY A, SUTSKEVER I, HINTON G. Image net classification with deep convolutional neural networks[C]// Twenty-fifth Conference on Neural Information Processing Systems. New York, USA: IEEE, 2012: 1097-1105.
[11]	NEYSHABUR B, BHOJANAPALLI S, MCALLESTER D, et al. Exploring generalization in deep learning[C]//Thirty-first Conference on Neural Information Processing Systems. New York, USA: IEEE, 2017: 5949-5958.
[12]	SONODA S, MURATA N. Neural network with unbounded activation functions is universal approximator[J]. Applied and Computational Harmonic Analysis, 2015, 43(2): 233-268.
[13]	MA S, BELKIN M. Diving into the shallows: a computational perspective on large-scale shallow learning[C]//Thirty-first Conference on Neural Information Processing Systems. New York, USA: IEEE, 2017: 3781-3790.
[14]	HENRIQUES J F, CASEIRO R, MARTINS P. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 37(3): 583-596. doi: 10.1109/TPAMI.2014.2345390
[15]	REDMON J, FARHADI A. YOLO9000: Better, faster, stronger[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2017: 6517-6525.
[16]	DONAHUE J, JIA Y, VINYALS O, et al. DeCAF: A deep convolutional activation feature for generic visual recognition[C]//Proceedings of the 31st International Conference on Machine Learning. New York, USA: IEEE, 2014: 647-655.
[17]	ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks[C]//The 13th European Conference on Computer Vision. Zurich, Switzerland: Springer, 2014: 818-833.
[18]	LU Z, PU H, WANG F, et al. The expressive power of neural network: A view from the width[C]//Thirty-first Conference on Neural Information Processing Systems. New York, USA: IEEE, 2017: 6231-6239.
[19]	YOSINSKI J, CLUNE J, BENGIO Y, et al. How transferable are features in deep neural networks?[C]//Twenty-eighth Conference on Neural Information Processing Systems. New York, USA: IEEE, 2014: 3320-3328.
[20]	HU H, ZHOU G T, DENG Z, et al. Learning structured inference neural networks with label relations[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2016: 2960-2968.
[21]	DENG Z, VAHDAT A, HU H, et al. Structure inference machine: Recurrent neural networks for analyzing relations in group activity recognition[C]//Proceeding of the IEEE Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2016: 4772-4781.

Simulation model fidelity evaluation method based on key features

Abstract

References

Proportional views

通讯作者: 陈斌, bchen63@163.com

Proportional views

Simulation model fidelity evaluation method based on key features

Corresponding author: ZHU Bin, wwzhzhcc@sina.com;