-
红外视景仿真包括几何建模和红外辐射特性建模,3维几何建模由目标结构表观、多边形几何面片、可见光纹路等固有属性决定;红外特性建模包括零视距红外辐射特性建模和大气程辐射与大气透过率的近似计算[18]。目标场景的零视距红外特性由其物理材质属性、热源、热交换、热平衡等关键因素确定。故红外视景仿真建模的前提是完成目标/场景模型的物理属性、运动属性、材质属性及内部/局部热源、组成的进行调研,获取目标/场景环境温度、湿度、经纬度及高度等环境参量。根据目标/场景的红外物理材质属性、局部热源分布、太阳/云层等辐射热、环境之间的热交换以及3维几何面片之间的热传递,建立传热学第一原理,计算目标/场景模型的温度分布,根据斯蒂芬-玻尔兹曼定理[3],计算物体自身辐射信息,叠加太阳直接辐射和散射辐射、大气和环境热辐射信息,近似计算目标/场景的零视距红外辐射特性。在场景环境参量和目标/场景零视距红外辐射的前提下,估计目标/场景与成像视点之间的距离,计算红外成像的大气透过率和红外程辐射,大气透过率的作用是减少成像点获取目标/场景零视距红外辐射特性信息,大气红外程辐射的作用是叠加到目标/场景零视距红外辐射特性,形成在特定的距离、视角及姿态下所显现的红外仿真图像。
目标/场景环境的物理属性、材质信息根据经验获取并形成相应的文件,场景环境条件参量根据实际试验获取并记录,根据所得参量进行红外视景仿真建模,近似得到符合要求的红外目标/场景图像,并作用于实际试验视频图像数据,完成试验视频图像的去噪、去模糊运算,为后续的搜索跟踪提供最优视频图像。
目标/场景零视距红外辐射信息主要由材质属性[19]和物体表面温度[20]分布决定,红外辐射量理论近似计算模型做如下描述。
(1) 太阳短波辐照度:由太阳直射和太阳散射组成,与日期、经纬度、太阳高度、太阳方位角、太阳入射角、云层分布、物体面及其倾角密切相关。
(2) 大气长波辐射:
$ {E_{\rm{a}}} = \left( {0.61 + 0.05\sqrt {{e_{\rm{a}}}} } \right)\sigma {T_{\rm{a}}}^4 $
(1) 式中,σ=5.67×10-8(W·m-2·K-4)为斯蒂芬-玻尔兹曼常数,参量ea的表达式为:
$ \begin{array}{l} \;\;\;\;\;{e_{\rm{a}}} = {H_{\rm{r}}} \times 6.1 \times \\ \exp \left[ {\frac{{17.269\left( {{T_{\rm{a}}} - {T_0}} \right)}}{{{T_{\rm{a}}} - 35.86}}} \right] \end{array} $
(2) 式中,Ta为空气温度,T0为绝对零度,Hr表示相对湿度。
(3) 物体自发辐射(斯蒂芬-玻尔兹曼定理):
$ M = \varepsilon \times \sigma \times {T_0}^4 $
(3) 式中,To为物体表面温度,ε为物体表面辐射发射率,通常情况下To≠Ta。
(4) 显热交换通量:由物体与周围空气间的对流热交换产生,与大气温度、物体表面温度、风速、海拔高度等相关。
(5) 潜热交换通量(主要用于计算场景红外辐射,目标模型不需计算):物体表面与其内部的水分以蒸发的形式回到大气的现象,与大气温度、物体表面温度、相对湿度、风速、海拔高度相关。
(6) 热传导通量:物体表面与内部之间的温差决定,主要计算包含内部热源的物体。
综上所述, 物体表面辐射信息的影响因素,近似计算物体表面的热辐射量。
红外大气程辐射和大气透过率的理论近似计算归纳为:红外大气程辐射Lp和透过率τ在λ1~λ2波段内的理论计算采取对目标到成像视点之间的距离进行分层处理,表示成:
$ {L_{\rm{p}}} = \int_{{\lambda _1}}^{{\lambda _2}} {{L_{\rm{p}}}\left( \lambda \right)} {\rm{d}}\lambda $
(4) $ \tau = \int_{{\lambda _1}}^{{\lambda _2}} {\tau \left( \lambda \right)} {\rm{d}}\lambda $
(5) 式中,τ(λ)是单一波长的大气透过率,Lp(λ)为单一波长大气程辐射,由大气对太阳辐射的单次散射LSS(λ)、多次散射LMS(λ)、大气对地表热辐射的多次散射LMSS(λ)以及大气自身热辐射La(λ)的数值组成。LSS(λ), LMS(λ), LMSS(λ)采用大气学中的K分布算法进行近似计算,La(λ)表示为:
$ {L_{\rm{a}}}\left( \lambda \right) = \left[ {1 - \tau \left( \lambda \right)} \right]\int_R {B\left( {T, \lambda } \right)} {\rm{d}}r $
(6) 式中,R是总的大气路径; B(T, λ)为普朗克公式计算的大气路径中各层大气自身热辐射值;τ(λ)与大气路径对应的光学厚度k(λ)成负指数关系,可表示为:
$ \tau \left( \lambda \right) = \exp \left[ { - k\left( \lambda \right)} \right] $
(7) 式中,k(λ)由每一层的大气光学厚度ki(λ)累加而来,每一层的大气光学厚度由大气分子吸收光学厚度σMA(λ)、大气分子散射光学厚度kMS(λ)、气溶胶吸收光学厚度σAA(λ)和气溶胶散射光学厚度kAS(λ)组成。σMA(λ), kMS(λ), σAA(λ)和kAS(λ)按照分层距离对相应的吸收系数、散射系数进行积分得到。大气分子和气溶胶的吸收系数、散射系数与大气模式、战场经纬度、时间等信息密切相关。通过理论的近似计算,可以较精确地得到目标成像过程的红外大气程辐射和相应的大气透过率,从而计算目标模型的红外特征信息。
-
导向滤波算法[6]的核心思想是对输入图像按照给定的导向图像信息进行滤波处理,即导向滤波器将导向图像和输出图像之间在一个窗口区域内建立一种局部线性映射。因此,导引图像的细节和平滑信息有助于约束输入图像,使输出图像保持导向图像的边缘细节和平滑区域,故导向滤波算法具有保持边缘的作用,故导向图像的非常重要。导向滤波算法提出的主要目的是为了代替软抠图(soft matting, SM),实现暗通道去雾算法的实时运算。此时的导向图像由输入图像二值化,替换soft matting,计算输入图像(含雾)的透射率图像,从而实时有效的完成去雾操作。算法要求导向图像和输入图像大小一致,导向滤波算法可描述为:
$ {q_i} = {\alpha _k}{I_i} + {\beta _k}, \left( {i \in {\omega _k}} \right) $
(8) 式中, (αk, βk)为图像区域内满足线性关系的参量组,需要根据最优近似进行求解,Ii表示导向图像的某一区域, qi表示输出图像的某一区域,ωk为导向图像I的某一区域。参量组(αk, βk)利用最小二乘法估计得到,此处不考虑惩罚项带来的影响。采用下面的最小二乘估计来估计上述参量对。
$ E\left( {{\alpha _k}, {\beta _k}} \right) = \sum\limits_{i \in \omega k} {\left[ {{{\left( {{\alpha _k}{I_i} + {\beta _k} - {P_i}} \right)}^2} + \eta {\alpha _k}^2} \right]} $
(9) 式中,η是最小二乘拟合的参量,p表示输入图像。其解表示为:
$ {\alpha _k} = \frac{{\frac{1}{{\left| \mathit{\boldsymbol{\omega }} \right|}}\sum\limits_{i \in \omega k} {{I_i}{P_i} - {\mu _k}{{\bar p}_k}} }}{{{\sigma _k}^2 + \eta }} $
(10) $ {\beta _k} = {{\bar p}_k} - {\alpha _k}{\mu _k} $
(11) 式中,μk和σk2分别为导向图像区域块ωk的像素均值和方差; |ω|为导向图像区域块ωk的总像素数; ${{\bar p}_k} = \frac{1}{{\left| \mathit{\boldsymbol{\omega }} \right|}}\sum\limits_{i \in \omega k} {{p_i}} $表示输入图像对应区域块的像素值。根据上述公式,计算输出图像q:
$ {q_i} = \frac{1}{{\left| \mathit{\boldsymbol{\omega }} \right|}}\sum\limits_{k \in \omega i} {\left( {{\alpha _k}{I_i} + {\beta _k}} \right) = {{\bar \alpha }_i}{I_i} + {{\bar \beta }_i}} $
(12) $ {{\bar \alpha }_i} = \frac{1}{{\left| \mathit{\boldsymbol{\omega }} \right|}}\sum\limits_{k \in \omega i} {{\alpha _k}} $
(13) $ {{\bar \beta }_i} = \frac{1}{{\left| \mathit{\boldsymbol{\omega }} \right|}}\sum\limits_{k \in \omega i} {{\beta _k}} $
(14) 算法实现过程时,采用boxfilter算法来计算给定区域的均值和方差,boxfilter算法的复杂度是o(1),整个滤波算法复杂度也为o(1)。在一般计算机上,导向滤波算法的实现低于1ms。本文中主要是将红外仿真建模图像作为导向图像,对试验图像进行去噪声处理,既满足试验需求的实时性,又充分的发挥了导向滤波算法在去噪声领域的优点,得到比较满意的输出图像。
-
盲卷积去模糊算法[16]根据贝叶斯定理建立最大后验模型(maximum a posteriori, MAP),采用交替迭代算法求解模型,依次获得预估PSF和相应PSF条件下的最优图像。由于求解过程稍微复杂,需要在计算速度和图像质量之间进行权衡,同时需给定PSF区域大小和最大迭代次数。盲卷积去模糊算法根据贝叶斯定理,描述为:
$ \begin{array}{l} P\left( {\mathit{\boldsymbol{q}}, \mathit{\boldsymbol{f}}\left| \mathit{\boldsymbol{p}} \right.} \right) \propto P\left( {\mathit{\boldsymbol{p}}\left| \mathit{\boldsymbol{q}} \right., \mathit{\boldsymbol{f}}} \right)P\left( {\mathit{\boldsymbol{q}}, \mathit{\boldsymbol{f}}} \right) = \\ \;\;\;\;\;\;\;\;\;\;P\left( {\mathit{\boldsymbol{p}}\left| \mathit{\boldsymbol{q}} \right., \mathit{\boldsymbol{f}}} \right)P\left( \mathit{\boldsymbol{q}} \right)P\left( \mathit{\boldsymbol{f}} \right) \end{array} $
(15) 式中, q表示需求计算的结果图像,p表示输入图像,f表示未知的PSF函数。根据成像映射关系建立起的似然函数:
$ P\left( {\mathit{\boldsymbol{p}}\left| \mathit{\boldsymbol{q}} \right., \mathit{\boldsymbol{f}}} \right) \propto {\rm{exp}}\left( { - \frac{\gamma }{2}\left\| \mathit{\boldsymbol{q}} \right. * \mathit{\boldsymbol{f - p}}\left\| {^2} \right.} \right) $
(16) 式中,γ是超参量,P(q)和P(f)分别为结果图像函数和PSF函数的先验信息。
利用上述信息,建立MAP泛函模型:
$ \begin{array}{l} L\left( {\mathit{\boldsymbol{q}}, \mathit{\boldsymbol{f}}} \right) = - {\rm{In}}\left[ {P\left( {\mathit{\boldsymbol{q}}, \mathit{\boldsymbol{f}}\left| \mathit{\boldsymbol{p}} \right.} \right)} \right] + {\rm{const = }}\\ \frac{\gamma }{2}\left\| \mathit{\boldsymbol{q}} \right. * \mathit{\boldsymbol{f - p}}\left\| {_2^2} \right. + Q\left( \mathit{\boldsymbol{q}} \right) + R\left( \mathit{\boldsymbol{f}} \right) + {\rm{const}} \end{array} $
(17) 且Q(q)=-lnP(q), R(f)=-lnP(f),采用交替迭代数值求解上述泛函模型,依次得到估计的PSF函数f和最优的结果图像q。
-
本文中针对目标为十字靶标,材质为混泥土(反射率0.25,容积热容量1.466×106J/(m3·K), 导热系数0.906W/(m·K),发射率0.92),场景环境为平地,主要材质为土壤(反射率0.2,容积热容量2.302×106J/(m3·K), 导热系数0.213W/(m·K),发射率0.93),郊区,夏季,时间16:30,经度110°,纬度34°,阴天,大气温度34℃,湿度68%,无风,靶标表面近似计算的温度为38.6℃,靶标附近场景温度为35.9℃,靶标平放,成像距离300m,成像俯视角为60°。气溶胶类型为乡村型,在上述环境条件下,查询气溶胶粒子密度和粒子尺寸,以及大气分子,完成红外仿真视景图像建模,将此图像作为导向图像,进行导向滤波算法。导向滤波算法实现过程中,图像区域块ω取11×11,导向滤波算法计算过程小于1ms。盲卷积去模糊算法实现过程,选择点扩展函数f大小为33pixel×33pixel,用脉冲函数对其进行初始化,迭代次数设定为4,盲卷积去模糊算法耗时20ms左右。最终结果与中值滤波、双边滤波、维纳滤波等典型算法进行比较,采用计算输出图像的峰值信噪比和视觉图的方法进行比较。
-
本文中所设计的对比试验包括:维纳滤波算法、中值滤波算法、双边滤波算法、盲卷积滤波算法、导向滤波算法、导向滤波+盲卷积算法,结果如图 3~图 10所示,其中图 3为输入图像,图 8为导向图像。
-
通过计算图像的峰值信噪比(peak signal-to-noiseratio, PSNR)来评价算法的性能。PSNR定义为:
$ {R_{{\rm{PSNR}}}} = 10{\rm{Ig}}\left( {\frac{{{M^2}}}{{\frac{1}{{m \times n}}\left\| {\mathit{\boldsymbol{q - p}}} \right.\left\| {^2} \right.}}} \right) $
(18) 式中,M表示图像的最大数值,本文中取为255;m和n分别为图像的行数和列数。q表示输出图像(算法处理之后的图像),p表示输入图像(未处理的原始图像)。
相关算法的PSNR值的比较见表 1。其中,输入图像的信噪比未知,本文中算法能有效解决未知输入图像的噪声和模糊。
Table 1. PSNR and time of related algorithm
algorithm PSNR/dB time/ms median filter 36.0273 1.1 bilateral filter 36.7441 6.6 wiener filter 36.5463 12.2 blind deconvolution 35.7587 20.6 guided filter 38.5138 0.8 guided and blind deconvolution 40.3716 21.6 -
本文中提出的综合红外仿真技术、导向滤波和盲卷积去模糊的算法,有效地解决了导向滤波算法的导向图像来源问题,可进一步推广使用导向滤波算法。从上述图像和表 1可知,导向滤波算法运算非常快,比中值滤波运算快,同时保持图像边缘细节,单独采用导向滤波算法亦有很好的处理结果,对高实时性问题,建议单独使用导向滤波算法;盲卷积去模糊算法比较耗时,但是在不知道扰动模糊类型的情况下非常有效,但是单独采用盲卷积去模糊算法会对图像引入大量噪声,是不值得推荐的;对实时性要求不是很高的问题,建议综合导向滤波和盲卷积去模糊的算法,该算法能有效的处理成像噪声和扰动模糊。同时,针对成像噪声和模糊问题,原则上先处理噪声(保持细节不变的条件下),再处理模糊,这样不会去除图像本身的细节,同时很好的抑制噪声。导向滤波算法或导向滤波和盲卷积去模糊算法输出图像质量均优于经典滤波算法,同时导向滤波算法的运行时间亦优于典型滤波算法。
由此可见,依据红外仿真技术综合导向滤波算法和盲卷积去模糊算法可有效处理红外试验图像的噪声和扰动模糊。
基于红外视景仿真技术的导向滤波算法
Guided filtering based on infrared visual simulation
-
摘要: 为了实现红外图像去噪声、去模糊的目的,采用综合红外仿真建模技术、导向滤波和盲卷积去模糊的方法,分析了导向滤波算法在视觉图像中的原理,并提出了导向滤波算法的核心——导向图像;采用红外视景仿真技术生成导向图像,解决了导向图像来源问题,并综合导向滤波和盲卷积去模糊算法,有效去除了红外图像噪声和模糊。对综合算法进行了理论分析和实验验证,取得了较满意的试验结果。结果表明,导向滤波算法在处理时间(运行时间降低了25%,从1.1ms降到0.8ms)和运行结果(峰值信噪比从36.7441dB提高到38.5138dB,至少提高了4.5%)上均优于经典滤波算法,在非实时条件下具有很好的处理结果。该研究对红外图像的预处理算法提供了有效的参考。Abstract: To realize the purpose of infrared image de-noising and de-blurring, infrared simulation modeling, guided filtering and blind convolution methods were studied. The principle of guided filtering in visual was analyzed, and the key idea which is guided image was proposed. In order to conquer guided image in guided filtering method, simulation modeling was used to generate guided image to solve guided image. The guided filter and blind convolution were combined to pre-process infrared image in noise and blur. The theoretical analysis and experimental results were also studied. Result shows that guided filtering is better than the classical algorithm in processing time and result (time reduced 25%, from 1.1ms fall to 0.8ms, and peak signal-to-noise ratio result improve at least 4.5%, from 36.7441dB go up to 38.5138dB). This research provides an effective reference for the infrared image pre-process algorithm.
-
Key words:
- image processing /
- visual processing /
- visual simulation /
- guided filtering /
- blind deconvolution
-
Table 1. PSNR and time of related algorithm
algorithm PSNR/dB time/ms median filter 36.0273 1.1 bilateral filter 36.7441 6.6 wiener filter 36.5463 12.2 blind deconvolution 35.7587 20.6 guided filter 38.5138 0.8 guided and blind deconvolution 40.3716 21.6 -
[1] SHAN Q, XIONG W, JIA J. Rotational motion deblurring of a rigid object from a single image[C]//IEEE 11th International Conference on Computer Vision(ICCV). New York, USA: IEEE, 2007: 1-8. [2] HUANG X, ZHANG J Q, ZHANG Sh Z, et al. Realistic infrared image generation method of target[J]. Infrared and Laser Engineering, 2013, 42(4): 1084-1088(in Chinese). [3] HU H H, BAI Y Zh, GUO Ch G, et al. Long wave infrared scene simulation research based on zero stadia of landmark[J]. Acta Optica Sinica, 2012, 32(10): 1011002(in Chinese). doi: 10.3788/AOS201232.1011002 [4] LV Zh H, PAN X L, GONG G H, et al. Research on terrain background infrared radiation characteristics modeling and simulation[J]. Journal of China Academy of Electronics and Information Technology, 2017, 12(4): 420-427(in Chinese). [5] DING W L, LIU X M, FU Sh F, et al. Infrared radiation characterizations of large-scale complicated 3-D terrain backgrounds[J]. Journal of System Simulation, 2012, 24(12): 2521-2524(in Chinese). [6] HE K, SUN J, TANG X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2013, 35(6): 1397-1409. [7] HE K M, SUN J, TANG V. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12): 2341-2353. [8] LI X H, DONG A G, FENG J H. Regional fusion algorithm of images based on multistage guided filters[J]. Laser Technology, 2016, 40(5): 756-761(in Chinese). [9] LIU K J, MA R Sh, PANG Y N. A detail enhancement and denoising algorithm of high dynamic range infrared image based on double guided filter[J]. Journal of Graphics, 2018, 39(6): 1048-1054(in Chinese). [10] ZHAO Ch, HUANG Y D. Infrared and visible image fusion via rolling guided filtering and hybrid multi-scale decomposition[J]. Laser & Optoelectronics Progress, 2019, 56(14): 141007 (in Chinese). [11] GUO P Y, ZHANG B H. Infrared background suppression algorithm based on guided filtering and fuzzy algorithm[J]. Laser Technology, 2018, 42(6): 854-858(in Chinese). [12] RONG S H, ZHOU H X, QIN H L, et al. Guided filter and adaptive learning rate based non-uniformity correction algorithm for infrared focal plane array[J]. Infrared Physics & Technology, 2016, 76(5): 691-697. [13] ZHU S, BU X, ZHOU Q. A novel edge preserving active contour model using guided filter and harmonic surface function for infrared image segmentation[J]. IEEE Access, 2018, 6(99): 5493-5510. [14] LEVIN A, LISCHINSKI D, WEISS Y. A closed solution to natural image matting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 228-242. doi: 10.1109/TPAMI.2007.1177 [15] JOSHI N, SZELISKI R, KRIEGMAN D. PSF estimation using sharp edge prediction[C]//IEEE Conference on Computer Vision and Pattern Recognition(CVPR). New York, USA: IEEE, 2008: 1-8. [16] LEVIN A, WEISS Y, DURAND F, et al. Understanding blind deconvolution algorithm[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12): 2354-2367. [17] WANG X H, HUANG Zh Q, XIAO Y, et al. Deconvolution deblurring algorithm based on no-reference image quality evaluation[J]. Optical Instruments, 2019, 41(4): 14-21(in Chinese). [18] SONG F Y, LU Y, YANG X, et al. Simulation of infrared atmospheric transmittance based on measured data and parameter fitting[J]. Laser & Infrared, 2017, 47(2): 183-188(in Chinese). [19] YANG Y F, WU Zh S, CAO Y H. Scattering characteristics of complex background infrared radiation from a non-lambertian target[J]. Infrared and Laser Engineering, 2011, 40(5): 800-804(in Chin-ese). [20] LI H Y, BAI Y Zh, MA Sh, et al. Infrared imaging simulation system by ray tracing method[J]. Journal of System Simulation, 2011, 23(7): 1387-1391(in Chinese).