-
红外成像系统在稳定平台下随着转台的运动进行周视扫描,实现方位角360°大视场监测,当红外成像系统连续扫描未补偿时,红外相机所拍摄的图像存在严重的拖尾现象。回扫补偿型红外成像系统可以在分辨率没有明显降低的情况下实现对视场内的目标检测[15]。
根据摆镜所处位置不同,回扫补偿结构一般分为物方扫描与像方扫描两种基本结构[16]。物方扫描结构中的摆镜位于光学系统前方[17],因此结构简单,对光学系统成像无影响,但由于光学系统口径受摆镜镜片尺寸限制,只能应用在焦距较短、视场较大的系统中;而像方扫描结构中摆镜位于前置望远系统及2次成像物镜之间,由于可使用前置的望远系统来压缩光束的口径,因此通常应用在长焦系统中,但此类系统结构复杂,摆镜扫描角度高,扫描过程对主光线入射角度变化较大[18-19]。两种回扫补偿结构示意图如图 1所示。
由两种类型的回扫补偿结构示意图可知,红外成像系统转台的转速为ω,在物方扫描下,需要补偿的反向摆镜摆速ω1为ω/2;在像方扫描下,望远镜放大倍率为K,需要补偿的反向摆镜摆速ω2为Kω/2。
探测器随方位转台进行匀速扫描时,场景图像f(x, y)在探测器上的结果为:
$ g(x, y)=\int_0^T f\left(x-x_0(t), y\right) \mathrm{d} t+n(x, y) $
(1) 式中: T为探测器积分时间; n(x, y)为探测器和电路噪声总和; x0(t)表示运动时间变化参数,周扫转台匀速扫描成像时:
$ x_0(t)=D \times \frac{t}{T} $
(2) 式中: D为像移,可以通过探测器积分时间和转台转速的关系来确定。
红外成像系统在方位转台上进行周扫成像时,红外相机与实际场景之间的相对运动会造成图像一定程度的拖尾像移[20]。针对此问题,通过摆镜回扫补偿的方式可大幅提高成像质量[21], 而对于成像后的红外图像质量评价则必不可少,通常利用质量评价算法对其成像质量进行评估。
-
通过回扫补偿型红外成像原理可知,回扫补偿系统图像退化的主要原因是周扫系统成像过程中红外相机与实际场景之间的相对运动造成图像的边缘失真[21],为此本文中分析了两种常用的图像质量评价方法,并对其在红外回扫补偿系统图像评价方面的性能指标进行分析及测试。
-
SSIM算法是通过计算原始图像与失真图像之间的亮度、对比度及结构度之间的差异来对失真图像进行质量评价,相比一般的全参考质量评估算法更加符合人眼视觉系统的判断。计算过程如图 2所示。
由原理图可知,SSIM算法主要分为3个过程。首先计算参考图像和失真图像的亮度信号和对比度信号,然后通过亮度、对比度及结构三通道来计算二者相对应的比较函数,最后将计算出的3种比较函数的值进行合并,得到结构相似性的值[2]。其计算公式为:
$ \begin{gathered} V_{\mathrm{SSIM}}(\boldsymbol{r}, \boldsymbol{d})=[l(\boldsymbol{r}, \boldsymbol{d})]^\alpha \cdot \\ {[c(\boldsymbol{r}, \boldsymbol{d})]^\beta \cdot[s(\boldsymbol{r}, \boldsymbol{d})]^\gamma} \end{gathered} $
(3) 式中: r代表参考图像; d代表失真图像; l(r, d)、c(r, d)、s(r, d)分别表示二者间的亮度、对比度及结构3种比较函数; α、β和γ为大于0的3个权重参数,使用这3个参数调整3种比较函数在整个公式中的权重。3种比较函数的计算公式如下所示:
$ l(\boldsymbol{r}, \boldsymbol{d})=\frac{2 \mu_{\boldsymbol{r}} \mu_{\boldsymbol{d}}+C_1}{\mu_{\boldsymbol{r}}{ }^2+\mu_{\boldsymbol{d}}{ }^2+C_1} $
(4) $ c(\boldsymbol{r}, \boldsymbol{d})=\frac{2 \sigma_{\boldsymbol{r}} \sigma_{\boldsymbol{d}}+C_2}{\sigma_{\boldsymbol{r}}{ }^2+\sigma_{\boldsymbol{d}}{ }^2+C_2} $
(5) $ s(\boldsymbol{r}, \boldsymbol{d})=\frac{\sigma_{\boldsymbol{r}, \boldsymbol{d}}+C_3}{\sigma_{\boldsymbol{r}} \sigma_{\boldsymbol{d}}+C_3} $
(6) 式中: μr和μd表示 r和 d二者的均值; σr和σd代表二者的标准差; σr, d代表二者之间的协方差; C1, C2, C3为常数。
SSIM算法比均方误差、峰值信噪比等方法具有更好的评价性能,在很多方面都得到了广泛的应用,但SSIM方法有两个明显的缺点: 一是SSIM算法只是根据图像的均值和方差来评价图像质量,没有考虑到梯度等包含图像结构信息的边缘纹理特征,使得SSIM算法不能很好地区分由于运动失真引起的不同模糊程度的红外周扫图像; 二是失真红外图像尽管边缘模糊,但相对于参考图像来说,整幅图像的亮度、对比度和整体结构并没有太多的降质。因此, 本文中提出将图像梯度信息加入SSIM算法,从而获得对运动模糊图像更为准确的评价。
-
由于图像纹理和边缘特征是图像结构中最为关键的信息,采用梯度特征可以很好地表示图像边缘纹理的变化程度,本文中提出将梯度信息加入SSIM算法,从而获得对运动模糊红外图像的更为准确的质量评价。图像梯度幅值计算方式为:
$ G(i, j)=\sqrt{G_{\mathrm{h}}^2(i, j)+G_{\mathrm{v}}^2(i, j)} $
(7) 式中: G(i, j)表示图像在点(i, j)处的梯度幅值;Gh(i, j)、Gv(i, j)分别表示水平和垂直方向上的梯度分量,当G(i, j)≠0时,表明在该点处存在梯度变化,G(i, j)值越大,该点处存在越清晰的边缘信息。
如图 3所示,本文中采用Sobel梯度算子分别对原始图像与失真图像的梯度特征进行提取,进而得到原始图像 r和失真图像 d所对应的梯度图像 r′和 d′。图像梯度对比度可定义为:
$ C_{\mathrm{g}}(\boldsymbol{r}, \boldsymbol{d})=\frac{2 \sigma_{\boldsymbol{r}^{\prime}} \sigma_{\boldsymbol{d}^{\prime}}+C_2}{\sigma_{\boldsymbol{r}^{\prime}}{ }^2+\sigma_{\boldsymbol{d}^{\prime}}{ }^2+C_2} $
(8) 图像梯度相关系数可定义为:
$ S_{\mathrm{g}}(\boldsymbol{r}, \boldsymbol{d})=\frac{2 \sigma_{\boldsymbol{r}^{\prime}, \boldsymbol{d}^{\prime}}+C_3}{\sigma_{\boldsymbol{r}^{\prime}} \sigma_{\boldsymbol{d}^{\prime}}+C_3} $
(9) 式中: σr′、σd′分别表示 r′和 d′的标准差;σr′,d′表示 r′和 d′的协方差;常数C2、C3避免分母为零的情况。将SSIM算法中的对比度函数c(r, d)和结构函数s(r, d)替换为式(8)、式(9),从而得到梯度相似度(gradient similarity, GSIM)算法模型:
$ \begin{gathered} V_{\mathrm{GSIM}}(\boldsymbol{r}, \boldsymbol{d})=[l(\boldsymbol{r}, \boldsymbol{d})]^\alpha \cdot \\ {\left[C_{\mathrm{g}}(\boldsymbol{r}, \boldsymbol{d})\right]^\beta \cdot\left[S_{\mathrm{g}}(\boldsymbol{r}, \boldsymbol{d})\right]^\gamma} \end{gathered} $
(10) 整幅图像的梯度相似度可通过各子图像块的梯度相似度均值(mean gradient similarty, MGSIM)得出:
$ V_{\mathrm{MGSIM}}(\boldsymbol{r}, \boldsymbol{d})=\frac{1}{M} \sum\limits_{i=1}^M V_{\mathrm{GSIM}}\left(\boldsymbol{r}_i, \boldsymbol{d}_i\right) $
(11) 式中: M为子图像块的数量。
-
为验证图像质量评估算法的有效性,本文中实验分为两部分: 第一部分采用图像与视频工程实验室(laboratory for image & video engineering,LIVE)图像质量评价数据库进行实验; 第二部分利用实验室回扫补偿型红外成像系统所拍摄的红外图像数据库进行实验。
-
在像移变化、像旋不变的运动模糊图像实验中,对原始参考图像加入像移D变化范围(5 pixel~55 pixel)、像旋角度θ=5°的运动模糊核,利用MSE、PSNR、SSIM以及MGSIM 4种算法对不同运动模糊程度的图像进行质量评估。参考图像及其不同运动程度的失真图像如图 4所示。
利用上述4种算法对像移变化、像旋角度为定值5°的运动模糊图像进行评价,其结果如表 1所示。
表 1 图 4中不同运动模糊程度图像质量评估结果
Table 1. Image quality evaluation results of different degrees of motion blur in Fig. 4
algorithm Fig. 4b Fig. 4c Fig. 4d Fig. 4e Fig. 4f Fig. 4g Fig. 4h Fig. 4i Fig. 4j Fig. 4k Fig. 4l MSE 20.365 28.709 33.204 36.504 39.086 41.079 42.755 44, 139 45.380 46.316 47.096 PSNR 28.493 25.634 24.342 23.540 22.924 22.450 22.068 21.775 21.517 21.293 21.080 SSIM 0.882 0.795 0.748 0.717 0.693 0.677 0.664 0.655 0.647 0.640 0.634 MGSIM 0.846 0.661 0.554 0.479 0.427 0.385 0.349 0.319 0.296 0.278 0.262 从表 1可以看出,随着图像像移距离的增加,图像越来越模糊时,MSE的值逐渐增大,PSNR、SSIM、MGSIM的值逐渐减小。4种算法的评价结果与人眼视觉系统感知基本一致。
由图 5可以看出,当像移距离由小到大变化,即图像越来越模糊时,SSIM算法与MGSIM算法二者的图像质量评价值都呈现逐渐下降趋势,但二者的变化程度有着显著差异,SSIM算法的图像评价值由0.882下降至0.634,而MGSIM算法的评价值由0.846下降至0.262,由此可知,MGSIM算法的评价值变化更加明显,对不同运动状态的图像表现出更好的灵敏度,这表明梯度相似度算法对于不同运动状态的失真图像的质量评价更为优越。
-
红外图像实验使用周扫转台搭载的分辨率为1280 pixel×1024 pixel、像方扫描、焦距150 mm的非制冷红外相机静止拍摄的图像作为参考图像,采用周扫转台不同转台转速和摆镜摆速下的5幅不同模糊程度的图像作为对比,其中,图 6a为周扫转台静止拍摄的参考图像; 图 6b~图 6e为周扫转台以85.045 °/s的转速、摆镜摆速分别为95 °/s、98 °/s、100 °/s、105 °/s的周扫图像; 图 6f转台转速为92.370 °/s、摆镜摆速(110°/s)下的周扫图像。
利用MSE、PSNR、SSIM以及本文中MGSIM算法这4种方法对上述周扫图像进行质量评估,其结果如表 2所示。
从表 2可以看出,图 6d与参考图像最为接近,4种方法均能正确反映图 6d的质量评价结果; 图 6f失真最为明显,MSE、PSNR、SSIM方法并不能很好地区别不同运动模糊程度的红外图像; 而本文中MGSIM算法较为准确地反映出红外运动模糊图像变化过程。
以往的评价方法主要采用平行光管测试传递函数的方式,该方法可以获得绝对系统的评价参数,但这需要专用设备。像质评价主要用于优化周扫系统摆扫速度,使成像质量最优,因此采用相对评价参数并寻找最优参数也可同样实现该目的。本文中所采用的图像评价方法主要用于摆镜回扫速度的优化,因此采用的是相对评价参数,目的是寻找各摆扫速度下图像质量的最优值。由图 7可以看出,SSIM方法对于不同运动状态下的红外周扫图像质量评价结果区分度不高,对摆扫速度变化较小的红外周扫图像并不能准确评估。而本文中MGSIM算法在评价过程中考虑了梯度信息对图像质量变化的影响,对于不同运动状态的周扫图像更为敏感,与人眼视觉系统具有较高的一致性,更加准确地反映出红外周扫图像的质量评价结果。
红外回扫补偿系统图像退化评价方法的研究
Research on image degradation assessment method of infrared retrace compensation system
-
摘要: 为了解决回扫补偿型红外成像系统图像退化程度在线评价问题, 采用了基于红外图像梯度相似度的质量评价方法。在结构相似度算法思想的基础上, 针对回扫补偿型红外成像系统的特点, 提取出能有效度量图像失真变化程度的梯度特征, 计算出各子图像块的梯度相似度均值, 由此获得整幅图像的梯度相似度。结果表明, 对于退化程度相同的图像, 测得结构相似度算法的评价数值从0.772下降到0.705, 梯度相似度算法的评价数值由0.700下降到0.543。梯度相似度算法对不同退化程度的红外周扫图像的质量变化比常用的结构相似度算法更为灵敏, 且不需要平行光管等外部测试设备, 这为回扫补偿型红外成像系统在线图像质量评价及优化提供了一种新的方法。Abstract: In order to solve the problem of online assessment of image degradation in retrace compensation infrared imaging system, a quality evaluation method based on the gradient similarity of infrared images was adopted. Based on the idea of a structural similarity algorithm, according to the characteristics of a flyback compensation infrared imaging system, the gradient feature that could effectively measure the degree of image distortion change was extracted, and the average value of the gradient similarity of each sub-image block was calculated, thereby the gradient of the entire image similarity was obtained. The results show that for images with the same degree of degradation, the measured assessment value of the structural similarity algorithm drops from 0.772 to 0.705, and the assessment value of the gradient similarity algorithm drops from 0.700 to 0.543; the gradient similarity algorithm is more sensitive to the quality changes of infrared scan images with different degrees of degradation than the commonly used structural similarity algorithm and does not require external test equipment such as collimators. This study provides a new method for online image quality assessment and optimization of infrared retrace compensation system.
-
Key words:
- imaging systems /
- image quality assessment /
- struetural similarity /
- gradient similarity
-
表 1 图 4中不同运动模糊程度图像质量评估结果
Table 1. Image quality evaluation results of different degrees of motion blur in Fig. 4
algorithm Fig. 4b Fig. 4c Fig. 4d Fig. 4e Fig. 4f Fig. 4g Fig. 4h Fig. 4i Fig. 4j Fig. 4k Fig. 4l MSE 20.365 28.709 33.204 36.504 39.086 41.079 42.755 44, 139 45.380 46.316 47.096 PSNR 28.493 25.634 24.342 23.540 22.924 22.450 22.068 21.775 21.517 21.293 21.080 SSIM 0.882 0.795 0.748 0.717 0.693 0.677 0.664 0.655 0.647 0.640 0.634 MGSIM 0.846 0.661 0.554 0.479 0.427 0.385 0.349 0.319 0.296 0.278 0.262 -
[1] AVCIBAS I, SANBUR B, SAYOOD K. Statistical evaluation of image quality measures[J]. Journal of Electronic Imaging, 2002, 11(2): 206-213. doi: 10.1117/1.1455011 [2] WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. doi: 10.1109/TIP.2003.819861 [3] WANG Z, LU L, BOVIK A C. Video quality assessment based on structural distortion measurement [J]. Signal Processing: Image Communication, 2004, 19(2): 121-132. doi: 10.1016/S0923-5965(03)00076-6 [4] WANG Z, BOVIK A C. Modern image quality assessment [M]. New York, USA: Morgan and Claypool Publishing Company, 2006: 20-30. [5] 杨光, 王睿, 崔玉柱. 二维面阵的电子稳像与评价方法[J]. 红外与激光工程, 2011, 40(7): 1364-1369. doi: 10.3969/j.issn.1007-2276.2011.07.036 YANG G, WANG R, CUI Y Zh. Electronic image stabilization and video quality assessment in 2-dimension-array[J]. Infrared and Laser Engineering, 2011, 40(7): 1364-1369(in Chinese). doi: 10.3969/j.issn.1007-2276.2011.07.036 [6] 董立羽, 卜彦龙, 戴斌. 电子稳像技术发展评述[J]. 信息技术与信息化, 2004, 8(6): 17-20. doi: 10.3969/j.issn.1672-9528.2004.06.024 DONG L Y, BU Y L, DAI B. A comment on the developing of electronic digital image stabilization[J]. Information Technology & Informatization, 2004, 8(6): 17-20(in Chinese). doi: 10.3969/j.issn.1672-9528.2004.06.024 [7] 杨春玲, 陈冠豪, 谢胜利. 基于梯度信息的图像质量评判方法的研究[J]. 电子学报, 2007, 35(7): 1313-1317. doi: 10.3321/j.issn:0372-2112.2007.07.017 YANG Ch L, CHEN G H, XIE Sh L. Gradient information based i-mage quality assessment[J]. Acta Electronica Sinica, 2007, 35(7): 1313-1317(in Chinese). doi: 10.3321/j.issn:0372-2112.2007.07.017 [8] 赵晓枫, 吴飞, 徐叶斌, 等. 基于改进梯度相似度的红外隐身伪装评价方法[J]. 电光与控制, 2022, 29(2): 7-11. ZHAO X F, WU F, XU Y B, et al. An infrared stealth camouflage evaluation method based on improved gradient similarity[J]. Electronics Optics & Control, 2022, 29(2): 7-11(in Chinese). [9] 邓杰航, 毋鹏杰, 余汉君, 等. 基于扩展梯度算子的结构相似度图像质量评价方法[J]. 科学技术与工程, 2018, 18(27): 42-47. DENG J H, WU P J, YU H J, et al. An image quality assessment method based on structure similarity of extended gradients[J]. Science Technology and Engineering, 2018, 18(27): 42-47(in Chinese). [10] SESHADRINATHAN K, BOVIK A C. Motion tuned spatiotemporal quality assessment of natural videos [J]. IEEE Transactions on I-mage Processing, 2010, 19(2): 335-350. doi: 10.1109/TIP.2009.2034992 [11] ZHANG L, ZHANG L, MOU X Q, et al. FSIM: A feature similarity index for image quality assessment [J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386. doi: 10.1109/TIP.2011.2109730 [12] GUO L, CHEN W L, LIAO Y, et al. Multi-scale structural image quality assessment based on two-stage low-level features[J]. Computers and Electrical Engineering, 2014, 40(4): 1101-1110. doi: 10.1016/j.compeleceng.2014.01.004 [13] LIU Z, LAGANIERE R. Phase congruence measurement for image similarity assessment [J]. Science Direct, 2007, 28(1): 166-172. [14] 苗莹, 易三莉, 贺建峰, 等. 结合梯度信息的特征相似性图像质量评估[J]. 中国图象图形学报, 2015, 20(6): 749-755. MIAO Y, YI S L, HE J F, et al. Image quality assessment of feature similarity combined with gradient information[J]. Journal of Image and Graphics, 2015, 20(6): 749-755(in Chinese). [15] 刘玉环, 周军, 盛忠, 等. 周扫像移补偿大面阵红外光学系统[J]. 电光与控制, 2022, 29(8): 84-87. LIU Y H, ZHOU J, SHENG Zh, et al. Circle-scanning image motion compensation for large area array infrared optical system[J]. Electronics Optics & Control, 2022, 29(8): 84-87(in Chinese). [16] 李卫华, 吴常泳, 吴东, 等. 面阵焦平面探测器扫描图像模糊的退化模型及复原[J]. 激光与光电子学进展, 2005, 42(10): 32-35 LI W H, WU Ch Y, WU D, et al. Degradation model and restoration of images blurred by IRFDAS' rotation[J]. Laser and Optoelectronic Progress, 2005, 42(10): 32-35(in Chinese). [17] 林森, 蔡伟, 魏小林, 等. 带摆镜的制冷型中波红外像方扫描光学系统设计. 宇航计测技术, 2017, 37(4): 16-19. LIN S, CAI W, WEI X L, et al. Design of image space scanning system with tilt mirror for cooled medium wave infrared optical system[J]. Journal of Astronautic Metrology and Measurement, 2017, 37(4): 16-19(in Chinese). [18] 于洋, 王世勇, 蹇毅, 等. 面阵探测器连续扫描成像光学系统[J]. 红外与激光工程, 2016, 45(1): 122-126. YU Y, WANG Sh Y, JIAN Y, et al. Realization of an optical system based on continuous-scan focal plane array[J]. Infrared and Laser Engineering, 2016, 45(1): 122-126(in Chinese). [19] 李刚, 樊学武, 邹刚毅, 等. 基于像方摆扫的空间红外双波段光学系统设计[J]. 红外与激光工程, 2014, 43(3): 861-866. LI G, FAN X W, ZOU G Y, et al. Design of space optical system with double infrared waveband based on image space scanning [J]. Infrared and Laser Engineering, 2014, 43(3): 861-866(in Chinese). [20] 徐之海, 陈跃庭, 王琦, 等. 面阵空间相机稳像补偿研究[J]. 红外与激光工程, 2007, 36(5): 593-596. XU Zh H, CHEN Y T, WANG Q, et al. Image tremble compensation for space camera [J]. Infrared and Laser Engineering, 2007, 36(5): 593-596(in Chinese). [21] 陈超帅, 王世勇, 李范鸣, 等. 红外搜索跟踪系统的像移补偿设计分析[J]. 半导体光电, 2018, 39(1): 95-99. CHEN Ch Sh, WANG Sh Y, LI F M, et al. Image motion compensation design and analysis of infrared search and tracking system[J]. Semiconductor Optoelectronics, 2018, 39(1): 95-99(in Chinese).