高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

红外回扫补偿系统图像退化评价方法的研究

刘大通 刘洋 刘力双

引用本文:
Citation:

红外回扫补偿系统图像退化评价方法的研究

    通讯作者: 刘洋, 20141891@bistu.edu.cn
  • 中图分类号: TN214;TP751.2

Research on image degradation assessment method of infrared retrace compensation system

    Corresponding author: LIU Yang, 20141891@bistu.edu.cn ;
  • CLC number: TN214;TP751.2

  • 摘要: 为了解决回扫补偿型红外成像系统图像退化程度在线评价问题, 采用了基于红外图像梯度相似度的质量评价方法。在结构相似度算法思想的基础上, 针对回扫补偿型红外成像系统的特点, 提取出能有效度量图像失真变化程度的梯度特征, 计算出各子图像块的梯度相似度均值, 由此获得整幅图像的梯度相似度。结果表明, 对于退化程度相同的图像, 测得结构相似度算法的评价数值从0.772下降到0.705, 梯度相似度算法的评价数值由0.700下降到0.543。梯度相似度算法对不同退化程度的红外周扫图像的质量变化比常用的结构相似度算法更为灵敏, 且不需要平行光管等外部测试设备, 这为回扫补偿型红外成像系统在线图像质量评价及优化提供了一种新的方法。
  • 图 1  两种回扫补偿结构

    Figure 1.  Two retrace compensation structures

    图 2  SSIM算法原理框图[2]

    Figure 2.  Block diagram of SSIM algorithm[2]

    图 3  Sobel梯度算子[7]

    Figure 3.  Sobel gradient operator[7]

    图 4  原始图像及其不同程度的运动模糊图像

    Figure 4.  Original image and its different degrees of motion blur images

    图 5  图 4中不同运动模糊程度下的评价值的曲线

    Figure 5.  Curves of evaluation values under different degrees of motion blur in Fig. 4

    图 6  不同运动模糊程度的红外周扫图像

    Figure 6.  Infrared scan images with different degrees of motion blur

    图 7  图 6中不同运动模糊程度下红外周扫图像的评价曲线

    Figure 7.  Evaluation curves of infrared scan images under different degrees of motion blur in Fig. 6

    表 1  图 4中不同运动模糊程度图像质量评估结果

    Table 1.  Image quality evaluation results of different degrees of motion blur in Fig. 4

    algorithm Fig. 4b Fig. 4c Fig. 4d Fig. 4e Fig. 4f Fig. 4g Fig. 4h Fig. 4i Fig. 4j Fig. 4k Fig. 4l
    MSE 20.365 28.709 33.204 36.504 39.086 41.079 42.755 44, 139 45.380 46.316 47.096
    PSNR 28.493 25.634 24.342 23.540 22.924 22.450 22.068 21.775 21.517 21.293 21.080
    SSIM 0.882 0.795 0.748 0.717 0.693 0.677 0.664 0.655 0.647 0.640 0.634
    MGSIM 0.846 0.661 0.554 0.479 0.427 0.385 0.349 0.319 0.296 0.278 0.262
    下载: 导出CSV

    表 2  图 6中不同运动模糊程度的红外周扫图像质量评估结果

    Table 2.  Evaluation results of infrared scan image quality with different degrees of motion blur in Fig. 6

    algorithm Fig. 6b Fig. 6c Fig. 6d Fig. 6e Fig. 6f
    MSE 22.456 23.863 17.737 38.898 36.102
    PSNR 20.741 21.448 21.844 19.472 20.073
    SSIM 0.727 0.741 0.772 0.706 0.705
    MGSIM 0.612 0.640 0.700 0.556 0.543
    下载: 导出CSV
  • [1]

    AVCIBAS I, SANBUR B, SAYOOD K. Statistical evaluation of image quality measures[J]. Journal of Electronic Imaging, 2002, 11(2): 206-213. doi: 10.1117/1.1455011
    [2]

    WANG Z, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612. doi: 10.1109/TIP.2003.819861
    [3]

    WANG Z, LU L, BOVIK A C. Video quality assessment based on structural distortion measurement [J]. Signal Processing: Image Communication, 2004, 19(2): 121-132. doi: 10.1016/S0923-5965(03)00076-6
    [4]

    WANG Z, BOVIK A C. Modern image quality assessment [M]. New York, USA: Morgan and Claypool Publishing Company, 2006: 20-30.
    [5] 杨光, 王睿, 崔玉柱. 二维面阵的电子稳像与评价方法[J]. 红外与激光工程, 2011, 40(7): 1364-1369. doi: 10.3969/j.issn.1007-2276.2011.07.036

    YANG G, WANG R, CUI Y Zh. Electronic image stabilization and video quality assessment in 2-dimension-array[J]. Infrared and Laser Engineering, 2011, 40(7): 1364-1369(in Chinese). doi: 10.3969/j.issn.1007-2276.2011.07.036
    [6] 董立羽, 卜彦龙, 戴斌. 电子稳像技术发展评述[J]. 信息技术与信息化, 2004, 8(6): 17-20. doi: 10.3969/j.issn.1672-9528.2004.06.024

    DONG L Y, BU Y L, DAI B. A comment on the developing of electronic digital image stabilization[J]. Information Technology & Informatization, 2004, 8(6): 17-20(in Chinese). doi: 10.3969/j.issn.1672-9528.2004.06.024
    [7] 杨春玲, 陈冠豪, 谢胜利. 基于梯度信息的图像质量评判方法的研究[J]. 电子学报, 2007, 35(7): 1313-1317. doi: 10.3321/j.issn:0372-2112.2007.07.017

    YANG Ch L, CHEN G H, XIE Sh L. Gradient information based i-mage quality assessment[J]. Acta Electronica Sinica, 2007, 35(7): 1313-1317(in Chinese). doi: 10.3321/j.issn:0372-2112.2007.07.017
    [8] 赵晓枫, 吴飞, 徐叶斌, 等. 基于改进梯度相似度的红外隐身伪装评价方法[J]. 电光与控制, 2022, 29(2): 7-11.

    ZHAO X F, WU F, XU Y B, et al. An infrared stealth camouflage evaluation method based on improved gradient similarity[J]. Electronics Optics & Control, 2022, 29(2): 7-11(in Chinese).
    [9] 邓杰航, 毋鹏杰, 余汉君, 等. 基于扩展梯度算子的结构相似度图像质量评价方法[J]. 科学技术与工程, 2018, 18(27): 42-47.

    DENG J H, WU P J, YU H J, et al. An image quality assessment method based on structure similarity of extended gradients[J]. Science Technology and Engineering, 2018, 18(27): 42-47(in Chinese).
    [10]

    SESHADRINATHAN K, BOVIK A C. Motion tuned spatiotemporal quality assessment of natural videos [J]. IEEE Transactions on I-mage Processing, 2010, 19(2): 335-350. doi: 10.1109/TIP.2009.2034992
    [11]

    ZHANG L, ZHANG L, MOU X Q, et al. FSIM: A feature similarity index for image quality assessment [J]. IEEE Transactions on Image Processing, 2011, 20(8): 2378-2386. doi: 10.1109/TIP.2011.2109730
    [12]

    GUO L, CHEN W L, LIAO Y, et al. Multi-scale structural image quality assessment based on two-stage low-level features[J]. Computers and Electrical Engineering, 2014, 40(4): 1101-1110. doi: 10.1016/j.compeleceng.2014.01.004
    [13]

    LIU Z, LAGANIERE R. Phase congruence measurement for image similarity assessment [J]. Science Direct, 2007, 28(1): 166-172.
    [14] 苗莹, 易三莉, 贺建峰, 等. 结合梯度信息的特征相似性图像质量评估[J]. 中国图象图形学报, 2015, 20(6): 749-755.

    MIAO Y, YI S L, HE J F, et al. Image quality assessment of feature similarity combined with gradient information[J]. Journal of Image and Graphics, 2015, 20(6): 749-755(in Chinese).
    [15] 刘玉环, 周军, 盛忠, 等. 周扫像移补偿大面阵红外光学系统[J]. 电光与控制, 2022, 29(8): 84-87.

    LIU Y H, ZHOU J, SHENG Zh, et al. Circle-scanning image motion compensation for large area array infrared optical system[J]. Electronics Optics & Control, 2022, 29(8): 84-87(in Chinese).
    [16] 李卫华, 吴常泳, 吴东, 等. 面阵焦平面探测器扫描图像模糊的退化模型及复原[J]. 激光与光电子学进展, 2005, 42(10): 32-35

    LI W H, WU Ch Y, WU D, et al. Degradation model and restoration of images blurred by IRFDAS' rotation[J]. Laser and Optoelectronic Progress, 2005, 42(10): 32-35(in Chinese).
    [17] 林森, 蔡伟, 魏小林, 等. 带摆镜的制冷型中波红外像方扫描光学系统设计. 宇航计测技术, 2017, 37(4): 16-19.

    LIN S, CAI W, WEI X L, et al. Design of image space scanning system with tilt mirror for cooled medium wave infrared optical system[J]. Journal of Astronautic Metrology and Measurement, 2017, 37(4): 16-19(in Chinese).
    [18] 于洋, 王世勇, 蹇毅, 等. 面阵探测器连续扫描成像光学系统[J]. 红外与激光工程, 2016, 45(1): 122-126.

    YU Y, WANG Sh Y, JIAN Y, et al. Realization of an optical system based on continuous-scan focal plane array[J]. Infrared and Laser Engineering, 2016, 45(1): 122-126(in Chinese).
    [19] 李刚, 樊学武, 邹刚毅, 等. 基于像方摆扫的空间红外双波段光学系统设计[J]. 红外与激光工程, 2014, 43(3): 861-866.

    LI G, FAN X W, ZOU G Y, et al. Design of space optical system with double infrared waveband based on image space scanning [J]. Infrared and Laser Engineering, 2014, 43(3): 861-866(in Chinese).
    [20] 徐之海, 陈跃庭, 王琦, 等. 面阵空间相机稳像补偿研究[J]. 红外与激光工程, 2007, 36(5): 593-596.

    XU Zh H, CHEN Y T, WANG Q, et al. Image tremble compensation for space camera [J]. Infrared and Laser Engineering, 2007, 36(5): 593-596(in Chinese).
    [21] 陈超帅, 王世勇, 李范鸣, 等. 红外搜索跟踪系统的像移补偿设计分析[J]. 半导体光电, 2018, 39(1): 95-99.

    CHEN Ch Sh, WANG Sh Y, LI F M, et al. Image motion compensation design and analysis of infrared search and tracking system[J]. Semiconductor Optoelectronics, 2018, 39(1): 95-99(in Chinese).
  • [1] 王强张合新孟飞张腾飞 . 基于结构相似度评价方法的窗口效应. 激光技术, 2016, 40(6): 902-906. doi: 10.7510/jgjs.issn.1001-3806.2016.06.026
    [2] 张凡 . 红外图像改进非局部均值滤波算法研究. 激光技术, 2015, 39(5): 662-665. doi: 10.7510/jgjs.issn.1001-3806.2015.05.016
    [3] 韩宏伟张晓晖葛卫龙 . 水下激光图像序列的3维噪声分析. 激光技术, 2011, 35(4): 518-521. doi: 10.3969/j.issn.1001-3806.2011.04.019
    [4] 刘雄龙骆亚波徐卓揆 . 单目标旋转摄影方法标定图像全站仪相机. 激光技术, 2024, 48(2): 196-203. doi: 10.7510/jgjs.issn.1001-3806.2024.02.008
    [5] 王云鹏刘力双刘洋 . 鱼眼成像系统标定技术研究. 激光技术, 2024, 48(1): 77-82. doi: 10.7510/jgjs.issn.1001-3806.2024.01.013
    [6] 马志明王晓玲周哲海 . 基于LED照明的时域全场OCT成像系统设计. 激光技术, 2023, 47(2): 280-285. doi: 10.7510/jgjs.issn.1001-3806.2023.02.019
    [7] 陈均溢商思航苗丹江财俊曾延安 . 光电成像系统的绝对光谱响应效率测量及分析. 激光技术, 2021, 45(1): 121-125. doi: 10.7510/jgjs.issn.1001-3806.2021.01.021
    [8] 徐帅朱启兵黄敏 . 手持式食品残留物荧光成像检测系统开发. 激光技术, 2023, 47(6): 872-880. doi: 10.7510/jgjs.issn.1001-3806.2023.06.021
    [9] 雷选华杨克成 . 一种基于FPGA水下激光成像系统的同步控制器. 激光技术, 2010, 34(5): 682-685. doi: 10.3969/j.issn.1001-3806.2010.O5.029
    [10] 夏春蕾郑刚戴曙光 . 大景深成像技术及其相移现象的控制. 激光技术, 2008, 32(2): 159-162.
    [11] 汪靓杨宇黄敏朱启兵 . 基于偏振成像技术的油桃机械损伤检测. 激光技术, 2022, 46(6): 841-849. doi: 10.7510/jgjs.issn.1001-3806.2022.06.021
    [12] 王骐迟欣李琦 . 太赫兹自由电子激光器的成像原理及进展. 激光技术, 2006, 30(6): 643-646.
    [13] 李芮李晓王志斌黄艳飞王耀利张瑞 . 阵列探测器在成像光谱偏振探测技术中的应用. 激光技术, 2014, 38(6): 822-825. doi: 10.7510/jgjs.issn.1001-3806.2014.06.021
    [14] 胡江涛黄峰张雏刘秉琦王元铂 . 超分辨率重构复眼成像技术的研究进展. 激光技术, 2015, 39(4): 492-496. doi: 10.7510/jgjs.issn.1001-3806.2015.04.014
    [15] 吴舒哲唐嘉熊亮黄佐华 . 一种基于共轴干涉的相位物体定量成像技术. 激光技术, 2017, 41(2): 275-279. doi: 10.7510/jgjs.issn.1001-3806.2017.02.026
    [16] 陈德章张华冷杰高建波路英宾陶刚郭嘉伟李萧 . 基于APD面阵探测器的非扫描激光主动成像雷达. 激光技术, 2017, 41(6): 775-778. doi: 10.7510/jgjs.issn.1001-3806.2017.06.001
    [17] 李达李云霞蒙文韩晓飞 . 低慢小目标面阵推进式激光成像探测方法研究. 激光技术, 2014, 38(1): 44-48. doi: 10.7510/jgjs.issn.1001-3806.2014.01.010
    [18] 林巧文杨春花刘红梅康占成 . 基于微球透镜远场超分辨率成像方法研究. 激光技术, 2021, 45(6): 686-690. doi: 10.7510/jgjs.issn.1001-3806.2021.06.002
    [19] 韩宏伟张晓晖葛卫龙 . 一种用于水下距离选通成像的变步长扫描方法. 激光技术, 2011, 35(2): 226-229,259. doi: 10.3969/j.issn.1001-3806.2011.02.023
    [20] 薛璐胡文静徐彬刘学峰姚政鹏陈智龙黄益俊熊吉川 . 基于偏振参数非直观光学成像的鼻唇沟量化表征. 激光技术, 2023, 47(4): 572-578. doi: 10.7510/jgjs.issn.1001-3806.2023.04.020
  • 加载中
图(7) / 表(2)
计量
  • 文章访问数:  2103
  • HTML全文浏览量:  1232
  • PDF下载量:  15
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-10-08
  • 录用日期:  2023-01-17
  • 刊出日期:  2024-01-25

红外回扫补偿系统图像退化评价方法的研究

    通讯作者: 刘洋, 20141891@bistu.edu.cn
  • 北京信息科技大学 仪器科学与光电工程学院, 北京 100192, 中国

摘要: 为了解决回扫补偿型红外成像系统图像退化程度在线评价问题, 采用了基于红外图像梯度相似度的质量评价方法。在结构相似度算法思想的基础上, 针对回扫补偿型红外成像系统的特点, 提取出能有效度量图像失真变化程度的梯度特征, 计算出各子图像块的梯度相似度均值, 由此获得整幅图像的梯度相似度。结果表明, 对于退化程度相同的图像, 测得结构相似度算法的评价数值从0.772下降到0.705, 梯度相似度算法的评价数值由0.700下降到0.543。梯度相似度算法对不同退化程度的红外周扫图像的质量变化比常用的结构相似度算法更为灵敏, 且不需要平行光管等外部测试设备, 这为回扫补偿型红外成像系统在线图像质量评价及优化提供了一种新的方法。

English Abstract

    • 红外周扫成像系统广泛应用于目标预警、防空探测等领域,其通常采用延迟积分型(time delay integration,TDI)线阵探测器配合扫描机构(如周扫转台)实现成像,但线阵探测器扫描成像时,像元与目标驻留时间短,造成灵敏度不高、探测距离有限。因此面阵回扫补偿型周扫结构成为目前研究的主要方向。

      回扫补偿通过面阵探测器与摆镜配合,利用摆镜在积分时间内对转台运动进行反向补偿,从而消除积分时间内的运动模糊。通过提升探测器的积分时间,有效提升系统探测距离。在此过程中转台、摆镜摆速的均匀性及成像光学系统在回扫期间内主光线偏移所造成的额外相差,都会导致所采集的图像存在不同程度的退化。目前, 对图像退化程度的量化评价主要采用平行光管配合黑体,通过测量传递函数等方式进行测量及评价。因此只能在实验室通过专用设备进行,而周扫设备大都应用于海上、边境等恶劣环境,为此本文作者提出一种基于全参考的回扫补偿图像退化质量评价方法,在不使用外部测量设备的前提下,可实现回扫补偿型红外成像系统的实时在线质量评价及优化。

      针对补偿摆镜摆速与转台转速不一致所导致的拍摄图像存在运动模糊的现象,通常使用质量评估算法对失真图像进行评价。传统的全参考质量评估方法有均方误差(mean square error,MSE)法与峰值信噪比(peak signal-to-noise ratio,PSNR)[1]法, 这两种算法可以较好地表示随机误差所造成的图像失真, 但对于结构性的或压缩图像的互相关误差无效。WANG等人[2-4]提出的结构相似性理论(structural similarity,SSIM)评估算法,由于其假设图像各部分区域的重要程度都相同,所以不能与实际结果相一致。参考文献[5]中基于电子稳像[6]技术提出一种灰度投影结构相似度算法。参考文献[7]中提出了将边缘信息和梯度特征作为图像结构信息的边缘相似度算法和梯度相似度算法。ZHAO等人[8-9]中利用扩展的Sobel算子代替了传统的梯度算子以获取更为准确的图像梯度信息。SESHADRINATHAN等人[10-14]提出基于图像梯度特征和相位一致性的特征相似度测量算法,但该算法对于图像边缘失真的梯度信息变化不敏感。

      根据以上所提方法的不足,本文作者在SSIM算法思想的基础上,针对回扫补偿型红外成像系统的特点,提取出有效衡量图像失真变化程度的梯度特征,计算出图像的梯度相似度,最终为回扫补偿型红外成像系统提供一种新的实时在线图像质量评价算法。

    • 红外成像系统在稳定平台下随着转台的运动进行周视扫描,实现方位角360°大视场监测,当红外成像系统连续扫描未补偿时,红外相机所拍摄的图像存在严重的拖尾现象。回扫补偿型红外成像系统可以在分辨率没有明显降低的情况下实现对视场内的目标检测[15]

      根据摆镜所处位置不同,回扫补偿结构一般分为物方扫描与像方扫描两种基本结构[16]。物方扫描结构中的摆镜位于光学系统前方[17],因此结构简单,对光学系统成像无影响,但由于光学系统口径受摆镜镜片尺寸限制,只能应用在焦距较短、视场较大的系统中;而像方扫描结构中摆镜位于前置望远系统及2次成像物镜之间,由于可使用前置的望远系统来压缩光束的口径,因此通常应用在长焦系统中,但此类系统结构复杂,摆镜扫描角度高,扫描过程对主光线入射角度变化较大[18-19]。两种回扫补偿结构示意图如图 1所示。

      图  1  两种回扫补偿结构

      Figure 1.  Two retrace compensation structures

      由两种类型的回扫补偿结构示意图可知,红外成像系统转台的转速为ω,在物方扫描下,需要补偿的反向摆镜摆速ω1ω/2;在像方扫描下,望远镜放大倍率为K,需要补偿的反向摆镜摆速ω2/2。

      探测器随方位转台进行匀速扫描时,场景图像f(x, y)在探测器上的结果为:

      $ g(x, y)=\int_0^T f\left(x-x_0(t), y\right) \mathrm{d} t+n(x, y) $

      (1)

      式中: T为探测器积分时间; n(x, y)为探测器和电路噪声总和; x0(t)表示运动时间变化参数,周扫转台匀速扫描成像时:

      $ x_0(t)=D \times \frac{t}{T} $

      (2)

      式中: D为像移,可以通过探测器积分时间和转台转速的关系来确定。

      红外成像系统在方位转台上进行周扫成像时,红外相机与实际场景之间的相对运动会造成图像一定程度的拖尾像移[20]。针对此问题,通过摆镜回扫补偿的方式可大幅提高成像质量[21], 而对于成像后的红外图像质量评价则必不可少,通常利用质量评价算法对其成像质量进行评估。

    • 通过回扫补偿型红外成像原理可知,回扫补偿系统图像退化的主要原因是周扫系统成像过程中红外相机与实际场景之间的相对运动造成图像的边缘失真[21],为此本文中分析了两种常用的图像质量评价方法,并对其在红外回扫补偿系统图像评价方面的性能指标进行分析及测试。

    • SSIM算法是通过计算原始图像与失真图像之间的亮度、对比度及结构度之间的差异来对失真图像进行质量评价,相比一般的全参考质量评估算法更加符合人眼视觉系统的判断。计算过程如图 2所示。

      图  2  SSIM算法原理框图[2]

      Figure 2.  Block diagram of SSIM algorithm[2]

      由原理图可知,SSIM算法主要分为3个过程。首先计算参考图像和失真图像的亮度信号和对比度信号,然后通过亮度、对比度及结构三通道来计算二者相对应的比较函数,最后将计算出的3种比较函数的值进行合并,得到结构相似性的值[2]。其计算公式为:

      $ \begin{gathered} V_{\mathrm{SSIM}}(\boldsymbol{r}, \boldsymbol{d})=[l(\boldsymbol{r}, \boldsymbol{d})]^\alpha \cdot \\ {[c(\boldsymbol{r}, \boldsymbol{d})]^\beta \cdot[s(\boldsymbol{r}, \boldsymbol{d})]^\gamma} \end{gathered} $

      (3)

      式中: r代表参考图像; d代表失真图像; l(r, d)、c(r, d)、s(r, d)分别表示二者间的亮度、对比度及结构3种比较函数; αβγ为大于0的3个权重参数,使用这3个参数调整3种比较函数在整个公式中的权重。3种比较函数的计算公式如下所示:

      $ l(\boldsymbol{r}, \boldsymbol{d})=\frac{2 \mu_{\boldsymbol{r}} \mu_{\boldsymbol{d}}+C_1}{\mu_{\boldsymbol{r}}{ }^2+\mu_{\boldsymbol{d}}{ }^2+C_1} $

      (4)

      $ c(\boldsymbol{r}, \boldsymbol{d})=\frac{2 \sigma_{\boldsymbol{r}} \sigma_{\boldsymbol{d}}+C_2}{\sigma_{\boldsymbol{r}}{ }^2+\sigma_{\boldsymbol{d}}{ }^2+C_2} $

      (5)

      $ s(\boldsymbol{r}, \boldsymbol{d})=\frac{\sigma_{\boldsymbol{r}, \boldsymbol{d}}+C_3}{\sigma_{\boldsymbol{r}} \sigma_{\boldsymbol{d}}+C_3} $

      (6)

      式中: μrμd表示 rd二者的均值; σrσd代表二者的标准差; σr, d代表二者之间的协方差; C1, C2, C3为常数。

      SSIM算法比均方误差、峰值信噪比等方法具有更好的评价性能,在很多方面都得到了广泛的应用,但SSIM方法有两个明显的缺点: 一是SSIM算法只是根据图像的均值和方差来评价图像质量,没有考虑到梯度等包含图像结构信息的边缘纹理特征,使得SSIM算法不能很好地区分由于运动失真引起的不同模糊程度的红外周扫图像; 二是失真红外图像尽管边缘模糊,但相对于参考图像来说,整幅图像的亮度、对比度和整体结构并没有太多的降质。因此, 本文中提出将图像梯度信息加入SSIM算法,从而获得对运动模糊图像更为准确的评价。

    • 由于图像纹理和边缘特征是图像结构中最为关键的信息,采用梯度特征可以很好地表示图像边缘纹理的变化程度,本文中提出将梯度信息加入SSIM算法,从而获得对运动模糊红外图像的更为准确的质量评价。图像梯度幅值计算方式为:

      $ G(i, j)=\sqrt{G_{\mathrm{h}}^2(i, j)+G_{\mathrm{v}}^2(i, j)} $

      (7)

      式中: G(i, j)表示图像在点(i, j)处的梯度幅值;Gh(i, j)、Gv(i, j)分别表示水平和垂直方向上的梯度分量,当G(i, j)≠0时,表明在该点处存在梯度变化,G(i, j)值越大,该点处存在越清晰的边缘信息。

      图 3所示,本文中采用Sobel梯度算子分别对原始图像与失真图像的梯度特征进行提取,进而得到原始图像 r和失真图像 d所对应的梯度图像 r′和 d′。图像梯度对比度可定义为:

      $ C_{\mathrm{g}}(\boldsymbol{r}, \boldsymbol{d})=\frac{2 \sigma_{\boldsymbol{r}^{\prime}} \sigma_{\boldsymbol{d}^{\prime}}+C_2}{\sigma_{\boldsymbol{r}^{\prime}}{ }^2+\sigma_{\boldsymbol{d}^{\prime}}{ }^2+C_2} $

      (8)

      图  3  Sobel梯度算子[7]

      Figure 3.  Sobel gradient operator[7]

      图像梯度相关系数可定义为:

      $ S_{\mathrm{g}}(\boldsymbol{r}, \boldsymbol{d})=\frac{2 \sigma_{\boldsymbol{r}^{\prime}, \boldsymbol{d}^{\prime}}+C_3}{\sigma_{\boldsymbol{r}^{\prime}} \sigma_{\boldsymbol{d}^{\prime}}+C_3} $

      (9)

      式中: σrσd分别表示 r′和 d′的标准差;σr′,d表示 r′和 d′的协方差;常数C2C3避免分母为零的情况。将SSIM算法中的对比度函数c(r, d)和结构函数s(r, d)替换为式(8)、式(9),从而得到梯度相似度(gradient similarity, GSIM)算法模型:

      $ \begin{gathered} V_{\mathrm{GSIM}}(\boldsymbol{r}, \boldsymbol{d})=[l(\boldsymbol{r}, \boldsymbol{d})]^\alpha \cdot \\ {\left[C_{\mathrm{g}}(\boldsymbol{r}, \boldsymbol{d})\right]^\beta \cdot\left[S_{\mathrm{g}}(\boldsymbol{r}, \boldsymbol{d})\right]^\gamma} \end{gathered} $

      (10)

      整幅图像的梯度相似度可通过各子图像块的梯度相似度均值(mean gradient similarty, MGSIM)得出:

      $ V_{\mathrm{MGSIM}}(\boldsymbol{r}, \boldsymbol{d})=\frac{1}{M} \sum\limits_{i=1}^M V_{\mathrm{GSIM}}\left(\boldsymbol{r}_i, \boldsymbol{d}_i\right) $

      (11)

      式中: M为子图像块的数量。

    • 为验证图像质量评估算法的有效性,本文中实验分为两部分: 第一部分采用图像与视频工程实验室(laboratory for image & video engineering,LIVE)图像质量评价数据库进行实验; 第二部分利用实验室回扫补偿型红外成像系统所拍摄的红外图像数据库进行实验。

    • 在像移变化、像旋不变的运动模糊图像实验中,对原始参考图像加入像移D变化范围(5 pixel~55 pixel)、像旋角度θ=5°的运动模糊核,利用MSE、PSNR、SSIM以及MGSIM 4种算法对不同运动模糊程度的图像进行质量评估。参考图像及其不同运动程度的失真图像如图 4所示。

      图  4  原始图像及其不同程度的运动模糊图像

      Figure 4.  Original image and its different degrees of motion blur images

      利用上述4种算法对像移变化、像旋角度为定值5°的运动模糊图像进行评价,其结果如表 1所示。

      表 1  图 4中不同运动模糊程度图像质量评估结果

      Table 1.  Image quality evaluation results of different degrees of motion blur in Fig. 4

      algorithm Fig. 4b Fig. 4c Fig. 4d Fig. 4e Fig. 4f Fig. 4g Fig. 4h Fig. 4i Fig. 4j Fig. 4k Fig. 4l
      MSE 20.365 28.709 33.204 36.504 39.086 41.079 42.755 44, 139 45.380 46.316 47.096
      PSNR 28.493 25.634 24.342 23.540 22.924 22.450 22.068 21.775 21.517 21.293 21.080
      SSIM 0.882 0.795 0.748 0.717 0.693 0.677 0.664 0.655 0.647 0.640 0.634
      MGSIM 0.846 0.661 0.554 0.479 0.427 0.385 0.349 0.319 0.296 0.278 0.262

      表 1可以看出,随着图像像移距离的增加,图像越来越模糊时,MSE的值逐渐增大,PSNR、SSIM、MGSIM的值逐渐减小。4种算法的评价结果与人眼视觉系统感知基本一致。

      图 5可以看出,当像移距离由小到大变化,即图像越来越模糊时,SSIM算法与MGSIM算法二者的图像质量评价值都呈现逐渐下降趋势,但二者的变化程度有着显著差异,SSIM算法的图像评价值由0.882下降至0.634,而MGSIM算法的评价值由0.846下降至0.262,由此可知,MGSIM算法的评价值变化更加明显,对不同运动状态的图像表现出更好的灵敏度,这表明梯度相似度算法对于不同运动状态的失真图像的质量评价更为优越。

      图  5  图 4中不同运动模糊程度下的评价值的曲线

      Figure 5.  Curves of evaluation values under different degrees of motion blur in Fig. 4

    • 红外图像实验使用周扫转台搭载的分辨率为1280 pixel×1024 pixel、像方扫描、焦距150 mm的非制冷红外相机静止拍摄的图像作为参考图像,采用周扫转台不同转台转速和摆镜摆速下的5幅不同模糊程度的图像作为对比,其中,图 6a为周扫转台静止拍摄的参考图像; 图 6b~图 6e为周扫转台以85.045 °/s的转速、摆镜摆速分别为95 °/s、98 °/s、100 °/s、105 °/s的周扫图像; 图 6f转台转速为92.370 °/s、摆镜摆速(110°/s)下的周扫图像。

      图  6  不同运动模糊程度的红外周扫图像

      Figure 6.  Infrared scan images with different degrees of motion blur

      利用MSE、PSNR、SSIM以及本文中MGSIM算法这4种方法对上述周扫图像进行质量评估,其结果如表 2所示。

      表 2  图 6中不同运动模糊程度的红外周扫图像质量评估结果

      Table 2.  Evaluation results of infrared scan image quality with different degrees of motion blur in Fig. 6

      algorithm Fig. 6b Fig. 6c Fig. 6d Fig. 6e Fig. 6f
      MSE 22.456 23.863 17.737 38.898 36.102
      PSNR 20.741 21.448 21.844 19.472 20.073
      SSIM 0.727 0.741 0.772 0.706 0.705
      MGSIM 0.612 0.640 0.700 0.556 0.543

      表 2可以看出,图 6d与参考图像最为接近,4种方法均能正确反映图 6d的质量评价结果; 图 6f失真最为明显,MSE、PSNR、SSIM方法并不能很好地区别不同运动模糊程度的红外图像; 而本文中MGSIM算法较为准确地反映出红外运动模糊图像变化过程。

      以往的评价方法主要采用平行光管测试传递函数的方式,该方法可以获得绝对系统的评价参数,但这需要专用设备。像质评价主要用于优化周扫系统摆扫速度,使成像质量最优,因此采用相对评价参数并寻找最优参数也可同样实现该目的。本文中所采用的图像评价方法主要用于摆镜回扫速度的优化,因此采用的是相对评价参数,目的是寻找各摆扫速度下图像质量的最优值。由图 7可以看出,SSIM方法对于不同运动状态下的红外周扫图像质量评价结果区分度不高,对摆扫速度变化较小的红外周扫图像并不能准确评估。而本文中MGSIM算法在评价过程中考虑了梯度信息对图像质量变化的影响,对于不同运动状态的周扫图像更为敏感,与人眼视觉系统具有较高的一致性,更加准确地反映出红外周扫图像的质量评价结果。

      图  7  图 6中不同运动模糊程度下红外周扫图像的评价曲线

      Figure 7.  Evaluation curves of infrared scan images under different degrees of motion blur in Fig. 6

    • 针对回扫补偿型红外成像系统图像退化程度在线评价问题,提出了梯度相似度的质量评估算法。该算法以分块结构相似度思想为基础,通过Sobel梯度算子获得能有效度量图像中失真程度的梯度特征,使用梯度特征替代SSIM算法中的对比度和结构两个部分,最终计算各子图像块的梯度相似度均值,从而获得整幅图像的梯度相似度。MGSIM算法对红外周扫图像的质量评价从0.700下降至0.543,实验结果表明,本文中所提出的方法对红外周扫图像的退化程度敏感性更高,可作为实时在线周扫图像优化系统的一种有效评价手段。

参考文献 (21)

目录

    /

    返回文章
    返回