A non-local prior of infrared motion blurred image restoration method
-
摘要: 为了实现红外运动模糊图像复原,采用了基于红外图像的非局部稀疏先验约束建模方法。通过分析红外运动模糊成像特征,在盲反卷积框架下,提出了一种基于运动信息的图像非局部稀疏先验约束建模方法,通过计算图像的运动模糊核,进而复原运动模糊图像。结果表明,所提出的基于运动信息的图像非局部稀疏先验约束方法,针对性强,能有效地复原运动幅值较大的红外运动模糊图像;概率模糊检测、结构相似度和峰值信噪比均有不同程度的提高,尤其是峰值信噪比提高接近8%,且运动幅值越大,复原结果越明显。本研究为红外成像系统的应用打下了基础。
-
关键词:
- 图像处理 /
- 红外运动模糊图像复原 /
- 运动成像特征 /
- 非局部稀疏先验
Abstract: In order to restore motion degradation blur of the strap-down guidance infrared seeker, a non-local sparse prior constraint modeling method for infrared images was proposed. By analyzing the infrared motion blur imaging features of the strap-down platform, a non-local sparse prior constraint modeling method based on motion information was proposed in the blind deconvolution framework, which can estimate the motion blur kernel of the image and restore the infrared motion blur image. The result shows that the non-local sparse prior constraint method based on motion information proposed in this paper is highly targeted and can effectively restore infrared motion blurred images with large motion amplitudes. Cumulative probability of blur detection, structural similarity, peak signal-to-noise ratio all show varying degrees of improvement, especially peak signal-to-noise ratio increases by nearly 8%, and the larger the motion amplitude, the more obvious the restoration results. This study lays the foundation for the application of the strap-down guidance infrared imaging system. -
0. 引言
激光辐照气流环境中典型金属材料的热力学响应是激光加工等应用领域关心的热点和关键问题[1-4],铝合金是工业领域常用材料,研究获得其热响应和熔穿特性,对激光切割、打孔等实际应用具有重要指导意义和价值[5-7]。
在激光辐照材料过程中,材料响应与激光体制参数、材料热物理性质、激光与材料耦合特性、辐照区域内材料所处气流等环境息息相关[8-11]。当发生激光烧蚀材料相变后,金属的相变熔融物会阻碍激光向金属材料内部辐照,将熔融物从熔池中排出需要消耗部分激光能量,导致激光烧蚀清除效率低[12-14]。国外从20世纪70年代已开始从理论上研究切向气流对激光作用下材料清除时间的影响,近年来,国内外在实验和理论方面已有较多气流速度、气流组分等作用金属、复合材料靶的研究,结果表明,当切向气流作用于靶表面时,由于对流换热和切向气流对熔蚀物的清除作用,材料热响应和清除特性与自然对流环境下相比存在显著差异[8, 12, 15-16]。甚至当激光加热使靶材发生软化时,气流引起的前后表面压力差导致的剪切应力可在远低于熔点的情况下实现材料清除[17-18]。虽然理论、实验已有较多关于气流环境下激光辐照研究,但仍以定性的结果和规律认识为主。应用中如何高效、定量地获得材料清除效果,仍需要发展满足物理需求的数值模拟方法。
本文作者构建了考虑主要物理机制的气流和激光联合作用材料热学响应物理模型,同时为量化比较对流换热和清除熔蚀物二者在激光辐照材料中的作用,以铝合金为例,计算获得侧向气流条件不同激光功率密度下铝合金板的烧蚀清除规律,相关工作对铝合金板加工参数选择具有一定参考价值。
1. 数值计算模型
1.1 物理模型
气流环境下激光辐照材料是一个复杂的多物理场强耦合物理过程,存在气流换热、热-力耦合等多种物理效应,激光加载的能量、气流流动引起对流换热导致的能量损失以及材料烧蚀导致能量交换将共同决定靶材内部温度的分布,需要建立相应的物理模型[19-21]。对于激光加载和能量耦合过程,鉴于不透明金属材料对激光吸收深度小,通常约10 nm量级,计算中激光加载能量作为面热源处理,在材料区域内,热传导方程的数学描述为:
ρc∂T∂t=∇⋅(κ∇T)+Qr (1) 式中:ρ为壳材料密度;c为壳材料比热容;T为材料温度;t为时间;∇为矢量微分算符;κ为材料导热系数;Qr为材料相变和氧化反应热源项。
激光加载区域边界条件为:
(κ∂T∂z)+qc+qr=q1 (2) 式中:z为靶厚度;qc为对流换热热流;qr为辐射换热热流;ql为材料表面吸收的激光热流。
加载对流边界换热热流可表示为:
qc=hc(T−T0) (3) 式中:hc对流换热系数;T0为表面气流温度。
辐射换热热流为:
qr=σε(T4−T04) (4) 式中:σ为Stefan-Boltzmann常数;ε为表面发射率。
假定靶温度1000 K,辐射换热热流功率密度约1 W/cm2量级,相对于对流和加载激光功率密度较小,计算中可忽略。激光辐照下金属表面高温物质脱落,激光束直接辐照下一层材料,使得辐照热效应增强。为了模拟这种熔蚀效应,将受激光辐照的最外层未剥离表面定义为熔迹面。热软化物质剥离采用温度准则判据,即达到某高温状态热软化材料被气流剥离[19, 21]。采用“单元生死法”计算边界的移动和热传导,当某一离散单元的温度超过熔化温度或气化温度,定义该单元不再参与计算,对应加载边界施加到新的单元上,整个过程不可逆。
1.2 模型参数及实验验证
通过计算结果与实验结果比较校验计算模型,模型校验用算例参数和数据编号见表 1。表中自然对流下实验结果case 1和case 2参数引自参考文献[16]。自然对流下激光辐照实验靶板温升模拟结果见图 1a,亚声速气流条件下实验的模拟结果见图 1b。图中,R为到靶板中心点距离。模拟计算的case 1和shot 1靶背面不同位置温升与实验结果符合较好,计算结果显示靶板未发生熔穿,靶板升温和辐照结束后自然冷却过程均与实验结果一致;实验测得的case 2和shot 2靶板熔穿时间Δt分别为6.5 s和6.0 s,采用计算铝板靶背面中心点温升获得靶板熔穿时间,模型计算的case 2和shot 2的熔穿时间分别为7.0 s和5.6 s,计算结果与实验结基本一致。通过温升曲线和熔穿时间比较,新建模型可较好地模拟激光辐照靶板的温度和熔穿过程。
表 1 模型校验用算例参数Table 1. Parameters of simulation case for model verificationnumber power density/(W·cm-2) irradiation time/s material material dimension/mm flow velocity/(m·s-1) case 1 1190 10 LY12 ∅30×2 0 case 2 1190 10 LY12 ∅30×1 0 shot 1 800 10 LY12 100×100×3 120 shot 2 1400 10 LY12 100×100×3 120 2. 结果与分析
为充分分析气流环境对清除或气化规律的影响,分别开展了气流条件和无气流条件下2种典型工况的计算分析:有气流环境采用切向速率240 m/s、静温20 ℃的无穷远处均匀空气来流,根据经验公式对流换热系数取0.06 W/(cm2·K),以熔化温度作为穿孔(或单元删除)判据;无气流条件下以气化温度作为穿孔(或单元删除)判据计算,利用新建数值计算模型对激光辐照薄板厚度d =3 mm和厚板d =7 mm工况分别开展了熔穿规律数值模拟研究。计算中激光参数采用峰值功率密度I0分别取500 W/cm2、1000 W/cm2、1500 W/cm2、2000 W/cm2,光斑采用高斯分布;靶板采用LY12铝,几何模型厚度分别为3 mm和7 mm圆板,激光辐照在中心区域。
气流条件下厚度为3 mm靶板温度演化见图 2。加载激光峰值功率密度为500 W/cm2时,背面温度沿径向方向逐渐减低,背面靶板最高温度450 ℃,尚未达到铝的融化温度;当激光停止后,靶板在气体对流换热作用下,温度逐渐降低。计算获得不同峰值功率密度激光辐照靶板背面中心点的温度演化见图 2b。随着激光功率密度提高,靶温升率逐渐提高,其中在峰值功率密度1000 W/cm2时,辐照6.2 s后靶板熔穿;在峰值功率密度1500 W/cm2时,辐照3.4 s后靶板熔穿;在峰值功率密度2000 W/cm2时,辐照2.4 s后靶板熔穿。
气流条件下厚度为7 mm靶板温度演化见图 3。当激光峰值功率密度为2000 W/cm2时,靶板背面不同位置温度变化过程见图 3a,由于结构较厚,时间较长时,在距中心15 cm远位置也出现温升。当激光停止后,靶板在气体对流换热作用下,温度逐渐降低。激光功率密度为2000 W/cm2时板熔穿时间6.8 s。计算获得不同峰值功率密度激光辐照靶板背面中心点的温度演化见图 3b。随着激光功率密度提高,靶温升率逐渐提高,只有在峰值功率密度为2000 W/cm2时,辐照6.8 s后靶板熔穿;由于靶板较厚,在辐照10 s情况下其它较小加载功率密度均未造成熔穿。
在无气流条件、无重力等移除熔蚀物的作用情况下,计算获得的不同功率密度时3 mm厚度铝板背面中心点温度见图 4a,激光辐照的能量全部用于加热靶板,无质量迁移力,此时只有在铝板温度达到铝的气化温度后才能穿孔,计算结果显示,即使在功率密度为2000 W/cm2的高斯光束、辐照时间10 s,仍无法烧穿3 mm厚铝板;同样加载激光参数、靶参数情况,当施加质量迁移力,假定熔化后即将熔化层移除,此时3 mm厚度铝板背面中心点温升见图 4b,在功率密度1000 W/cm2~2000 W/cm2情况均出现熔穿。在不考虑气动加热等额外热源情况下,此时计算的熔穿时间即为该工况条件下的最快熔穿时间。
计算的气流和理想清除力情况下熔穿时间、功率密度参数的关系见图 5。图中,Δt为熔穿时间,A为材料表面吸收率。随着功率密度增加,熔穿时间急剧减小。与参考文献[17]中热平衡积分方法计算获得的气化烧蚀穿透模型结果比较,穿孔时间变化规律符合较好;但定量上由于二者物理模型存在差异,无法直接比较。本文中计算模型中光斑采用高斯分布模型,在考虑了侧向气流对流换热影响,与参考文献[17]中假定均匀光场定态气化假设不同,所以气流工况在低功率密度加载或厚板情况下与文献近似计算结果存在一定偏离;对于薄板、大功率密度加载情况下,对流换热作用时间短,与热平衡积分方法假设的条件更接近,并且本文中算例采用的光斑尺寸较大,在辐照区域内接近1维热扩散,所以参考文献中的理论与数值计算结果更接近。从穿孔时间可以看出,在功率密度较高区域各工况之间的差异小,功率密度较低区域各条件之间差异较大。分析认为,计算中声速固定时,对流换热系数则采用固定值,随着功率密度增加,对流换热的影响比例逐渐较降低。所以,在激光功率密度较小(500 W/cm2附近)时,近似计算或评估中建议不要忽略气流对流换热的影响;在激光功率密度较高(1500 W/cm2以上)时,气流对流换热的影响较小。
3. 结论
构建了考虑热传导、对流换热、熔化烧蚀等主要物理机制的气流和激光联合作用材料热学响应物理模型,获得气流环境下不同激光功率密度时铝合金板的热响应和烧蚀熔穿规律。高斯分布光束的出光峰值功率密度为1000 W/cm2、1500 W/cm2和2000 W/cm2时,3 mm厚铝板熔穿时间分别为6.2 s、3.4 s和2.4 s。随着功率密度增加,熔穿时间急剧减小,并且计算结果与参考文献中热平衡积分方法气化烧蚀穿透模型结果规律一致。与文献中假定均匀光场定态气化假设不同,本文中计算模型考虑了侧向气流对流换热影响,可实时更新温度扩散,数值模型与实际物理过程更接近。从穿孔时间可以看出,在功率密度较高区域各工况之间的差异小,功率密度较低区域各条件之间差异较大,在激光功率密度较小(500 W/cm2附近)时,近似计算或评估中建议不要忽略气流对流换热的影响;在激光功率密度较高(1500 W/cm2以上)时,气流对流换热的影响较小。由于气流环境下激光与金属相互作用包含复杂的传热、流动、化学反应以及金属材料的软化、脱落等力学过程,其综合作用机制还有待进一步研究。
-
compare algorithm CPBD SSIM PSNR TV priori constraint 0.4863 0.6383 30.5631 BTV priori constraint 0.5286 0.6921 32.6341 Kotera's method 0.5036 0.6419 31.6850 our study 0.6003 0.7593 35.6250 -
[1] KOTERA J, FILIP S, MILANFAR P. Blind deconvolution using alternating maximum a posteriori estimation with heavy-tailed priors[C]//International Conference on Computer Analysis of Images and Patterns. Berlin, Germany: Springer Press, 2013: 59-66.
[2] CHO T S, PARIS S, HORN B K P, et al. Blur kernel estimation using the radon transform[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Colorado Springs, USA: IEEE Press, 2011: 241-248.
[3] 廖永忠, 蔡自兴, 何湘华. 快速运动模糊图像盲解卷积算法[J]. 光学精密工程, 2013, 21(10): 2688-2695. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201310029.htm LIAO Y Z, CAI Z X, HE X H. Fast algorithm for motion blurred image blind deconvolution[J]. Optics and Precision Engineering, 2013, 21(10): 2688-2695(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201310029.htm
[4] 王国栋, 徐洁, 潘振宽, 等. 基于归一化超拉普拉斯先验项的运动模糊图像盲复原[J]. 光学精密工程, 2013, 21(5): 1340-1348. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201305033.htm WANG G D, XU J, PAN Z K, et al . Blind image restoration based on normalized hyper laplacian prior term[J]. Optics and Precision Engineering, 2013, 21(5): 1340-1348(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201305033.htm
[5] PAN J S, SUN D, PFISTER H, et al. Deblurring images via dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(10): 2315-2328. DOI: 10.1109/TPAMI.2017.2753804
[6] 唐述, 万盛道, 杨书丽, 等. 空间尺度信息的运动模糊核估计方法[J]. 软件学报, 2019, 30(12): 3876-3891. https://www.cnki.com.cn/Article/CJFDTOTAL-RJXB201912020.htm TANG Sh, WAN Sh D, YANG Sh L, et al . Spatial-scale-information method for motion blur kernel estimation[J]. Journal of Software, 2019, 30(12): 3876-3891(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-RJXB201912020.htm
[7] 余孝源, 谢薇, 陈定权, 等. 一种基于改进的暗通道先验的运动模糊核估计方法[J]. 控制与决策, 2020, 35(7): 1667-1673. https://www.cnki.com.cn/Article/CJFDTOTAL-KZYC202007016.htm YU X Y, XIE W, CHEN D Q, et al. A method of motion blurry kernel estimation based on improved dark channel prior[J]. Control and Decision, 2020, 35(7): 1667-1673(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-KZYC202007016.htm
[8] 贾平, 张葆, 孙辉. 航空成像像移模糊恢复技术[J]. 光学精密工程, 2006, 14(4): 697-703. DOI: 10.3321/j.issn:1004-924X.2006.04.030 JIA P, ZHANG B, SUN H. Restoration of motion-blurred aerial image[J]. Optics and Precision Engineering, 2006, 14(4): 697-703(in Chinese). DOI: 10.3321/j.issn:1004-924X.2006.04.030
[9] TAI Y W, TAN P, BROWN M S. Richardson-lucy deblurring for scenes under a projective motion path[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2011, 33(8): 1603-1818. DOI: 10.1109/TPAMI.2010.222
[10] KRISHNAN D, TAY T, FERGUS R. Blind deconvolution using a normalized sparsity measure[C]//2011 IEEE Conference on Computer Vision and Pattern Recognition. Colorado Springs, USA: IEEE Press, 2011: 233-240.
[11] LEVIN A, WEISS Y, DURAND F, et al. Understanding blind deconvolution algorithm[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2011, 33(12): 2354-2367.
[12] 陶昕辰, 朱涛, 黄玉玲, 等. 基于DDR GAN的低质量图像增强算法[J]. 激光技术, 2023, 47(3): 322-328. DOI: 10.7510/jgjs.issn.1001-3806.2023.03.006 TAO X C, ZHU T, HUANG Y L, et al. Low-quality image enhancement algorithm based on DDR GAN[J]. Laser Technology, 2023, 47(3): 322-328(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2023.03.006
[13] SUN L, CHO S, WANG J, et al. Edge-based blur kernel estimation using patch priors[C]//2013 IEEE International Conference on Computational Photography(ICCP). Cambridge, USA: IEEE Press, 2013: 1-8.
[14] 李伟红, 董亚莉, 唐述. 多范数混合约束的正则化图像盲复原[J]. 光学精密工程, 2013, 21(5): 1357-1364. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201305035.htm LI W H, DONG Y L, TANG Sh. Regularized blind image restoration based on muli-norm hybrid constraints[J]. Optics and Precision Engineering, 2013, 21(5): 1357-1364(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201305035.htm
[15] CHEN L, FANG F, LEI S, et al. Enhanced sparse model for blind deblurring[C]//2020 European Conference on Computer Vision(ECCV). Online: Springer Press, 2020: 631-646.
[16] CHO S, LEE S. Convergence analysis of MAP based blur kernel estimation[C]//2017 IEEE International Conference on Computer Vision(ICCV). Venice, Italy: IEEE Press, 2017: 4818-4826.
[17] 王铎. 红外成像制导运动模糊图像恢复技术研究[J]. 光电技术应用, 2016, 31(4): 15-17. https://www.cnki.com.cn/Article/CJFDTOTAL-GDYG201604006.htm WANG D. Research on motion-blur image restoration technology of infrared imaging guidance[J]. Electro-Optic Technology Application, 2016, 31(4): 15-17(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GDYG201604006.htm
[18] YANG L, JI H. A variational EM framework with adaptive edge selection for blind motion deblurring[C]//2019 IEEE Conference on Computer Vision and Pattern Recognition(CVPR). Long Beach, USA: IEEE Press, 2019: 10159-10168.
[19] MIGNOTTE M. A non-local regularization strategy for image deconvolution[J]. Pattern Recognition Letters, 2008, 29(3): 2206-2212.
[20] MICHAEL K N, YUAN X M, ZHANG W X. Coupled variational image decomposition and restoration model for blurred cartoon-plus-texture images with missing pixels[J]. IEEE Transactions on Image Processing Journal, 2013, 22(6): 2233-2246. DOI: 10.1109/TIP.2013.2246520
[21] BUADES A, COLL B, MOREL J M. A review of image denoising algorithms with a new one[J]. Multiscale Modeling & Simulation, 2005, 4(2): 490-530.
[22] NIRANJAN D, NARVEKAR L J. A no-reference image blur metric based on the cumulative probability of blur detection[J]. IEEE Transactions on Image Processing, 2011, 20(9): 2678-2683. DOI: 10.1109/TIP.2011.2131660