Adaptive deep prior for hyperspectral image super-resolution
-
摘要: 为了解决现有的高光谱超分辨率方法依赖于手工先验和数据驱动先验会导致参数选择困难或可解释性差的问题，采用一种基于自适应深度先验正则的高光谱图像超分辨率方法，进行了理论分析和实验验证。首先设计基于卷积神经网络的多阶段特征提取网络，提取退化图像的空间和光谱信息；其次将提取到的空-谱先验输入基于transformer模型的特征融合模块；然后自适应交互空域和谱域的互补信息，以捕获图像的全局先验特征；最后在退化模型中插入深度先验正则项，将超分辨率问题表述为一个优化问题，其解可以通过交替方向乘子法获得并降低求解复杂度。结果表明，所提出算法在信噪比均为35 dB时，重建信噪比分别达到了34.16 dB和29.35 dB, 比次优算法高出2.78 dB和2.17 dB，重建的高分辨率高光谱图像与其固有结构具有较高的一致性。该研究为综合利用手工先验和数据驱动先验增强高光谱图像空间分辨率提供了参考。Abstract: To address the issue that the difficult parameter selection or poor interpretability caused by the existing hyperspectral super-resolution methods rely on manual or data-driven prior, a deep prior regularization-based hyperspectral image super-resolution method was adopted for theoretical analysis and experimental validation. First, a multi-stage feature extraction network based on a deep convolutional neural network was designed to extract spatial and spectral information from the degraded images. Then, the collected spatial-spectral prior features were fed into a transformer-based feature fusion module, where complementary information from the spatial and spectral domains was adaptively extracted to capture the image' s global prior features. Finally, the super-resolution problem of the image was formulated as an optimization problem by inserting deep prior regularization term in the degraded model, the solution of which can be achieved using the alternating direction method of multipliers while minimizing solution complexity. Experimental results show that reconstruction signal-to-noise ratio of this algorithm is 34.16 dB and 29.35 dB when both of the signal-to-noise ratio are 35 dB, which is 2.78 dB and 2.17 dB higher than the suboptimal algorithm, respectively. The reconstructed high-resolution hyperspectral images have high consistency with their inherent structures under the condition of deep prior regularization. This study provides a reference for the combined use of manual and data-driven prior to enhance the spatial resolution of hyperspectral images.
-
0. 引言
激光辐照气流环境中典型金属材料的热力学响应是激光加工等应用领域关心的热点和关键问题[1-4]，铝合金是工业领域常用材料，研究获得其热响应和熔穿特性，对激光切割、打孔等实际应用具有重要指导意义和价值[5-7]。
在激光辐照材料过程中，材料响应与激光体制参数、材料热物理性质、激光与材料耦合特性、辐照区域内材料所处气流等环境息息相关[8-11]。当发生激光烧蚀材料相变后，金属的相变熔融物会阻碍激光向金属材料内部辐照，将熔融物从熔池中排出需要消耗部分激光能量，导致激光烧蚀清除效率低[12-14]。国外从20世纪70年代已开始从理论上研究切向气流对激光作用下材料清除时间的影响，近年来，国内外在实验和理论方面已有较多气流速度、气流组分等作用金属、复合材料靶的研究，结果表明，当切向气流作用于靶表面时，由于对流换热和切向气流对熔蚀物的清除作用，材料热响应和清除特性与自然对流环境下相比存在显著差异[8, 12, 15-16]。甚至当激光加热使靶材发生软化时，气流引起的前后表面压力差导致的剪切应力可在远低于熔点的情况下实现材料清除[17-18]。虽然理论、实验已有较多关于气流环境下激光辐照研究，但仍以定性的结果和规律认识为主。应用中如何高效、定量地获得材料清除效果，仍需要发展满足物理需求的数值模拟方法。
本文作者构建了考虑主要物理机制的气流和激光联合作用材料热学响应物理模型，同时为量化比较对流换热和清除熔蚀物二者在激光辐照材料中的作用，以铝合金为例，计算获得侧向气流条件不同激光功率密度下铝合金板的烧蚀清除规律，相关工作对铝合金板加工参数选择具有一定参考价值。
1. 数值计算模型
1.1 物理模型
气流环境下激光辐照材料是一个复杂的多物理场强耦合物理过程，存在气流换热、热-力耦合等多种物理效应，激光加载的能量、气流流动引起对流换热导致的能量损失以及材料烧蚀导致能量交换将共同决定靶材内部温度的分布，需要建立相应的物理模型[19-21]。对于激光加载和能量耦合过程，鉴于不透明金属材料对激光吸收深度小，通常约10 nm量级，计算中激光加载能量作为面热源处理，在材料区域内，热传导方程的数学描述为：
ρc∂T∂t=∇⋅(κ∇T)+Qr (1) 式中：ρ为壳材料密度；c为壳材料比热容；T为材料温度；t为时间；∇为矢量微分算符；κ为材料导热系数；Qr为材料相变和氧化反应热源项。
激光加载区域边界条件为：
(κ∂T∂z)+qc+qr=q1 (2) 式中：z为靶厚度；qc为对流换热热流；qr为辐射换热热流；ql为材料表面吸收的激光热流。
加载对流边界换热热流可表示为：
qc=hc(T−T0) (3) 式中：hc对流换热系数；T0为表面气流温度。
辐射换热热流为：
qr=σε(T4−T04) (4) 式中：σ为Stefan-Boltzmann常数；ε为表面发射率。
假定靶温度1000 K，辐射换热热流功率密度约1 W/cm2量级，相对于对流和加载激光功率密度较小，计算中可忽略。激光辐照下金属表面高温物质脱落，激光束直接辐照下一层材料，使得辐照热效应增强。为了模拟这种熔蚀效应，将受激光辐照的最外层未剥离表面定义为熔迹面。热软化物质剥离采用温度准则判据，即达到某高温状态热软化材料被气流剥离[19, 21]。采用“单元生死法”计算边界的移动和热传导，当某一离散单元的温度超过熔化温度或气化温度，定义该单元不再参与计算，对应加载边界施加到新的单元上，整个过程不可逆。
1.2 模型参数及实验验证
通过计算结果与实验结果比较校验计算模型，模型校验用算例参数和数据编号见表 1。表中自然对流下实验结果case 1和case 2参数引自参考文献[16]。自然对流下激光辐照实验靶板温升模拟结果见图 1a，亚声速气流条件下实验的模拟结果见图 1b。图中，R为到靶板中心点距离。模拟计算的case 1和shot 1靶背面不同位置温升与实验结果符合较好，计算结果显示靶板未发生熔穿，靶板升温和辐照结束后自然冷却过程均与实验结果一致；实验测得的case 2和shot 2靶板熔穿时间Δt分别为6.5 s和6.0 s，采用计算铝板靶背面中心点温升获得靶板熔穿时间，模型计算的case 2和shot 2的熔穿时间分别为7.0 s和5.6 s，计算结果与实验结基本一致。通过温升曲线和熔穿时间比较，新建模型可较好地模拟激光辐照靶板的温度和熔穿过程。
表 1 模型校验用算例参数Table 1. Parameters of simulation case for model verificationnumber power density/(W·cm-2) irradiation time/s material material dimension/mm flow velocity/(m·s-1) case 1 1190 10 LY12 ∅30×2 0 case 2 1190 10 LY12 ∅30×1 0 shot 1 800 10 LY12 100×100×3 120 shot 2 1400 10 LY12 100×100×3 120 2. 结果与分析
为充分分析气流环境对清除或气化规律的影响，分别开展了气流条件和无气流条件下2种典型工况的计算分析：有气流环境采用切向速率240 m/s、静温20 ℃的无穷远处均匀空气来流，根据经验公式对流换热系数取0.06 W/(cm2·K)，以熔化温度作为穿孔(或单元删除)判据；无气流条件下以气化温度作为穿孔(或单元删除)判据计算，利用新建数值计算模型对激光辐照薄板厚度d =3 mm和厚板d =7 mm工况分别开展了熔穿规律数值模拟研究。计算中激光参数采用峰值功率密度I0分别取500 W/cm2、1000 W/cm2、1500 W/cm2、2000 W/cm2，光斑采用高斯分布；靶板采用LY12铝，几何模型厚度分别为3 mm和7 mm圆板，激光辐照在中心区域。
气流条件下厚度为3 mm靶板温度演化见图 2。加载激光峰值功率密度为500 W/cm2时，背面温度沿径向方向逐渐减低，背面靶板最高温度450 ℃，尚未达到铝的融化温度；当激光停止后，靶板在气体对流换热作用下，温度逐渐降低。计算获得不同峰值功率密度激光辐照靶板背面中心点的温度演化见图 2b。随着激光功率密度提高，靶温升率逐渐提高，其中在峰值功率密度1000 W/cm2时，辐照6.2 s后靶板熔穿；在峰值功率密度1500 W/cm2时，辐照3.4 s后靶板熔穿；在峰值功率密度2000 W/cm2时，辐照2.4 s后靶板熔穿。
![图 2 激光辐照3 mm厚度靶板背面的温度]()
图 2 激光辐照3 mm厚度靶板背面的温度Figure 2. Temperature at back of 3 mm target plate after laser irradiation气流条件下厚度为7 mm靶板温度演化见图 3。当激光峰值功率密度为2000 W/cm2时，靶板背面不同位置温度变化过程见图 3a，由于结构较厚，时间较长时，在距中心15 cm远位置也出现温升。当激光停止后，靶板在气体对流换热作用下，温度逐渐降低。激光功率密度为2000 W/cm2时板熔穿时间6.8 s。计算获得不同峰值功率密度激光辐照靶板背面中心点的温度演化见图 3b。随着激光功率密度提高，靶温升率逐渐提高，只有在峰值功率密度为2000 W/cm2时，辐照6.8 s后靶板熔穿；由于靶板较厚，在辐照10 s情况下其它较小加载功率密度均未造成熔穿。
![图 3 激光辐照7 mm厚度靶板背面的温度]()
图 3 激光辐照7 mm厚度靶板背面的温度Figure 3. Temperature at back of 7 mm target plate after laser irradiation在无气流条件、无重力等移除熔蚀物的作用情况下，计算获得的不同功率密度时3 mm厚度铝板背面中心点温度见图 4a，激光辐照的能量全部用于加热靶板，无质量迁移力，此时只有在铝板温度达到铝的气化温度后才能穿孔，计算结果显示，即使在功率密度为2000 W/cm2的高斯光束、辐照时间10 s，仍无法烧穿3 mm厚铝板；同样加载激光参数、靶参数情况，当施加质量迁移力，假定熔化后即将熔化层移除，此时3 mm厚度铝板背面中心点温升见图 4b，在功率密度1000 W/cm2~2000 W/cm2情况均出现熔穿。在不考虑气动加热等额外热源情况下，此时计算的熔穿时间即为该工况条件下的最快熔穿时间。
![图 4 熔蚀物清除力对靶背面温升的影响]()
图 4 熔蚀物清除力对靶背面温升的影响Figure 4. Effect of molten material removal force on temperture at back of target plate计算的气流和理想清除力情况下熔穿时间、功率密度参数的关系见图 5。图中，Δt为熔穿时间，A为材料表面吸收率。随着功率密度增加，熔穿时间急剧减小。与参考文献[17]中热平衡积分方法计算获得的气化烧蚀穿透模型结果比较，穿孔时间变化规律符合较好；但定量上由于二者物理模型存在差异，无法直接比较。本文中计算模型中光斑采用高斯分布模型，在考虑了侧向气流对流换热影响，与参考文献[17]中假定均匀光场定态气化假设不同，所以气流工况在低功率密度加载或厚板情况下与文献近似计算结果存在一定偏离；对于薄板、大功率密度加载情况下，对流换热作用时间短，与热平衡积分方法假设的条件更接近，并且本文中算例采用的光斑尺寸较大，在辐照区域内接近1维热扩散，所以参考文献中的理论与数值计算结果更接近。从穿孔时间可以看出，在功率密度较高区域各工况之间的差异小，功率密度较低区域各条件之间差异较大。分析认为，计算中声速固定时，对流换热系数则采用固定值，随着功率密度增加，对流换热的影响比例逐渐较降低。所以，在激光功率密度较小(500 W/cm2附近)时，近似计算或评估中建议不要忽略气流对流换热的影响；在激光功率密度较高(1500 W/cm2以上)时，气流对流换热的影响较小。
![图 5 熔穿时间与功率密度的关系]()
图 5 熔穿时间与功率密度的关系Figure 5. Relationship between melted perforation time and laser power density3. 结论
构建了考虑热传导、对流换热、熔化烧蚀等主要物理机制的气流和激光联合作用材料热学响应物理模型，获得气流环境下不同激光功率密度时铝合金板的热响应和烧蚀熔穿规律。高斯分布光束的出光峰值功率密度为1000 W/cm2、1500 W/cm2和2000 W/cm2时，3 mm厚铝板熔穿时间分别为6.2 s、3.4 s和2.4 s。随着功率密度增加，熔穿时间急剧减小，并且计算结果与参考文献中热平衡积分方法气化烧蚀穿透模型结果规律一致。与文献中假定均匀光场定态气化假设不同，本文中计算模型考虑了侧向气流对流换热影响，可实时更新温度扩散，数值模型与实际物理过程更接近。从穿孔时间可以看出，在功率密度较高区域各工况之间的差异小，功率密度较低区域各条件之间差异较大，在激光功率密度较小(500 W/cm2附近)时，近似计算或评估中建议不要忽略气流对流换热的影响；在激光功率密度较高(1500 W/cm2以上)时，气流对流换热的影响较小。由于气流环境下激光与金属相互作用包含复杂的传热、流动、化学反应以及金属材料的软化、脱落等力学过程，其综合作用机制还有待进一步研究。
-
![]()
图 1 基于自适应特征提取的高光谱图像超分辨率方法的流程图
Figure 1. Flowchart of hyperspectral image super-resolution method based on adaptive feature extraction
![]()
图 5 a—深度特征融合模块b—swin-transformer层
Figure 5. a—deep feature fusion module b—swin-transformer layer
![]()
图 6 算法的RMSE性能随正则化参数α的变化曲线
Figure 6. Curve of RMSE performance of the algorithm changes with the variation of the regularization parameter α
![]()
图 7 各算法在CAVE数据集上的重建图像和误差图像
Figure 7. The reconstructed and error maps on CAVE dataset by the different algorithms
![]()
图 8 各算法在Harvard数据集上的重建图像和误差图像
Figure 8. The reconstructed and error maps on Harvard dataset by different algorithms
表 1 CAVE数据集中20%图像测试结果的平均性能
Table 1 Average performance of test results for 20% of the images in the CAVE dataset
algorithm case 1(SNR: 30 dB) case 2(SNR: 35 dB) ERGAS RSNR RMSE SAM SSIM ERGAS RSNR RMSE SAM SSIM SRTR 2.84 25.92 0.10 0.148 0.81 2.84 25.92 0.11 0.148 0.81 CSTF 2.00 28.93 0.08 0.096 0.87 1.52 31.33 0.06 0.065 0.89 BSR 2.72 26.23 0.11 0.121 0.90 2.70 26.31 0.10 0.121 0.90 CNMF 2.03 28.81 0.08 0.084 0.89 1.51 31.38 0.05 0.059 0.93 NLSTF 2.75 26.19 0.10 0.157 0.83 1.65 30.61 0.06 0.097 0.91 DHSR 1.61 30.68 0.06 0.069 0.95 1.05 34.16 0.04 0.046 0.97 
下载: 导出CSV
表 2 Harvard数据集中20%图像测试结果的平均性能
Table 2 Average performance of test results for 20% of the images in the Harvard dataset
algorithm case 1(SNR: 30 dB) case 2(SNR: 35 dB) ERGAS RSNR RMSE SAM SSIM ERGAS RSNR RMSE SAM SSIM SRTR 2.95 23.47 0.14 0.064 0.90 2.95 23.47 0.14 0.064 0.90 CSTF 4.64 20.64 0.19 0.074 0.75 4.32 20.57 0.20 0.073 0.79 BSR 4.15 20.05 0.21 0.074 0.87 4.15 20.05 0.21 0.074 0.87 CNMF 2.54 25.38 0.11 0.047 0.89 2.00 27.18 0.09 0.037 0.94 NLSTF 3.57 23.87 0.13 0.066 0.86 2.51 25.77 0.11 0.05 0.92 DHSR 2.43 27.62 0.08 0.039 0.92 1.76 29.35 0.06 0.031 0.95
下载: 导出CSV
表 3 在信噪比为35dB时算法在不同数据集上的运行时间
Table 3 Algorithm running time on different datasets at SNR of 35 dB
dataset time/s SRTR CSTF BSR CNMF NLSTF DHSR CAVE 206.48 144.39 621.44 307.86 585.94 98.63 Harvard 209.92 155.52 677.88 316.48 746.69 94.27
下载: 导出CSV
-
[1] 刘煊, 渠慎明. 低秩稀疏和改进SAM的高光谱图像误标签检测[J]. 激光技术, 2022, 46(6): 808-816. DOI: 10.7510/jgjs.issn.1001-3806.2022.06.016 LIU X, QU Sh M. False label detection in hyperspectral image based on low rank sparse and improved SAM[J]. Laser Technology, 2022, 46(6): 808-816(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2022.06.016
[2] 臧传凯, 沈芳, 杨正东. 基于无人机高光谱遥感的河湖水环境探测[J]. 自然资源遥感, 2021, 33(3): 45-53. https://www.cnki.com.cn/Article/CJFDTOTAL-GTYG202103008.htm ZANG Ch K, SHEN F, YANG Zh D. Aquatic environmental monitoring of inland waters based on UAV hyperspectral remote sensing[J]. Remote Sensing for Natural Resources, 2021, 33(3): 45-53(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GTYG202103008.htm
[3] 刘翠连, 陶于祥, 罗小波, 等. 混合卷积神经网络的高光谱图像分类方法[J]. 激光技术, 2022, 46(3): 355-361. DOI: 10.7510/jgjs.issn.1001-3806.2022.03.009 LIU C L, TAO Y X, LUO X B, et al. Hyperspectral image classification based on hybrid convolutional neural network[J]. Laser Techno-logy, 2022, 46(3): 355-361(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2022.03.009
[4] YOKOYA N, YAIRI T, IWASAKI A. Coupled nonnegative matrix factorizationunmixing for hyperspectral and multispectral data fusion[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 50(2): 528-537.
[5] YANG F X, PING Z L, MA F, et al. Fusion of hyperspectral and multispectral images with sparse and proximal regularization[J]. IEEE Access, 2019, 7: 186352-186363. DOI: 10.1109/ACCESS.2019.2961240
[6] AHMAD T, LYNGDOH R B, ANAND S S, et al. Robust coupled non-negative matrix factorization for hyperspectral and multispectral data fusion[C]//2021 IEEE International Geoscience and Remote Sensing Symposium IGARSS. New York, USA: IEEE Press, 2021: 2456-2459.
[7] KANATSOULIS C I, FU X, SIDIROPOULOS N D, et al. Hyperspectral super-resolution: A coupled tensor factorization approach[J]. IEEE Transactions on Signal Processing, 2018, 66(24): 6503-6517. DOI: 10.1109/TSP.2018.2876362
[8] MA F, HUO S, YANG F X. Graph-based logarithmic low-rank tensor decomposition for the fusion of remotely sensed images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 11271-11286. DOI: 10.1109/JSTARS.2021.3123466
[9] HU J F, HUANG T Zh, DENG L J, et al. Hyperspectral image super-resolution via deep spatiospectral attention convolutional neural networks[J]. IEEE Transactions on Neural Networks and Learning Systems, 2021, 33(12): 7251-7265.
[10] XIAO J J, LI J, YUAN Q Q, et al. Physics-based GAN with iterative refinement unit for hyperspectral and multispectral image fusion[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2021, 14: 6827-6841. DOI: 10.1109/JSTARS.2021.3075727
[11] HU J F, HUANG T Zh, DENG L J, et al. Fusformer: A transformer-based fusion network for hyperspectral image super-resolution[J]. IEEE Geoscience and Remote Sensing Letters, 2022, 19: 1-5.
[12] WU H P, XIAO B, CODELLA N, et al. Cvt: Introducing convolutions to vision transformers[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. New York, USA: IEEE Press, 2021: 22-31.
[13] HE A, LI T, LI N, et al. CABNet: Category attention block for imbalanced diabetic retinopathy grading[J]. IEEE Transactions on Medical Imaging, 2020, 40(1): 143-153.
[14] LI Zh W, SUI H, LUO C, et al. Morphological convolution and attention calibration network for hyperspectral and LiDAR data classification[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2023, 16: 5728-5740. DOI: 10.1109/JSTARS.2023.3284655
[15] PAN H D, GAO F, DONG J Y, et al. Multiscale adaptive fusion network for hyperspectral image denoising[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2023, 16: 3045-3059. DOI: 10.1109/JSTARS.2023.3257051
[16] 王龙光, 郭裕兰, 林再平, 等. 基于Transformer的高光谱图像超分辨率重建[J]. 中国科学: 信息科学, 2023, 53(3): 500-516. https://www.cnki.com.cn/Article/CJFDTOTAL-PZKX202303006.htm WANG L G, GUO Y L, LIN Z P, et al. Deep hyperspectral image super-resolution with transformers[J]. Scientia Sinica: Informationis, 2023, 53(3): 500-516(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-PZKX202303006.htm
[17] SUI L Ch, LI L, LI J, et al. Fusion of hyperspectral and multispectral images based on a Bayesian nonparametric approach[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2019, 12: 1205-1218. DOI: 10.1109/JSTARS.2019.2902847
[18] CHAI T, DRAXLER R R. Root mean square error (RMSE) or mean absolute error (MAE)-Arguments against avoiding RMSE in the literature[J]. Geoscientific Model Development, 2014, 7(3): 1247-1250. DOI: 10.5194/gmd-7-1247-2014
[19] JIANG J J, SUN H, LIU X M, et al. Learning spatial-spectral prior for super-resolution of hyperspectral imagery[J]. IEEE Transactions on Computational Imaging, 2020, 6: 1082-1096. DOI: 10.1109/TCI.2020.2996075
[20] LI Q, YUAN Y, JIA X P, et al. Dual-stage approach toward hyperspectral image super-resolution[J]. IEEE Transactions on Image Processing, 2022, 31: 7252-7263.
[21] WANG Zh, BOVIK A C, SHEIKH H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
[22] YASUMA F, MITSUNAGA T, ISO D, et al. Generalized assorted pixel camera: postcapture control of resolution, dynamic range, and spectrum[J]. IEEE Transactions on Image Processing, 2010, 19(9): 2241-2253.
[23] CHAKRABARTI A, ZICKLER T. Statistics of real-world hyperspectral images[C]//CVPR 2011. New York, USA: IEEE Press, 2011: 193-200.
[24] WEI Q, BIOUCAS-DIAS J, DOBIGEON N, et al. Hyperspectral and multispectral image fusion based on a sparse representation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(7): 3658-3668.
[25] LI Sh T, DIAN R W, FANG L Y, et al. Fusing hyperspectral and multispectral images via coupled sparse tensor factorization[J]. IEEE Transactions on Image Processing, 2018, 27(8): 4118-4130.
[26] DIAN R W, FANG L Y, LI Sh T. Hyperspectral image super-resolution via non-local sparse tensor factorization[C]//Proceedings of the IEEE Conference on Computer Vision and Pattem Recognition. New York, USA: IEEE Press, 2017: 5344-5353.
-
期刊类型引用(0)
其他类型引用(1)
计量
- 文章访问数: 15
- HTML全文浏览量: 5
- PDF下载量: 7
- 被引次数: 1