HTML
-
为了验证本文中提出的DHSR算法的有效性,下面将从多个角度对其进行性能评估。首先,依照Wald协议流程,根据退化模型,利用空间下采样矩阵对参考图像在空间维度下采样得到观测高光谱,利用光谱下采样矩阵得到观测多光谱。实验中采用多个评价指标来定量评估DHSR算法的重建性能,包括重建信噪比(reconstruction signal-to-noise ratio,RSNR)[17]、均方根误差(root mean squared error,RMSE)[18]、相对无量纲全局误差(erreur relative globale adimensionnelle de synthèse,ERGAS)[19]、光谱角制图(spectral angle mapper,SAM)[20]和结构相似度(structural similarity index measure,SSIM)[21]。
-
为了客观评估算法的实际性能,采用两组不同传感器采集的数据集进行了仿真实验。一组数据是CAVE数据集[22],该数据集是由冷却电荷耦合器件(charge-coupled device, CCD)相机拍摄的一系列室内高光谱图像。原始的CAVE数据集中包含32张512×512个空间像素大小的图像,每张图像包括31个波段,覆盖400 nm~700 nm的光谱范围。另一组数据集是Harvard数据集[23],它是由商用高光谱相机拍摄的一系列自然高光谱场景,其中包括室内和室外图像。该数据集中的每个图像包含1040×1392个空间像素和31个光谱波段,覆盖了420 nm~720 nm的光谱范围。尺寸过大的图像会导致运算量大幅增加,为了减少计算量,选择每张图片中512×512个空间像素的区域进行性能测试实验。
本文中提出的DHSR算法需要预训练一个深度特征提取网络,在实验中分别随机选取这两个数据集中的80%作为训练集对网络进行训练,然后测试另外20%的平均性能作为最终的测试结果。在高光谱图像和多光谱图像的获取中不可避免地会受到噪声的干扰,为了评估算法的抗噪声性能,仿真实验分别设置高光谱图像和多光谱图像的信噪比均为30 dB和35 dB来测试算法的抗噪性能。
-
本文中提出DHSR算法中的参数α用于平衡正则项和数据拟合项之间的权重,实验中根据RMSE最小准则来设置该参数的具体取值,算法的RMSE性能随参数变化的趋势如图 6所示。从图中可以看出,α的取值对算法性能有较大影响,最终考虑图像的噪声水平以及算法的稳定性,将α设置为0.1。
-
为了全面评估本文作者提出的DHSR算法在不同数据集上的性能,选择5种代表性的融合方法作为基准,其中包括基于矩阵分解的CNMF[3]和贝叶斯稀疏表示(Bayesian sparse representation,BSR)[24]、基于张量分解的耦合稀疏张量分解(coupled sparse tensor factorization,CSTF)[25]、非局部稀疏张量分解(non-local sparse tensor factorization, NLSTF)[26]和超分辨率张量重构(super-resolution tensor-reconstruction, SRTR)[7]。首先在两种噪声条件下测试了提出的DHSR算法和基准算法在CAVE数据集和Harvard数据集上的性能。分别从两个数据集的20%测试集中随机选择一幅图像,其重建图像(上排)和误差图像(下排)如图 7和图 8所示。视觉上看,各种算法的重建结果差别微乎其微,但从局部细节放大图上看,DHSR算法在局部细节上的恢复明显有更大优势。
从图 7c和图 7d中观察到,CSTF和BSR的误差图像中均出现了明显阴影。图 8为不同算法在Harvard数据集上的重建结果以及误差图像。从重建图像的细节放大图中可以看出,CSTF和BSR算法的重建图像都出现了局部细节丢失问题;而CNMF的重构图像在整体上取得了良好的性能,但是在误差图像的局部区域能看到关于草地的阴影,这可能是由于将3维数据展开成2维形式导致了结构信息的丢失;DHSR算法无论从整体上还是局部细节上都表现出更好的重构性能;此外,从误差图像中可以看出,该算法的误差图像和参考图像更加接近。
从重建图像和误差图像中只能直观观察到各种算法的重建效果,无法定量描述各种算法的性能差异,表 1和表 2显示了各种算法在信噪比分别为30 dB和35 dB的情况下在多种评价指标上测试集的平均性能差异。粗体字为最优值。如表 1所示,本文作者提出的DHSR算法在高光谱图像和多光谱图像的信噪比均为30 dB的条件下,RSNR分别比CSTF和CNMF提升了1.8 dB与1.9 dB;在RMSE指标中,提出的DHSR算法相比于CNMF降低了16%;当噪声减少时,各种算法在重建性能上明显取得了一定程度上的提升。在Harvard数据集上,当信噪比均为35 dB时,本文作者提出的DHSR算法比次优算法CNMF提升了2.2 dB;RMSE误差降低了30%;此外,DHSR算法在SAM上也取得了明显的性能提升,这表示本文作者提出的模型在重建图像中有明显更小的光谱畸变。
algorithm case 1(SNR: 30 dB) case 2(SNR: 35 dB) ERGAS RSNR RMSE SAM SSIM ERGAS RSNR RMSE SAM SSIM SRTR 2.84 25.92 0.10 0.148 0.81 2.84 25.92 0.11 0.148 0.81 CSTF 2.00 28.93 0.08 0.096 0.87 1.52 31.33 0.06 0.065 0.89 BSR 2.72 26.23 0.11 0.121 0.90 2.70 26.31 0.10 0.121 0.90 CNMF 2.03 28.81 0.08 0.084 0.89 1.51 31.38 0.05 0.059 0.93 NLSTF 2.75 26.19 0.10 0.157 0.83 1.65 30.61 0.06 0.097 0.91 DHSR 1.61 30.68 0.06 0.069 0.95 1.05 34.16 0.04 0.046 0.97 Table 1. Average performance of test results for 20% of the images in the CAVE dataset
algorithm case 1(SNR: 30 dB) case 2(SNR: 35 dB) ERGAS RSNR RMSE SAM SSIM ERGAS RSNR RMSE SAM SSIM SRTR 2.95 23.47 0.14 0.064 0.90 2.95 23.47 0.14 0.064 0.90 CSTF 4.64 20.64 0.19 0.074 0.75 4.32 20.57 0.20 0.073 0.79 BSR 4.15 20.05 0.21 0.074 0.87 4.15 20.05 0.21 0.074 0.87 CNMF 2.54 25.38 0.11 0.047 0.89 2.00 27.18 0.09 0.037 0.94 NLSTF 3.57 23.87 0.13 0.066 0.86 2.51 25.77 0.11 0.05 0.92 DHSR 2.43 27.62 0.08 0.039 0.92 1.76 29.35 0.06 0.031 0.95 Table 2. Average performance of test results for 20% of the images in the Harvard dataset
通过使用基于深度神经网络的自适应特征提取,可以有效捕获数据集中图像的自适应特征;将神经网络提取到的自适应先验特征以正则项的方式整合到优化问题中,可以有效提升重建图像的空间分辨率,同时降低光谱畸变现象。
高光谱图像和普通的光学图像的主要区别是:高光谱图像有多个光谱通道。上述性能数据表格描述了融合算法的整体性能,而图 7和图 8的误差图像只能反映一些波段的性能。为了进一步验证评估算法在多个谱带上的重建性能,并有效反映其对每个谱带的重建能力,分别从CAVE数据集和Harvard数据集的20%测试集中随机选择一幅图像,在输入图像信噪比均为35 dB的情况下,评估不同算法在各个谱带上的ERGAS、RMSE以及RSNR性能,如图 9和图 10所示。从图中可以看出,在CAVE数据集中,所提出的DHSR算法在所有谱带上的性能均显著领先。在Harvard数据集中,DHSR算法在大部分谱带上也领先于基准算法。实验结果证实了本文作者提出模型的合理性。通过引入基于深度神经网络的自适应先验特征正则化,在有效提升重构图像质量的同时,大幅度抑制了噪声的干扰。
-
DHSR算法的运算复杂度主要包括$ \tilde{\boldsymbol{Z}}$的估计以及利用ADMM对式(10)的迭代求解。首先,利用深度神经网络对先验特征$ \tilde{\boldsymbol{Z}}$的估计主要取决于神经网络的复杂度。当网络训练完成且观测图像已知时,可以直接获取图像对应的先验特征,因此该过程可视为数据预处理过程。式(10)的求解主要包含式(12)~式(14)的计算复杂度,且计算复杂度主要集中于式(12)和式(13),它们的运算复杂度分别为$ O\left(N_{\mathrm{a}} N_{\mathrm{w}}{ }^2 N_{\mathrm{h}}{ }^2\right)$和$ O\left(N_{\mathrm{a}}^2 N_{\mathrm{w}} N_{\mathrm{h}}\right)$。因此,DHSR算法的总体计算复杂度为$ O\left(N_{\mathrm{a}} N_{\mathrm{w}}^2 N_{\mathrm{h}}^2+N_{\mathrm{a}}^2 N_{\mathrm{w}} N_{\mathrm{h}}\right)$)。为了定量分析提出的DHSR算法和基准算法在实际运算中的复杂度,测试了各种算法的运行时间,如表 3所示。从表中可以看出,DHSR算法在两个数据集上的运行时间都领先于其它算法,主要原因是DHSR算法不涉及矩阵分解或者张量分解,不需要使用交替优化(alternating optimization,AO)对优化问题进行解耦,因此大幅度提升了算法的运行效率。
dataset time/s SRTR CSTF BSR CNMF NLSTF DHSR CAVE 206.48 144.39 621.44 307.86 585.94 98.63 Harvard 209.92 155.52 677.88 316.48 746.69 94.27 Table 3. Algorithm running time on different datasets at SNR of 35 dB