Prediction and study of strawberry hardness based on hyperspectral index segmentation
-
摘要: 为了快速无损检测草莓硬度, 连续5天采集了草莓高光谱数据和硬度信息, 提出一种基于高光谱多指数阈值逐层分割的硬度预测方法。首先分析各组分(果肉、霉变果肉、草莓籽和萼片)的光谱反射率差异并确定特征波段, 利用特征波段构建新的归一化特征指数, 完成分割阈值的确定, 采用逐层分割的方法以排除无关部分的干扰; 通过连续投影算法、主成分分析法及2次组合降维来降低光谱信息冗余度并提取特征, 利用随机森林与偏最小二乘法分别对原始光谱及降维后特征建立回归模型, 并确立最佳预测模型; 最后利用最佳预测模型对草莓果肉部分进行硬度拟合, 得到硬度分布图像, 实现了草莓硬度预测结果的直观显示。结果表明, 基于2次降维建立的偏最小二乘模型效果最好, 测试集和预测集的相关系数分别为0.9101和0.9099, 测试集均方根误差为0.1344。该研究为草莓硬度的无损检测和显示提供了参考。Abstract: To achieve rapid and non-destructive detection of strawberry hardness, strawberry hyperspectral data, and hardness information were collected for five consecutive days, and a hardness prediction method based on high spectral multi-index threshold layer-by-layer segmentation was proposed. Firstly, the spectral reflectance differences of different components (pulp, moldy pulp, strawberry seeds, and sepals) were analyzed, and the characteristic bands were identified. Subsequently, new normalized feature indices were constructed based on the characteristic bands, which were selected based on spectral reflectance differences, and the segmentation thresholds were determined. The layer-by-layer segmentation method was used to eliminate the interference of irrelevant parts. Three methods(successive projections algorithm, principal component analysis, and quadratic combination dimensionality reduction) were used to reduce the spectral information redundancy and extract features. The regression models were established for the original spectral data and the reduced feature data by random forest and partial least squares regression, respectively. The best prediction model was determined to fit the hardness of the strawberry pulp. The hardness distribution image was obtained for the intuitive display of the strawberry hardness prediction result. The result shows that the partial least squares model based on quadratic dimensionality reduction yielded the best performance, with correlation coefficients of 0.9101 and 0.9099 for the test set and prediction set, respectively, and with a root-mean-square error of 0.1344 for the test set. This study provides a reference for non-destructive detection and display of strawberry hardness.
-
0. 引言
利用遥感技术获取的高光谱图像，作为一个数据立方体，结合了用于表征物质反射特性的光谱信息以及用于刻画物质2维空间分布的图像信息[1]。凭借其强大的空间与光谱信息的表达能力，高光谱图像被广泛应用于物质分类[2]、环境监测、军事目标的检测与分析等[3]领域。高光谱图像在采集与处理过程中容易受到各种噪声的干扰[4]，这对后续的高光谱图像的应用，如高光谱图像的分类[5]、目标检测[6]以及目标分割[7]等，都有一定的影响。因此，在有效去除噪声的基础上，恢复重建高分辨率的图像成为遥感图像领域研究的热点。
基于先验的去噪方法可以精确地表达出高光谱图像的空谱信息分布特点。依据空谱特征描述方式的不同，先验方法可以更为精确地划分为基于平滑的去噪方法[8]、基于全局自相似的去噪方法[8]、基于低秩的去噪方法[9]以及基于深度学习的去噪方法。本文作者[10]曾通过构建空谱平滑图正则的方式, 实现基于塔克分解的低秩模型算法的扩展，但现有的基于平滑的方法容易陷入过平滑造成的细节信息丢失。ZENG等人[11]通过张量分解(block term decomposition，BTD) 的手段深入探究相似立体补丁组的光谱局部联系与空间的全局相关性，但基于全局自相似的方法采用的块匹配方法往往涉及较大计算量，会造成运算成本加剧。WANG等人[12]构建了一个融合了空谱全变分的低秩塔克分解模型，可以充分利用高光谱图像的空谱全局与局部相关性并恢复出高质量的去噪图像。然而，基于矩阵模型的算法面临着立体结构信息被破坏的问题。XIONG等人[9]尝试将全局注意力机制模块引入到传统的U型网络(U-Net)，可以实现同时捕获空间的全局与局部信息。上述基于监督学习的方法通常涉及大量的数据训练以及超参数，会导致计算负担的增加。
变换域的出现为高光谱图像的去噪研究开辟了一条全新的道路。图像经变换后, 主要信息会集中到低频部分，细节信息则在高频部分[13]。针对变换域的特点从张量秩[14]、平滑[15]、深度学习[16]等不同角度对去噪方法进行了探索。KONG等人[14]研究了基于紧框架的张量纤维秩以及对应的凸松弛来表达三模张量核范数，可以更好地刻画高光谱图像不同维度的低秩性。但总体来看，基于变换域的张量核范数方法由于涉及到大数据的奇异值分解计算，面临着计算复杂度过高的问题。XU等人[15]尝试通过非负矩阵分解得到丰度矩阵在曲线波域的稀疏特性，但基于变换域平滑的方法不能充分利用不同频段的图像特征信息。考虑到小波变换可以利用不同频段，实现高斯噪声与条带噪声的有效分离，PAN等人[16]设计了多层3维卷积低频网络和结合渐进式空谱混合卷积块的高频卷积神经网络，可以较好地学习变换域下图像不同频段的空谱潜在特征，然而基于变换域的深度学习模型仍存在着可解释性差以及网络复杂度高等问题。
为了克服上述问题，本文作者提出将基于变换域的正则与深度学习模型相结合，构建无监督学习的噪声去除模型。首先，对无监督去噪模型展开探索，规避了监督去噪模型缺乏大量高光谱训练数据的缺陷，同时通过增加传统高光谱图像的先验优化改善了基于深度图像先验涉及到的半拟合现象；然后通过构建端元矩阵与丰度矩阵在变换域中的稀疏正则实现空谱局部平滑；最后, 设计迭代算法求解模型得到高质量的恢复图像，同时加速网络学习并获得更好的性能。
1. 去噪模型
1.1 空谱深度图像先验去噪模型
假设F ∈ Rm×n×p表示高光谱立体图像，R表示实数集，利用矩阵分解可将高光谱立体数据F重塑为矩阵形式Y =[y1, …, yi, …, yc]，其中yi∈ Rp被定义为第i个像素对应的光谱向量。由于纯高光谱数据可以利用线性混合模型分解为端元矩阵与丰度矩阵的乘积，则噪声扰动的退化模型可以定义为：
\boldsymbol{Y}=\boldsymbol{A} \boldsymbol{X}+\boldsymbol{S}+\boldsymbol{N} (1) 式中: A ∈ Rp×r表示包含r个端元和p个光谱波段的端元矩阵; X ∈ Rr×c是丰度矩阵; c=m×n代表空间像素数目，其每一列表示对应像素包含的r个端元的分布比例；S ∈ Rp×c表示稀疏噪声；N ∈ Rp×c代表高斯噪声或误差。
在高光谱图像退化模型式(1)的基础上，引入各变量的正则约束定义基于高斯噪声最小化的去噪模型：
\begin{gathered} \min _{{\boldsymbol{A}}, {\boldsymbol{X}}, {\boldsymbol{S}}} \frac{1}{2}{\|\boldsymbol{Y}-\boldsymbol{A} \boldsymbol{X}-\boldsymbol{S}\|_{\mathrm{F}}}^2+ \\ \lambda_A \theta_A(\boldsymbol{A})+\lambda_{\boldsymbol{X}} \theta_{\boldsymbol{X}}(\boldsymbol{X})+\lambda_S \theta_S(\boldsymbol{S}) \end{gathered} (2) 式中: ‖·‖F为Frobenius范数; λAθA(A)、λXθX(X)和λSθS(S)分别代表着端元矩阵、丰度矩阵以及稀疏噪声的正则项。利用深度图像先验分别学习端元矩阵与丰度矩阵的特征，得到空谱深度图像先验去噪模型：
\begin{aligned} & {\min _{f_{\xi_1}\left(\boldsymbol{Z}_1\right), f_{\xi_2}\left(\boldsymbol{Z}_2\right), \boldsymbol{S}} \frac{1}{2}\left\|\boldsymbol{Y}-f_{\xi_1}\left(\boldsymbol{Z}_1\right) f_{\xi_2}\left(\boldsymbol{Z}_2\right)-\boldsymbol{S}\right\|_{\mathrm{F}}}^2+ \\ & \lambda_{\boldsymbol{A }}\theta_{\boldsymbol{A}}\left(f_{\xi_1}\left(\boldsymbol{Z}_1\right)\right)+\lambda_{\boldsymbol{X}} \theta_{\boldsymbol{X}}\left(f_{\xi_2}\left(\boldsymbol{Z}_2\right)\right)+\lambda_{\boldsymbol{S}} \theta_{\boldsymbol{S}}(\boldsymbol{S}) \end{aligned} (3) 式中: fξ1(·)与fξ2(·)分别表示端元矩阵与丰度矩阵的深度图像先验神经网络；ξ1和ξ2代表对应的可学习网络权重；Z1∈ Rp×r及Z2∈ Rr×mn用于生成空谱矩阵的随机输入。
1.2 深度图像先验网络
无监督深度图像先验是一个类似于U-Net的带有跳跃连接的沙漏类型卷积神经网络，将随机生成的张量视作网络输入，通过不断调整网络参数值实现图像特征信息的学习。它的特点是: 不需要训练网络用于训练，可以规避监督去噪模型缺乏大量高光谱训练数据的缺陷。基于此，本文作者采用深度图像先验分别学习丰度矩阵与端元矩阵的特征信息，具体的网络结构如图 1所示。图中，upsample是上采样；BatchNorm2D是深度学习中的一种层，用于进行批归一化操作；MaxPooling是最大池化。
设计的深度图像先验网络结构分别包括5层编码层、解码层以及跳跃链接。编码层的每层设计了两组相同的卷积、批标准化与激活模块，可以更好地提取图像的特征信息，其中2维卷积(convolution 2-D，Conv2D)采用大小为3、步长为1的卷积核，带泄露修正线性单元(leaky rectified linear unit，LeakyReLU)作为激活模块可以加速网络的学习过程；解码层通过一系列的上采样、卷积、批标准化与激活等操作，用于解析学习到的图像特征信息；跳跃连接采用大小为1、步长为1的Conv2D模块以及批标准化与激活模块建立相同层级间的编解码特征之间的联系，可以减少下采样操作所引起的信息损失。
2. 去噪算法求解
对于去噪模型式(3)，如果仅使用空间与光谱深度图像先验去学习空谱特征，则会导致半拟合现象，造成去噪性能的下降。因此本文中对稀疏噪声施加L1范数正则用于增强其稀疏特性，对端元矩阵与丰度矩阵的局部相关性构建紧框架域平滑正则。综上所述，将去噪模型式重新定义为：
\begin{gathered} {\min _{f_{\xi_1}\left(\boldsymbol{Z}_1\right), f_{\xi_2}\left(\boldsymbol{Z}_2\right), \boldsymbol{S}} \frac{1}{2}\left\|\boldsymbol{Y}-f_{\xi_1}\left(\boldsymbol{Z}_1\right) f_{\xi_2}\left(\boldsymbol{Z}_2\right)-\boldsymbol{S}\right\|_{\mathrm{F}}}^2+ \\ \lambda_{\boldsymbol{A}}\left\|\boldsymbol{W} f_{\xi_1}\left(\boldsymbol{Z}_1\right)\right\|_1+ \\ \lambda_{\boldsymbol{X}}\left\|\boldsymbol{W} f_{\xi_2}\left(\boldsymbol{Z}_2\right)\right\|_1+\lambda_S\|\boldsymbol{S}\|_1 \end{gathered} (4) 式中: W表示紧框架变换矩阵，对于多网络结构优化问题，可以交替迭代ξ1和ξ2网络参数以及稀疏噪声S直到收敛。
用于生成端元矩阵与丰度矩阵的ξ1和ξ2神经网络优化子问题如下：
\begin{aligned} & {\min _{\xi_1, \xi_2, {\boldsymbol{S}}} \frac{1}{2}\left\|\boldsymbol{Y}-f_{\xi_1}\left(\boldsymbol{Z}_1\right) f_{\xi_2}\left(\boldsymbol{Z}_2\right)\right\|_{\mathrm{F}}}^2+ \\ & \lambda_{\boldsymbol{A}}\left\|\boldsymbol{W} f_{\xi_1}\left(\boldsymbol{Z}_1\right)\right\|_1+\lambda_{\boldsymbol{X}}\left\|\boldsymbol{W} f_{\xi_2}\left(\boldsymbol{Z}_2\right)\right\|_1 \end{aligned} (5) 其可以利用动量梯度下降算法求解。
\begin{gathered} \xi_1{ }^{(k+1)}=\xi_1{ }^{(k)}-\alpha^{(k)} \nabla_{\xi_1}\left(\frac{1}{2} \| \boldsymbol{Y}-f_{\xi_1}\left(\boldsymbol{Z}_1\right) f_{\xi_2{ }^{(k)}}\left(\boldsymbol{Z}_2\right)-\right. \\ \left.\boldsymbol{S}\left\|_{\mathrm{F}}{ }^2+\lambda_{\boldsymbol{A}}\right\| \boldsymbol{W} f_{\xi_1}\left(\boldsymbol{Z}_1\right) \|_1\right) \end{gathered} (6) \begin{gathered} \xi_2{ }^{(k+1)}=\xi_2{ }^{(k)}-\alpha^{(k)} \nabla_{\xi_2}\left(\frac{1}{2} \| \boldsymbol{Y}-f_{\xi_1}\left(\boldsymbol{Z}_1\right) f_{\xi_2{ }^{(k)}}\left(\boldsymbol{Z}_2\right)-\right. \\ \left.{\boldsymbol{S}}\left\|_{\mathrm{F}}{ }^2+\lambda_{\boldsymbol{A}}\right\| \boldsymbol{W} f_{\xi_2}\left(\boldsymbol{Z}_2\right) \|_1\right) \end{gathered} (7) 式中: ∇ξ1(·)与∇ξ2(·)分别表示运用反向传播算法计算得到的ξ1和ξ2梯度；α对应着通过自适应矩估计算法确定的步长；k是当前迭代的次数。由此，在更新了网络参数ξ1和ξ2的基础上，可以得到对应的网络输出fξ1(Z1)(k+1)与fξ2(Z2)(k+1)。
针对稀疏噪声S的优化子问题如下：
\begin{array}{c} \arg \min \limits_{\boldsymbol{S}} \frac{1}{2} \| \boldsymbol{Y}-f_{\xi_1(k+1)}\left(\boldsymbol{Z}_1\right) f_{\xi_2{ }^{(k+1)}}\left(\boldsymbol{Z}_2\right)- \\ {\boldsymbol{S}||_{\mathrm{F}}}^2+\lambda_{\boldsymbol{S}}|| \boldsymbol{S} ||_1 \end{array} (8) 其闭式解可以利用软阈值算子得到：
\begin{gathered} \boldsymbol{S}^{(k+1)}= \\ \operatorname{shrink}\left(\boldsymbol{Y}-f_{\xi_1{ }^{(k+1)}}\left(\boldsymbol{Z}_1\right) \boldsymbol{f}_{\xi_2{ }^{(k+1)}}\left(\boldsymbol{Z}_2\right), \lambda_{\boldsymbol{S}}\right) \end{gathered} (9) 本文作者所提出的基于空谱深度图像先验结合紧框架平滑与噪声稀疏先验(spatial spectral depth tight sparse，SSDTS)算法的迭代流程描述如下：
(a) 输入Y，λA，λX，λS；
(b) 随机初始化A(0)和X(0)，S(0)=0，k=0；
(c) 当不满足迭代停止条件时，借助式(6)更新ξ1(k+1), 借助式(7)更新ξ2(k+1), 借助式(9)更新S(k+1), k=k+1；
(d) 判断收敛条件为‖ξ1(k+1)ξ2(k+1)-ξ1(k)ξ2(k)‖F2/ ‖ξ1(k)ξ2(k)‖F2≤0.001；
(e) 结束循环；
(f) 输出L =fξ1(Z1)fξ2(Z2)。
3. 实验仿真与性能分析
本文中采用模拟数据集和真实数据集测试和评估SSDTS算法对高光谱图像的去噪能力。在此基础上，选取4种广泛使用的算法作为对比算法，包括低秩矩阵恢复(low-rank matrix recovery，LRMR)[17]、全变分正则化的低秩矩阵分解(the TV-regularized low-rank matrix factorization，LRTV)[18]、利用子空间和深度图像先验的高光谱图像混合噪声去除方法(hyperspectral image mixed noise removal method using subspace representation and deep CNN image prior，HySuDeep)[19]和2维深度图像先验(deep image prior 2D，DIP2D)[20]。与此同时，为了准确可靠地评价图像重建性能，采用4个定量评价指标，分别为平均峰值信噪比(mean peak signal-to-noise ratio，MPSNR)、平均结构相似度(mean structural similarity index measure，MSSIM)、光谱角制图(spectral angle mapper，SAM)和相对无量纲全局误差(erreur relative globale adimensionnelle de synthèse，ERGAS)。另外，作为实验的预处理，将高光谱图像的灰度值归一化到[0, 1]区间。上述所有深度学习的实验结果均在GeForce GTX 2080 Ti处理器上使用Python环境的pytorch库产生。
3.1 模拟数据实验
对于模拟实验，本文作者设计了两个高光谱图像数据集作为参考。一个是Washington DC Mall的子图像，尺寸为120×256×256个像素; 另一个是Salinas数据集，包含192×192个空间像素和130个光谱波段。
3.1.1 噪声设置
方案Ⅰ(高斯噪声与椒盐噪声)：采用分布比例为0.1的高斯噪声与椒盐噪声污染高光谱图像的所有波段。
方案Ⅱ(高斯噪声与条带噪声)：对于受到与方案Ⅰ相同的高斯噪声污染的高光谱图像，随机选择波段添加条带噪声，其波段数量占所有波段数目的0.5，每个波段中条带的数量从5~15间随机变化。
方案Ⅲ(高斯噪声与截止噪声)：包含与方案Ⅰ相同的高斯噪声和随机选择的波段上的截止噪声，其波段数量占所有波段数目的0.5。与此同时，截止噪声的宽度从1~3随机变化，每个波段存在的截止噪声总数在[6, 10]之间。
方案Ⅳ(高斯噪声与混合稀疏噪声)：在每个高光谱图像波段中，添加与方案Ⅰ、方案Ⅱ和方案Ⅲ相同的高斯噪声、椒盐噪声、条带噪声和截止噪声。
3.1.2 去噪图像分析
如图 2所示，Washington DC Mall图像遭受到严重的高斯噪声与椒盐噪声的污染，LRTV和DIP2D算法生成的去噪图像仍残存着明显的噪声，LRMR和HySuDeep算法去除噪声效果较好，但存在着图像细节信息的丢失，本文中提出的SSDTS算法可以最大程度地消除噪声，并准确地描述图像的细节。对比图 3可以发现，本文中所提出的SSDTS算法还具有较为理想的去噪结果，LRMR、LRTV和DIP2D算法对于高斯噪声与多种稀疏噪声的混合具有较差的抑制性，HySuDeep算法对应的重构图像面临着过度平滑的现象。综上所述，SSDTS算法在各种复杂、严重的噪声干扰下均表现出较好的视觉恢复性能。
![图 2 Washington DC Mall数据集第100个波段在方案Ⅰ下的去噪图像]()
图 2 Washington DC Mall数据集第100个波段在方案Ⅰ下的去噪图像Figure 2. The denoised results of the 100th band in Washington DC Mall dataset under case Ⅰ![图 3 Salinas数据集第100个波段在方案Ⅳ下的去噪图像]()
图 3 Salinas数据集第100个波段在方案Ⅳ下的去噪图像Figure 3. The denoised results of the 100th band in Salinas dataset under case Ⅳ3.1.3 去噪指标分析
表 1和表 2中对比了SSDTS算法与4种算法在Washington DC Mall和Salinas数据集上产生的评价指标值。相对于其它算法，SSDTS算法产生的平均峰值信噪比值提高了1 dB以上，对应的ERGAS值至少降低了10%。这说明本文中提出的方法在严重的高斯噪声或稀疏噪声的污染下，依然能获得更为理想的重构图像。从整体结果来看，SSDTS算法在几乎所有评价指标上都取得了令人满意的性能。
表 1 Washington DC Mall的去噪图像性能对比Table 1. Performance comparison of denoising images on Washington DC Mallcase index LRMR LRTV HySuDeep DIP2D proposed Ⅰ MPSNR/dB 32.63 27.63 29.43 26.97 33.31 MSSIM 0.926 0.859 0.907 0.849 0.938 SAM 0.0837 0.127 0.153 0.121 0.069 ERGAS 75.86 152.31 127.10 145.63 70.14 Ⅱ MPSNR/dB 32.93 32.12 29.72 27.59 33.81 MSSIM 0.934 0.928 0.913 0.844 0.948 SAM 0.082 0.094 0.150 0.129 0.065 ERGAS 73.46 90.12 125.68 140.33 66.39 Ⅲ MPSNR/dB 31.43 31.96 29.54 32.31 34.15 MSSIM 0.925 0.934 0.913 0.934 0.949 SAM 0.101 0.083 0.151 0.071 0.065 ERGAS 92.39 89.38 126.43 78.87 63.85 Ⅳ MPSNR/dB 30.24 26.42 28.92 25.04 32.73 MSSIM 0.906 0.829 0.901 0.789 0.931 SAM 0.114 0.166 0.156 0.154 0.075 ERGAS 103.71 181.25 136.37 187.67 74.83 表 2 Salinas的去噪图像性能对比Table 2. Performance comparison of denoising images on Salinasscase index LRMR LRTV HySuDeep DIP2D proposed Ⅰ MPSNR/dB 34.69 29.26 31.98 29.62 36.03 MSSIM 0.848 0.778 0.907 0.763 0.895 SAM 0.040 0.089 0.069 0.068 0.034 ERGAS 89.86 628.62 107.14 338.15 66.70 Ⅱ MPSNR/dB 34.35 33.95 32.22 32.01 35.86 MSSIM 0.857 0.880 0.917 0.823 0.894 SAM 0.043 0.068 0.069 0.053 0.035 ERGAS 186.45 583.89 112.05 271.69 65.24 Ⅲ MPSNR/dB 30.68 31.42 32.16 35.39 36.69 MSSIM 0.815 0.855 0.926 0.884 0.905 SAM 0.083 0.088 0.071 0.035 0.033 ERGAS 127.43 109.72 86.83 78.07 55.54 Ⅳ MPSNR/dB 29.19 26.40 31.04 27.92 35.20 MSSIM 0.767 0.715 0.884 0.728 0.881 SAM 0.090 0.127 0.074 0.093 0.036 ERGAS 197.29 961.37 154.44 583.71 91.20 3.1.4 去噪曲线分析
图 4和图 5中绘制了SSDTS算法与所有对比算法在受到不同噪声方案污染的Washington DC Mall和Salinas数据集上产生的峰值信噪比(peak signal-to-noise ratio，PSNR)和ERGAS曲线。值得注意的是，本文中提出的SSDTS算法产生的PSNR曲线优于由对比算法生成的其它曲线；而SSDTS算法对应的ERGAS曲线在绝大多数波段得到最低值。上述性能曲线变化情况表明，SSDTS去噪算法在大部分波段获得了最理想的结果。同时，也从侧面证明，不同于仅采用深度图像先验的DIP2D算法，本文中所提出的空谱深度图像先验结合紧框架域平滑正则在图像去噪领域中可以产生更加满意的结果。
![图 4 在方案Ⅰ与Ⅲ下Washington DC Mall数据集所有波段的PSNR与ERGAS值]()
图 4 在方案Ⅰ与Ⅲ下Washington DC Mall数据集所有波段的PSNR与ERGAS值Figure 4. PSNR and ERGAS values of all bands in Washington DC Mall dataset under case Ⅰ and Ⅲ![图 5 在方案Ⅱ与Ⅳ下Salinas数据集所有波段的PSNR与ERGAS值]()
图 5 在方案Ⅱ与Ⅳ下Salinas数据集所有波段的PSNR与ERGAS值Figure 5. PSNR and ERGAS values of all bands in Salinas dataset under case Ⅱ and Ⅳ3.2 真实数据实验
为了验证本文作者所提出的算法对于真实噪声的去除仍具有有效性，选取由传感器直接采集的WHU HongHu数据集，包含150个光谱波段和192×192个空间像素。图 6展示出经过所有去噪方法的优化处理后的WHU HongHu数据集在第2个波段的重构结果。可以明显观察到，HySuDeep与DIP2D算法对真实噪声的抑制效果有限。其它两个对比算法可以实现较好地去噪，但会造成图像局部特征信息的模糊。相比之下，由于深度图像先验模型与传统的变换域平滑先验的结合，本文作者提出的算法能够在最大限度地消除噪声的同时, 精确地保留图像细节信息。
![图 6 WHU HongHu数据集第2个波段的去噪结果]()
图 6 WHU HongHu数据集第2个波段的去噪结果Figure 6. The denoised results of the 2nd band in WHU HongHu dataset由于缺乏干净图像作为参考，采用水平均值剖面图作为图像质量评价指标，通过遥感影像平均像元亮度值(digital number，DN)记录地物的灰度值。仔细对比图 7中各个剖面图的变化趋势可知，由LRMR、LRTV、HySuDeep与DIP2D这4种对比算法产生的剖面图在局部位置仍存在明显的波动，这说明对应的去噪图像中存在着噪声残留。而本文作者提出的SSDTS算法对应的水平均值剖面图平滑效果最好。
![图 7 WHU HongHu数据集第2个波段的水平均值剖面图]()
图 7 WHU HongHu数据集第2个波段的水平均值剖面图Figure 7. Horizontal mean profile of the 2nd band in WHU HongHu dataset3.3 参数讨论
图 8反映了方案Ⅱ下的模拟数据集的MPSNR与λA、λX、λS和端元数目r的关系。由图可知，当λA的值设为0.1、λX的值设为0.2、λS值设为0.1、r选择为5时，在Washington DC Mall与Salinas数据集上产生的MPSNR值均达到了最优性能的近似值。
3.4 收敛性分析
从图 9中可以明显观察到，随着迭代次数的增加，MPSNR对应的曲线均逐渐趋向于平稳的理想结果，这表明本文作者提出的SSDTS算法具有理想的收敛性，同时也从侧面证明SSDTS算法中采用的噪声稀疏与变换域平滑正则项可以有效改善深度图像网络存在的半拟合问题，在充分学习图像特征达到最佳评价指标结果后, 没有产生继续学习噪声特征导致性能下降的现象。
![图 9 不同方案下MPSNR与迭代次数间的关系]()
图 9 不同方案下MPSNR与迭代次数间的关系Figure 9. Relationship between iteration number and MPSNR in different cases3.5 消融实验
为了验证本文作者提出的将深度学习与传统先验结合的有效性，设计了空谱深度图像先验(spatial spectral depth image prior，SSDIP)算法、空谱深度图像先验结合稀疏噪声正则(spatial spectral depth sparse noise，SSDSN) 算法、空谱深度图像先验结合紧框架平滑先验正则(spatial spectral depth frame smoothing，SSDFS)算法和提出的SSDTS算法的对比实验。从表 3可知，在受到不同程度混合噪声干扰下，相对于其它3种算法，本文作者提出的SSDTS算法均呈现出更加理想的去噪表现，这证明了本文中将空谱深度图像先验与紧框架平滑以及噪声稀疏先验相结合的合理性。
表 3 不同张量核范数方法的性能对比Table 3. Performance comparison of different tensor nuclear norm methoddata case method MPSNR/dB MSSIM SAM ERGAS Washington DC Mall Ⅱ SSDIP 31.69 0.931 0.087 86.25 SSDSN 32.41 0.935 0.071 78.03 SSDFS 31.90 0.926 0.096 89.81 proposed 33.81 0.948 0.065 66.39 Ⅳ SSDIP 26.53 0.849 0.124 157.01 SSDSN 31.89 0.925 0.075 82.64 SSDFS 27.21 0.850 0.124 155.91 proposed 33.11 0.939 0.070 71.68 Salinas Ⅱ SSDIP 33.87 0.863 0.054 537.44 SSDSN 35.37 0.894 0.036 67.93 SSDFS 34.38 0.869 0.048 196.51 proposed 36.18 0.901 0.035 67.72 Ⅳ SSDIP 28.78 0.777 0.083 499.51 SSDSN 34.63 0.870 0.042 95.88 SSDFS 29.22 0.787 0.082 511.01 proposed 35.20 0.881 0.036 91.20 3.6 运行时间对比实验
从表 4中的图像去噪运行时间来看，LRMR算法恢复图像最耗时，HySuDeen和本文作者所提出的算法运行时间很接近，两者相差非常小，这证明了本文作者提出的算法不止在客观评价指标和视觉恢复效果上有良好的表现，在运行时间上也具有一定的优势。
表 4 不同方法在4种方案下的平均运行时间对比/sTable 4. Comparison of average running times of different methods under four cases/sdata LRMR LRTV HySuDeep DIP2D proposed Washington DC Mall 74.56 55.69 29.12 59.91 28.82 Salinas 65.39 47.72 26.47 52.65 27.53 4. 结论
为解决深度图像的半拟合问题，改善矩阵分解对立体特征的破坏，本文作者利用特定的深度图像先验网络分别学习矩阵分解得到的更加明显的端元与丰度矩阵上特征信息；同时，构建端元与丰度矩阵上的紧框架平滑正则可以有效改善网络的半拟合现象并加速网络训练; 最后，设计了高效迭代算法来实现神经网络与优化问题相结合模型的高效求解。多组模拟高光谱图像数据实验结果表明，所提出的SSDTS算法可以实现MPSNR性能1 dB以上的提升，ERGAS性能有至少10%的降低，进一步验证了本文中算法在混合噪声去除方面具有优异的表现。
-
![]()
图 1 草莓样本及不同组成示意图
Figure 1. Schematic diagram of strawberry samples and different compositions
表 1 PCA降维特征贡献度
Table 1 Feature contribution in PCA
number of features cumulative contribution rate 1 0.8669 2 0.9473 3 0.9801 4 0.9920 5 0.9970 6 0.9983 7 0.9991 8 0.9996 9 0.9997 10 0.9997 
下载: 导出CSV
表 2 SPA-PCA降维特征贡献度
Table 2 Feature contribution in SPA-PCA
number of features cumulative contribution rate 1 0.7377 2 0.9300 3 0.9745 4 0.9902 5 0.9972 6 0.9991 7 0.9997 8 0.9997
下载: 导出CSV
表 3 基于PLS的模型建模结果
Table 3 PLS-based model modeling results
modeling methods CCC CCP RMSEC RMSEP RPD full-PLS 0.9084 0.8636 0.1307 0.1592 2.4973 PCA-PLS 0.9111 0.9047 0.1283 0.1352 3.1019 SPA-PLS 0.9069 0.8700 0.1323 0.1529 2.6451 SPA-PCA-PLS 0.9101 0.9099 0.1290 0.1344 3.2623
下载: 导出CSV
表 4 基于RF的模型建模结果
Table 4 RF-based model modeling results
modeling methods CCC CCP RMSEC RMSEP RPD full-RF 0.9611 0.8889 0.0845 0.1491 2.5344 SPA-RF 0.9321 0.8667 0.1143 0.1473 2.1535 PCA-RF 0.9522 0.8735 0.0926 0.1644 2.0531 SPA-PCA-RF 0.9620 0.8158 0.0837 0.1891 1.7907
下载: 导出CSV
-
[1] 白胜, 朱润华, 阳圣莹, 等. 不同草莓品种营养成分比较与品种筛选[J]. 山西农业科学, 2020, 48(1): 64-67. https://www.cnki.com.cn/Article/CJFDTOTAL-SXLX202001018.htm BAI Sh, ZHU R H, YANG Sh Y, et al. Nutrients comparison and screening of different strawberry varieties[J]. Journal of Shanxi Agricultural Sciences, 2020, 48(1): 64-67(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-SXLX202001018.htm
[2] AFRIN S, GASPARRINI M, FORBES-HERNANDEZ T Y, et al. Promising health benefits of the strawberry: A focus on clinical studies[J]. Journal of Agricultural and Food Chemistry, 2016, 64(22): 4435-4449. DOI: 10.1021/acs.jafc.6b00857
[3] 刘凯丽, 郑洪健, 黄敏, 等. 云南香格里拉3个草莓品种的感官品质及耐储藏性对比分析[J]. 昆明学院学报, 2022, 44(3): 87-92. https://www.cnki.com.cn/Article/CJFDTOTAL-KMSG202203017.htm LIU K L, ZHENG H J, HUANG M, et al. Comparative analysis of sensory quality and storage tolerance of three strawberry varieties in Yunnan Shangri-La[J]. Journal of Kunming University, 2022, 44(3): 87-92(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-KMSG202203017.htm
[4] 郝乾坤, 王智民, 童开林. 外源海藻糖对草莓保鲜效果的影响[J]. 陕西农业科学, 2022, 68(8): 84-87. https://www.cnki.com.cn/Article/CJFDTOTAL-SNKX202208017.htm HAO Q K, WANG Zh M, TONG K L. Effect of exogenous trehalose on preservation of strawberry[J]. Shaanxi Journal of Agricultural Sciences, 2022, 68(8): 84-87(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-SNKX202208017.htm
[5] 陈卓, 宋俏微, 张水洞, 等. 氧化淀粉的抑菌效果及草莓涂膜保鲜应用[J]. 食品科学, 2022, 43(21): 324-331. https://www.cnki.com.cn/Article/CJFDTOTAL-SPKX202221039.htm CHEN Zh, SONG Q W, ZHANG Sh D, et al. Antimicrobial effect of oxidized starch and its application as a coating for strawberry preservation[J]. Food Science, 2022, 43(21): 324-331(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-SPKX202221039.htm
[6] LIU Y, WU Q W, HUANG J L, et al. Comparison of apple firmness prediction models based on non-destructive acoustic signal[J]. International Journal of Food Science & Technology, 2021, 56(12): 6443-6450.
[7] 陈广大, 刘德君, 李天旭, 等. 便携式水果硬度测量仪的设计[J]. 中国农机化学报, 2016, 37(7): 85-88. https://www.cnki.com.cn/Article/CJFDTOTAL-GLJH201607019.htm CHEN G D, LIU D J, LI T X, et al. Design of the portable fruit hardness measuring instrument[J]. Journal of Chinese Agricultural Mechanization, 2016, 37(7): 85-88(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GLJH201607019.htm
[8] PARK B, SHIN T S, CHO J S, et al. Characterizing hyperspectral microscope imagery for classification of blueberry firmness with deep learning methods[J]. Agronomy, 2021, 12(1): 85. DOI: 10.3390/agronomy12010085
[9] QIAO M, XU Y, XIA G, et al. Determination of hardness for maize kernels based on hyperspectral imaging[J]. Food Chemistry, 2021, 366(2): 130559.
[10] 马帅帅, 于慧春, 殷勇, 等. 黄瓜水分和硬度高光谱特征波长选择与预测模型构建[J]. 食品与机械, 2021, 37(2): 145-151. https://www.cnki.com.cn/Article/CJFDTOTAL-SPJX202102028.htm MA Sh Sh, YU H Ch, YIN Y, et al. Selection of hyperspectral characteristic wavelength and construction of prediction model for cucumber hardness and moisture[J]. Food & Machinery, 2021, 37(2): 145-151(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-SPJX202102028.htm
[11] ERKINBAEV Ch, DERKSEN K, PALIWAL J, et al. Single kernel wheat hardness estimation using near infrared hyperspectral imaging[J]. Infrared Physics and Technology, 2019, 98(6): 250-255.
[12] SU J Y, YI D W, LIU C J, et al. Dimension reduction aided hyperspectral image classification with a small-sized training dataset: Experimental comparisons[J]. Sensors, 2017, 17(12): 2726. DOI: 10.3390/s17122726
[13] XIONG J T, LIN R, BU R B, et al. A micro-damage detection method of litchi fruit using hyperspectral imaging technology[J]. Sensors, 2018, 18(3): 700. DOI: 10.3390/s18030700
[14] WU D, MENG L W, YANG L, et al. Feasibility of laser-induced breakdown spectroscopy and hyperspectral imaging for rapid detection of thiophanate-methyl residue on mulberry fruit[J]. International Journal of Molecular Sciences, 2019, 20(8): 2017. DOI: 10.3390/ijms20082017
[15] 赵凡, 闫昭如, 宋海燕. 应用高光谱鉴别黑枸杞和唐古特白刺果[J]. 光谱学与光谱分析, 2021, 41(7): 2240-2244. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN202107046.htm ZHAO F, YAN Zh R, SONG H Y. Hyperspectra used to recognize Black Goji berry and nitraria Tanggu[J]. Spectroscopy and Spectral Analysis, 2021, 41(7): 2240-2244(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN202107046.htm
[16] 北京市农林科学院林业果树研究所; 农业部果品及苗木质量监督检验测试中心. 水果硬度的测定: NY/T 2009-2011[S]. 北京: 中华人民共和国农业部, 2011: 1-5. BEIJING ACADEMY OF FORESTRY AND POMOLOGY SCIENCES, LABORATORY OF QUALITY & SAFETY RISK ASSESSMENT FOR FRUIT. Determination of fruit firmness: NY/T 2009-2011[S]. Beijing: Ministry of Agriculture of the PRC, 2011: 1-5(in Chinese).
[17] 姜一河, 王涛, 常红伟. 高光谱图像特征提取方法研究综述[J]. 电光与控制, 2020, 27(10): 73-77. https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ202010015.htm JIANG Y H, WANG T, CHANG H W. An overview of hyperspectral image feature extraction[J]. Electronics Optics & Control, 2020, 27(10): 73-77(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-DGKQ202010015.htm
[18] 白丽敏, 李粉玲, 常庆瑞, 等. 结合SPA和PLS法提高冬小麦冠层全氮高光谱估算的精确度[J]. 植物营养与肥料学报, 2018, 24(5): 1178-1184. https://www.cnki.com.cn/Article/CJFDTOTAL-ZWYF201805006.htm BAI L M, LI F L, CHANG Q R, et al. Increasing accuracy of hyper-spectral remote sensing for total nitrogen of winter wheat canopy by use of SPA and PLS methods[J]. Journal of Plant Nutrition and Fertilizers, 2018, 24(5): 1178-1184(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-ZWYF201805006.htm
[19] 欧阳爱国, 万启明, 李雄, 等. 高光谱成像的水稻螟虫蛀入检测方法[J]. 光谱学与光谱分析, 2021, 41(12): 3844-3850. https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN202112037.htm OUYANG A G, WAN Q M, LI X, et al. Research on rich borer detection methods based on hyperspectral imaging technology[J]. Spectroscopy and Spectral Analysis, 2021, 41(12): 3844-3850(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GUAN202112037.htm
[20] FAN L L, ZHAO J L, XU X G, et al. Hyperspectral-based estimation of leaf nitrogen content in corn using optimal selection of multiple spectral variables[J]. Sensors, 2019, 19(13): 2898.
[21] 刘璐, 邵慧, 孙龙, 等. 利用高光谱激光雷达检测木材的霉变与含水量[J]. 激光技术, 2023, 47(5): 620-626. DOI: 10.7510/jgjs.issn.1001-3806.2023.05.007 LIU L, SHAO H, SUN L, et al. Detection of mildew and moisture content in timber by hyperspectral LiDAR[J]. Laser Technology, 2023, 47(5): 620-626(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2023.05.007
[22] MARSHALL M, BELGIU M, BOSCHETTI M, et al. Field-level crop yield estimation with PRISMA and Sentinel-2[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 187(2): 191-210.
[23] 高升, 徐建华. 高光谱成像的红提总酸与硬度的预测及其分布可视化[J]. 食品科学, 2023, 44(2): 327-336. https://www.cnki.com.cn/Article/CJFDTOTAL-SPKX202302041.htm GAO Sh, XU J H. Hyperspectral imaging for prediction and distribution visualization of total acidity and hardness of red globe grapes[J]. Food Science, 2023, 44(2): 327-336(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-SPKX202302041.htm
[24] SAVAŞLI E, KARADUMAN Y, ÖNDER O, et al. Estimating technological quality parameters of bread wheat using sensor-based norma-lized difference vegetation index[J]. Journal of Cereal Science, 2022, 107(8): 103535.
[25] QIN J, BAI H Y, ZHAO P, et al. Dendrochronology-based norma-lized difference vegetation index reconstruction in the Qinling Mountains, North-Central China[J]. Forests, 2022, 13(3): 443.
[26] PAVLO L. Forecasting oil crops yields on the regional scale using normalized difference vegetation index[J]. Journal of Ecological Engineering, 2021, 22(3): 53-57.
[27] PENG Y, FAN M, BAI L, et al. Identification of the best hyperspectral indices in estimating plant species richness in sandy grasslands[J]. Remote Sensing, 2019, 11(5): 558.
计量
- 文章访问数: 8
- HTML全文浏览量: 0
- PDF下载量: 7