Study of blueberry micro-rot detection based on hyperspectral imaging

蓝莓富含丰富的花青素，能改善视力、预防眼睛过度使用造成近视^[1]。由于蓝莓果实小，经过包装、运输极易发生腐烂，为避免腐烂蓝莓造成的经济损失，对蓝莓进行质量检测十分必要。高光谱成像技术在水果检测方面使用日益频繁，它可以把图像信息和光谱信息的分析有机融合在一起^[2]，图像信息可以表现出蓝莓的外部品质和特征，光谱信息则可以用来检测水果内部品质^[3-4]。ZHANG^[5]利用高光谱成像和主成分研究确定了检测损害和早期糜烂的特征波段，选取了苹果在400 nm~1000 nm波段的图像，正确率高达到95.8%。HE等人^[6]对蓝莓腐烂进行检测，利用高光谱成像结合光谱信息分割法和出区域特征筛选法，测定精度依次为98.3%和98.6%。除此之外，包装、储藏、温度等因素都会影响蓝莓腐烂的速度。正常情况下，低温会减少蓝莓损伤腐烂^[7]，高温会增加蓝莓腐烂情况。因此，在低温、高温下检测蓝莓损伤腐烂的发展很重要^[8]。ZHANG^[9]利用近红外高光谱图像无损检测蓝莓损伤的方法，讨论温度和时间对蓝莓瘀伤的影响，结果表明，采用高光谱透射成像技术，可以在发生机械损伤后的30 min内，22 ℃和4 ℃两个存储温度下，检测出蓝莓损伤。但上述文章中并没有在高温条件下进行实验。

因此，本文作者考虑在蓝莓腐烂后24 h内的3种保存温度(5 ℃、26 ℃、40 ℃)，以及在常温时的3类储存时间(24 h、48 h、72 h)条件下，探究高光谱成像技术对蓝莓腐烂早期检测的可行性。具体目标如下：(a)检测蓝莓正常组织和腐烂组织在高光谱反射下的光谱数据差异；(b)检测蓝莓腐烂组织随3种不同温度、时间各自的发展状况；(c)利用偏最小二乘法、反向传播神经网络建模分析时间及温度因素对蓝莓腐烂组织的影响，探究早期检测腐烂蓝莓的可行性。

2022年9月，在江西南昌的某水果市场购买到秘鲁蓝莓作为实验样本，经过人工筛选，尽量让所有蓝莓保持相同的尺寸，且使之具有部分糜烂状态。样品处理后，分为6组，每组12个蓝莓果实。如表 1所示，将样本的前3组分别用塑料盒装入后，第1组放置在周围温度为5 ℃的环境中保存24 h；第2组放置在周围温度为40 ℃的环境中保存24 h；第3组放置在周围温度为26 ℃的环境中保存24 h，前3组主要探究温度对蓝莓腐烂的影响，并且以第3组为对照组。剩余的蓝莓装入塑料盒中，如表 2所示。第4组放置在环境温度为26 ℃中保存24 h；第5组放置在环境温度为26 ℃中保存48 h；第6组放置在环境温度为26 ℃中保存72 h。后3组主要研究时间对蓝莓腐烂的影响，以第4组作为对照组。将所得的6组蓝莓样品进行高光谱图像采集，如图 1所示。图 1a、图 1b、图 1c分别是蓝莓在5 ℃、26 ℃、40 ℃中保存24 h的高光谱图像；图 1d、图 1e、图 1f分别是蓝莓在26 ℃中保存24 h、48 h、72 h的高光谱图像。

Figure 1.  Hyperspectral image of blueberry sample

使用高光谱分类器对蓝莓进行光谱采集，组成结构如图 2所示。该分类器系统主要有4个20 W的卤素灯、计算机、成像光谱仪、步进电机、位移平台等构成。成像光谱仪包含CCD相机和光谱仪。为了消除周围外部环境光对图像采集的干扰，将以上设备系统安装在密闭暗箱内。

Figure 2.  Schematic of hyperspectral imaging system

为避免实验仪器发生故障，需要在实验采集前对高光谱仪器设备进行预加热30 min。对参数进行如下设置：CCD相机曝光时间设置为5 ms，位移平台前进移动速率设置为2 cm/s，光谱分辨率设置为4 nm，位移平台撤回速率设置为3 cm/s。参数设置后按照以下步骤操作，首先将每组蓝莓放置在位移平台上，腐烂组织对准CCD相机，其次打开位移平台开始进行操作收集光谱信息，最后通过计算机保存数据，形成光谱图像。

在采集时存在卤素灯的光照强度变化和CCD相机中的暗电流^[10]，以上因素会对光度较低的波段产生噪声和辐射，同时图像质量也会下降。为了降低这些干扰，一定要在处理蓝莓高光谱图像数据之前对其进行黑白校正。校正所使用的黑色板和白色板分别通过对镜头的盖帽来实现。黑白校正的计算公式^[11]如下所示：

式中：P_xy是校正之后的图像；R_xy是初始图像；R_d是黑色板校正图像；R_w是白色板校正图像。

偏最小二乘(partial least squares，PLS)算法的核心原理是在解决X矩阵和Y矩阵两者之间的基本关系，是一种对双矢量空间协方差结构建模的隐变量方法^[12]。此模型试图利用X矩阵的3维方向来解释Y矩阵中方差最大的3维方向。偏最小二乘法自身的特点是自变量中存在多重关系，它可以用比变量数量更少的样本点进行回归分析建模^[13]。PLS算法将原始的自变量纳入到最终模型中，每个自变量的回归系数更容易解释^[14]。

反向传播神经网络(back-propagation neural network，BPNN)具有良好的非线性映射近似能力和泛中文预测能力，同时反向传播神经网络也是非在线前馈网络，具有接层、隐含、输出3个指定网络层^[15]，图 3是前馈神经网络的拓步结构优化图。图中，A是接入层，H是隐藏层，O是输出层。当网络正向传播，接入层接入样本，经过隐藏层流向输出层，假如接入层接入效果与期望相差过大，则会获得误差信号并向接入层反向传播，将误差分给各单元，进而改善权值过程^[16]。从图中可以得到BPNN是一种单接入多输出的线性组合神经网络，可以预测腐烂蓝莓在温度、时间变量下的相对误差和相关系数。

Figure 3.  Three-layer BPNN topology network structure diagram

蓝莓的腐烂部分在相机镜头的正下方，利用相关软件对蓝莓腐烂区域选择72个像素点进行平均光谱分析，根据之前的分组，将蓝莓的光谱图像大致分为6组，得到的分析结果如图 4、图 5所示。

Figure 4.  Spectral comparison of rotting samples with time

Figure 5.  Spectral comparison of rotting samples with temperature change

从图 4可知：蓝莓腐烂的样品随时间变化的光谱波形大体相似，680 nm处存在拐点，880 nm处存在峰值，造成这种原因是C—H，N—H等官能团伸缩振动引起。在波长为400 nm~680 nm之间，光谱波形趋于平缓且相差不大，分析其原因可能是高光谱反射图像主要受植物叶绿素的影响^[17]。在波长680 nm之后，时间组腐烂的蓝莓样品波峰均在880 nm附近到达最大值，且放置24 h的样品波峰比放置48 h、72 h的波峰超出一部分，72 h波峰最低，其原因是腐烂的蓝莓组织随着时间的流逝，细胞组织中的水分从中流失，变得松散、干瘪。蓝莓细胞成分(细胞壁，细胞膜)受损，破损的细胞导致细胞液体渗透增加^[18]，造成蓝莓反射光的能力下降，尤其是在24 h~48 h之内变化最为明显，除此之外，还有可能是腐烂的蓝莓组织受到呼吸作用的影响^[19]，导致了波峰的差异性。

由图 5可知，对蓝莓进行不同温度保存24 h之后，蓝莓波形大体相似，只是反射率不同。680 nm处存在拐点，造成这种原因是C—H，N—H等官能团伸缩振动引起。400 nm~680nm范围之内波形平缓近似，造成这种结果的原因可能是蓝莓腐烂组织光谱和健康组织光谱相互重叠且光谱强度较低，相对反射低^[20]。880 nm附近5 ℃下的波峰略高于26 ℃的波峰，说明低温对蓝莓的腐烂具有一定的抑制作用，低温下蓝莓的呼吸作用减慢, 细胞中的水分不会快速流失，蓝莓储存的温度越低，细胞组织失效的可能性就越低。40 ℃下的腐烂蓝莓光谱图像在400 nm~680 nm范围内略高于5 ℃、26 ℃，但到880 nm附近其波峰明显低于前两者。造成的原因如下：高温会造成细胞肿胀来影响组织细胞对腐烂的抵抗能力。蓝莓腐烂后，高温会加速产生乙烯和二氧化碳^[21]，加速细胞糜烂，导致细胞水分快速流失，所以会造成如图 5所示的结果图像。

健康蓝莓和自然条件下腐烂的蓝莓划分等间隔的区间1和4。为避免出现区间重复及减小误差，将间隔取3个单位，从而保证不同条件下的腐烂蓝莓不会互相产生影响。根据放置时间和温度分别对第1~第6组蓝莓进行等间隔区域划分。利用PLS算法^[21]分别建立健康与腐烂蓝莓的模型，不同存放时间比较的模型和不同温度比较的模型，观察它们之间协方差系数和相关系数等数据。结合模型的特征，分析时间、温度对腐烂蓝莓的影响。

由图 6可知，正常蓝莓与腐烂蓝莓的预测集和建模集协方差系数(root mean square error, RMSE)分别为0.131，0.149，相关系数R²分别为0.932，0.921。正常蓝莓与腐烂蓝莓的协方差系数均大于0，即它们的变化趋势一致。两组蓝莓总体误差期望靠近0，且正常蓝莓与腐烂蓝莓的相关系数均向1靠拢，证明其具有相关性。

Figure 6.  PLS comparison between normal and rotting blueberries

根据时间的不同，划分2、5、8、11为间隔区间，其中2代表腐烂0 h，5代表腐烂24 h，8代表腐烂48 h，11代表腐烂72 h。在蓝莓腐烂后的24 h、48 h、72 h，与0 h进行PLS建模，结果如图 7所示，具体数据如表 3所示。0 h和24 h的预测集，建模集协方差系数为3.567、4.263。经过24 h之后，蓝莓的腐烂区域开始出现变化，协方差系数数值开始逐渐增大；0 h和48 h的预测集，建模集协方差系数为6.555、7.908。在24 h~48 h之内，蓝莓腐烂区域扩大，RMSE数值增大，相比于最初的24 h，数值提升幅度偏大，且继续大幅增加；0 h和72 h的预测集，建模集协方差系数为14.214、18.117，在经过24 h之后，协方差系数到达最大值，即72 h之内，蓝莓腐烂随时间的流逝逐步增加，经过72 h之后蓝莓腐烂到达最大程度，误差也到最大。相关系数在72 h变化中，始终维持在1附近(0.912、0.889、0.925、0.906、0.844、0.751)，总体相关性变化小，具有相关性。综上所述，时间对蓝莓腐烂具有一定影响。

Figure 7.  Time group blueberries PLS comparison

根据温度的不同，划分3、6、9、12为间隔区间，其中3代表 20 ℃，6代表 5 ℃，9代表 26 ℃，12代表 40 ℃。将腐烂蓝莓在5 ℃、26 ℃、40 ℃下保存24 h，分别与常温20 ℃的蓝莓进行PLS建模，结果如图 8所示，具体数据如表 4所示。5 ℃和20 ℃的预测集，建模集协方差系数为1.578、1.914；20 ℃和26 ℃的预测集，建模集协方差系数为0.784、0.912；20 ℃和40 ℃的预测集，建模集协方差系数为2.458、2.929。可以看出，在温度变化中，温差越近，协方差相差的越小，温差越大，协方差相差越大，温度的变化会造成不同腐烂蓝莓组有误差，即温度对蓝莓腐烂具有影响。相关系数在不同温度中，变化不大，继续保持在1附近(0.956，0.954，0.932，0.905，0.939，0.924)，证明其在不同温度中，相关性存在。

Figure 8.  PLS comparison of blueberries in temperature group

反向传播神经网络过程在数学软件里实现，将腐烂蓝莓数据导入进模型经过归一化处理后压缩，得到如图 9、图 10所示的结果。图 9反映了腐烂蓝莓时间组结果，可以看出，时间组蓝莓的预测均方根误差(root mean square error of prediction, RMSEP)数据有明显的突出异常，且突出部分过少，而正确率(value correct of rate, VCR)数据呈现向下状态；图 10反映了腐烂蓝莓温度组结果，温度组蓝莓的RMSEP数据有几个部分显示异常，且VCR数据同时存在正值和负值。综上所述，BPNN的建模方式可能对腐烂蓝莓不敏感，根据仿真软件建模结果也可以看出，时间组和温度组的RMSEP同时有突出的部分，且突出部分数据过大、不准确，无法确认时间及温度是否与蓝莓腐烂有关系。两组的正确率也存在问题，正确率出现负值反映出时间及温度变量与蓝莓腐烂独立，即时间和温度不会对蓝莓腐烂造成影响。

Figure 9.  Time group blueberrie BPNN chart

Figure 10.  Temperature group blueberries BPNN chart

利用高光谱成像技术对腐烂蓝莓进行实验，结合PLS和BPNN对腐烂蓝莓在不同温度、不同时间保存下进行建模，探究时间及温度对腐烂的蓝莓组织有何影响。实验表明，在波长为400 nm~680 nm之间，光谱变化差异不大，波长在880 nm附近，差异到达最大值。基于PLS算法分别建立正常蓝莓与腐烂蓝莓、不同时间组蓝莓、不同温度组蓝莓模型，根据协方差系数和相关系数等数据，判断温度及时间是否会对蓝莓腐烂产生影响。研究结果显示：在时间组协方差系数会随着时间的推移，数据逐渐增加，但相关系数不会发生太大变化。证明时间对腐烂蓝莓组织有一定影响；温度组协方差系数根据温差的变化，数据会产生变化，温差越大，数值越大，同样相关系数不会发生太大变化。对比BPNN所得到的数据误差偏大且正确率不准确，偏最小二乘法适用于检测蓝莓表面的微腐烂。该项研究表明，高光谱反射成像技术结合偏最小二乘法模型可用于检测自然条件下腐烂的蓝莓，从而推出温度、时间对蓝莓腐烂会产生影响，对后续环节进行改进，具有一定可行性。