Mechanical bruise detection of nectarine based on polarization imaging technology

油桃作为一种鲜果，因富含营养物质、色泽艳丽，深受消费者喜爱。收获、运输和搬运过程中过度的机械负荷或挤压会导致油桃的机械损伤^[1]。油桃的损伤组织容易滋生病菌，不仅降低了其食用价值，也容易交叉感染正常水果，导致潜在的经济损失^[2-4]。因此，在收获后的处理过程中，尽早发现和清除损伤的油桃至关重要。油桃在损伤的早期阶段，其损伤区域较小，且损伤区域颜色多呈现浅褐色，与正常组织的颜色相似，给其早期检测带来困难。

目前，以红绿蓝三原色(red, green, blue, RGB)成像、高/多光谱成像和结构光反射成像等技术为代表的光学检测技术被广泛用于水果表面的损伤检测。由于RGB成像技术只能采集可见光范围内的物体图像，并通过物体颜色和纹理变化实现损伤检测的，当水果表面颜色复杂多变，或早期损伤区域的颜色和纹理与正常组织的变化较小时，其检测的效果仍然偏低^[5]。相比于RGB成像技术，高/多光谱成像技术可以一次性获取可见光及短波近红外范围内的被测对象信号，从而提供了被测对象更为丰富的信息，因此被广泛用于水果表面机械损伤等目标检测领域^[6-8]。高/多光谱图像采集系统通常价格昂贵，数据采集和处理时间长，系统的实时性难以满足实际需求。同时，系统在采集图像时易遭受镜面反射和水果表面光泽的影响而形成眩光伪影，增加数据的可变性。当损伤的区域正好处于高亮区域时，光斑掩盖水果的损伤区域，容易导致误判^[9]。近年来，结构光反射成像(structured illumination reflectance imaging, SIRI)技术被引入到水果的损伤检测领域。SIRI使用正弦调制的结构光，通过改变正弦光照模式的空间频率控制光穿透水果组织的深度，采集的原始图像经过解调和一系列的数学运算，以增强损伤区域和正常组织之间的对比度，最终达到提高检测效果的目的。LI等人^[10]使用SIRI系统分别在4个空间频率(0mm^-1，0.10mm^-1，0.15mm^-1和0.25mm^-1)下采集0°、120°和240°相移反射图像；随后将每个空间频率下的三相位移反射图像解调为交流分量图像和直流分量图像，并计算对应频率下的生成比率图像(损伤和正常区域对比度增强的图像)；最后利用边缘检测算法和形态学运算(膨胀和腐蚀)在生成比率图像上完成苹果机械损伤的检测。结果表明：该检测技术的准确率达到70%~100%，而传统平面照明下的检测准确率仅达到0%~50%。SIRI系统使用的照明模式可以提供损伤区域的深度信息，根据采集的图像可在水果被撞击后的数小时内确定损伤区域，但其采集的图像的质量与成像系统光照的空间频率有关，而空间频率的选取需经过多次调整，实际检测过程中的昂贵时间消耗导致其难以满足快速检测的需要。

偏振信息(偏振角和偏振度)是光的另外一类基本属性。当一束光子照射到被测物体时，被测物体的某些物理特性(如粗糙度、形状、材料、缺陷等)会导致入射光子偏振信息的变化，对该偏振信息的有效获取为目标探测与识别提供了另一维度的有效信息^[11]。同时，与RGB成像系统相比，采用基于偏振成像技术获得的偏振图像含有丰富的细节信息，可以改善强光照背景下目标与背景区域的对比度，从而有利于被测物体中的感兴趣区域分割与识别^[12]。近年来，偏振成像技术已经被广泛应用于生物医学检测^[13]、目标探测^[14-15]、工业缺陷检测^[16]领域。在农产品缺陷检测方面，WANG等人^[17]基于0°, 45°, 90°和-45° 4个偏振方向下的偏振图像和斯托克斯矢量参数获得皮蛋外壳裂纹的偏振度图像，并提取图像的裂纹长度、均方比、偏度和峰度4个特征参数，采用k均值聚类算法识别皮蛋外壳裂纹，完好皮蛋识别率为100%，裂纹皮蛋识别率为88.3%。就已有的文献来看，利用偏振成像技术进行油桃的机械损伤检测还未见报道。考虑到油桃在发生机械损伤后，表面会存在一定程度的形变，从而导致其损伤区域的偏振信息与正常组织存在差异(反映在不同偏振方向下的图像强度差异)^[18]，因此本文中尝试将偏振成像技术引入到油桃的机械损伤早期检测，以解决传统RGB图像由于油桃表面颜色复杂所导致的缺陷检测精度偏低问题，为后期基于偏振成像技术的油桃品质在线检测与分级系统的开发提供理论依据。

实验样本为产自大连的“国庆一号”油桃，该油桃的外表面同时具有红和黄等多种颜色，其表皮的机械损伤较难检测，具有一定的代表性。从市场上购买105个表面没有明显机械损伤、且直径范围在60mm~80mm的油桃作为实验样本，选取75个油桃均采用人工模拟的方法制造损伤(具体的操作工序参考LU等人^[19]制作苹果损伤样本的策略)，其余30个油桃不制造损伤。受损后的油桃置于2℃的冰箱冷藏室中保存，并在2h后开始采集油桃的偏振图像。为了减少油桃相互挤压导致表面凹陷，影响后期的数据采集，本研究利用泡沫分装盒包装损伤样本后再放入冰箱；另外，为了避免冰箱内残留物质和果实表面小水珠对数据集的干扰，在采集图像之前，使用实验室专用的无尘擦拭纸擦拭油桃。样本采集在室内(室温为26℃±1℃)进行。使用上述策略采集105个样本的偏振图像，选取其中30个样本的偏振图像(20个损伤油桃的图像和10个正常油桃的图像)用于提取正负样本，其余偏振图像用于测试分类模型的性能。

目前偏振成像系统主要包括分时型、分振幅型、分孔径型和分焦平面型4类，相比于其它3类偏振成像系统，分焦平面偏振成像系统可以实现4张偏振图像的同时采集、处理和显示，其偏振图像的获取由一个成像单元完成，不存在视场偏差，具有集成度高、体积小和实时性好等优点^[20]，是目前偏振成像领域的研究热点。因此，本研究中利用该系统作为图像数据的采集系统。如图 1所示，整个系统主要由5个部分组成：内置彩色偏振传感器(Sony IMX250MYR CMOS color)的分焦平面偏振相机(TRI050S-QC, LUCID Vision Labs, Canada)；工业相机通用镜头(M2514-MP2 2/3inch f25.0mm F1.4-16C, Computar, Japan)；LED24V的光源(GH-R180-0-W, 五铃光学, China)；带有偏振图像采集软件(Arena View, LUCID Vision Labs, Canada)的台式计算机(DESKTOP-FCN3P0H, Intel(R)Core(TMi7-9700CPU@3.00GHz))；提供实验操作环境的样品台和支撑架。其中，分焦平面偏振传感器通常由焦平面传感器和微偏振片阵列构成，在微偏振片阵列中，每2×2个像元组成一个超像元，偏振方向分别对应0°, 45°, 90°和135°。

Figure 1.  Schematic diagram of division of focal plane polarization imaging system

在进行偏振图像采集之前，首先调整系统参数，以确保采集的图像清晰不失真。经过多次调整和优化，将镜头放置在距离油桃表面400mm的位置。在采集图像时，将油桃的受损面摆放在相机下方的样品台，其损伤区域随机分布在所获取的图像中。此外，本次试验也在相同的条件下采集了部分样本的RGB图像，以用于比较RGB相机和偏振相机对于损伤区域的识别能力(采集的各偏振方向的偏振图像的分辨率为1224× 1024，RGB图像的分辨率为2592×1944)。利用偏振成像系统采集的损伤油桃图像如图 2所示。

Figure 2.  Physical map of bruised nectarines

光波在介质表面反射或折射产生偏振态的变化，偏振态又与目标材质、折射率、粗糙度及成像角度相关^[21]。分焦平面偏振成像系统能同时获取4个偏振方向下的偏振图像，通过获取的偏振图像，利用斯托克斯矢量S完成对目标偏振态的解析^[22]，即：

式中，s₀表示光的总强度，s₁表示水平方向线偏振光的强度，s₂表示对角方向线偏振光的强度，s₃表示圆偏振光的强度，一般情况下，在自然大气背景中，圆偏振分量极少，分量s₃可以忽略。I_0°, I_45°, I_90°, I_135°表示光通过方向角度分别为0°, 45°, 90°和135°的偏振片的强度。通过斯托克斯矢量，可以求解出偏振光的偏振角:

偏振态的解析涉及到斯托克斯矢量的计算，该过程会引入视场误差和噪声，从而影响偏振角图像的质量和精度，所以本研究基于分焦平面偏振相机采集的原始偏振图像构建油桃机械损伤检测模型。构建的油桃机械损伤检测流程包含训练和测试两个过程(如图 3所示)。对于训练过程，首先，采用双线性插值^[23]和低照度增强(low-light image enhancement, LIME)算法^[24]对4个角度(0°, 45°, 90°和135°)下的原始偏振图像进行预处理；利用最大类间方差法(Otsu法)^[6]将水果区域从背景中分割出来，在分割后的图像中提取正、负样本(损伤区域和非损伤区域像素)，利用像素的颜色特征构建最小二乘支持向量机(least squares support vector machine, LSSVM)分类模型(简称color-LSSVM model)，同时提取像素的灰度共生矩阵(gray-level co-occurrence matrix, GLCM)特征构建LSSVM纹理分类模型(简称GLCM-LSSVM model)。当模型训练完成后，在预处理后的测试样本上执行Otsu法分割提取前景区域(油桃)，将前景区域内所有像素的颜色特征输入到color-LSSVM model中进行初步筛选；提取由color-LSSVM model分类器识别为“损伤”的每个像素的GLCM特征，并输入GLCM-LSSVM model完成“损伤”像素(由color-LSSVM model识别得到)的再次分类(上述模型结构简称为分类器串联模型，记为color-LSSVM→GLCM-LSSVM model)；最后，对串联模型的最终输出进行形态学闭运算处理，以完成油桃损伤区域的检测。

Figure 3.  Detection flow chart of mechanical bruise of nectarines

成像系统同时获取4个偏振方向下的彩色偏振图像，每张图像的分辨率为1224×1024，一个样本包含125万个像素。考虑到工业技术的实时性，首先利用双线性插值算法对偏振图像进行8倍下采样处理，从而减小偏振图像重构的运行时间，以提高整体计算的运行速度，同时去除图像中部分噪声^[10]。另外，油桃是椭球体，在均匀光照下，油桃边缘的亮度要低于中心区域，亮度上的差异会导致油桃边缘和背景难以区分。即在油桃与背景的交界处，颜色较深的无损伤区域可能被错误识别为背景；受损的组织与背景混淆，产生漏检。在偏振图像的预处理阶段有必要利用一种有效方法解决油桃和背景交界处由于低光照而难以区分的问题。LIME算法侧重于图像的光照分量，通过求解R、G和B三通道中每个像素的最大值构造光照图，并利用光照结构对光照图进行细化，旨在通过估计低光照图像的光照图来增强原始图像，解决图像中存在的低亮度、低对比度、噪声、伪影等问题^[24]。因此，本研究中使用简单而有效的LIME算法以提高油桃边缘区域的光照强度，去除油桃果形对检测方法的影响。

颜色特征是水果质量检测和分级的基础，从偏振图像上可提取的12个颜色特征(每张偏振图像R、G、B三通道下的颜色特征)能为检测技术提供丰富的颜色信息。在实际应用过程中，由于油桃表皮颜色的高度复杂性，无监督方法难以区分油桃上损伤区域和深色的无损伤区域，这使得检测任务的误检率和漏检率较高。有监督分类方法从样本中学习颜色特征与像素正、负性的关系，并训练分类器，具有出色的检测性能。LSSVM作为一种建立在统计学习理论上的判别分类器，可以根据有限的样本信息在模型的复杂性和学习能力之间寻求最佳折衷。它通过核函数变换将非线性问题转化为高维数据的线性问题，并在变换后的高维空间中求其最优分类面。因此，本研究中选择LSSVM训练辨别损伤和正常像素的二元分类器。利用LSSVM构建color-LSSVM model的过程为：将12个颜色特征下已知类别标签的像素点作为以径向基函数为核函数的LSSVM的输入数据，并通过五折交叉验证和自动寻优的方式获得核参数与超参数的最优值，得到分类模型color-LSSVM model。当待测样本数据输入color-LSSVM model后，图像的像素被识别为正(有损伤)像素和负(无损伤)像素。

由于油桃颜色复杂，而基于颜色特征的分类器类间可分离性较低，单纯地利用12个颜色特征会导致待测样本数据中的部分无损伤像素被判别为损伤像素。油桃损伤区域会发生轻微形变，这种变化将反应到某个角度下的偏振图像上相应区域的纹理特征变化。因此，本研究中选用GLCM的4个定量统计属性^[25]描述油桃的纹理特征，以区分损伤和非损伤区域，对比度、均匀性、能量和相关性分别对应以下公式：

式中，L为定义的图像灰度级数目; i, j=0, 1, 2, …, L－1;μ_x、μ_y、σ_x和σ_y分别是GLCM矩阵中行和列之和的平均值和标准差; P_{(i, j)}是归一化的灰度共生矩阵。

分类模型构造过程为：首先，针对每一个像素点，提取以其为中心的3×3区域；随后，提取每个通道对应区域的4个GLCM纹理特征，并将所有通道下的GLCM特征拼接为48维的GLCM纹理特征；最后，将该纹理特征的数据输入LSSVM中，获得基于GLCM特征的分类模型GLCM-LSSVM model，该分类器以径向基函数为核函数，核参数和超参数以五折交叉验证和自动寻优的方式获取最优值。

本研究中采用精确率(precision)p和召回率(recall)r两个指标评价检测方法的性能。精确率(查准率)定义为正确检测到的油桃损伤的区域量占全部识别为油桃损伤的区域量的比例；召回率(查全率)定义为正确检测到的油桃损伤的区域量占全部实际为油桃损伤的区域量的比例。两个性能评价指标的具体表达式如下式所示：

式中，t_TP定义为实际是损伤且预测为损伤的区域量，f_FP定义为实际是无损伤且预测为损伤的区域量，n_FN定义为实际是损伤且预测为无损伤的区域量。

本节中比较了基于颜色特征的油桃偏振图像和普通RGB图像的检测结果；在此基础上，分析了color-LSSVM model、GLCM-LSSVM model和color-LSSVM→GLCM-LSSVM model串联模型的分类性能；最后，讨论了不同分类器组合的检测性能。所有检测方法搭配相同的数据预处理方法，且相关参数设置相同，所有方法均基于MATLAB完成。

与RGB图像相比，偏振图像除了提供颜色信息外，还可以提供偏振信息，有利于提高油桃机械损伤的检测精度。图 4中给出了损伤油桃的RGB图像和0°偏振方向下的偏振图像及其损伤截面处(如图 4a、图 4e、图 4j中的直线所示)的像素灰度值对比图(纵坐标代表图像单通道下的像素灰度值，无单位；横坐标代表像素坐标/地址，无单位)。从图 4a和图 4e中可以看出，油桃的两个损伤区域分别位于深色(D₁)和眩光(D₂)区域。对于RGB图像，在深色区域中，损伤区域和正常区域(如图 4b~图 4d中的像素区间D₁和S₁所示)的R、G和B通道的像素灰度值相似；在眩光区域(如图 4b~图 4d中的像素区间G₁、G₂和D₂所示)，两种组织的3个通道的像素灰度值接近255。对于偏振图像，图 4e中直线标记区域内R、G和B通道的像素灰度值如图 4f~图 4h所示。比较图 4b~图 4d和图 4f~ 图 4h，可以看出，0°偏振图像上灰度值为255的像素远少于RGB图像上的像素，即可以通过偏振图像提取眩光区域的颜色特征。此外，图 4中给出了利用原始偏振图像计算得到的受损油桃的偏振角图像及其偏振角(无单位)。从图 4j可以看出，对于偏振角图像，人眼目视系统能够更清楚地观察到损伤区域和正常区域；从图 4k可以看出，眩光或深色区域中损伤部位的偏振角与正常区域的偏振角显著不同。综上所述，偏振图像可以减少油桃深色区域和眩光的干扰，并且可以为损伤油桃的检测提供有效的偏振信息。

Figure 4.  a, e, j—schematic diagram of a bruised nectarine appearance and section on RGB, 0° polarization, polarization angle images b, c, d(f, g, h) —gray values of the R, G, B channels in the area marked by a yellow straight line on Fig. 4a (Fig. 4e) i—polarization images of bruised nectarine at 0°, 45°, 90°, 135° k—polarization angle in the area marked by a yellow straight line on Fig. 4j

图 5中给出了基于RGB颜色特征和原始偏振图像颜色特征构建的color-LSSVM model分类器对油桃的识别结果。其中，图 5a~图 5c为带损伤的油桃，图 5d为无损伤的油桃。考虑到RGB图像和偏振图像的分辨率不同，在提取RGB图像的像素颜色特征前，对RGB图像进行下采样，使其分辨率和偏振图像的分辨率保持一致(1224×1024)。从图 5可观察到油桃的外表皮颜色复杂多变，且油桃表面光照分布不均匀，分类器中存在大量将油桃的正常组织像素识别为损伤像素，且识别出的像素点分布不集中的现象，而基于原始偏振图像的color-LSSVM model分类器的识别效果要远优于基于RGB图像的color-LSSVM model分类器。然而，从图 5可以看出，对于偏振图像来说，单纯的color-LSSVM model也将一些正常部位(见图 5a、图 5b、图 5c实线矩形框)识别为损伤区域。这些错误识别的区域多位于水果的边缘部位，这是因为：油桃的边缘部位和损伤区域同时呈现较低的亮度，仅利用颜色特征容易将处于边缘的正常区域识别为损伤区域。为此需要引入更多的特征来减少分类器对边缘区域的误识别。

Figure 5.  Classification results based on polarization image and RGB image

在损伤初期，损伤区域的轻微形变可由偏振图像呈现^[23]，这种形变导致损伤区域和正常区域的纹理特征不同。因此，本研究中提取纹理特征(GLCM特征)并训练GLCM-LSSVM model分类器。图 6中给出了color-LSSVM model、GLCM-LSSVM model以及color-LSSVM→GLCM-LSSVM model串联模型的识别效果。从图 6中可以看出，单纯利用color-LSSVM model会在边缘区域产生误识别现象(如图中的实线矩形框所示)，这与图 5的发现是一致的；单纯使用GLCM-LSSVM model虽然可以减少边缘像素的误识别现象，但难以区分损伤区域与花萼/果梗区域(如图中的虚线矩形框所示)。这是因为：这两类区域的纹理特征与正常区域相差更为明显，GLCM-LSSVM model将这两类区域内的像素划分为损伤像素的“易识别”样本。当采用两种分类器串联模型的时候，可以实现正常油桃和损伤油桃的有效识别。

Figure 6.  Classification results based on different polarization image features

第2.2节中利用偏振图像的颜色和纹理特征分别构建了color-LSSVM model、GLCM-LSSVM model分类器，并通过串联这两个分类器构建了color-LSSVM→GLCM-LSSVM model串联模型。在具体应用时，还可以采用颜色和纹理特征融合+分类器((color+GLCM)-LSSVM model)或两个分类器并联(color-LSSVM+GLCM-LSSVM model)的模型结构。图 7、表 1中分别给出了这3种分类器结构的检测结果视觉与分类性能对比。从图中可以看出，特征融合模型对正常像素的识别能力较弱，容易产生区域的误分割现象；而color-LSSVM→GLCM-LSSVM model和color-LSSVM+GLCM-LSSVM model的识别结果要优于特征融合模型，两者的区域识别结果基本一致。

Figure 7.  Detection results based on different structure of classifiers

从表 1可看出，color-LSSVM→GLCM-LSSVM model的精确率达到95.68%、召回率达到93.29%，均高于其它几种方案，这说明该方案可以将油桃表面的实际损伤区域基本检测出来，同时可以尽可能少地将正常组织区域误识别为损伤区域。从表 1还可以看出，3种分类器模型对油桃损伤区域的检测召回率基本处于同一检测等级，这说明基于偏振图像的样本数据集，多特征(颜色、纹理)模型的分层使用或融合多特征得到的单一模型均可以有效识别出油桃的实际损伤区域。此外，color-LSSVM→GLCM-LSSVM model从原理层面来看，相当于将两个分类器结果进行“与”(即乘法)操作，但是，这种策略首先利用颜色特征去除图像上正常区域的像素，省去了其它方案提取部分正常区域像素的GLCM特征的过程，缩减了GLCM特征提取的时间，所以，在实际检测任务中, color-LSSVM→GLCM-LSSVM model更高效。

本文中采用偏振成像技术对油桃机械损伤区域与正常组织之间的早期分类识别问题展开研究。

(1) 分焦平面偏振成像技术通过采集不同偏振方向下的偏振图像，可以增强油桃早期轻微损伤部位与正常组织的对比度，同时，可以减弱油桃表面高亮区域的光照强度，更好地突出颜色和纹理特征，有利于后期的特征提取。

(2) 利用LSSVM独立训练颜色特征和纹理特征分类模型，并采用串行的方式(color-LSSVM→GLCM-LSSVM model)对油桃测试样本进行识别，可以有效降低误识别的概率，提高实验的分类精度，最终，总体精确率达到95.68%，召回率达到93.29%。

(3) 本文中的识别模型精度依赖于特征的提取，随着深度学习技术的发展，如何利用深度网络实现缺陷区域的端到端检测将是下一步需要研究的课题。