高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于高光谱指数分割的草莓硬度预测与研究

邵慧 靳培龙 王程 陈冲 胡玉霞 刘学

引用本文:
Citation:

基于高光谱指数分割的草莓硬度预测与研究

    通讯作者: 邵慧, shaohui@ahjzu.edu.cn
  • 基金项目:

    安徽省高校协同创新项目 GXXT-2022-015

    安徽省教育厅自然科学研究重点项目 KJ2020A0471

    安徽省住房城乡建设科学技术计划资助项目 2022-YF077

    安徽省住房城乡建设科学技术计划资助项目 2020-YF22

    安徽省高校协同创新项目 GXXT-2021-028

    光学信息与模式识别湖北省重点实验室开放课题研究基金资助项目 202204

  • 中图分类号: TP391.4

Prediction and study of strawberry hardness based on hyperspectral index segmentation

    Corresponding author: SHAO Hui, shaohui@ahjzu.edu.cn ;
  • CLC number: TP391.4

  • 摘要: 为了快速无损检测草莓硬度, 连续5天采集了草莓高光谱数据和硬度信息, 提出一种基于高光谱多指数阈值逐层分割的硬度预测方法。首先分析各组分(果肉、霉变果肉、草莓籽和萼片)的光谱反射率差异并确定特征波段, 利用特征波段构建新的归一化特征指数, 完成分割阈值的确定, 采用逐层分割的方法以排除无关部分的干扰; 通过连续投影算法、主成分分析法及2次组合降维来降低光谱信息冗余度并提取特征, 利用随机森林与偏最小二乘法分别对原始光谱及降维后特征建立回归模型, 并确立最佳预测模型; 最后利用最佳预测模型对草莓果肉部分进行硬度拟合, 得到硬度分布图像, 实现了草莓硬度预测结果的直观显示。结果表明, 基于2次降维建立的偏最小二乘模型效果最好, 测试集和预测集的相关系数分别为0.9101和0.9099, 测试集均方根误差为0.1344。该研究为草莓硬度的无损检测和显示提供了参考。
  • 图 1  草莓样本及不同组成示意图

    Figure 1.  Schematic diagram of strawberry samples and different compositions

    图 2  样本硬度测量

    Figure 2.  Sample hardness measurement

    图 3  本文中方法框图

    Figure 3.  Block diagram of the methodology for this article

    图 4  不同组分光谱特征波长曲线

    Figure 4.  Spectral feature curves of different components

    图 5  SPA选择特征波长

    Figure 5.  Feature wavelength selection based on SPA

    图 6  基于最优PLS与RF建立的硬度模型

    Figure 6.  Hardness model based on optimal PLS and RF

    图 7  样本各指数分布情况

    Figure 7.  Distribution of the sample by index

    图 8  各组分-背景二值化结果

    Figure 8.  Component-background binarization results

    图 9  草莓硬度重建图像

    Figure 9.  Strawberry hardness reconstruction image

    表 1  PCA降维特征贡献度

    Table 1.  Feature contribution in PCA

    number of features cumulative contribution rate
    1 0.8669
    2 0.9473
    3 0.9801
    4 0.9920
    5 0.9970
    6 0.9983
    7 0.9991
    8 0.9996
    9 0.9997
    10 0.9997
    下载: 导出CSV

    表 2  SPA-PCA降维特征贡献度

    Table 2.  Feature contribution in SPA-PCA

    number of features cumulative contribution rate
    1 0.7377
    2 0.9300
    3 0.9745
    4 0.9902
    5 0.9972
    6 0.9991
    7 0.9997
    8 0.9997
    下载: 导出CSV

    表 3  基于PLS的模型建模结果

    Table 3.  PLS-based model modeling results

    modeling methods CCC CCP RMSEC RMSEP RPD
    full-PLS 0.9084 0.8636 0.1307 0.1592 2.4973
    PCA-PLS 0.9111 0.9047 0.1283 0.1352 3.1019
    SPA-PLS 0.9069 0.8700 0.1323 0.1529 2.6451
    SPA-PCA-PLS 0.9101 0.9099 0.1290 0.1344 3.2623
    下载: 导出CSV

    表 4  基于RF的模型建模结果

    Table 4.  RF-based model modeling results

    modeling methods CCC CCP RMSEC RMSEP RPD
    full-RF 0.9611 0.8889 0.0845 0.1491 2.5344
    SPA-RF 0.9321 0.8667 0.1143 0.1473 2.1535
    PCA-RF 0.9522 0.8735 0.0926 0.1644 2.0531
    SPA-PCA-RF 0.9620 0.8158 0.0837 0.1891 1.7907
    下载: 导出CSV
  • [1] 白胜, 朱润华, 阳圣莹, 等. 不同草莓品种营养成分比较与品种筛选[J]. 山西农业科学, 2020, 48(1): 64-67.

    BAI Sh, ZHU R H, YANG Sh Y, et al. Nutrients comparison and screening of different strawberry varieties[J]. Journal of Shanxi Agricultural Sciences, 2020, 48(1): 64-67(in Chinese). 
    [2]

    AFRIN S, GASPARRINI M, FORBES-HERNANDEZ T Y, et al. Promising health benefits of the strawberry: A focus on clinical studies[J]. Journal of Agricultural and Food Chemistry, 2016, 64(22): 4435-4449. doi: 10.1021/acs.jafc.6b00857
    [3] 刘凯丽, 郑洪健, 黄敏, 等. 云南香格里拉3个草莓品种的感官品质及耐储藏性对比分析[J]. 昆明学院学报, 2022, 44(3): 87-92.

    LIU K L, ZHENG H J, HUANG M, et al. Comparative analysis of sensory quality and storage tolerance of three strawberry varieties in Yunnan Shangri-La[J]. Journal of Kunming University, 2022, 44(3): 87-92(in Chinese). 
    [4] 郝乾坤, 王智民, 童开林. 外源海藻糖对草莓保鲜效果的影响[J]. 陕西农业科学, 2022, 68(8): 84-87.

    HAO Q K, WANG Zh M, TONG K L. Effect of exogenous trehalose on preservation of strawberry[J]. Shaanxi Journal of Agricultural Sciences, 2022, 68(8): 84-87(in Chinese). 
    [5] 陈卓, 宋俏微, 张水洞, 等. 氧化淀粉的抑菌效果及草莓涂膜保鲜应用[J]. 食品科学, 2022, 43(21): 324-331.

    CHEN Zh, SONG Q W, ZHANG Sh D, et al. Antimicrobial effect of oxidized starch and its application as a coating for strawberry preservation[J]. Food Science, 2022, 43(21): 324-331(in Chinese). 
    [6]

    LIU Y, WU Q W, HUANG J L, et al. Comparison of apple firmness prediction models based on non-destructive acoustic signal[J]. International Journal of Food Science & Technology, 2021, 56(12): 6443-6450.
    [7] 陈广大, 刘德君, 李天旭, 等. 便携式水果硬度测量仪的设计[J]. 中国农机化学报, 2016, 37(7): 85-88.

    CHEN G D, LIU D J, LI T X, et al. Design of the portable fruit hardness measuring instrument[J]. Journal of Chinese Agricultural Mechanization, 2016, 37(7): 85-88(in Chinese). 
    [8]

    PARK B, SHIN T S, CHO J S, et al. Characterizing hyperspectral microscope imagery for classification of blueberry firmness with deep learning methods[J]. Agronomy, 2021, 12(1): 85. doi: 10.3390/agronomy12010085
    [9]

    QIAO M, XU Y, XIA G, et al. Determination of hardness for maize kernels based on hyperspectral imaging[J]. Food Chemistry, 2021, 366(2): 130559.
    [10] 马帅帅, 于慧春, 殷勇, 等. 黄瓜水分和硬度高光谱特征波长选择与预测模型构建[J]. 食品与机械, 2021, 37(2): 145-151.

    MA Sh Sh, YU H Ch, YIN Y, et al. Selection of hyperspectral characteristic wavelength and construction of prediction model for cucumber hardness and moisture[J]. Food & Machinery, 2021, 37(2): 145-151(in Chinese). 
    [11]

    ERKINBAEV Ch, DERKSEN K, PALIWAL J, et al. Single kernel wheat hardness estimation using near infrared hyperspectral imaging[J]. Infrared Physics and Technology, 2019, 98(6): 250-255.
    [12]

    SU J Y, YI D W, LIU C J, et al. Dimension reduction aided hyperspectral image classification with a small-sized training dataset: Experimental comparisons[J]. Sensors, 2017, 17(12): 2726. doi: 10.3390/s17122726
    [13]

    XIONG J T, LIN R, BU R B, et al. A micro-damage detection method of litchi fruit using hyperspectral imaging technology[J]. Sensors, 2018, 18(3): 700. doi: 10.3390/s18030700
    [14]

    WU D, MENG L W, YANG L, et al. Feasibility of laser-induced breakdown spectroscopy and hyperspectral imaging for rapid detection of thiophanate-methyl residue on mulberry fruit[J]. International Journal of Molecular Sciences, 2019, 20(8): 2017. doi: 10.3390/ijms20082017
    [15] 赵凡, 闫昭如, 宋海燕. 应用高光谱鉴别黑枸杞和唐古特白刺果[J]. 光谱学与光谱分析, 2021, 41(7): 2240-2244.

    ZHAO F, YAN Zh R, SONG H Y. Hyperspectra used to recognize Black Goji berry and nitraria Tanggu[J]. Spectroscopy and Spectral Analysis, 2021, 41(7): 2240-2244(in Chinese). 
    [16] 北京市农林科学院林业果树研究所; 农业部果品及苗木质量监督检验测试中心. 水果硬度的测定: NY/T 2009-2011[S]. 北京: 中华人民共和国农业部, 2011: 1-5.

    BEIJING ACADEMY OF FORESTRY AND POMOLOGY SCIENCES, LABORATORY OF QUALITY & SAFETY RISK ASSESSMENT FOR FRUIT. Determination of fruit firmness: NY/T 2009-2011[S]. Beijing: Ministry of Agriculture of the PRC, 2011: 1-5(in Chinese).
    [17] 姜一河, 王涛, 常红伟. 高光谱图像特征提取方法研究综述[J]. 电光与控制, 2020, 27(10): 73-77.

    JIANG Y H, WANG T, CHANG H W. An overview of hyperspectral image feature extraction[J]. Electronics Optics & Control, 2020, 27(10): 73-77(in Chinese). 
    [18] 白丽敏, 李粉玲, 常庆瑞, 等. 结合SPA和PLS法提高冬小麦冠层全氮高光谱估算的精确度[J]. 植物营养与肥料学报, 2018, 24(5): 1178-1184.

    BAI L M, LI F L, CHANG Q R, et al. Increasing accuracy of hyper-spectral remote sensing for total nitrogen of winter wheat canopy by use of SPA and PLS methods[J]. Journal of Plant Nutrition and Fertilizers, 2018, 24(5): 1178-1184(in Chinese). 
    [19] 欧阳爱国, 万启明, 李雄, 等. 高光谱成像的水稻螟虫蛀入检测方法[J]. 光谱学与光谱分析, 2021, 41(12): 3844-3850.

    OUYANG A G, WAN Q M, LI X, et al. Research on rich borer detection methods based on hyperspectral imaging technology[J]. Spectroscopy and Spectral Analysis, 2021, 41(12): 3844-3850(in Chinese). 
    [20]

    FAN L L, ZHAO J L, XU X G, et al. Hyperspectral-based estimation of leaf nitrogen content in corn using optimal selection of multiple spectral variables[J]. Sensors, 2019, 19(13): 2898.
    [21] 刘璐, 邵慧, 孙龙, 等. 利用高光谱激光雷达检测木材的霉变与含水量[J]. 激光技术, 2023, 47(5): 620-626.

    LIU L, SHAO H, SUN L, et al. Detection of mildew and moisture content in timber by hyperspectral LiDAR[J]. Laser Technology, 2023, 47(5): 620-626(in Chinese). 
    [22]

    MARSHALL M, BELGIU M, BOSCHETTI M, et al. Field-level crop yield estimation with PRISMA and Sentinel-2[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 187(2): 191-210.
    [23] 高升, 徐建华. 高光谱成像的红提总酸与硬度的预测及其分布可视化[J]. 食品科学, 2023, 44(2): 327-336.

    GAO Sh, XU J H. Hyperspectral imaging for prediction and distribution visualization of total acidity and hardness of red globe grapes[J]. Food Science, 2023, 44(2): 327-336(in Chinese). 
    [24]

    SAVAŞLI E, KARADUMAN Y, ÖNDER O, et al. Estimating technological quality parameters of bread wheat using sensor-based norma-lized difference vegetation index[J]. Journal of Cereal Science, 2022, 107(8): 103535.
    [25]

    QIN J, BAI H Y, ZHAO P, et al. Dendrochronology-based norma-lized difference vegetation index reconstruction in the Qinling Mountains, North-Central China[J]. Forests, 2022, 13(3): 443.
    [26]

    PAVLO L. Forecasting oil crops yields on the regional scale using normalized difference vegetation index[J]. Journal of Ecological Engineering, 2021, 22(3): 53-57.
    [27]

    PENG Y, FAN M, BAI L, et al. Identification of the best hyperspectral indices in estimating plant species richness in sandy grasslands[J]. Remote Sensing, 2019, 11(5): 558.
  • [1] 向英杰杨桄张俭峰王琪 . 基于光谱梯度角的高光谱影像流形学习降维法. 激光技术, 2017, 41(6): 921-926. doi: 10.7510/jgjs.issn.1001-3806.2017.06.030
    [2] 王可王慧琴殷颖毛力张毅 . 基于光谱重建技术的壁画颜色复原与评价. 激光技术, 2019, 43(2): 280-285. doi: 10.7510/jgjs.issn.1001-3806.2019.02.024
    [3] 陆俊高淑梅熊婕杨幼益陈国庆 . 女性尿液荧光光谱学特性及机理分析. 激光技术, 2010, 34(1): 45-47,84. doi: 10.3969/j.issn.1001-3806.2010.01.013
    [4] 宋鑫澍陈国庆朱焯炜马超群朱纯张笑河刘怀博朱从海 . 3维荧光光谱测定白酒年份酒中乙酸的体积分数. 激光技术, 2018, 42(4): 531-535. doi: 10.7510/jgjs.issn.1001-3806.2018.04.018
    [5] 杜家蒙陈国庆马超群奚留华朱纯赵金辰顾颂 . 应用3维同步荧光光谱测定胭脂红浓度. 激光技术, 2017, 41(4): 503-506. doi: 10.7510/jgjs.issn.1001-3806.2017.04.009
    [6] 关世豪杨桄李豪付严宇 . 3维卷积递归神经网络的高光谱图像分类方法. 激光技术, 2020, 44(4): 485-491. doi: 10.7510/jgjs.issn.1001-3806.2020.04.015
    [7] 刘沐涵陈国庆肖榕阳徐煜杰陈哲涵蔡纪元 . 基于3维荧光光谱技术的含乳饮料分类研究. 激光技术, 2021, 45(3): 303-306. doi: 10.7510/jgjs.issn.1001-3806.2021.03.006
    [8] 王国宇陈国庆郭森琪韦一韬王子睿李晓琳 . 基于3维荧光光谱测定白酒年份酒的年份. 激光技术, 2023, 47(2): 286-292. doi: 10.7510/jgjs.issn.1001-3806.2023.02.020
    [9] 谷玲黄奇峰马超群史院平陈国庆高淑梅 . 液态纯牛奶的3维荧光光谱特性与成分分析. 激光技术, 2011, 35(6): 742-744,769. doi: 10.3969/j.issn.1001-3806.2011.06.005
    [10] 付奎娄本浊孙彦清龙姝明黄朝军 . Zn0.95-xBe0.05MnxSe稀磁半导体的光谱特性分析. 激光技术, 2015, 39(1): 135-139. doi: 10.7510/jgjs.issn.1001-3806.2015.01.027
    [11] 徐永浩宋彪陈晓帆黄梅珍 . 微型近红外光谱仪在苹果糖度测量中的应用研究. 激光技术, 2019, 43(6): 735-740. doi: 10.7510/jgjs.issn.1001-3806.2019.06.001
    [12] 张旭曹树亚郭腾霄董力强杨柳原博丁学全 . 基于TDLAS检测技术的甲烷体积分数场重建研究. 激光技术, 2018, 42(4): 577-582. doi: 10.7510/jgjs.issn.1001-3806.2018.04.027
    [13] 孙晓娟韩培高隽方蓥郝殿中 . 基于原位共角椭偏与反射谱的TiO2薄膜光学常数分析. 激光技术, 2022, 46(2): 288-292. doi: 10.7510/jgjs.issn.1001-3806.2022.02.022
    [14] 张进姜红刘峰段斌 . 差分喇曼光谱结合化学计量学检验烟用内衬纸. 激光技术, 2021, 45(1): 61-66. doi: 10.7510/jgjs.issn.1001-3806.2021.01.011
    [15] 毕琳娜陈国庆王俊颜浩然 . 甲基对硫磷溶液的荧光光谱及其特性----. 激光技术, 2010, 34(2): 253-257. doi: 10.3969/j.issn.1001-3806.2010.02.030
    [16] 付翔乐文冉王颖汪亚邹林邓志峰占生宝 . 基于凹面光栅的光谱检测仪性能提升的研究进展. 激光技术, 2023, 47(6): 757-765. doi: 10.7510/jgjs.issn.1001-3806.2023.06.005
    [17] 张咏程瑶闫雨桐陈超陈国庆 . 几种常见食用油加热后荧光光谱特性变化的研究. 激光技术, 2013, 37(1): 109-113. doi: 10.7510/jgjs.issn.1001-3806.2013.01.027
    [18] 严阳华文深刘恂崔子浩 . 高光谱解混方法研究. 激光技术, 2018, 42(5): 692-698. doi: 10.7510/jgjs.issn.1001-3806.2018.05.020
    [19] 王龙沈学举张维安董红军 . 高斯光束的光谱传输特性分析. 激光技术, 2012, 36(5): 700-703. doi: 10.3969/j.issn.1001-3806.2012.05.032
    [20] 曾言曾延安张南洋生赵宇龙建明 . 一种改善成像光谱仪光谱检测能力的新方法. 激光技术, 2018, 42(2): 196-200. doi: 10.7510/jgjs.issn.1001-3806.2018.02.011
  • 加载中
图(9) / 表(4)
计量
  • 文章访问数:  3257
  • HTML全文浏览量:  1910
  • PDF下载量:  10
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-04-21
  • 录用日期:  2023-05-31
  • 刊出日期:  2024-05-25

基于高光谱指数分割的草莓硬度预测与研究

    通讯作者: 邵慧, shaohui@ahjzu.edu.cn
  • 1. 安徽建筑大学 电子与信息工程学院, 合肥 260601, 中国
  • 2. 安徽建筑大学 安徽省古建筑智能感知与高维建模国际联合研究中心, 合肥 230601, 中国
  • 3. 中华通信系统有限责任公司, 北京 100000, 中国
基金项目:  安徽省高校协同创新项目 GXXT-2022-015安徽省教育厅自然科学研究重点项目 KJ2020A0471安徽省住房城乡建设科学技术计划资助项目 2022-YF077安徽省住房城乡建设科学技术计划资助项目 2020-YF22安徽省高校协同创新项目 GXXT-2021-028光学信息与模式识别湖北省重点实验室开放课题研究基金资助项目 202204

摘要: 为了快速无损检测草莓硬度, 连续5天采集了草莓高光谱数据和硬度信息, 提出一种基于高光谱多指数阈值逐层分割的硬度预测方法。首先分析各组分(果肉、霉变果肉、草莓籽和萼片)的光谱反射率差异并确定特征波段, 利用特征波段构建新的归一化特征指数, 完成分割阈值的确定, 采用逐层分割的方法以排除无关部分的干扰; 通过连续投影算法、主成分分析法及2次组合降维来降低光谱信息冗余度并提取特征, 利用随机森林与偏最小二乘法分别对原始光谱及降维后特征建立回归模型, 并确立最佳预测模型; 最后利用最佳预测模型对草莓果肉部分进行硬度拟合, 得到硬度分布图像, 实现了草莓硬度预测结果的直观显示。结果表明, 基于2次降维建立的偏最小二乘模型效果最好, 测试集和预测集的相关系数分别为0.9101和0.9099, 测试集均方根误差为0.1344。该研究为草莓硬度的无损检测和显示提供了参考。

English Abstract

    • 草莓为多年生草本植物,原产南美,果实色泽鲜艳,汁多味甜,具有生津利咽、美容养颜、降血脂等保健功效[1-2],被誉为“水果皇后”。草莓皮薄,保质期较短,难以长时间运输和存储,因此常采摘硬度较高的果实, 硬度是表征草莓成熟度和货架时间的重要指标,也是水果品质的重要体现。为了实现草莓品质和新鲜程度的判断,人们做了很多工作。

      为了研究草莓的质量特性和储存过程中的变化,人们探讨了不同品种、不同贮存条件下草莓的硬度变化规律和影响因素,为草莓的生产和质量控制提供了科学依据[3-5]。这些研究大多通过硬度仪或质构仪对水果硬度进行测试[3-7],操作繁琐且对样本具有破坏性,而更快速的无损检测研究较少。近年来兴起的高光谱成像技术能够同时获取目标图像和光谱信息,具有光谱分辨率高、信息量大的特点,已广泛应用于水果、农产品等的硬度和品质检测[8-11]

      由于高光谱图像的光谱通道数多,数据量大,因此需要对原始光谱降维以消除不相关或冗余的数据[12]。XIONG等人通过主成分分析(principal component analysis, PCA)确定敏感波长来对高光谱数据降维,再通过最小二乘支持向量机建模,用于荔枝果实的微损伤检测[13]。WU等人利用PCA和自适应加权采样算法结合偏最小二乘法实现桑葚果实硫菌素-甲基残留物的检测[14]。ZHAO等人通过连续投影算法(successive projections algorithm, SPA)对原光谱降维以快速识别野生黑枸杞[15]。这些研究都表明,降维算法能有效减少高光谱信息的冗余度,但不同降维方法获得的特征波长和信息不同,因此,在提取特征时,应选择能使草莓硬度预测模型更稳定和更准确的方法。

      本文作者将不同降维方法和回归算法结合起来,共构建8种硬度回归模型,比较评价指数,以确定最优硬度预测模型。通过分析背景和草莓组分(萼片、草莓籽、果肉和霉变部位)的光谱特征, 选择3个特征光谱波段,构建基于特征波段反射率的归一化指数,实现果肉组分和其它组分的分割,结合最优模型实现草莓果肉硬度的重建。

    • 实验中采用的多光谱成像系统,主要由一个高感度相机、两个150 W卤素光源、一个步进马达移动平台、机箱和计算机等部件组成,可采集280 nm~1167 nm共616个波段范围内的光谱信息,分辨率为1.3 nm。GY-3水果硬度计主要由硬度计表和一个GY-3测头组成。

    • 实验样本为2022-05-03采自合肥某草莓园的新鲜草莓,采摘后3 h送至实验室,18:00进行数据采集实验,间隔24 h进行相同实验,共完成5天的数据采集。在剔除掉霉变及损坏的草莓后,最终保留457颗草莓的光谱图像和硬度数据。草莓分为草莓籽、霉变果肉、果肉、萼片不同组分,如图 1所示。

      图  1  草莓样本及不同组成示意图

      Figure 1.  Schematic diagram of strawberry samples and different compositions

    • 将样本平整放在黑色吸光绒布上,置于载物台上,与相机垂直距离为70 cm。设置合适的推扫速度和曝光时间,并进行黑白校正,以减弱电流及系统不稳定的影响。

      由于高光谱信息在400 nm前信息较紊乱,因此选用波段范围为400 nm~1167 nm的高光谱图像数据。选取草莓赤道区域50 pixel×50 pixel范围共2500个像素点作为感兴趣区域(region of interest, ROI),以ROI范围平均光谱作为该草莓图像的光谱信息。为了对高光谱图像中草莓不同组分进行分割,需提取其高光谱数据,每个类型随机提取126个5 pixel×5 pixel范围ROI的平均光谱信息。

    • 根据中国现行标准[16],以硬度计测头对草莓垂直施压, 当探头进入草莓内部10 cm刻度线时停止,读取并记录外圈数值,将赤道硬度值作为整颗草莓硬度, 如图 2a所示。每次测量结束后将指针归零,再进行下次测量。经实测,草莓样本硬度分布于0.89×105 Pa~3.39×105 Pa范围的区域内, 如图 2b所示。

      图  2  样本硬度测量

      Figure 2.  Sample hardness measurement

    • 图 3为本文中方法的框图。主要由数据获取、建模、基于指数阈值的光谱图像分割和硬度图像重建4个部分组成。其中,硬度和光谱信息获取已在前面讨论过。建模部分主要包括在特征降维基础上,采用回归算法建立硬度预测模型,并在分析评价后确定最优模型。基于指数阈值的光谱图像分割是利用建立的新指数对光谱图像进行分割。最后,利用确定的最优硬度回归模型对分割出的草莓果肉部分进行硬度图像重建。

      图  3  本文中方法框图

      Figure 3.  Block diagram of the methodology for this article

    • 高光谱相机获取的图像有616个通道光谱数据,为了减少数据冗余,提高处理效率,需对采集到的光谱信息降维[17]。选取SPA和PCA及这两种算法组合的方式对采集到的高光谱图像进行降维处理。

      SPA是一种前向迭代搜索算法,利用波长投影原理和交叉验证均方根误差(root mean square error of cross-validation, RMSECV)选出不共线的特征波长[18]。以草莓光谱数据作为自变量,硬度数据作为因变量,选出与硬度相关的不共线光谱特征。

      PCA将原来的波段信息通过协方差矩阵重组,产生新的特征向量,尽可能多地凸显原光谱信息[19]。利用PCA算法将草莓光谱数据降维,选择贡献度高的特征作为输出结果。

      采用SPA对裁剪后的光谱降维后,再利用PCA法对选择的光谱信息进行2次降维,即SPA-PCA的2次降维方法,进一步降低数据冗余,提取光谱域特征,以提高模型的稳定性。

    • 将降维后高光谱数据与回归算法结合建立草莓硬度模型,不同的回归算法会直接影响模型的优劣[20]。将457个草莓样本以4 ∶1的比例随机划分为训练集和测试集,其中训练集366个样本,测试集91个样本。选择偏最小二乘(partial least squares, PLS)法和随机森林(random forest, RF)法对草莓硬度建模。

      PLS是一种多自变量对单因变量或多因变量的回归建模方法,已应用于高光谱技术对目标的无损检测中[21]。RF使用决策树作为弱学习器,在样本特征维度很高的时候,具有较好的泛化能力。利用高光谱遥感数据和RF可对农作物生物量与产量进行估测[22]

      为了评估模型的性能,引入5个评价指标来衡量模型效果[23],分别是校正集相关系数(correlation coe-fficient of calibration, CCC)、校正集均方根误差(root mean square error of calibration, RMSEC)、预测集相关系数(correlation coefficient of prediction, CCP)、预测集均方根误差(root mean square error of prediction, RMSEP)以及校正集相对分析误差(relative percentage difference, RPD)。

    • 硬度分布重建需要分割掉草莓果肉以外的组成部分,在分析各组分光谱分布特征的基础上提取特征波段,依据特征波段建立光谱指数用于高光谱图像分割。

      图 4为各组成部分的平均反射率曲线,不同类型组分的光谱差异明显。背景部分在全光谱范围反射率最低,低于0.08。正常果肉部分总体反射率较高,在656 nm和693 nm处存在波峰和波谷。萼片和草莓籽在波长693 nm处均存在波谷,且在693 nm~760 nm范围内反射率急速上升,具有明显的红边效应,可见两个部分均含有叶绿素,两者的波峰存在差异,草莓籽的波峰位于640 nm,而萼片波峰处于515 nm。霉变果肉部分的光谱反射率总体上随着波长的增加而增加,且整体斜率较低,并失去了波峰和波谷。因此,选择将萼片波峰、草莓籽波峰及红边波谷的位置作为光谱特征波段,分别是515 nm、640 nm和693 nm。

      图  4  不同组分光谱特征波长曲线

      Figure 4.  Spectral feature curves of different components

      为了增强特征波段之间的差异,提高识别效果,利用归一化植被指数[24-27]来对草莓果肉进行提取。归一化指数可消除光照不均对反射率的影响,根据选出的草莓特征波长,构建新的归一化指数I1I2I3

      $I_1=\left(R_{693}-R_{515}\right) /\left(R_{693}+R_{515}\right)$

      (1)

      $ I_2=\left(R_{640}-R_{515}\right) /\left(R_{640}+R_{515}\right)$

      (2)

      $I_3=\left(R_{640}-R_{693}\right) /\left(R_{640}+R_{693}\right)$

      (3)

      式中: R515R640R693分别代表515 nm、640 nm和693 nm处的光谱反射率。

    • 由于5种组成部分反射率曲线在900 nm~1000 nm范围内分布平坦稳定,且各组分间分布差异较大,背景反射率明显低于其它组分,因此,选择960 nm波段为背景分割波长。利用阈值逐层分割的方法对不同组分进行分割,其分割阈值由960 nm反射率及3个归一化指数确定。

      首先,建立像素数据集Q,记录各像素点位置信息并计算出用于分割的各参数值。

      $\left\{\begin{array}{l} Q=\left\{q_i \mid i \in[1, n]\right\} \\ q_i=\left\{x_i, y_i, V_i, l\right\} \end{array}\right.$

      (4)

      式中:n为像素总数; qi记录第i个像素点位置、参数和标签信息; (xi, yi)和Vi分别为第i个像素点的坐标和用于组分分类的参数值; l为此像素点待标标签,取值为0、1、2、3和4,分别代表背景、萼片、果肉、发霉果肉和草莓籽。

      $V_i=\left\{R_{960}, I_1, I_2, I_3\right\}$

      (5)

      式中: R960I1I2I3分别代表第i像素点960 nm处的反射率及3个归一化指数。

      利用多阈值方法对各像素点进行类别划分,并根据分类结果将标签赋值。阈值为:

      $C=\left\{\theta_0, \theta_1, \theta_2, \theta_3\right\}$

      (6)

      式中: C为阈值的集合; θ0为用于960 nm处的反射率阈值,由前面各组分光谱分析可知,背景光谱反射率很低,因此θ0取为0.1;θ1~θ3为各新建的归一化指数阈值,其值根据各组分在箱线图上的分布情况由统计学方法确定,具体计算方法如下:

      $\begin{gathered} \theta_m=\frac{\left(Q_{1, 1}-1.5 I_{\mathrm{IQR}, 1}\right)+\left(Q_{\mathrm{u}, 2}+1.5 I_{\mathrm{IQR}, 2}\right)}{2}, \\ (m=1, 2, 3) \end{gathered}$

      (7)

      式中: Ql, 1为类别1下四分位数; Qu, 2为类别2上四分位数; IIQR, 1IIQR, 2为两个类别四分位距(inter quartile range, IQR)。

      具体逐层分割方法如下:首先通过判断像素点qiR960与阈值θ0的关系,判断是否为背景,即R960θ0l=0为背景,否则为草莓的有效组成部分; 然后通过I1~I3及其阈值θ1~θ3逐层确定像素点的类别,即通过判断I1θ1I2θ2I3θ3分别给l赋值为1、2、3,若上述条件均不满足,则将l赋值为4,这样对数据集Q中每个像素点完成标签赋值,实现不同组分的分割。

      根据阈值,将背景之外的其它各组分数据单独提取,生成组分-背景二值化图,分离不同组分。

    • 在对高光谱图像完成分割后,剔除掉无关组分,利用已建的最佳硬度预测模型, 将草莓果肉部分每一个像素点的光谱数据进行硬度拟合,得到其灰度图,再利用伪彩色处理将不同硬度附上不同的颜色,绘制出草莓的硬度分布图像。

    • SPA根据RMSECV确定选择的特征波长数和光谱具体波段,当RMSECV达到明显拐点时,此时所对应的特征波长数即为降维后的结果。由图 5a可知,RMSECV随着选择特征波长数量的增加整体上呈下降趋势,当达到拐点时,值为0.1168,对应选择的特征波长数为11。实验中所选400 mm~1167 nm共524个波段,图 5b为SPA降维后11个特征波长数在此524个波段中的具体位置。

      图  5  SPA选择特征波长

      Figure 5.  Feature wavelength selection based on SPA

    • 作为一种无监督的机器学习算法,PCA可由原始信息产生新的特征,新特征对于原光谱数据的总解释贡献度如表 1所示。当新特征数为9时,贡献度达到0.9997,因此,选择前9个特征作为降维后的新特征。

      表 1  PCA降维特征贡献度

      Table 1.  Feature contribution in PCA

      number of features cumulative contribution rate
      1 0.8669
      2 0.9473
      3 0.9801
      4 0.9920
      5 0.9970
      6 0.9983
      7 0.9991
      8 0.9996
      9 0.9997
      10 0.9997
    • 利用SPA-PCA 2次降维后产生的新特征贡献度如表 2所示。当特征数达到7时,贡献度为0.9997,因此,选择前7个特征作为SPA-PCA降维后的特征波段。

      表 2  SPA-PCA降维特征贡献度

      Table 2.  Feature contribution in SPA-PCA

      number of features cumulative contribution rate
      1 0.7377
      2 0.9300
      3 0.9745
      4 0.9902
      5 0.9972
      6 0.9991
      7 0.9997
      8 0.9997

      3种降维方法提取的特征个数占原特征数量的百分比分别为1.79%、2.46%和2.14%,有效地减少了数据冗余。

    • 将原始光谱(full)和3种降维后的数据分别与PLS和RF结合建立硬度预测模型,构建8种模型的评价指标。

      表 3表 4可知,在使用3种降维方法对特征进行提取后,PLS在校正集上的CCP均有不同程度的提升,其中基于SPA-PCA的2次降维效果最好,由全光谱的0.8636提高到0.9099。但是使用降维算法后,RF在预测集上的CCP有不同程度的下降,其中SPA-PCA的2次降维下降最多,由全光谱的0.8889降低到0.8158。因此,选择SPA-PCA-PLS和full-RF两个回归算法模型做进一步比较。

      表 3  基于PLS的模型建模结果

      Table 3.  PLS-based model modeling results

      modeling methods CCC CCP RMSEC RMSEP RPD
      full-PLS 0.9084 0.8636 0.1307 0.1592 2.4973
      PCA-PLS 0.9111 0.9047 0.1283 0.1352 3.1019
      SPA-PLS 0.9069 0.8700 0.1323 0.1529 2.6451
      SPA-PCA-PLS 0.9101 0.9099 0.1290 0.1344 3.2623

      表 4  基于RF的模型建模结果

      Table 4.  RF-based model modeling results

      modeling methods CCC CCP RMSEC RMSEP RPD
      full-RF 0.9611 0.8889 0.0845 0.1491 2.5344
      SPA-RF 0.9321 0.8667 0.1143 0.1473 2.1535
      PCA-RF 0.9522 0.8735 0.0926 0.1644 2.0531
      SPA-PCA-RF 0.9620 0.8158 0.0837 0.1891 1.7907

      两者的校正集和预测集样本模型预测值和硬度计测量值分布散点图如图 6所示。

      图  6  基于最优PLS与RF建立的硬度模型

      Figure 6.  Hardness model based on optimal PLS and RF

      可以看出,SPA-PCA-PLS模型的预测效果更好。其次,full-RF模型未对光谱特征进行降维,存在着大量冗余的信息,而SPA-PCA-PLS模型确定的特征个数仅有7个,其中RPD也是所有模型中最高的,达到了3.2623,因此,确定SPA-PCA-PLS为硬度预测模型,建立硬度预测公式为:

      $\begin{gathered} H_{\mathrm{p}}=1.8339+1.0165 F_1-3.1120 F_2+ \\ 10.3418 F_3-0.6274 F_4+4.2392 F_5- \\ 4.3331 F_6-4.9469 F_7 \end{gathered}$

      (8)

      式中: Hp为硬度的预测值; Fi为2次降维后的特征变量(i=1, 2, 3, 4, 5, 6, 7)。

    • 将4个类型504个样本(草莓果肉、发霉果肉、萼片、草莓籽,每类126个)的3个参数(I1I2I3)计算出来并分别绘制箱线图。箱线图用来比较各组分在3个参数中的分布情况,阈值由上下四分位数及四分位距来确定,结果如图 7所示。

      图  7  样本各指数分布情况

      Figure 7.  Distribution of the sample by index

      图 7a图 7b可知,草莓果肉和萼片与另外两种组分在I1I2上的分布有明显差异。I1上发霉果肉及萼片异常值更少,对萼片的识别效果更好。I1中草莓籽下四分位数Ql, 1与四分位距IIQR, 1分别为0.322、0.122;萼片上四分位数Qu, 2与四分位距IIQR, 2分别为-0.307、0.078,确定θ1分割阈值为0.026。草莓果肉1.5IIQR, 1和发霉果肉1.5IIQR, 2I1上有明显重叠,在I2上无重叠现象,确定I2对草莓果肉的识别效果更好。I2中草莓果肉下四分位数Ql, 1与四分位距IIQR, 1分别为0.807、0.118,发霉果肉上四分位数Qu, 2与四分位距IIQR, 2分别为0.542、0.137,则θ2分割阈值为0.689。由图 7c可知,I3可将4种类型分为两个大类,分别为正常果肉和发霉果肉、萼片和草莓籽, I3中草莓籽下四分位数Ql, 1与四分位距IIQR, 1分别为0.118、0.075,发霉果肉上四分位数Qu, 2与四分位距IIQR, 2分别为-0.066、0.039,确定θ3分割阈值为0.001。

      由光谱特征分析,确定960 nm分割阈值为0.1对背景进行分割,则θ0~θ3分别为0.1、0.026、0.689,0.001。

      在对高光谱图像中每个像素点经多阈值的逐层分割后,所分割出不同组分的二值化结果,如图 8所示。

      图  8  各组分-背景二值化结果

      Figure 8.  Component-background binarization results

      图 8a为第3天的草莓样本RGB图; 图 8b为分割出的草莓区域图,轮廓清晰;图 8c图 8d显示萼片和草莓籽部分,部分萼片和果梗被错分成草莓籽,原因在于萼片和果梗均含有叶绿素,两者的光谱反射率在515 nm~640 nm范围内平稳,并没有突出的波峰,光谱曲线与草莓籽相近; 图 8e为分割出的霉变果肉,在存放3天后,草莓均已经开始不同程度腐败和霉变,红色框霉变程度较明显,由点状霉变发展成片状霉变;图 8f为去除掉无关组分的草莓果肉,用于后续果肉硬度重建。

    • 提取草莓果肉部分的光谱信息,基于SPA-PCA-PLS最优模型所确定的硬度拟合公式,对每个像素点进行硬度拟合并伪彩色化,图 9为不同贮藏天数的草莓硬度分布图。图中①~⑥为6个草莓样本,day 1~day 5表示不同的贮藏时间。硬度值最低为0 Pa,最高3×105 Pa,由蓝到红硬度不断提高。总体上看,草莓硬度值经历了先下降后上升的两个过程。采摘时草莓成熟度不高,随着存放时间的增加,草莓不断成熟,细胞壁变薄,果胶质逐渐水解为果胶酸,细胞坚固程度下降,草莓硬度值不断下降,到第3天硬度达到最低。等到草莓完全成熟后保水能力变差,在室内环境不断进行蒸腾作用,水分减少,果实失水皱缩,体积变小,导致了硬度上升,从第4天开始硬度增大,且高于刚采摘后的草莓。草莓样本④在第3天出现了霉变,霉变发生在右下角区域,随着时间的变化,霉变区域不断扩大,第5天时已几近于覆盖整颗草莓。

      图  9  草莓硬度重建图像

      Figure 9.  Strawberry hardness reconstruction image

    • 利用高光谱成像系统采集草莓的高光谱图像,在SPA、PCA及2次组合降维的基础上,分别建立基于PLS和RF的硬度预测模型。构建515 nm、640 nm、693 nm波段归一化反射率指数,采用多阈值的逐层分割方法完成草莓组分分割,并实现草莓果肉部分硬度重建和直观显示。

      为了提高模型的稳健性和准确性,分析了3种降维方法和两种回归算法的模型建立方法,选择最优的SPA-PCA-PLS模型作为硬度预测模型,CCP和RPD分别提升至0.9099、3.2623,RMSEP降至0.1344。除了模型建立方法外,样本量也决定了预测效果的好坏,实验中选用457颗草莓作为样本, 达到了比较好的预测效果,但由于样本个数的限制和同谱异物的影响,可能导致模型的泛化能力较差,例如在不同品种及不同产地上草莓的硬度预测效果有所差异。在本研究的基础上,更多样本数量的加入有望提高模型的泛化能力,以增加所提出方法的适用性。

参考文献 (27)

目录

    /

    返回文章
    返回