高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

3维卷积递归神经网络的高光谱图像分类方法

关世豪 杨桄 李豪 付严宇

引用本文:
Citation:

3维卷积递归神经网络的高光谱图像分类方法

    作者简介: 关世豪(1996-),男,硕士研究生,主要研究方向为高光谱图像解译.
    通讯作者: 杨桄, yg2599@126.com
  • 基金项目:

    吉林省科技发展计划资助项目 20140101213JC

  • 中图分类号: TP751.1

Hyperspectral image classification based on 3-D convolutional recurrent neural network

    Corresponding author: YANG Guang, yg2599@126.com ;
  • CLC number: TP751.1

  • 摘要: 为了针对高光谱图像中空间信息与光谱信息的不同特性进行特征提取,提出一种3维卷积递归神经网络(3-D-CRNN)的高光谱图像分类方法。首先采用3维卷积神经网络提取目标像元的局部空间特征信息,然后利用双向循环神经网络对融合了局部空间信息的光谱数据进行训练,提取空谱联合特征,最后使用Softmax损失函数训练分类器实现分类。3-D-CRNN模型无需对高光谱图像进行复杂的预处理和后处理,可以实现端到端的训练,并且能够充分提取空间与光谱数据中的语义信息。结果表明,与其它基于深度学习的分类方法相比,本文中的方法在Pavia University与Indian Pines数据集上分别取得了99.94%和98.81%的总体分类精度,有效地提高了高光谱图像的分类精度与分类效果。该方法对高光谱图像的特征提取具有一定的启发意义。
  • Figure 1.  The comparison of two kind of convolution kernel processing results

    Figure 2.  Schematic diagram of BiRNN

    Figure 3.  3-D-CRNN network structure diagram

    Figure 4.  Overall classification accuracy and training time corresponding to different training samples in two data sets

    a—Pavia University data set b—Indian Pines data set

    Figure 5.  Classification result graph of different methods on Pavia University data

    a—true color image b—feature label image c—1-D-CNN d—RNN-GRU e—RNN-BiRNN f—M3D-DCNN g—3-D-CNN h—3-D-CRNN

    Figure 6.  Classification results graphs for different methods on Indian Pines data

    a—true color image b—feature label image c—1-D-CNN d—RNN-GRU e—RNN-BiRNN f—M3D-DCNN g—3-D-CNN h—3-D-CRNN

    Table 1.  Hyperspectral image data set

    Pavia University Indian Pines
    shooting area University of Pavia, Italy Indiana, USA
    imaging spectrometer ROSIS AVIRIS
    spectral range/nm 430~860 400~2500
    number of wavelengths(remove strong noise and water vapor band) 103 200
    image size/pixels 610×340 145×145
    spatial resolution/m 1.3 20
    sample size 42776 10249
    object types 9 16
    下载: 导出CSV

    Table 2.  Classification accuracy of different methods on Pavia University data/%

    number classification name 1-D-CNN RNN-GRU RNN-BiRNN M3D-DCNN 3-D-CNN 3-D-CRNN
    1 Asphalt 96.49 93.09 96.02 99.69 98.91 99.96
    2 Meadows 90.00 94.42 97.51 99.76 99.78 99.97
    3 Gravel 92.43 83.56 92.15 99.70 98.96 99.69
    4 Trees 99.39 98.57 96.03 99.27 98.85 100.00
    5 Metal sheets 99.85 100.00 100.00 99.85 99.85 100.00
    6 Bare soil 94.98 93.46 94.60 98.77 98.47 100.00
    7 Bitumen 84.88 86.84 87.46 99.84 97.92 100.00
    8 Bricks 81.59 85.89 85.10 95.62 98.36 99.79
    9 Shadows 100.00 99.57 100.00 99.57 99.57 100.00
    accuracy 91.54 93.47 94.89 99.22 99.16 99.95
    average accuracy 93.29 92.82 94.31 99.11 98.96 99.94
    kappa 88.60 91.00 93.20 99.00 98.90 99.90
    下载: 导出CSV

    Table 3.  Classification accuracy of different methods on Indian Pines data/%

    number classification name 1-D-CNN RNN-GRU RNN-BiRNN M3D-DCNN 3-D-CNN 3-D-CRNN
    1 Alfalfa 83.33 100.00 100.00 100.00 88.89 100.00
    2 Corn-notill 73.53 80.46 81.88 96.12 98.79 98.88
    3 Corn-mintill 84.21 85.33 87.65 95.29 96.81 100.00
    4 Corn 71.96 81.05 83.24 95.00 100.00 95.76
    5 Grass-pasture 95.98 96.53 96.66 99.57 99.26 100.00
    6 Grass-trees 93.43 94.08 95.61 100.00 99.81 100.00
    7 Grass-pasture-mowed 86.67 91.66 93.15 98.12 100.00 100.00
    8 Hay-windrowed 95.18 96.76 97.22 100.00 100.00 100.00
    9 Oats 77.78 83.33 94.84 99.58 100.00 100.00
    10 Soybean-notill 69.16 81.92 81.95 100.00 99.67 99.57
    11 Soybean-mintill 70.67 72.85 77.10 94.38 99.88 98.41
    12 Soybean-clean 87.08 90.21 79.81 95.73 88.34 98.62
    13 Wheat 96.15 100.00 99.01 96.57 100.00 100.00
    14 Woods 92.91 91.13 93.21 100.00 100.00 100.00
    15 Buildings-grass-trees-drives 66.48 82.23 83.85 95.10 97.91 88.52
    16 Stone-steel-towers 97.22 95.55 97.43 100.00 100.00 91.67
    accuracy 79.86 83.78 84.33 96.87 98.60 98.81
    average accuracy 83.85 88.94 90.16 97.84 98.08 98.21
    kappa 76.80 81.30 82.40 96.40 98.40 98.60
    下载: 导出CSV
  • [1]

    BIOUCAS-DIAS J M, PLAZA A, CAMPS-VALLS G, et al. Hyperspectral remote sensing data analysis and future challenges[J]. IEEE Geoscience and Remote Sensing Magazine, 2013, 1(2):6-36. doi: 10.1109/MGRS.2013.2244672
    [2]

    DALE L M, THEWIS A, BOUDRY C, et al. Hyperspectral imaging applications in agriculture and agro-food product quality and safety control: A review[J]. Applied Spectroscopy Reviews, 2013, 48(2):142-159. doi: 10.1080/05704928.2012.705800
    [3]

    GHIYAMAT A, SHAFRI H Z M. A review on hyperspectral remote sensing for homogeneous and heterogeneous forest biodiversity assessment[J]. International Journal of Remote Sensing, 2010, 31(7):1837-1856. doi: 10.1080/01431160902926681
    [4]

    van der MEER F D, van dwe WERFF H M A, van RUITENBEEK F J A, et al. Multi- and hyperspectral geologic remote sensing: A review[J]. International Journal of Applied Earth Observation & Geoinformation, 2012, 14(1):112-128. 
    [5]

    ELIZABETH A W, SHAROLYN A, MICHAIL F, et al. Supporting global environmental change research: A review of trends and know-ledge gaps in urban remote sensing[J]. Remote Sensing, 2014, 6(5):3879-3905. doi: 10.3390/rs6053879
    [6]

    YUEN P W, RICHARDSON M. An introduction to hyperspectral imaging and its application for security, surveillance and target acquisition[J]. The Imaging Science Journal, 2010, 58(5):241-253. doi: 10.1179/174313110X12771950995716
    [7]

    PILORGET C, BIBRING J P. Automated algorithms to identify and locate grains of specific composition for NIR hyperspectral microscopes: Application to the micromega instrument onboard exomars[J]. Planetary and Space Science, 2014, 99:7-18. doi: 10.1016/j.pss.2014.05.017
    [8]

    HU W, HUANG Y Y, WEI L, et al. Deep convolutional neural networks for hyperspectral image classification[J]. Journal of Sensors, 2015(10): 1-12. 
    [9]

    YANG J, ZHAO Y Q, CHAN C W. Learning and transferring deep joint spectral-spatial features for hyperspectral classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(8):4729-4742. doi: 10.1109/TGRS.2017.2698503
    [10]

    HE M, LI B, CHEN H. Multi-scale 3-D deep convolutional neural network for hyperspectral image classification[C]//2017 IEEE International Conference on Image Processing (ICIP). New York, USA: IEEE, 2017: 57-61. 
    [11]

    LI G D, ZHANG Ch J, GAO F, et al. Doubleconvpool-structured 3D-CNN for hyperspectral remote sensing image classification[J]. Journal of Image and Graphics, 2019, 24(4): 639-654(in Chin-ese). 
    [12]

    WU H, SAURABH P. Convolutional recurrent neural networks for hyperspectral data classification[J]. Remote Sensing, 2017, 9(3): 298-303. doi: 10.3390/rs9030298
    [13]

    MOU L, GHAMISI P, ZHU X X. Unsupervised spectral-spatial feature learning via deep residual conv-deconv network for hyperspectral image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 56(1):391-406. doi: 10.1109/TGRS.2017.2748160
    [14]

    MOU L, GHAMISI P, ZHU X X. Deep recurrent neural networks for hyperspectral image classification[J]. IEEE Transaction Geoscience and Remote Sensing, 2017, 55(7):3639-3655. doi: 10.1109/TGRS.2016.2636241
    [15]

    ZHANG B. Hyperspectral image classification and target detection. Beijing: Science Press, 2011: 9-10(in Chinese).
    [16]

    DU P J, XIA J Sh, XUE Zh H, et al. Review of hyperspectral remote sensing image classification[J]. Journal of Remote Sensing, 2016, 20(2): 236-256(in Chinese). 
    [17]

    QI Y F, MA Zh Y. Hyperspectral image classification method based on neighborhood speetra and probability cooperative representation[J].Laser Technology, 2019, 43(4):448-452(in Chinese). 
    [18]

    ZHANG H K, LI Y, JIANG Y N. Deep learning for hyperspectral imagery classification: The state of the art and prospects[J]. Acta Automatia Sinica, 2018, 44(6): 961-977(in Chinese). 
    [19]

    SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large-scale image recognition[J]. Computer Science, 2014(9):34-37. 
    [20]

    LIU J. Hyperspectral image classification based on long short term memory network[D]. Xi'an: Xidian University, 2018: 19-21(in Chinese). 
  • [1] 刘翠连陶于祥罗小波李青妍 . 混合卷积神经网络的高光谱图像分类方法. 激光技术, 2022, 46(3): 355-361. doi: 10.7510/jgjs.issn.1001-3806.2022.03.009
    [2] 葛一凡陆旭刘玉柱 . 基于激光诱导击穿光谱和神经网络的蛋壳研究. 激光技术, 2022, 46(4): 532-537. doi: 10.7510/jgjs.issn.1001-3806.2022.04.015
    [3] 魏柏林陈国庆徐建才闫冠峰马超群朱拓高淑梅 . 荧光光谱结合概率神经网络用于无醇啤酒的识别. 激光技术, 2010, 34(6): 794-797. doi: 10.3969/j.issn.1001-3806.2010.06.020
    [4] 陆俊高淑梅熊婕杨幼益陈国庆 . 女性尿液荧光光谱学特性及机理分析. 激光技术, 2010, 34(1): 45-47,84. doi: 10.3969/j.issn.1001-3806.2010.01.013
    [5] 刘沐涵陈国庆肖榕阳徐煜杰陈哲涵蔡纪元 . 基于3维荧光光谱技术的含乳饮料分类研究. 激光技术, 2021, 45(3): 303-306. doi: 10.7510/jgjs.issn.1001-3806.2021.03.006
    [6] 庄宇马超群王小晗陶悦任芮那明珠陈国庆 . 同步荧光结合神经网络同时测定3种抗生素. 激光技术, 2017, 41(4): 489-493. doi: 10.7510/jgjs.issn.1001-3806.2017.04.006
    [7] 石俊峰郭宝峰沈宏海杨名宇 . 一种基于吸收峰特征的高光谱曲线匹配方法. 激光技术, 2016, 40(6): 848-852. doi: 10.7510/jgjs.issn.1001-3806.2016.06.016
    [8] 宋鑫澍陈国庆朱焯炜马超群朱纯张笑河刘怀博朱从海 . 3维荧光光谱测定白酒年份酒中乙酸的体积分数. 激光技术, 2018, 42(4): 531-535. doi: 10.7510/jgjs.issn.1001-3806.2018.04.018
    [9] 杜家蒙陈国庆马超群奚留华朱纯赵金辰顾颂 . 应用3维同步荧光光谱测定胭脂红浓度. 激光技术, 2017, 41(4): 503-506. doi: 10.7510/jgjs.issn.1001-3806.2017.04.009
    [10] 王国宇陈国庆郭森琪韦一韬王子睿李晓琳 . 基于3维荧光光谱测定白酒年份酒的年份. 激光技术, 2023, 47(2): 286-292. doi: 10.7510/jgjs.issn.1001-3806.2023.02.020
    [11] 谷玲黄奇峰马超群史院平陈国庆高淑梅 . 液态纯牛奶的3维荧光光谱特性与成分分析. 激光技术, 2011, 35(6): 742-744,769. doi: 10.3969/j.issn.1001-3806.2011.06.005
    [12] 史院平朱拓陈国庆高淑梅郑磊马超群 . 运用荧光光谱特征参量识别五粮液白酒. 激光技术, 2011, 35(5): 684-687. doi: 10.3969/j.issn.1001-3806.2011.05.029
    [13] 宫德宇李留成厉宝增多丽萍王元虎马艳华张治国金玉奇 . NH3的腔增强吸收光谱检测技术. 激光技术, 2017, 41(5): 664-668. doi: 10.7510/jgjs.issn.1001-3806.2017.05.009
    [14] 管悦韩培高孙晓娟王梦茹杨军营 . 多步旋涂CsPbBr3薄膜复光学常数的椭偏光谱研究. 激光技术, 2023, 47(6): 866-871. doi: 10.7510/jgjs.issn.1001-3806.2023.06.020
    [15] 葛文萍地里木拉提·吐尔逊王耀祥田维坚 . 3种聚合物光纤γ射线辐照光谱特性实验研究. 激光技术, 2007, 31(5): 534-536.
    [16] 付奎娄本浊孙彦清龙姝明黄朝军 . Zn0.95-xBe0.05MnxSe稀磁半导体的光谱特性分析. 激光技术, 2015, 39(1): 135-139. doi: 10.7510/jgjs.issn.1001-3806.2015.01.027
    [17] 徐永浩宋彪陈晓帆黄梅珍 . 微型近红外光谱仪在苹果糖度测量中的应用研究. 激光技术, 2019, 43(6): 735-740. doi: 10.7510/jgjs.issn.1001-3806.2019.06.001
    [18] 张进姜红刘峰段斌 . 差分喇曼光谱结合化学计量学检验烟用内衬纸. 激光技术, 2021, 45(1): 61-66. doi: 10.7510/jgjs.issn.1001-3806.2021.01.011
    [19] 毕琳娜陈国庆王俊颜浩然 . 甲基对硫磷溶液的荧光光谱及其特性----. 激光技术, 2010, 34(2): 253-257. doi: 10.3969/j.issn.1001-3806.2010.02.030
    [20] 付翔乐文冉王颖汪亚邹林邓志峰占生宝 . 基于凹面光栅的光谱检测仪性能提升的研究进展. 激光技术, 2023, 47(6): 757-765. doi: 10.7510/jgjs.issn.1001-3806.2023.06.005
  • 加载中
图(6) / 表(3)
计量
  • 文章访问数:  7635
  • HTML全文浏览量:  5616
  • PDF下载量:  35
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-08-12
  • 录用日期:  2019-09-16
  • 刊出日期:  2020-07-25

3维卷积递归神经网络的高光谱图像分类方法

    通讯作者: 杨桄, yg2599@126.com
    作者简介: 关世豪(1996-),男,硕士研究生,主要研究方向为高光谱图像解译
  • 空军航空大学,长春 130022
基金项目:  吉林省科技发展计划资助项目 20140101213JC

摘要: 为了针对高光谱图像中空间信息与光谱信息的不同特性进行特征提取,提出一种3维卷积递归神经网络(3-D-CRNN)的高光谱图像分类方法。首先采用3维卷积神经网络提取目标像元的局部空间特征信息,然后利用双向循环神经网络对融合了局部空间信息的光谱数据进行训练,提取空谱联合特征,最后使用Softmax损失函数训练分类器实现分类。3-D-CRNN模型无需对高光谱图像进行复杂的预处理和后处理,可以实现端到端的训练,并且能够充分提取空间与光谱数据中的语义信息。结果表明,与其它基于深度学习的分类方法相比,本文中的方法在Pavia University与Indian Pines数据集上分别取得了99.94%和98.81%的总体分类精度,有效地提高了高光谱图像的分类精度与分类效果。该方法对高光谱图像的特征提取具有一定的启发意义。

English Abstract

    • 高光谱遥感图像是机载或星载的成像光谱仪在电磁波谱的紫外、可见光、近红外和中红外区域,以数十至数百个连续且细分的光谱波段对地面目标区域同时成像, 得到的以像素为单位的高光谱图像[1],可同时获取地物空间信息与高分辨率的光谱信息。凭借其丰富的光谱信息,高光谱遥感图像为人们研究地表物体的性质,尤其是对地物的精细分类和识别提供了依据,在农业[2]、林业[3]、采矿业[4]、城市规划[5]、国防建设[6]以及空间探索[7]等方面应用广泛。

      卷积神经网络(convolutional neural network, CNN)是计算机视觉领域占主流地位的一种深度学习网络,也是目前在高光谱图像分类领域应用最广泛的深度学习网络。HU等人[8]首次采用1维卷积神经网络(one-dimensional convolutional neural network, 1-D-CNN)实现了基于光谱特征的高光谱图像分类。YANG等人[9]分别利用1-D-CNN与2维卷积神经网络(two-dimensional convolutional neural network, 2-D-CNN)从高光谱数据中提取光谱特征与空间特征,将两种特征串接后通过分类器完成分类,但这种将光谱与空间特征分开提取的方法需要复杂的预处理,破坏了高光谱数据的3维结构。近几年来,研究者将3维卷积神经网络(three-dimensional convolutional neural network, 3-D-CNN)应用到高光谱图像分类中[10-11],此类方法无需复杂的预处理和后处理,可以在不破坏高光谱图像数据结构的前提下,直接提取空谱联合特征进行分类,在实际分类中表现出较好的分类效果。

      高光谱图像光谱分辨率高,相邻波段之间具有高度相关性,在非相邻波段上也表现出一定的相关性[12],其光谱数据本质上是一类序列数据。当前基于CNN的高光谱图像分类方法都是将单个像元上的光谱数据看作是无序的高维向量[13],这不符合光谱数据的特性。对于序列数据而言,循环神经网络(recurrent neural network, RNN)是最自然的神经网络架构,因此,研究者考虑利用RNN对高光谱图像分类。MOU等人[14]首次将RNN应用于高光谱图像分类中,与支持向量机(support vector machine, SVM)和1-D-CNN等方法相比,该方法达到了更高的分类精度,这也间接证明了RNN在提取光谱特征的性能要优于CNN。但是这种方法仅依赖图像中的光谱特征进行分类,没有考虑到空间特征,实际的分类效果中椒盐现象严重。

      针对上述问题,本文中在空谱联合特征提取阶段充分考虑高光谱图像中空间数据与光谱数据的特性,设计了一种基于3维卷积递归神经网络(3-D convolutional recursive neural network, 3-D-CRNN)的高光谱图像分类方法。采用3-D-CNN与双向递归神经网络(bi-directional RNN, BiRNN)分步提取高光谱数据的空间特征与光谱特征,形成空谱联合特征,最后通过Softmax函数训练分类器实现最终的分类。该方法可以实现端到端的训练,在不破坏数据结构的前提下,充分利用空间与光谱数据所提供的语义信息,提取到的特征也更具辨别性。在Pavia University与Indian Pines高光谱数据上验证了本文中方法的有效性。

    • 高光谱图像中含有丰富的光谱信息与空间信息,不同信息具有各自不同的特性。高光谱图像中光谱信息的光谱分辨率较高,每个像元都具有连续的光谱曲线[15], 也就是说,单个波段与相邻几个波段之间的像元亮度值(digital number, DN)具有一定的相关性。随着波段间距离的增加,这种相关性会逐渐减弱。在高光谱图像分类中,空间信息主要指空间上下文信息,其特性具体表现为空间位置上距离较近的像元属于同一类地物的概率比距离较远的可能性大[16]。分类过程中合理利用空间信息能够有效提升分类精度,削弱椒盐现象[17]。进行分类时需要同时考虑到两类信息的特性,采用合适的特征提取策略,以此提升高光谱图像的分类效果。

    • CNN最初是应用在2维结构的图像数据上,在提取图像的空间特征上表现出极佳的效果。绝大多数CNN使用的都是2维卷积核,但是高光谱图像具有上百个波段(即上百张2维图像),将2维卷积核应用到高光谱图像的处理上时将会产生大量参量,对于标注数据较少的高光谱图像来说,极易造成过拟合现象[18]

      3维卷积核可以同时在3个方向上进行卷积,输出为一个3阶张量。在3-D-CNN卷积层第i层,第j个特征图中,(x, y, z)位置的输出可通过如下公式计算:

      $ \begin{array}{c} {v_{ij,xyz}} = f\left( {{b_{ij}}} \right. + \\ \sum\limits_{k = 1}^m {\sum\limits_{w = 0}^{{W_i} - 1} {\sum\limits_{h = 0}^{{H_i} - 1} {\sum\limits_{b = 0}^{{B_i} - 1} {\left. {{u_{ijk,hwb}}{v_{(i - 1)k,(x + w)(y + h)(z + b)}}} \right)} } } } \end{array} $

      (1)

      式中,f(·)是激活函数;bij为偏置;Bi, WiHi是3维卷积核的大小,即Bi是3维卷积核在光谱维的尺寸,WiHi分别是3维卷积核的宽和高;uijk, hwb是与(i-1)层第k个特征图相连接的卷积核。相对于2维卷积,3维卷积涉及的参量较少,更适合于样本有限的训练任务。除此之外,对比2维卷积核与3维卷积核对高光谱图像的卷积结果(如图 1所示),利用2维卷积核提取特征,可能会损失高光谱图像的3维结构信息。3维卷积核能够充分地提取高光谱数据的空间特征,并且保留光谱维上的数据维度大小。因此本文中采用3-D-CNN进行空间特征的提取。

      Figure 1.  The comparison of two kind of convolution kernel processing results

      卷积核的大小对模型训练效果和速度有重要影响。有研究表明[19],大小为3×3的卷积核可以在参量较少的情况下,表现出更好空间特征提取效果,所以3维卷积核的大小定为3×3×1。3-D-CNN提取空间特征的策略为:从原始高光谱图像中提取大小为n×n×B(B指高光谱图像波段数)的数据块,使用3-D-CNN对数据块进行卷积处理,卷积核大小为3×3×1。经过几个卷积层的非线性变换之后将中心像元周围一定大小邻域的空间信息融入到中心像元中,生成一个大小为1×1×B大小的向量,完成空间特征的提取。

    • 高光谱图像的光谱数据是一种序列数据,波段之间具有序列相关性。随着波段间距离的增加,这种相关性会逐渐减弱,说明光谱数据中各个波段之间短期依赖性较强,而且对前后信息都具有依赖性。为了降低训练成本,在训练时不考虑其长期信息记忆的损失,采用参量较少的标准RNN。但是标准的RNN处理序列数据时只会将之前的信息记忆应用于当前的输出,却忽略了之后的信息。

      BiRNN是RNN的一种变体,其基本思想是对同一组序列数据分别用向前和向后两个RNN进行训练,两个RNN同时与输出层相连,这种结构为每一个输出提供前后的上下文信息。因此,本文中采用BiRNN对光谱维上的特征进行提取,网络结构如图 2所示。其中包含6个权重:输入层到前向和后向隐层(U1, U2),隐层到隐层(Q1, Q2),前向和后向隐层到输出层(V1, V2)。

      Figure 2.  Schematic diagram of BiRNN

    • 本文中设计的3D-CRNN模型包括空间维特征提取与光谱维特征提取两部分。空间维特征提取部分主要由3-D-CNN组成,卷积核大小皆为3×3×1,步长为1。卷积层之间不设池化层,以保留小目标的特征信息。在卷积核的数目设置上,按照CNN的普遍设计比率,后一层的卷积核数目是前一层的两倍,初始层卷积核的数目设为4。每个卷积层的输出经过批归一化(batch normalization,BN)层与ReLU激活函数。对最后一个卷积层输出进行丢弃处理,避免因密集采样而导致模型过拟合。数据集准备过程中,需要对原图像边缘进行一定的零填充,然后以原图像上的每一个像元为中心点依次选取n×n×B大小的像素块作为训练样本与验证样本,其中n×n为高光谱图像空间维上的采样大小,B指光谱波段数。为了满足光谱维特征提取部分的输入格式,处理后的数据大小必须为1×1×B。因此,对于输入到训练网络中不同大小的像素块,可以通过改变卷积层的层数实现改变输出大小的目的,例如:对于大小为5×5×B的像素块,卷积层层数设为2;对于大小为7×7×B的像素块,卷积层层数设为3,以此类推。光谱维特征提取部分由Bi-RNN构成,递归层的层数设为1,隐藏层特征数设为32。将输出经过BN层,使用Tanh函数作为Bi-RNN的激活函数, 最后将BiRNN的输出结果输入到全连接(fully connected, FC)层中,使用Softmax作为训练分类器的损失函数。整个网络结构如图 3所示。

      Figure 3.  3-D-CRNN network structure diagram

    • 为了评价模型的分类效果,选择Pavia University与Indian Pines两个具有代表性的高光谱图像数据集对模型分类效果进行验证, 如表 1所示。这两个数据集在传感器、空间分辨率、样本数量以及地物种类等方面具有较大差异,更能综合地反映出模型的分类性能。分类评价指标采用平均分类精度、总体分类精度与衡量分类精度的kappa系数。

      Table 1.  Hyperspectral image data set

      Pavia University Indian Pines
      shooting area University of Pavia, Italy Indiana, USA
      imaging spectrometer ROSIS AVIRIS
      spectral range/nm 430~860 400~2500
      number of wavelengths(remove strong noise and water vapor band) 103 200
      image size/pixels 610×340 145×145
      spatial resolution/m 1.3 20
      sample size 42776 10249
      object types 9 16
    • 实验的硬件平台是一台个人计算机,配置为Intel(R) Core(TM) i7-8750H CPU @ 2.20GHz 2.21GHz,8G运行内存,NVIDIA GeForce GTX 1060显卡。软件平台均采用Windows 10系统下的Python 3.6.0和PyTorch 0.4.0。

      使用随机梯度下降优化器进行网络训练,初始学习率为0.001,动量为0.9,学习率更新采用自适应调整策略。由于训练集较小,所以模型的单位样本数量取为16, 丢弃率设为0.5,网络训练正反流程数设为150。在数据准备阶段,对数据样本进行随机水平或垂直翻转并添加噪声,降低过拟合概率,并对每类样本随机打乱,确保数据随机分布。实验数据的训练集和验证集分配比例为4:6。

    • 在3-D-CRNN模型中,训练样本大小为n×n×BB为高光谱图像波段数,空间维大小为n。若n过小,空谱特征中包含的空间信息量不足,会影响分类效果;若n过大,局部空间区域中不属于同一类别的像元数目可能会增多,对分类产生消极影响[20]。为了确定训练样本中最合适的空间维大小,分别选择大小为5×5×B, 7×7×B, 9×9×B, 11×11×B, 13×13×B, 15×15×B, 17×17×B的像素块作为训练样本对3-D-CRNN网络进行训练,不同大小的训练样本对应的总体分类精度和训练时间如图 4所示。可以看出,在Pavia University数据上,随着像素块大小的增加,总体分类精度先上升后下降,n=11时精度最高;训练时间也不断增长,并且增长幅度逐渐增大。在Indian Pines数据上也表现出相同的变化情况,当n=15时,总体分类精度最高。因此无论是从分类精度方面,还是从训练时间上考虑,都应该针对不同特点的数据选择合适的输入像素块大小。同时,对比图 4a图 4b可以发现,由于Pavia University数据的空间分辨率比Indian Pines数据要高,混合像元较少,所以前者的分类精度普遍高于后者。

      Figure 4.  Overall classification accuracy and training time corresponding to different training samples in two data sets

      将本文中提出的3-D-CRNN模型分别与近几年来高光谱图像分类文献中的CNN方法[8, 10-11]进行比较以评价模型性能。单目3维深度卷积神经网络[10](monocular 3-D deep CNN,M3D-DCNN)与3-D-CNN[11]同时利用了高光谱图像中的空间信息与光谱信息;1-D-CNN[8]仅利用高光谱图像中的光谱信息进行分类。同时,为了进一步证明使用BiRNN提取光谱特征的优越性,本文中参考MOU等人[14]设计的RNN-GRU模型(门控循环单元(gate recurrent unit, GRU))中的网络设计与参量设置,使用BiRNN模块构建RNN-BiRNN模型对高光谱图像进行分类。并与原文献中的RNN-GRU模型进行比较。

      为了更好地对比分类效果,所有模型中训练集与验证集分配比例和正反流程数均与本文中模型相同,权重初始化、学习率以及优化器的选择等条件则与原文献相同。以上模型在两个数据集上的分类精度如表 2表 3所示。

      Table 2.  Classification accuracy of different methods on Pavia University data/%

      number classification name 1-D-CNN RNN-GRU RNN-BiRNN M3D-DCNN 3-D-CNN 3-D-CRNN
      1 Asphalt 96.49 93.09 96.02 99.69 98.91 99.96
      2 Meadows 90.00 94.42 97.51 99.76 99.78 99.97
      3 Gravel 92.43 83.56 92.15 99.70 98.96 99.69
      4 Trees 99.39 98.57 96.03 99.27 98.85 100.00
      5 Metal sheets 99.85 100.00 100.00 99.85 99.85 100.00
      6 Bare soil 94.98 93.46 94.60 98.77 98.47 100.00
      7 Bitumen 84.88 86.84 87.46 99.84 97.92 100.00
      8 Bricks 81.59 85.89 85.10 95.62 98.36 99.79
      9 Shadows 100.00 99.57 100.00 99.57 99.57 100.00
      accuracy 91.54 93.47 94.89 99.22 99.16 99.95
      average accuracy 93.29 92.82 94.31 99.11 98.96 99.94
      kappa 88.60 91.00 93.20 99.00 98.90 99.90

      Table 3.  Classification accuracy of different methods on Indian Pines data/%

      number classification name 1-D-CNN RNN-GRU RNN-BiRNN M3D-DCNN 3-D-CNN 3-D-CRNN
      1 Alfalfa 83.33 100.00 100.00 100.00 88.89 100.00
      2 Corn-notill 73.53 80.46 81.88 96.12 98.79 98.88
      3 Corn-mintill 84.21 85.33 87.65 95.29 96.81 100.00
      4 Corn 71.96 81.05 83.24 95.00 100.00 95.76
      5 Grass-pasture 95.98 96.53 96.66 99.57 99.26 100.00
      6 Grass-trees 93.43 94.08 95.61 100.00 99.81 100.00
      7 Grass-pasture-mowed 86.67 91.66 93.15 98.12 100.00 100.00
      8 Hay-windrowed 95.18 96.76 97.22 100.00 100.00 100.00
      9 Oats 77.78 83.33 94.84 99.58 100.00 100.00
      10 Soybean-notill 69.16 81.92 81.95 100.00 99.67 99.57
      11 Soybean-mintill 70.67 72.85 77.10 94.38 99.88 98.41
      12 Soybean-clean 87.08 90.21 79.81 95.73 88.34 98.62
      13 Wheat 96.15 100.00 99.01 96.57 100.00 100.00
      14 Woods 92.91 91.13 93.21 100.00 100.00 100.00
      15 Buildings-grass-trees-drives 66.48 82.23 83.85 95.10 97.91 88.52
      16 Stone-steel-towers 97.22 95.55 97.43 100.00 100.00 91.67
      accuracy 79.86 83.78 84.33 96.87 98.60 98.81
      average accuracy 83.85 88.94 90.16 97.84 98.08 98.21
      kappa 76.80 81.30 82.40 96.40 98.40 98.60

      对比表 2表 3可知:(1)将仅利用光谱信息的方法(1-D-CNN, RNN-GRU, RNN-BiRNN)与同时考虑空间光谱信息的方法(M3D-DCNN, 3-D-CNN, 3-D-CRNN)进行对比,可以发现同时考虑空间与光谱信息的方法能够有效提高分类精度; (2)使用同样的方法进行分类时,在Pavia University数据集上的分类精度要优于Indian Pines数据集,这也与上面得出的结论相同,即空间分辨率越高,混合像元的情况也越少,分类精度也就越高; (3)对比RNN-GRU与RNN-BiRNN两种方法,可以发现RNN-BiRNN方法在两种数据集上的分类精度与kappa系数均高于RNN-GRU, 这说明RNN-BiRNN在提取光谱特征方面要优于RNN-GRU,间接上也证明了3-D-CRNN模型设计的合理性; (4)对比M3D-DCNN, 3-D-CNN和3-D-CRNN 3种方法,在Pavia University和Indian Pines数据集上,3-D-CRNN在分类精度与kappa系数高均于其它两种方法,总体分类精度分别达到了98.81%和99.95%,实际的分类效果图与真实地物分布也十分接近;但是在Indian Pines数据集上,本文中的方法对第15、第16类地物的分类精度与其它两种方法相比相差较大,说明对于3-D-CRNN难以对复杂地物组成的类别进行精确分类。

      图 5图 6是不同模型在两个数据集上的分类结果图。从图中可以发现,对比3-D-CNN和3-D-CRNN两种方法的分类结果图可以发现,尽管两者分类精度相差不大,但是相比于3-D-CRNN,3-D-CNN方法的实际分类效果与真实地物分布相差较大,对小目标的识别能力较弱。可见,分类精度并不一定能够代表实际的分类效果。

      Figure 5.  Classification result graph of different methods on Pavia University data

      Figure 6.  Classification results graphs for different methods on Indian Pines data

    • 设计了一种基于3维卷积递归神经网络的高光谱图像分类方法。该方法针对高光谱图像中光谱信息与空间信息的特性,使用3-D-CNN与BiRNN作为基础结构,分步提取高光谱图像的空谱联合特征,能够充分提取数据中的语义信息,提取到的特征也更具辨别性。除此之外,对比分析了不同大小的训练样本对分类精度的影响,针对不同特点的高光谱图像数据选择各自最合适大小的训练样本。在Pavia University和Indian Pines两个数据上的分类实验结果表明,本文中提出的方法能够有效提升分类精度,在真实图像上也能达到较好的分类效果。

      高光谱图像中包含丰富的光谱信息与空间信息,从特征提取的角度来看,如何发挥两类信息各自的优势,提高深度学习模型在提取特征方面的质量和效率是下一步研究的重点,尤其是探索RNN在这一方面的应用。另外,现有的评价高光谱图像分类效果的标准过于单一,在分类实验中,较高的分类精度并一定代表实际的分类效果一样好,如何探索出更加全面、更能代表实际分类效果的评价标准也是人们需要关注的方向。

参考文献 (20)

目录

    /

    返回文章
    返回