HTML
-
为了评价模型的分类效果,选择Pavia University与Indian Pines两个具有代表性的高光谱图像数据集对模型分类效果进行验证, 如表 1所示。这两个数据集在传感器、空间分辨率、样本数量以及地物种类等方面具有较大差异,更能综合地反映出模型的分类性能。分类评价指标采用平均分类精度、总体分类精度与衡量分类精度的kappa系数。
Pavia University Indian Pines shooting area University of Pavia, Italy Indiana, USA imaging spectrometer ROSIS AVIRIS spectral range/nm 430~860 400~2500 number of wavelengths(remove strong noise and water vapor band) 103 200 image size/pixels 610×340 145×145 spatial resolution/m 1.3 20 sample size 42776 10249 object types 9 16 Table 1. Hyperspectral image data set
-
实验的硬件平台是一台个人计算机,配置为Intel(R) Core(TM) i7-8750H CPU @ 2.20GHz 2.21GHz,8G运行内存,NVIDIA GeForce GTX 1060显卡。软件平台均采用Windows 10系统下的Python 3.6.0和PyTorch 0.4.0。
使用随机梯度下降优化器进行网络训练,初始学习率为0.001,动量为0.9,学习率更新采用自适应调整策略。由于训练集较小,所以模型的单位样本数量取为16, 丢弃率设为0.5,网络训练正反流程数设为150。在数据准备阶段,对数据样本进行随机水平或垂直翻转并添加噪声,降低过拟合概率,并对每类样本随机打乱,确保数据随机分布。实验数据的训练集和验证集分配比例为4:6。
2.1. 实验数据集
2.2. 实验环境及参量设置
-
在3-D-CRNN模型中,训练样本大小为n×n×B,B为高光谱图像波段数,空间维大小为n。若n过小,空谱特征中包含的空间信息量不足,会影响分类效果;若n过大,局部空间区域中不属于同一类别的像元数目可能会增多,对分类产生消极影响[20]。为了确定训练样本中最合适的空间维大小,分别选择大小为5×5×B, 7×7×B, 9×9×B, 11×11×B, 13×13×B, 15×15×B, 17×17×B的像素块作为训练样本对3-D-CRNN网络进行训练,不同大小的训练样本对应的总体分类精度和训练时间如图 4所示。可以看出,在Pavia University数据上,随着像素块大小的增加,总体分类精度先上升后下降,n=11时精度最高;训练时间也不断增长,并且增长幅度逐渐增大。在Indian Pines数据上也表现出相同的变化情况,当n=15时,总体分类精度最高。因此无论是从分类精度方面,还是从训练时间上考虑,都应该针对不同特点的数据选择合适的输入像素块大小。同时,对比图 4a和图 4b可以发现,由于Pavia University数据的空间分辨率比Indian Pines数据要高,混合像元较少,所以前者的分类精度普遍高于后者。
Figure 4. Overall classification accuracy and training time corresponding to different training samples in two data sets
将本文中提出的3-D-CRNN模型分别与近几年来高光谱图像分类文献中的CNN方法[8, 10-11]进行比较以评价模型性能。单目3维深度卷积神经网络[10](monocular 3-D deep CNN,M3D-DCNN)与3-D-CNN[11]同时利用了高光谱图像中的空间信息与光谱信息;1-D-CNN[8]仅利用高光谱图像中的光谱信息进行分类。同时,为了进一步证明使用BiRNN提取光谱特征的优越性,本文中参考MOU等人[14]设计的RNN-GRU模型(门控循环单元(gate recurrent unit, GRU))中的网络设计与参量设置,使用BiRNN模块构建RNN-BiRNN模型对高光谱图像进行分类。并与原文献中的RNN-GRU模型进行比较。
为了更好地对比分类效果,所有模型中训练集与验证集分配比例和正反流程数均与本文中模型相同,权重初始化、学习率以及优化器的选择等条件则与原文献相同。以上模型在两个数据集上的分类精度如表 2、表 3所示。
number classification name 1-D-CNN RNN-GRU RNN-BiRNN M3D-DCNN 3-D-CNN 3-D-CRNN 1 Asphalt 96.49 93.09 96.02 99.69 98.91 99.96 2 Meadows 90.00 94.42 97.51 99.76 99.78 99.97 3 Gravel 92.43 83.56 92.15 99.70 98.96 99.69 4 Trees 99.39 98.57 96.03 99.27 98.85 100.00 5 Metal sheets 99.85 100.00 100.00 99.85 99.85 100.00 6 Bare soil 94.98 93.46 94.60 98.77 98.47 100.00 7 Bitumen 84.88 86.84 87.46 99.84 97.92 100.00 8 Bricks 81.59 85.89 85.10 95.62 98.36 99.79 9 Shadows 100.00 99.57 100.00 99.57 99.57 100.00 accuracy — 91.54 93.47 94.89 99.22 99.16 99.95 average accuracy — 93.29 92.82 94.31 99.11 98.96 99.94 kappa — 88.60 91.00 93.20 99.00 98.90 99.90 Table 2. Classification accuracy of different methods on Pavia University data/%
number classification name 1-D-CNN RNN-GRU RNN-BiRNN M3D-DCNN 3-D-CNN 3-D-CRNN 1 Alfalfa 83.33 100.00 100.00 100.00 88.89 100.00 2 Corn-notill 73.53 80.46 81.88 96.12 98.79 98.88 3 Corn-mintill 84.21 85.33 87.65 95.29 96.81 100.00 4 Corn 71.96 81.05 83.24 95.00 100.00 95.76 5 Grass-pasture 95.98 96.53 96.66 99.57 99.26 100.00 6 Grass-trees 93.43 94.08 95.61 100.00 99.81 100.00 7 Grass-pasture-mowed 86.67 91.66 93.15 98.12 100.00 100.00 8 Hay-windrowed 95.18 96.76 97.22 100.00 100.00 100.00 9 Oats 77.78 83.33 94.84 99.58 100.00 100.00 10 Soybean-notill 69.16 81.92 81.95 100.00 99.67 99.57 11 Soybean-mintill 70.67 72.85 77.10 94.38 99.88 98.41 12 Soybean-clean 87.08 90.21 79.81 95.73 88.34 98.62 13 Wheat 96.15 100.00 99.01 96.57 100.00 100.00 14 Woods 92.91 91.13 93.21 100.00 100.00 100.00 15 Buildings-grass-trees-drives 66.48 82.23 83.85 95.10 97.91 88.52 16 Stone-steel-towers 97.22 95.55 97.43 100.00 100.00 91.67 accuracy — 79.86 83.78 84.33 96.87 98.60 98.81 average accuracy — 83.85 88.94 90.16 97.84 98.08 98.21 kappa — 76.80 81.30 82.40 96.40 98.40 98.60 Table 3. Classification accuracy of different methods on Indian Pines data/%
对比表 2、表 3可知:(1)将仅利用光谱信息的方法(1-D-CNN, RNN-GRU, RNN-BiRNN)与同时考虑空间光谱信息的方法(M3D-DCNN, 3-D-CNN, 3-D-CRNN)进行对比,可以发现同时考虑空间与光谱信息的方法能够有效提高分类精度; (2)使用同样的方法进行分类时,在Pavia University数据集上的分类精度要优于Indian Pines数据集,这也与上面得出的结论相同,即空间分辨率越高,混合像元的情况也越少,分类精度也就越高; (3)对比RNN-GRU与RNN-BiRNN两种方法,可以发现RNN-BiRNN方法在两种数据集上的分类精度与kappa系数均高于RNN-GRU, 这说明RNN-BiRNN在提取光谱特征方面要优于RNN-GRU,间接上也证明了3-D-CRNN模型设计的合理性; (4)对比M3D-DCNN, 3-D-CNN和3-D-CRNN 3种方法,在Pavia University和Indian Pines数据集上,3-D-CRNN在分类精度与kappa系数高均于其它两种方法,总体分类精度分别达到了98.81%和99.95%,实际的分类效果图与真实地物分布也十分接近;但是在Indian Pines数据集上,本文中的方法对第15、第16类地物的分类精度与其它两种方法相比相差较大,说明对于3-D-CRNN难以对复杂地物组成的类别进行精确分类。
图 5、图 6是不同模型在两个数据集上的分类结果图。从图中可以发现,对比3-D-CNN和3-D-CRNN两种方法的分类结果图可以发现,尽管两者分类精度相差不大,但是相比于3-D-CRNN,3-D-CNN方法的实际分类效果与真实地物分布相差较大,对小目标的识别能力较弱。可见,分类精度并不一定能够代表实际的分类效果。