Remote sensing image classification based on dual-channel deep dense feature fusion
-
摘要: 为了提高遥感图像场景分类中特征有效利用率，进而提高遥感影像分类精度，采用基于双通道深度密集特征融合的遥感影像分类方法，进行了理论分析和实验验证。首先通过构建复合密集网络模型, 分别提取图像卷积层特征和全连接层特征；然后为挖掘、利用图像深层信息，通过视觉词袋模型将提取的深层卷积层特征进行重组编码，捕获图像深层局部特征；最后采用线性加权方式将局部和全局特征融合、分类。结果表明，选用数据集UC Merced Land-Use和NWPU-RESISC45进行实验，取得的分类精度分别为93.81%和92.62%。该方法充分利用局部特征和全局特征的互补性，能实现图像深层信息的充分利用和表达。Abstract: In order to improve the effective utilization of features in remote sensing image scene classification and achieve the purpose of improving the accuracy of remote sensing image classification, a remote sensing image classification method based on dual-channel depth-dense feature fusion was used for theoretical analysis and experimental verification. First, the image convolution layer features and fully connected layer features was separated extracted by constructing a composite dense convolutional network model. In order to exploit the deep information of the image, the deep convolutional layer features extracted by the model were recombined and encoded by the bag of visual words to capture the deep local features of the image. Finally the linear and weighted methods were used to fuse local and global features and then classify them. The results show that using the datasets UC Merced Land-Use and NWPU-RESISC45 for experiments, the classification accuracy obtained is 93.81% and 92.62%, respectively. This method makes full use of the complementarity of local features and global features to achieve the full expression of deep image information.
-
0. 引言
激光诱导击穿光谱(laser-induced breakdown spectroscopy，LIBS)是一种元素分析的新技术，对几乎所有物质形态(诸如气溶胶、岩石、金属、骨骼、血液、生物组织以及聚合物等)的靶样都可以进行元素分析，其定性、定量分析是通过检测等离子体(高能激光脉冲聚焦烧蚀物质产生)发射光谱来实现。LIBS技术在各种实验条件下都可以开展实施，包括常压、真空、海洋深处、或者是极端恶劣的环境中(如反应堆), 其具有响应时间短、样品无需制备或仅需简单制备、可免校准方法和多元素同时在线分析等优点，已广泛应用于元素分析领域[1-3]。基于此，国内外学者日益关注对LIBS的研究，这项技术也逐步从实验室研究推广到生物医学、太空检测、环境监测、资源探测、反应堆乏燃料以及放射性同位素分析等诸多领域[4-10]。目前，LIBS开展特定样品的元素成分分析，探测灵敏度多为mg/L量级，一直以来, 众多科学家关注的焦点是如何极大地降低其检测限，有效地提高LIBS信号强度。
表面等离激元共振是纳米结构具有的特性之一，很大程度上能增强局域电场[11-12]，对LIBS信号增强效果显著，信号强度能达到数个量级的增强。纳米颗粒增强LIBS(nanoparticle enhanced LIBS, NELIBS)只需要简单的优化制样方法，不需要对实验设备进行复杂的改进, 即可对LIBS信号进行增强。意大利GIACOMO课题组对NELIBS展开了系统且具有重要影响力的研究，比如通过使用纳米银溶胶将其滴加到金属、半导体和绝缘体表面，降低了固体靶的烧蚀阈值，对金属靶样的信号强度增强达到了1~2个数量级[13]。基底在滴加样品溶液前沉积一层纳米金颗粒，使得检测限下降到mg/L以下[14]。LIU等人使用金属螯合物诱导金纳米粒子聚集，检测水中重金属元素(Cd, Cu, Ag, Pb和Cr)，检测限达到μg/L量级[15]；该课题组还提出了在多孔静电纺超细纤维上添加纳米粒子涂层的方法增强水体系中金属离子的LIBS信号[16]。LIU等人从纳米颗粒对信号强度、信号噪声比和相对标准差的影响出发，特别注意了预烧蚀对纳米颗粒增强效果的影响以及NELIBS很好的可重复性，从而促进了对NELIBS的全面了解[17]。
作者所在课题组引入两亲性分子到NELIBS，使得信号检测限达到μg/L量级[18]。使用磁控溅射方法，研究了纳米团簇对NELIBS信号的影响[19]。另外在纳米银溶胶中加入不同浓度的氯离子后，利用透射电镜观察纳米颗粒的状态，并结合专业微纳光子学仿真分析软件计算纳米粒子不同的状态对局域电磁场增强的影响[20]。基于此，有必要对卤素离子做进一步的研究。本文中将分析不同种类的卤素离子对NELIBS信号的影响。
1. 样品制备及实验装置
1.1 纳米颗粒制备及表征
使用Lee-Meisel法[21]制备灰绿色的纳米银溶胶(灰银胶)，即柠檬酸钠(C6H5Na3O7)还原硝酸银(AgNO3)生成银纳米粒子。
在超薄碳膜上滴加银胶溶液，使用透射电子显微镜对样品进行形貌表征。紫外-可见分光光度计用来测量银胶的吸收光谱[22]。
1.2 样品制备
配制以下溶液：浓度为0.01 mmol/L十二烷基硫酸钠(sodium dodecyl sulfate，SDS)(质量分数不小于99.0%)溶液[20]；浓度为2 mmol/L的MgSO4(质量分数不小于99.0%)溶液；浓度为0.01 mmol/L、0.05 mmol/L、0.1 mmol/L、0.15 mmol/L、0.2 mmol/L、0.3 mmol/L、0.4 mmol/L、0.5 mmol/L、1 mmol/L、2 mmol/L、4 mmol/L和20 mmol/L的KBr(质量分数为99.9%)溶液；浓度为0.2 mmol/L的KCl(质量分数不小于99.99%)溶液；浓度为0.05 mmol/L、0.1 mmol/L、0.15 mmol/L、0.2 mmol/L、0.3 mmol/L、0.4 mmol/L、0.5 mmol/L、1 mmol/L、2 mmol/L和4 mmol/L的KF(质量分数为99.9%)以及KI(质量分数不小于99.9%)溶液。
依次用去离子水和无水乙醇超声清洗9 cm2正方形单面抛光硅片(P型硅，100晶向)，20 min后干燥使用[22]。
1.3 LIBS实验
采用Nd ∶YAG纳秒脉冲激光器(波长为532 nm、单脉冲能量80 mJ)，纳秒激光聚焦烧蚀靶样产生等离子体。等离子体发射光谱(侧向收集)聚焦到光纤上，经光纤耦合传导到光谱仪中进行测量。光谱仪延迟时间、积分门宽和信号增益分别设置为0.4 μs、5 μs和1500，采集单发烧蚀LIBS信号，多次测量以降低误差[22]。
2. 结果与讨论
2.1 银纳米粒子的表征
首先对Ag纳米粒子(nanoparticles，NPs)进行透射电子显微镜(transmission electron microscope，TEM)表征，形貌表征结果如图 1所示。TEM测试图(见图 1a, 图 1c, 图 1e)和尺寸统计分布直方图(见图 1b, 图 1d和图 1f)分别对应的是10 mL、5 mL、2 mL柠檬酸钠溶液(质量分数为1%)和2 mL的AgNO3溶液(质量分数为1%)制备的灰银胶。从图 1中可以看出，减少柠檬酸钠的用量会导致Ag NPs直径变大(平均直径为34.53 nm，39.65 nm，59.01 nm)。
![图 1 不同体积的C6H5Na3O7溶液(质量分数为1%)和2 mL AgNO3溶液(质量分数为1%)制备灰银胶的TEM图及尺寸分布统计]()
图 1 不同体积的C6H5Na3O7溶液(质量分数为1%)和2 mL AgNO3溶液(质量分数为1%)制备灰银胶的TEM图及尺寸分布统计Figure 1. TEM images and size distribution statistics of different volumes of C6H5Na3O7 solution (mass fraction of 1%) and 2 mL AgNO3 solution (mass fraction of 1%) for preparation of grey silver sol图 2是灰银胶吸收光谱的测量结果。可以看到，减少柠檬酸钠的用量会使420 nm附近的共振吸收峰红移。由于较小尺寸的胶体会更加稳定，不易团聚，并且为尽量使其吸收峰位更接近532 nm激光[22]，在之后的实验中选择了纳米粒子平均直径为39.65 nm的灰银胶。
![图 2 不同体积比的AgNO3溶液(质量分数为1%)和C6H5Na3O7溶液(质量分数为1%)制备灰银胶的吸收光谱]()
图 2 不同体积比的AgNO3溶液(质量分数为1%)和C6H5Na3O7溶液(质量分数为1%)制备灰银胶的吸收光谱Figure 2. Absorption spectra of different volume ratios of AgNO3 solution (mass fraction of 1%) and sodium citrate solution (mass fraction of 1%) for preparation gray silver sol以氯离子为例, 研究了卤素离子对银纳米溶胶聚集效应的影响，发现不同浓度的氯离子诱导银纳米颗粒聚集的程度不同，随着氯离子浓度的增加，银纳米粒子逐渐团聚，间距越来越小，直至凝聚沉淀[20]。
图 3为加入氯离子浓度为20 mmol/L时的TEM图。可以看到, 纳米颗粒团聚十分严重，出现链状的凝聚，颗粒几乎很难分辨。
![图 3 氯离子浓度为20 mmol/L时银胶形貌的TEM图]()
图 3 氯离子浓度为20 mmol/L时银胶形貌的TEM图Figure 3. TEM image of morphology of Ag colloid with chloride ion concentrations of 20 mmol/L2.2 LIBS谱线特征
由作者团队之前的工作[20]可知，氯离子可以引起纳米颗粒团聚现象，0.2 mmol/L的氯离子NELIBS信号的程度最大。基于此，用同样的方法研究了不同种类的卤素离子对NELIBS信号的影响。在MgSO4溶液中加入KF、KBr和KI溶液，引入卤素离子后测量NELIBS信号的变化。图 4是靶元素Mg的一个典型的光谱图。光谱范围在382.3 nm~384.4 nm，382.90 nm、383.21 nm、383.80 nm是Mg元素的3个特征峰。从图中可以清楚看到, 添加纳米颗粒之后的LIBS信号有明显的增强效果。
![图 4 Mg元素LIBS和NELIBS光谱的对比]()
图 4 Mg元素LIBS和NELIBS光谱的对比Figure 4. Comparison of LIBS and NELIBS spectra of Mg elements改变卤素离子浓度，测量了SDS+Ag NPs MgSO4(2 mmol/L)样品中Mg元素的NELIBS信号强度，实验结果如图 5所示。图中信号强度是通过扣除本底信号后选取382.66 nm、384.13 nm为左右端点进行面积积分，将积分值作为信号强度。当Br-、I-浓度为0.2 mmol/L时Mg的NELIBS信号达到最强，与之前工作[20]中Cl-实验结果一致，而F-浓度为0.4 mmol/L时Mg的NELIBS信号最强。
![图 5 不同浓度的KF、KBr、KI溶液加入到2 mmol/L MgSO4溶液中时Mg的NELIBS信号变化]()
图 5 不同浓度的KF、KBr、KI溶液加入到2 mmol/L MgSO4溶液中时Mg的NELIBS信号变化Figure 5. NELIBS signal of Mg changes when different concentrations of KF, KBr and KI are added into 2 mmol/L MgSO4 solution基于图 5中的实验结果，综合考量实验因素，固定卤素离子的浓度为0.2 mmol/L，研究分析了4种卤素阴离子对NELIBS信号强度的影响，结果见图 6。从图 6中可以看出, 分别加入KF、KCl、KBr、KI溶液(浓度均为0.2 mmol/L)到2 mmol/L MgSO4+0.01 mmol/L SDS+Ag NPs的溶液中，当银溶胶中加入0.2 mmol/L卤化钾时，Mg的NELIBS信号得到了不同程度的增强，卤素离子对Mg的NELIBS信号的增强效果为：F-＞Cl-＞Br-＞I-。
![图 6 在2 mmol/L MgSO4溶液中加入等量0.2 mmol/L KF、KCl、KBr、KI溶液时Mg的NELIBS信号变化]()
图 6 在2 mmol/L MgSO4溶液中加入等量0.2 mmol/L KF、KCl、KBr、KI溶液时Mg的NELIBS信号变化Figure 6. NELIBS signal of Mg changes when the same amount of KF, KCl, KBr and KI solutions with 0.2 mmol/L concentration are added into 2 mmol/L MgSO4 solution3. 结论
研究了不同种类、不同浓度的卤素阴离子对Ag NPs增强LIBS信号的影响。在添加卤素离子之后对比分析了Mg的NELIBS信号，发现其信号会得到不同程度的增强，结合之前氯离子的工作，表明卤素阴离子与Ag NPs之间存在着一定的相互作用。Ag NPs具有较大的比表面积，少量未反应的银离子可能会吸附在Ag NPs的表面，而银离子与卤素阴离子具有库伦相互作用，使得卤素阴离子在Ag NPs的表面上吸附，引起Ag NPs的团聚现象，从而使得Ag NPs之间的距离发生了显著的变化；F-对Ag NPs的影响比Cl-、Br-、I-要强，F-与Ag NPs的活性点结合更容易，原因可能是和F、Cl、Br、I的原子序数有较大的关系。卤素阴离子对Mg的NELIBS信号增强的作用为：F-＞Cl-＞Br-＞I-。
-
![]()
Figure 6. The confusion matrix obtained by our algorithm on the UC Merced Land-Use dataset
![]()
Figure 7. Scenes classification accuracy of three comparison methods on UC Merced Land-Use
Table 1 Extended DenseNet-40 structure
layers input size/pixel kernel size number of convolution kernels pool stride output size/pixel input convolution 256×256 3×3 72 — — 256×256 max pooling 256×256 1×1 — 2×2 2 128×128 dense block 1 128×128 3×3 360 — — 128×128 transition layer 1 128×128 1×1 360 2×2 2 64×64 dense block 2 64×64 3×3 648 — — 64×64 transition layer 2 64×64 1×1 648 2×2 2 32×32 dense block 3 32×32 3×3 936 — — 32×32 transition layer 3 32×32 1×1 936 2×2 2 16×16 dense block 4 16×16 3×3 1224 16×16 transition layer 4 16×16 1×1 1224 2×2 2 8×8 dense block 5 8×8 3×3 1512 — — 8×8 classification layer 1×1 1 1×1 
下载: 导出CSV
Table 2 Impact of two different scale input images on classification accuracy
input size accuracy/% UC Merced Land-Use NWPU-RE-SISC45 32pixel×32pixel 89.05 88.91 256pixel×256pixel 91.29 90.24 fusion network 93.81 92.62
下载: 导出CSV
-
[1] QI Y F, MA Zh Y. Hyperspectral image classification method based on neighborhood spectra and probability cooperative representation[J]. Laser Technology, 2019, 43(4): 448-452(in Chinese). http://www.zhangqiaokeyan.com/academic-journal-cn_laser-technology_thesis/0201270971199.html
[2] GUAN Sh H, YANG G, LI H, et al. Hyperspectral image classification based on 3-D convolutional recurrent neural network[J]. Laser Technology, 2020, 44(4): 485-491(in Chinese).
[3] ZHAO Sh. Remote sensing image classification method based on convolutional neural networks[D]. Beijing: China University of Geosciences, 2015: 35-41(in Chinese).
[4] YI Y, NEWSAM S. Bag-of-visual-words and spatial extensions for land-use classification[EB/OL]. (2010-11-10)[2020-06-22].https://www.sci-hub.ren/10.1145/1869790.1869829.
[5] ZHAO L, TANG P, HUO L. Land-use scene classification using a concentric circle-structured multi-scale bag-of-visual-words mode[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(12): 4620-4613. DOI: 10.1109/JSTARS.2014.2339842
[6] YI Y, NEWSAM S. Spatial pyramid co-occurrence for image classification[C]//IEEE International Conference on Computer Vision.New York, USA: IEEE, 2011: 1465-1472.
[7] GAO D D, ZHANG X Sh. Image saliency detection based on spatial convolutional neural network model[J]. Computer Engineering, 2018, 44(5): 240-245(in Chinese). http://en.cnki.com.cn/Article_en/CJFDTotal-JSJC201805040.htm
[8] WANG F, ZHANG Y, ZHANG D P, et al. Application research of convolutional neural network based on shortcut in face recognition[J]. Journal of Electronic Measurement and Instrument, 2018, 32(4): 80-86(in Chinese). http://en.cnki.com.cn/Article_en/CJFDTotal-DZIY201804012.htm
[9] LI Ch Ch, DU W B, MA X X, et al. SAR image segmentation based on improved MRF model[J]. Remote Sensing Information, 2017, 32(5): 85-89(in Chinese).
[10] BIAN X Y, FEI X J, M N. Remote sensing image scene classification based on scale-attention network[J]. Journal of Computer A-pplications, 2020, 40(3): 872-877(in Chinese).
[11] ZHOU Y, YE Q, QIU Q, et al. Oriented response networks[C]//Proceedings of the 2017 International Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2017: 4961-4970.
[12] LUAN S, CHEN C, ZHANG B, et al. Gabor convolutional networks[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4357-4366. DOI: 10.1109/TIP.2018.2835143
[13] XU S H, MU X D, ZHAO P, et al. Scene classification of remote sensing image based on multi-scale feature and deep neural network[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(7): 834-840(in Chinese). http://www.researchgate.net/publication/306159879_Scene_Classification_of_Remote_Sensing_Image_Based_on_Multi-scale_Feature_and_Deep_Neural_Network
[14] HE X F, ZOU Zh R, TAO Ch, et al. High-resolution image scene classification based on joint significance and multi-layer convolutional neural networks[J]. Acta Geodaetica et Cartographica Sinica, 2016, 45(9): 1073-1080(in Chinese).
[15] CHEN Y Q, QIANG Zh P, CHEN X, et al. Classification of land use scenarios based on fine-tuning convolution neural network[J]. Remote Sensing Information, 2019, 34(3): 70-77(in Chinese).
[16] LI E, XIA J, DU P, et al. Integrating multilayer features of convolutional neural networks for remote sensing scene classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(10): 5653-5665. DOI: 10.1109/TGRS.2017.2711275
[17] HUANG G, LIU Z, der MAATEN L V, et al. Densely connected convolutional networks[C]//Computer Vision and Pattern Recognition. New York, USA: IEEE, 2017: 2261-2269.
[18] HE K, ZHANG X, REN S, et al. Delving deep into rectifiers: Surpassing human-level performance on imagenet classification[C]//International Conference on Computer Vision. New York, USA: IEEE, 2015: 1026-1034.
[19] ZHANG F, DU B, ZHANG L. Saliency-guided unsupervised feature learning for scene classification[J]. IEEE Transactions on Geoscienceand Remote Sensing, 2015, 53(4): 2175-2184. DOI: 10.1109/TGRS.2014.2357078
[20] ZHAO B, ZHONG Y, ZHANG L, et al. The Fisher kernel coding framework for high spatial resolution scene classification[J]. Remote Sensing, 2016, 8(2): 157. http://adsabs.harvard.edu/abs/2016RemS....8..157Z
-
期刊类型引用(5)
1. 覃淮青，姚顺春，喻子彧，马维喆，卢志民，董美蓉，陆继东. 煤粉流等离子体光谱诊断及定量分析研究. 工程热物理学报. 2024(06): 1863-1871 . 
百度学术
2. 唐瑞玲，胡梦颖，邢夏，刘彬，张鹏鹏，顾雪，房芳，张灵火，徐进力，白金峰，张勤. 激光诱导击穿光谱仪工作参数对测定土壤样品中稀土元素的影响. 应用激光. 2021(05): 1084-1090 . 百度学术
3. 龚书航，钱东斌，苏茂根，赵冬梅，孙对兄，吴超，王永强，马新文. 复杂颗粒状物质中微量元素的LIBS稳定性研究. 激光与光电子学进展. 2018(07): 472-477 . 百度学术
4. 李文煜，章海锋，刘婷，马宇. 一种波束扫描固态等离子体超表面的设计. 激光技术. 2018(06): 822-826 . 本站查看
5. 马宇，章海锋，刘婷，李文煜. 一种波束扫描超材料天线的设计. 强激光与粒子束. 2018(10): 70-75 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 6
- HTML全文浏览量: 0
- PDF下载量: 4
- 被引次数: 6