网站地图
-
当激光束穿过不均匀介质时，介质密度的变化会改变光程差，进而影响光的相位和强度分布，这些变化在接收屏幕上形成激光散斑的光强分布图案。然而，激光散斑的存在会干扰光学系统对图像信息的识别和提取。因此，研究人员一直在致力于寻找抑制激光散斑影响的方法，以提高图像质量[1-3]。激光散斑产生于激光光场与目标表面微观结构相互作用的过程中，其中蕴含有关目标表面特性的信息。因此，研究激光散斑对于精确控制目标表面的质量和特性具有重要意义[4-6]。
散斑特征识别技术因图像技术进步广受关注，已成功应用于目标材料、行为姿态和物体等领域[7-8]。GAO等人开发了一种轻便的激光散斑噪声抑制模块，可有效提高投影仪图像质量[9]。本文作者曾研发了一种基于激光散斑的应力传感系统，此系统用于入侵检测和防盗，但仅适用于低频振动，若高于一定频率的振动时，系统的灵敏度会降低[10]。
神经网络是受人类大脑神经元网络启发的计算模型。该模型由连接在一起的节点组成，通过训练可以学习输入和输出之间的复杂关系，并掌握更深层次的信息。通过采用卷积神经网络，VALENT等人成功验证了散斑图案与材料之间存在一定的关系，并分析了不同散斑特性对材料识别准确率的影响，实现了对材料的精确区分[11]。
综上所述，针对散斑对比度饱和导致测量灵敏度下降的问题，本文作者采用了一种基于深度学习的激光散斑图像识别探测技术。该技术结合了卷积神经网络(convolutional neural network，CNN)的理论，利用其强大的特征提取能力，解决了散斑图像对比度饱和导致的测量灵敏度下降的问题。首先，设计了一个神经网络模型，旨在提取水下温度特征所反映的散斑光强信息，以便对携带不同温度信息的散斑图像进行区分和识别；其次，建立了实验光路，采集散斑图像样本，并使用神经网络对其进行训练; 最后，将传统方法与深度学习方法进行了对比，并对测试样本进行了评估，以验证所设计的神经网络模型的识别效果。利用卷积神经网络模型对散斑图像进行处理，从而实现了快速、实时地识别水下温度信息散斑图像的目的。
-
散斑对比度是一种具有明确物理意义、直观易懂的物理量，常用于衡量散斑图案中光强涨落相对于平均光强的大小。简而言之，它是散斑图案中强度涨落大小的一个度量，可以表示为[10]：
$ C=\sqrt{\frac{\left\langle I^2\right\rangle-\langle I\rangle^2}{\langle I\rangle}} $
(1) 式中：〈⋯〉表示系统的平均值; I表示某个特定点的光强值。散斑对比度的取值范围在0~1之间，其中0表示没有散斑，1表示散斑对比度最大。
实验系统采集了500幅抛光玻璃表面的散斑图像，包括稳定状态(即常温状态)和非稳定状态(即加热状态)下的图像各500幅。图 1展示了第1、第250和第500幅散斑图像。
图 1 常温和加热时的激光散斑图像
Figure 1. Laser speckle images at room temperature and heating
从图 1可见，散斑图像的颗粒分布和大小随温度变化而动态变化，呈现不同的特征。在常温状态下，散斑颗粒明显且较大；而随着温度升高，颗粒显著缩小。
图 2中是散斑对比度曲线，是对散斑图像进行数据处理得到的。由图 2可知，常温状态下500张散斑图像的平均对比度约为0.1237，非稳定状态下为0.0816。该方法可测量散斑的温度状态，但温度高于20 ℃可能会饱和，水下测量温度状态会有困难。
图 2 不同温度影响下的散斑对比度曲线
Figure 2. Speckle contrast curve under different temperature effects
-
该自动识别系统由数据采集系统、图像增强模块、神经网络识别系统和识别结果输出模块组成。数据采集阶段如图 3a所示。首先, 激光器发出的蓝色激光先耦合进多模光纤1，然后经过水介质后耦合进多模光纤2，并由显微镜照射在散射介质上，经过散射介质的反射后由CCD采集散斑图像。因激光具有强相干性的特点，受到湍流的影响之后，破坏了其相干性，影响被散射介质反射形成的干涉光路，从而散斑图像对比度降低，因此，由图像增强模块对散斑图像对比度进行增强，如图 3b所示。温度自动识别系统采用一种结合inception模块的卷积神经网络模型GoogleNet对水下温度信息散斑图像进行识别，如图 3c所示。最后，将识别后的结果由识别结果输出模块输出，如图 3d所示。
图 3 基于GoogleNet的水下温度信息散斑图像自动识别框架图
Figure 3. Framework diagram of automatic recognition of underwater temperature information speckle images based on GoogleNet
在水下传输中，激光束会受到多种因素的影响，如悬浮颗粒的吸收、散射和湍流等。水中的温度梯度、盐度梯度和气泡存在会导致湍流效应，进而引起折射率的随机变化，从而导致光强的闪烁，影响激光束的传输[12-15]。同时，多模光纤中存在多个模式，会发生干涉从而生成散斑。因此，在水下温度的干扰下，激光束的散斑图像会携带传输路径中的信息[16-17]。当入射光受到湍流效应的影响时，它会携带温度信息。由于环境的复杂性和不确定性，使用传统方法难以准确测定水下温度，因此，使用卷积神经网络处理散斑图像可以实现快速、准确的温度识别。
-
CNN用于图像处理，由卷积层、池化层和全连接层组成。卷积层是核心，通过卷积核提取特征。池化层降维，将特征图分为小区域，取最大/平均值。卷积层和池化层交替出现，不同神经网络模型层级结构不同。
由于激光散斑图像中的斑点大小不一，因此, 在神经网络模型中需增加多尺度卷积层，以便捕捉不同尺度的特征，通过在网络中添加多个卷积层，每个卷积层使用不同的卷积核大小来实现。
GoogleNet利用多个inception层，增加了深度和宽度，提高了特征提取能力，相比传统卷积神经网络表现更好。
GoogleNet的网络结构如图 4所示。包含9个inception模块和3个卷积层、2个最大池化层[18-19]，S表示步长，V表示池化层的输出通道数或维度数。inception模块如图 5a所示，使用不同尺寸的卷积核，相乘和相加操作获得多尺度特征，图中inception(3a)、inception(3b)表示网络的第3个inception模块中不同子模块，inception(4a)、inception(4b)表示网络的第4个inception模块中不同子模块，依次类推。并增加2个辅助分类器，如图 5b所示，只在训练总损失时使用，总损失=主分类器损失+0.3辅助分类器1+0.3辅助分类器2，不参与识别过程，只取主分类器的结果，而且求解验证集损失的时候也不取辅助分类器的结果。
图 4 GoogleNet的网络结构
Figure 4. Network structure of GoogleNet
图 5 inception模块和辅助分类器结构图
Figure 5. Structure diagram of the Inception module and auxiliary classifier
-
针对激光散斑图像的高噪声和低对比度特点，本文中采用直方图均衡化的方法对原始散斑图像(见图 6a)进行预处理，如图 6b所示。预处理之后的散斑图像颗粒对比度更加明显，不同温度下对应的散斑图像差异性更大，有利于提升卷积神经网络的分类性能。
图 6 a—原图像 b—图像增强后的图像
Figure 6. a—original image b—enhanced image
-
本实验中采集了1500张散斑图像，每个类别500张。为了训练一个性能优良的模型并保证其泛化能力，将数据集分为训练集和验证集，比例为9 ∶1, 如表 1所示。训练集用于模型的训练，验证集则用于评估模型在新数据上的性能表现，并进行必要的调整和优化。这种方法能够确保模型具有可靠性和实用性，适用于各种应用场景。
表 1 数据集统计
Table 1. Dataset statistics
temperature category/℃ training set(fix) validation set(fix) 20.1 450 50 20.2 450 50 20.3 450 50 为了加快梯度下降收敛速度，实验使用Adam优化器，初始学习率为0.001；验证数据指定为预先分配好的数据集，数据集90%用于模型训练，10%用于模型验证；执行环境使用GPU进行训练。批量大小为16，迭代次数为100。
-
实验中使用准确率、精确率和召回率作为评价指标。准确率(accuracy)反映正确分类的样本数与总样本数的比例，而精确率(precision)和召回率(recall)分别衡量分类器在预测正类时的准确性和覆盖率。其计算公式[20]如下所示：
$ A=\left(T_{\mathrm{p}}+T_{\mathrm{n}}\right) /\left(T_{\mathrm{p}}+T_{\mathrm{n}}+F_{\mathrm{p}}+F_{\mathrm{n}}\right) $
(2) $ P=T_{\mathrm{p}} /\left(T_{\mathrm{p}}+F_{\mathrm{p}}\right) $
(3) $ R=T_{\mathrm{p}} /\left(T_{\mathrm{p}}+F_{\mathrm{n}}\right) $
(4) 式中: Tp表示正确预测为该等级的样本数; Fp表示错误预测为该等级的样本数; Tn表示正确预测为其它等级的样本数; Fn表示错误预测为其它等级的样本数。
-
实验时，利用搭建好的深度学习模型，将处理后的散斑图像数据集输入神经网络模型中进行训练，训练过程中的分类精度曲线和损失值曲线如图 7所示。
图 7 模型的分类精度与损失曲线图
Figure 7. Classification accuracy and loss curve of the model
图 7是本文作者所建的深度学习模型的训练过程。模型最初的10次迭代中，训练集分类精度快速提高至96%。之后，精度提升速度减缓，直至在第80次迭代时，达到99%的最高值。与分类精度相反，GoogleNet模型的训练集损失函数值在开始的10次迭代中急剧下降，然后逐渐减缓至最优状态。随机选取9张散斑图像数据，传入模型进行验证，识别结果如图 8所示。图中，识别准确率为prob，可以看出，该模型对散斑图像的识别效果较好。
图 8 模型识别结果
Figure 8. Model recognition results
-
通过对散斑对比度方法和神经网络方法进行比较可以得知，当温度超过20 ℃时，散斑对比度方法的散斑对比度已经饱和，因此, 无法准确识别温度。然而，GoogleNet模型可以有效地识别温度为20.1 ℃、20.2 ℃和20.3 ℃的散斑图像样本。
为了比较GoogleNet模型在水下温度识别中的表现，测试了AlexNet、VGG和ResNet这3个经典的CNN、神经网络模型[21-23]。这些神经网络模型在同一数据集上进行训练，并在验证集上进行测试。本文作者使用混淆矩阵来统计测试结果，详见图 9。其中横轴表示模型预测的类别，纵轴表示实际的类别，色度条通常用来显示分类准确率，数值越大，颜色越深。
图 9 混淆矩阵
Figure 9. Confusion matrix
根据混淆矩阵，4种方法容易在20.2 ℃和20.3 ℃的样本混淆，这是因为散斑颗粒差异小。比较AlexNet、VGG、GoogleNet和ResNet在这两个温度下的性能，发现GoogleNet错分最少，因此, 识别水下温度的性能最佳。对比不同分类网络在水下温度识别上的性能指标，实验结果如表 2所示。
表 2 不同分类模型水下温度数据集上的性能对比
Table 2. Performance comparison of different classification models on underwater temperature datasets
model temperature/℃ precision/% recall/% accuracy/% AlexNet 20.1 100 94 88.0 20.2 82.69 86 20.3 82.35 84 VGG 20.1 97.96 96 94 20.2 92.16 94 20.3 92 92 GoogleNet 20.1 100 98 97.33 20.2 96.08 98 20.3 96 96 ResNet 20.1 97.83 90 84 20.2 78.43 80 20.3 77.36 82 GoogleNet模型准确率为97.33%，比其它模型分别提高了9.33%、3.33%、13.33%。本文中模型的平均精确率和召回率分别提高了9.01%、3.32%、12.82%和9.33%、3.33%、13.33%，这说明该神经网络模型能够准确分类识别不同水下温度的散斑图像。
-
采用了一种直接通过散斑图像数据进行水下温度识别的CNN方法。在散斑图像实验基础上获取了携带不同温度信息的散斑图像数据，建立了被测水下温度样本的散斑数据集，构建了基于Python深度学习框架Pytorch的GoogleNet模型，结合适当的损失函数和数据增强技术，实现了被测温度的识别。实验表明，该模型对于3种温度的训练验证的分类准确率达到了99%；同时，散斑图像结合深度学习算法实现对水下温度的识别是可行的。
基于深度学习的激光散斑图像识别技术研究
Research on laser speckle image recognition technology based on transfer learning
-
摘要: 为了解决激光散斑对高于20 ℃时的水温存在测量灵敏度下降等问题，提出了一种基于深度学习的激光散斑图像识别探测方法，构建了20.1 ℃、20.2 ℃及20.3 ℃的散斑图像数据集，采用一种多尺度卷积神经网络，结合适当的损失函数和数据增强技术，以优化激光散斑图像的特点; 通过深度学习模型在散斑数据集上的训练与测试实验，实现了水下温度信息散斑图像的高准确率识别，解决了对比度饱和测量灵敏度下降的问题。结果表明，与AlexNet、VGG、ResNet模型相比，GoogleNet模型对散斑图像的水下温度识别准确率达到了99%。该研究为深入了解温度场分布及其影响提供了理论支持，并为相关应用领域提供了有价值的参考。Abstract: In order to solve the problem that the measurement sensitivity of laser speckles decreases when the water temperature is higher than 20 ℃, a laser speckle image recognition and detection method based on depth learning is proposed. The speckle image data sets of 20.1 ℃, 20.2 ℃, and 20.3 ℃ were constructed. A multi-scale convolution neural network was used, combined with appropriate loss function and data enhancement technology, to optimize the characteristics of laser speckle images. Through the training and testing experiments of deep learning models on speckle datasets, high accuracy recognition of underwater temperature information speckle images was achieved, solving the problem of decreased sensitivity in contrast saturation measurement. The experimental results show that compared with AlexNet, VGG, and ResNet models, the accuracy of the GoogleNet model in underwater temperature recognition of speckle images reaches 99%. This study provides theoretical support for the in-depth understanding of temperature field distribution and its impact and provides valuable reference for related application fields.
-
Key words:
- image processing /
- speckle images /
- deep learning /
- GoogleNet /
- classification recognition
-
图 2 不同温度影响下的散斑对比度曲线
Figure 2. Speckle contrast curve under different temperature effects
图 3 基于GoogleNet的水下温度信息散斑图像自动识别框架图
Figure 3. Framework diagram of automatic recognition of underwater temperature information speckle images based on GoogleNet
图 5 inception模块和辅助分类器结构图
Figure 5. Structure diagram of the Inception module and auxiliary classifier
表 1 数据集统计
Table 1. Dataset statistics
temperature category/℃ training set(fix) validation set(fix) 20.1 450 50 20.2 450 50 20.3 450 50 
下载: 导出CSV
表 2 不同分类模型水下温度数据集上的性能对比
Table 2. Performance comparison of different classification models on underwater temperature datasets
model temperature/℃ precision/% recall/% accuracy/% AlexNet 20.1 100 94 88.0 20.2 82.69 86 20.3 82.35 84 VGG 20.1 97.96 96 94 20.2 92.16 94 20.3 92 92 GoogleNet 20.1 100 98 97.33 20.2 96.08 98 20.3 96 96 ResNet 20.1 97.83 90 84 20.2 78.43 80 20.3 77.36 82
下载: 导出CSV
-
[1] MAHLER S, ELIEZER Y, YLMAZ H, et al. Fast laser speckle suppression with an intracavity diffuser[J]. Nanophotonics, 2020, 10(1): 129-136. doi: 10.1515/nanoph-2020-0390 [2] GUO Y, DENG J, LI J, et al. Static laser speckle suppression using liquid light guides[J]. Optics Express, 2021, 29(9): 14135-14150. doi: 10.1364/OE.425587 [3] 黄艳, 陈怀熹. 激光投影显示中复合散斑抑制方法的研究[J]. 激光技术, 2024, 48(2): 274-280. HUANG Y, CHEN H X. Research on composite speckle suppression methods in laser projection display[J]. Laser Technology, 2024, 48(2): 274-280(in Chinese). [4] 郜魏柯, 杜小平, 王阳, 等. 激光散斑目标探测技术综述[J]. 中国光学, 2020, 13(6): 1182-1193. GAO W K, DU X P, WANG Y, et al. Overview of laser speckle target detection technology[J]. China Optics, 2020, 13(6): 1182-1193(in Chinese). [5] ROWLEY L J, THAI T Q, JARRETT S R, et al. Correcting for digital image correlation speckle inversion at high temperature using color cameras[J]. Applied Optics, 2022, 61(27): 7948-7957. doi: 10.1364/AO.463480 [6] 郜魏柯, 杜小平, 王阳, 等. 微粗糙表面参数对激光散斑场的影响规律分析[J]. Acta Optica Sinica, 2021, 41(11): 1103001. GAO W K, DU X P, WANG Y, et al. Analysis of the influence of micro rough surface parameters on laser speckle field[J]. Acta Optica Sinica, 2021, 41(11): 1103001(in Chinese). [7] ADJABI I, OUAHABI A, BENZAOUI A, et al. Past, present, and future of face recognition: A review[J]. Electronics, 2020, 9(8): 1188-1239. doi: 10.3390/electronics9081188 [8] KORTLI Y, JRIDI M, AL FALOU A, et al. Face recognition systems: A survey[J]. Sensors, 2020, 20(2): 342-377. doi: 10.3390/s20020342 [9] GAO Q, TONG Z, MA Y, et al. Flexible and lightweight speckle noise suppression module based on generation of dynamic speckles with multimode fiber and macro fiber composite[J]. Optics and Laser Technology, 2020, 123: 105941. doi: 10.1016/j.optlastec.2019.105941 [10] 贺锋涛, 曹金凤, 王晓琳, 等. 基于激光散斑的应力传感系统[J]. 红外与激光工程, 2015, 44(12): 3729-3733. doi: 10.3969/j.issn.1007-2276.2015.12.039 HE F T, CAO J F, WANG X L, et al. Stress sensing system based on laser speckle[J]. Infrared and Laser Engineering, 2015, 44(12): 3729-3733(in Chinese). doi: 10.3969/j.issn.1007-2276.2015.12.039 [11] VALENT E, SILBERBERG Y. Scatterer recognition via analysis of speckle patterns[J]. Optica, 2018, 5(2): 204-207. doi: 10.1364/OPTICA.5.000204 [12] 苗希彩. 蓝绿激光海洋湍流及其下行信道传输特性研究[D]. 西安: 西安电子科技大学, 2017: 1-106. MIAO X C. Research on the characteristics of blue green laser ocean turbulence and its downstream channel transmission[D]. Xi'an: Xi'an University of Electronic Science and Technology, 2017: 1-106(in Chinese). [13] WU Y, ZHANG Y, ZHU Y. Average intensity and directionality of partially coherent model beams propagating in turbulent ocean[J]. Journal of the Optical Society of America, 2016, A33(8): 1451-1458. [14] BAYKAL Y. Scintillation index in strong oceanic turbulence[J]. Optics Communications, 2016, 375: 15-18. doi: 10.1016/j.optcom.2016.05.002 [15] 贺锋涛, 李佳琪, 张建磊, 等. 海洋湍流下波长分集无线光通信系统性能分析[J]. 红外与激光工程, 2021, 50(12): 20210131. HE F T, LI J Q, ZHANG J L, et al. Performance analysis of wavelength diversity wireless optical communication systems under ocean turbulence[J]. Infrared and Laser Engineering, 2021, 50(12): 20210131 (in Chinese). [16] YUAN Y, BI Y, SUN M Y, et al. Speckle evaluation in laser display: From speckle contrast to speckle influence degree[J]. Optics Communications, 2020, 454: 124405. doi: 10.1016/j.optcom.2019.124405 [17] YUAN Y, BI Y, SUN M Y, et al. Quantification of the effects of time-varying speckle patterns on speckle images using a modified speckle influence degree method[J]. Optics Communications, 2020, 463: 125368. doi: 10.1016/j.optcom.2020.125368 [18] LEE S G, SUNG Y, KIM Y G, et al. Variations of AlexNet and GoogLeNet to improve Korean character recognition performance[J]. Journal of Information Processing Systems, 2018, 14(1): 205-217. [19] YANG N, ZHANG Z K, YANG J H, et al. A convolutional neural network of googlenet applied in mineral prospectivity prediction based on multi-source geoinformation[J]. Natural Resources Research, 2021, 30(6): 3905-3923. doi: 10.1007/s11053-021-09934-1 [20] ZHONG Y, HUANG B, TANG C. Classification of cassava leaf disease based on a non-balanced dataset using transformer-embedded ResNet[J]. Agriculture, 2022, 12(9): 1360-1377. doi: 10.3390/agriculture12091360 [21] LEE K S, JUNG S K, RYU J J, et al. Evaluation of transfer learning with deep convolutional neural networks for screening osteoporosis in dental panoramic radiographs[J]. Journal of Clinical Medicine, 2020, 9(2): 392-404. doi: 10.3390/jcm9020392 [22] LI Z, LI F, ZHU L, et al. Vegetable recognition and classification based on improved VGG deep learning network model[J]. International Journal of Computational Intelligence Systems, 2020, 13(1): 559-564. doi: 10.2991/ijcis.d.200425.001 [23] LI B, HE Y. An improved ResNet based on the adjustable shortcut connections[J]. IEEE Access, 2018, 6(99): 18967-18974. -
点击查看大图
图(9) / 表(2)
计量
- 文章访问数: 1014
- HTML全文浏览量: 626
- PDF下载量: 9
- 被引次数: 0
