Digital holographic phase unwrapping based on UMnet
-
摘要: 为了实现高精度的数字全息相位解包裹, 采用基于Unet网络框架中集成MobilenetV3的轻量级深度学习网络, 设计了UMnet网络以实现全息相位的精准解包裹。网络中融和轻量级注意力机制、多尺度卷积来增强网络精度与泛化能力, 同时运用hard-Swish激活函数提高网络学习能力; 运用模拟数据集进行网络训练, 对生成网络模型进行降噪能力测试, 并经过了实际样品全息图的测试验证。结果表明, UMnet比深度学习相位解包裹网络的结构性相似指数值提升了6.6%。UMnet能够简单、快速、高效地实现数字全息相位解包裹。Abstract: In order to realize high-precision digital holographic phase unwrapping, a lightweight deep learning network based on MobilenetV3 integrated in the Unet network framework adopted, and the UMnet network designed to realize accurate unwrapping of holographic phase. The network lightweight attention mechanism and multi-scale convolution to enhance the network accuracy and generalization ability. At the same time, the hard-Swish activation function improve the network learning ability. The simulated data set used for network training, and the noise reduction ability of the generated network model tested, which verified by the test of the hologram of the actual sample. The results show that the structural similarity index of UMnet is 6.6% higher than that of deep learning phase unwrapping network. UMnet can realize digital holographic phase unwrapping simply, quickly and efficiently.
-
Keywords:
- holography /
- phase unwrapping /
- attention mechanism /
- multi-scale convolution
-
引言
在交通肇事案件中,执法人员经常会在肇事现场、受害人衣物上发现并提取到车漆碎片。通过对车漆进行分析与鉴定,进一步确定其品牌、生产厂家等信息,进而追溯肇事车辆,从而为确认或排除嫌疑人和嫌疑车辆提供一定的线索,为案件的诉讼和判决提供一定的证据。因此,车漆的检验鉴定对侦破交通肇事案件具有十分重要的意义。
不同品牌和生产厂家的车漆有不同的配方和工艺,即在成分和其含量上均存在一定差异。即不同品牌的车漆样本间存在一定差异,对这一差异的挖掘将有助于执法人员推断并确定现成提取的碎片检材的品牌和生产厂家。目前,车漆检验主要有光学显微镜法[1]、扫描电镜法[2]和光谱成像技术[3]等。光学显微镜法只能对车漆碎片的形态学特征进行初步解读,这易受主观因素影响,且耗时耗力;扫描电镜法在确定车漆中元素含量上有一定优势,但对其品牌和生产厂家信息的解读不够全面。高发的交通肇事案件和提取到的大量车漆碎片物证给执法人员的工作带来了极大的挑战。如何降低鉴定所需的时间精力等成本,提高鉴定效率,实现对车漆碎片的快速无损鉴定,是当下执法人员关注的重点之一。
鉴于此,实验中借助红外光谱分析技术,通过对特征波数的选择,建立基于决策树分析(decision tree, DT)、k近邻分析(k-nearest neighbor, KNN)、Fisher判别分析(Fisher discriminant analysis, FDA)的车漆样本光谱分类鉴别模型,从而实现对车身油漆品牌较为准确区分与归类,为法庭科学中车漆无损、准确地检验鉴定提供一定的参考和借鉴。
1. 实验
1.1 实验样本
从市场上收集了常见的诚得利等4种品牌共计60个不同品牌和生产厂家的车漆样本。采集车身前部、两侧、后部共计4处位置的车漆碎片,为避免采集过程中人为因素带来的误差,每处随机采集3份样本。首先,将采集的样本用酒精棉擦拭样品,从而除去样本表面残留的灰尘等污物;而后将样本放入盛有去离子水的烧杯中,并超声清洗2次,每次10min;最后用酒精棉将样本擦拭干净,进样检测。
1.2 实验设备
采用Nicolet 5700型傅里叶变换红外光谱仪(Thermo Fisher Scientific公司),配有衰减全反射附件(Thermo Fisher Scientific公司)[4-5]。光谱数据处理软件OMNIC8.2,光谱采集范围为4000cm-1~400cm-1,每个样本均采集3次,取其平均值作为实验数据[4-5]。
2. 结果及分析
2.1 光谱预处理
实验中获取的数据维度较高,重复信息较多,会增加后期建模计算的时间和复杂度,也会降低模型的精度,这对快速准确地区分各样本有一定影响。因此,筛选并提取特征波数,剔除重复信息十分有必要[6]。ZHOU等人[7]提出了一种基于小波耦合k近邻的特征提取方法建立分类模型用于发霉茶的分类研究。实验中基于不同的小波函数,采用5层小波分解预处理光谱数据,同时借助线性判别分析构建分类模型,有效提取了特征波长并实现了对不同霉变程度的干茶有效分类。ZHENG等人[8]采用主成分分析进行特征提取,缩小光谱数据的维数,同时借助支持向量机,线性判别分析和k最近邻分析建立了分类模型,实现了对高肾素高血压93.5 %地准确筛查,实验结果较为理想。
实验中采用相关性分析来剔除重复信息,筛选特征波数,通过计算样本数据间的Pearson相关系数和R值来判断样本数据间的相关程度[9-10],以0.95和0.01分别作为Pearson相关系数和R值的阈值。经过反复比较与分析,实验中发现, R值无法较好确定样本数据中信息重复的数据,而Pearson相关系数则较好地区分出了重复数据。因此选择Pearson相关系数为参考基准,开展对特征波数地筛查和提取工作。表 1中列举了其中诚得利品牌一个样本经过筛选后的56组特征波数及其光谱数据。
表 1 56 characteristic wavenumbers and its spectral data of a sample from Chengdeli were selected by correlation analysischaracteristic wavenumber/cm-1 spectral data characteristic wavenumber/cm-1 spectral data characteristic wavenumber/cm-1 spectral data characteristic wavenumber/cm-1 spectral data 501 68.30139 729 70.59264 802 71.68636 922 70.73677 679 68.22303 733 69.40947 806 71.35540 926 70.43494 683 67.50737 737 68.54868 810 71.42767 930 70.13481 687 66.34003 741 67.97828 814 71.63278 1003 70.44617 690 64.28992 744 67.37168 818 71.80663 1057 67.02615 694 60.26677 748 66.37009 822 71.85703 1092 66.28056 698 56.67580 771 70.23232 891 71.66743 1095 65.56648 702 58.64999 775 71.62344 895 71.50935 1099 64.66272 706 65.09207 779 72.36163 899 71.30006 1103 63.62498 710 70.65044 783 72.76534 903 71.05427 1107 62.63717 714 72.93565 787 72.91515 906 70.95933 1146 59.33903 717 73.04305 791 72.90823 910 70.95816 1176 63.28623 721 72.39362 795 72.68170 914 70.95504 1250 71.51285 725 71.59163 798 72.25454 918 70.89352 1277 73.97288 以经过关性分析筛选后的56组特征波数光谱数据为基础,建立基于DT、KNN和FDA的分类模型,开展对不同品牌和生产厂家样本的分类工作。
2.2 决策树分析
DT分析是一种较为有效的分类算法,其分类结构相对简单、明确和直观,不对输入数据的分布做任何假设,并且对于输入要素和类标签之间的非线性和嘈杂关系,具有灵活性和鲁棒性[11]。
以品牌为单位,采用DT构建分类模型,得到了各样本的分类结果(见表 2)。
Table 2. Classification results of 4 brand samples by DTbrands Chengdeli Munchsett Sanhe Sangmei classification accuracy/% 0.00 100.00 94.30 0.00 由表 2可知,DT分类模型对不同品牌的样本分类情况均不一样,其中“Munchsett”品牌的样本实现了100.00%的准确区分;“Sanhe”品牌的样本区分准确率为94.30%;“Chengdeli”和“Sangmei”品牌的样本分类正确率均为0.00%。DT分类模型总体分类正确率为77.80%。
2.3 k近邻分析
KNN分析是一种基于距离度量的有效分类方法,主要原理是从训练集中找到和新数据最接近的k条记录,根据其主要分类决定新数据类别,分类过程中只与近邻几个样本相关,不使用额外数据,不需要事先确定类别数量便能达到理想分类效果[12-13]。
以品牌为单位,采用KNN构建分类模型, 得到了各样本的分类结果(见表 3)。
Table 3. Classification results of 4 brand samples by KNNbrands Chengdeli Munchsett Sanhe Sanmei classification accuracy/% 0.00 0.00 96.80 25.00 由表 3可知,KNN分类模型对不同品牌的样本分类情况均不一样,其中“Chengdeli”和“Munchsett”品牌的样本分类正确率均为0.00%;“Sanhe”品牌的样本区分准确率为96.80%,“Sangmei”品牌的样本分类正确率均为25.00%。KNN分类模型总体分类正确率为72.31%。
2.4 Fisher判别分析
FDA分析主要思想是将多维数据投影到某个方向上,将类与类之间尽可能分开,类内尽可能聚合,然后选择合适的判别规则对未知样品进行分类判别[14]。
以品牌为单位,构建Fisher判别分析模型,得到了各样本的判别函数摘要(见表 4)。
Table 4. The abstract of FDA functions about 4 brand samplesfunction variance contribution rate/% correlation function test Wilks’lambda significance f1 63.7 0.810 1~3 0.153 0.000 f2 30.0 0.688 2~3 0.444 0.001 f3 6.3 0.398 3 0.842 0.006 “variancecontributionrate”即方差贡献率,指在此判别函数上各样本的可区分度。“correlation”即相关性,指不同分组与各个函数之间的相关性,相关性越强,则组别在此维度上的差异越大[15]。“Wilks’ lambda”是组内平方和与总平方和之比,其值越小,说明某个量对于模型的影响越显著[15]。“significance”即显著性,若0.01[15]。由表 4可知,Fisher模型构建了3个分类函数即f1, f2以及f3。f1=0.003x501+0.470x679-0.366x683+0.422x698-1.361x706+1.267x710-0.538x721-0.026x775+0.099x891+0.02x1092+1.9。f2=-0.013x501+0.497x679-0.71x683+0.224x698-0.418x706+0.776x710-0.068x721-0.7x775+0.308x891+0.057x1092+4.519。f3=0.029x501-0.311x679+0.492x683-0.137x698+0022x706+0.451x710-0.39x721-0.392x775+0.416x891+0.134x1092-4.374。
其中f1方差贡献率最高(63.7%),在f1上各样本的可区分度较高,其次为f2(30.0%)和f3(6.3%)。f1和f2的相关性均高于0.65,表明不同分组与f1和f2的相关性较强。函数检验中,f1和f2的Wilks’ lambda分别为0.154和0.842,表明函数1和函数2对模型影响的显著性较高。f1, f2以及f3的significance均小于0.01,表明差异极显著,能很好解释各样本的分类情况。综上所述,同时选择f1, f2以及f3作为判别函数,构建判别分类模型,得到了4个品牌样本的判别分类图(见图 1)。
由图 1可知,不同品牌的样本分布情况各有不同。其中“Sanhe”品牌的样本数据聚敛程度较高,分布较为集中; “Chengdeli”、“Munchsett”和“Sangmei”3个品牌的样本分布相对分散。Fisher判别分类模型对“Chengdeli”品牌的样本实现了100.00%的准确区分,“Munchsett”品牌的样本区分准确率为75.00%,“Sanhe”品牌的样本区分准确率为88.14%,“Sangmei”品牌的样本区分准确率为70.00%。各样本的总体区分准确率为85.00%,分类结果相对较为理想。相对于DT和KNN分类模型,Fisher判别分类模型准确率更高,对各样本的区分能力更强。其对样本光谱数据的分类效果优于DT和KNN分类模型。
3. 结论
本文中采用红外吸收光谱与DT-KNN-FDA方法,实现了对车漆样本较为准确地分类与识别。通过相关性分析筛选出58组的特征数据,以此为基础构建分类模型。DT分类模型、KNN分类模型和FDA分类模型对各样本的总体区分准确率分别为77.80%, 72.31%和85.00%。综上所述,红外吸收光谱结合相关性分析及FDA模型可较好地实现对车漆不同品牌间较为准确地区分,且分类结果较为理想。本实验中在一定程度上消除了传统鉴别方法中因主观判断造成误差、人工鉴别效率较低以及对检材损耗较大的缺点,为车漆的分类鉴别提供了一种新的参考思路,同时,本方法也为其它鉴别手段提供了一定的借鉴。值得注意的是,车漆是多组分样本,对多组分分析是一个挑战,因为不同的分子可能导致相似的光谱形状,使它很难从一个复杂的系统中分离出某些分子信息。因此,如何改进红外光谱技术以满足日益增长的物证分析需求,是今后研究的热点之一。
-
表 1 左侧收缩路径和桥接路径
Table 1 Left shrink path and bridge path
layer input operator output SE AFT stride 1 8 Conv 2d, 3×3 16 false hard-Swish 2 2 16 bneck, 3×3 16 false ReLU 1 2 16 bneck, 3×3 32 ture ReLU 2 3 32 bneck, 3×3 32 false ReLU 1 3 32 bneck, 5×5 64 ture ReLU 2 4 64 bneck, 5×5 64 false ReLU 1 4 64 bneck, 5×5 64 false ReLU 1 4 64 bneck, 3×3 128 ture hard-Swish 2 5 128 bneck, 3×3 128 false hard-Swish 1 5 128 bneck, 3×3 128 false hard-Swish 1 5 128 bneck, 3×3 128 false hard-Swish 1 5 128 bneck, 3×3 128 false hard-Swish 1 5 128 bneck, 3×3 128 false hard-Swish 1 5 128 bneck, 5×5 256 ture hard-Swish 2 6 256 bneck, 5×5 256 ture hard-Swish 1 6 256 bneck, 5×5 256 ture hard-Swish 1 6 256 Conv 2d, 1×1 256 false hard-Swish 1 -
[1] DEPEURDINGE C D, CUCHE E, MARQUET P, et al. Digital holography applied to microscopy[J]. Proceedings of the SPIE, 2002, 4659: 30-34. DOI: 10.1117/12.469267
[2] GOLDSTEIN R M, ZEBKER H A, WERNER C L. Satellite radar interferometry: Two dimensional phase unwrapping[J]. Radio Science, 2016, 23(4): 713-720.
[3] AREYALILLO-HERRAEZ M, VILLATORO F R, GDEISAT M A. A robust and simple measure for quality guided 2D phase unwrapping algorithms[J]. IEEE Transactions on Image Processing, 2016, 25(6): 2601-2609. DOI: 10.1109/TIP.2016.2551370
[4] 张睿, 严利平, 张海燕, 等. 基于枝切线和可靠度的区域增长相位解包裹算法[J]. 浙江理工大学学报(自然科学版), 2019, 41(4): 474-481. DOI: 10.3969/j.issn.1673-3851(n).2019.04.010 ZHANG R, YAN L P, ZHANG H Y, et al. Region-growing phase unwrapping algorithm based on branch-cuts and reliability[J]. Journal of Zhejiang Sci-Tech University(Natural Sciences Edition), 2019, 41(4): 474-481 (in Chinese). DOI: 10.3969/j.issn.1673-3851(n).2019.04.010
[5] WANG X, FANG S, ZHU X. Weighted least-squares phase unwrapping algorithm based on a non-interfering image of an object[J]. Applied Optics, 2017, 56(15): 4543-4550. DOI: 10.1364/AO.56.004543
[6] PATIL P, VYASARAYANI C P, RAMJI M. Linear least squares approach for evaluating crack tip fracture parameters using isochromatic and isoclinic data from digital photoelasticity[J]. Optics and Lasers in Engineering, 2017, 93(1): 182-194.
[7] 马树军, 方锐. 数字全息显微中的相位像差自动补偿算法[J]. 东北大学学报(自然科学版), 2020, 41(11): 1591-1595. DOI: 10.12068/j.issn.1005-3026.2020.11.011 MA Sh J, FANG R. Automatic compensation algorithm of phase aberration in digital holographic microscopy[J]. Journal of Northeastern University(Natural Science Edition), 2020, 41(11): 1591-1595 (in Chinese). DOI: 10.12068/j.issn.1005-3026.2020.11.011
[8] 王华英, 刘佐强, 廖薇, 等. 基于最小范数的四种相位解包裹算法比较[J]. 中国激光, 2014, 41(2): 209016. https://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ201402017.htm WANG H Y, LIU Z Q, LIAO W, et al. Compensation of four unwrapping algorithm based on method of minimum norm[J]. Chinese Journal of Lasers, 2014, 41(2): 209016 (in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-JJZZ201402017.htm
[9] 李盛林, 邓小芳, 王华英. 数字全息显微术中三种相位展开算法的比较研究[J]. 光学技术, 2020, 46(1): 56-60. https://www.cnki.com.cn/Article/CJFDTOTAL-GXJS202001009.htm LI Sh L, DENG X F, WANG H Y. Comparison of three kinds of phase unwrapping algorithm in digital holographic microscopy[J]. Optical Technique, 2020, 46(1): 56-60 (in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GXJS202001009.htm
[10] 李芹, 刘维, 王道档, 等. 基于二阶质量权的四向剪切相位解包裹算法[J]. 光电子·激光, 2018, 29(6): 618-626. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201806008.htm LI Q, LIU W, WANG D D, et al. Four-direction least-square phase unwrapping algorithm based on shearing interferometry and second derivative of quality weight[J]. Journal of Optoelectronics · Lasers, 2018, 29(6): 618-626 (in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ201806008.htm
[11] 左超, 冯世杰, 张翔宇, 等. 深度学习下的计算成像: 现状、挑战与未来[J]. 光学学报, 2020, 40(1): 0111003. https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202001004.htm ZUO Ch, FENG Sh J, ZHANG X Y, et al. Deep learning based computational imaging: Status, challenges, and future[J]. Acta Optica Sinica, 2020, 40(1): 0111003 (in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB202001004.htm
[12] 邸江磊, 唐雎, 吴计, 等. 卷积神经网络在光学信息处理中的应用研究进展[J]. 激光与光电子学进展, 2021, 58(16): 1600001. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202116002.htm DI J L, TANG S, WU J, et al. Research progress in the applications of convolutional neural networks in optical information processing[J]. Laser & Optoelectronics Progress, 2021, 58(16): 1600001 (in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202116002.htm
[13] WANG K Q, LI Y, QIAO K, et al. One-step robust deep learning phase unwrapping[J]. Optics Express, 2019, 27(10): 15100-15115.
[14] 常江, 管声启, 师红宇, 等. 基于改进生成对抗网络和MobileNetV3的带钢缺陷分类[J]. 激光与光电子学进展, 2021, 58(4): 0410016. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202104026.htm CHANG J, GUAN Sh Q, SHI H Y, et al. Strip defect classification based on improved generative adversarial networks and MobileNetV3[J]. Laser & Optoelectronics Progress, 2021, 58(4): 0410016(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202104026.htm
[15] 郑少佳, 邱崧, 李庆利, 等. 傅里叶变换通道注意力网络的胆管癌高光谱图像分割[J]. 中国图象图形学报, 2021, 26(8): 1836-1846. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202108009.htm ZHENG Sh J, QIU S, LI Q L, et al. Fourier transform channel a-ttention network for cholangiocarcinoma hyperspectral image segmentation[J]. Journal of Image and Graphics, 2021, 26(8): 1836-1846 (in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202108009.htm
[16] 吴杰, 周皓, 吴丹, 等. 欠采样下相位解包裹算法的研究[J]. 激光与光电子学进展, 2016, 53(5): 051003. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201605016.htm WU J, ZHOU H, WU D, et al. Study of phase unwrapping algorithm from the undersampled phase[J]. Laser & Optoelectronics Progress, 2016, 53(5): 051003 (in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ201605016.htm
[17] PANDEY N, GHOSH A, KHARE K. Two-dimensional phase unwrapping using the transport of intensity equation[J]. Applied Optics, 2016, 55(9): 2418-2425.
[18] CHENG H, DENG H L, SHEN C, et al. Phase retrieval based on transport of intensity equation and image interpolation[J]. Infrared and Laser Engineering, 2018, 47(10): 356-362.
[19] 陈妮, 左超, Byoungho LEE. 基于深度测量的三维成像技术[J]. 红外与激光工程, 2019, 48(6): 199-233. https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201906014.htm CHEN N, ZUO Ch, LEE B. 3D imaging based on depth measurement[J]. Infrared and Laser Engineering, 2019, 48(6): 199-223 (in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-HWYJ201906014.htm
[20] 刘桂雄, 黄坚, 刘思洋, 等. 面向语义分割机器视觉的AutoML方法[J]. 激光杂志, 2019, 40(6): 1-9. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201906001.htm LIU G X, HUANG J, LIU S Y, et al. AutoML method for semantic segmentation of machine vision[J]. Laser Journal, 2019, 40(6): 1-9(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201906001.htm
[21] JIA W, XIA W, ZHAO Y, et al. 2D and 3D palmprint and palm vein recognition based on neural architecture search[J]. International Journal of Automation and Computing, 2021, 18(3): 377-409.
[22] 肖文, 李解, 潘锋, 等. 基于USENet实现数字全息细胞再现相位像超分辨重构[J]. 光子学报, 2020, 49(6): 0610001. https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202006020.htm XIAO W, LI J, PAN F, et al. Super-revolution in digital holographic phase cell image based on USENet[J]. Acta Photonica Sinica, 2020, 49(6): 0610001 (in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB202006020.htm
[23] 李宇豪, 吕晓琪, 谷宇, 等. 基于改进S3FD网络的人脸检测算法[J]. 激光技术, 2021, 45(6): 722-728. DOI: 10.7510/jgjs.issn.1001-3806.2021.06.008 LI Y H, LV X Q, GU Y, et al. Face detection algorithm based on improved S3FD network[J]. Laser Technology, 2021, 45(6): 722-728(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2021.06.008
[24] 王鑫. 基于深度学习的语义分割算法研究[D]. 上海: 上海海洋大学, 2021: 30-42. WANG X. Research on semantic segmentation algorithm based on deep learning[D]. Shanghai: Shanghai Ocean University, 2021: 30-42(in Chinese).
[25] 吴育民, 宋国庆, 冯云鹏, 等. 数字全息显微在医学影像中的发展与最新应用[J]. 影像科学与光化学, 2016, 34(1): 23-29. https://www.cnki.com.cn/Article/CJFDTOTAL-GKGH201601004.htm WU Y M, SONG G Q, FENG Y P, et al. Development and latest application of digital holographic microscopy in medical imaging[J]. Imaging Science and Photochemistry, 2016, 34(1): 23-29(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-GKGH201601004.htm
-
期刊类型引用(3)
1. 孙雯,张龙青. 基于深度卷积神经网络的产品无损分级检测方法. 激光杂志. 2025(02): 251-256 . 百度学术
2. 李霞,杨正维,黄俊伟,杨亚复,高莎. 机器学习参与山区村落影像点云分类的研究. 激光技术. 2024(02): 288-294 . 本站查看
3. 李佳瑞,王继芬,范琳媛,石学军. 基于光谱和色谱数据碰撞融合策略的大麻油快速识别分类. 激光与光电子学进展. 2022(16): 506-513 . 百度学术
其他类型引用(1)