Low-quality image enhancement algorithm based on DDR GAN
-
摘要: 现有图像增强方法在处理模糊且分辨率较低的图像时，因图像的细节缺乏真实性并且存在伪影现象，会导致增强效果较差。为了解决这一问题，采用一种基于深度密集残差生成对抗网络(DDR GAN)的低分辨率模糊图像增强算法，实现了低质量图像的有效增强。首先构建端到端的生成对抗网络框架；然后设计深度密集残差隐特征编码架构，提升对输入图像的深层语义特征表示，增强图像生成效能；最后重构损失函数，添加感知损失以指导模型学习生成图像的真实性。结果表明，相比于目前最先进的增强型超分辨率GAN法(ESR GAN)和第2版去模糊GAN法(DeBlur GAN-V2)，DDR GAN生成的图像在视觉效果上更佳，具有更高的清晰度和更丰富的图像细节；在客观评价指标方面，DDR GAN相较于ESR GAN和DeBlur GAN-V2，峰值信噪比分别提高1.7072 dB和1.1683 dB，结构相似度分别提高0.0783和0.0713。该算法对低分辨率模糊图像的复原增强是有帮助的。
-
关键词:
- 图像处理 /
- 深度密集残差生成对抗网络 /
- 深度学习 /
- 低分辨率模糊图像
Abstract: In order to solve the problems of artifacts and unreal details when process low-resolution blurred images using image enhancement methods, a low-resolution blurred image enhancement algorithm based on deep dense residual generative adversarial network (DDR GAN) was used to achieve effective enhancement of low-quality images. Firstly, an end-to-end generative adversarial network framework was constructed; further, a deep dense residual latent feature encoding architecture was designed to improve the deep semantic feature representation of the input image and enhance the image generation efficiency; finally, the loss function was reconstructed and the perceptual loss was added to guide the model to learn to generate realistic images. The comparative experimental results show that compared with the current state-of-the-art enhanced super-resolution GAN(ESR GAN) and DeBlur GAN-V2 algorithms, the images generated by DDR GAN are visually better, with higher definition and richer image detail. In terms of objective evaluation indicators, compared with ESR GAN and DeBlur GAN-V2, the peak signal-to-noise ratio was improved by 1.7072 dB and 1.1683 dB through DDR GAN, respectively, and the structural similarity by 0.0783 and 0.0713, respectively. This algorithm is helpful for the restoration and enhancement of low-resolution blurred images. -
0. 引言
激光诱导击穿光谱(laser-induced breakdown spectroscopy，LIBS)是一种元素分析的新技术，对几乎所有物质形态(诸如气溶胶、岩石、金属、骨骼、血液、生物组织以及聚合物等)的靶样都可以进行元素分析，其定性、定量分析是通过检测等离子体(高能激光脉冲聚焦烧蚀物质产生)发射光谱来实现。LIBS技术在各种实验条件下都可以开展实施，包括常压、真空、海洋深处、或者是极端恶劣的环境中(如反应堆), 其具有响应时间短、样品无需制备或仅需简单制备、可免校准方法和多元素同时在线分析等优点，已广泛应用于元素分析领域[1-3]。基于此，国内外学者日益关注对LIBS的研究，这项技术也逐步从实验室研究推广到生物医学、太空检测、环境监测、资源探测、反应堆乏燃料以及放射性同位素分析等诸多领域[4-10]。目前，LIBS开展特定样品的元素成分分析，探测灵敏度多为mg/L量级，一直以来, 众多科学家关注的焦点是如何极大地降低其检测限，有效地提高LIBS信号强度。
表面等离激元共振是纳米结构具有的特性之一，很大程度上能增强局域电场[11-12]，对LIBS信号增强效果显著，信号强度能达到数个量级的增强。纳米颗粒增强LIBS(nanoparticle enhanced LIBS, NELIBS)只需要简单的优化制样方法，不需要对实验设备进行复杂的改进, 即可对LIBS信号进行增强。意大利GIACOMO课题组对NELIBS展开了系统且具有重要影响力的研究，比如通过使用纳米银溶胶将其滴加到金属、半导体和绝缘体表面，降低了固体靶的烧蚀阈值，对金属靶样的信号强度增强达到了1~2个数量级[13]。基底在滴加样品溶液前沉积一层纳米金颗粒，使得检测限下降到mg/L以下[14]。LIU等人使用金属螯合物诱导金纳米粒子聚集，检测水中重金属元素(Cd, Cu, Ag, Pb和Cr)，检测限达到μg/L量级[15]；该课题组还提出了在多孔静电纺超细纤维上添加纳米粒子涂层的方法增强水体系中金属离子的LIBS信号[16]。LIU等人从纳米颗粒对信号强度、信号噪声比和相对标准差的影响出发，特别注意了预烧蚀对纳米颗粒增强效果的影响以及NELIBS很好的可重复性，从而促进了对NELIBS的全面了解[17]。
作者所在课题组引入两亲性分子到NELIBS，使得信号检测限达到μg/L量级[18]。使用磁控溅射方法，研究了纳米团簇对NELIBS信号的影响[19]。另外在纳米银溶胶中加入不同浓度的氯离子后，利用透射电镜观察纳米颗粒的状态，并结合专业微纳光子学仿真分析软件计算纳米粒子不同的状态对局域电磁场增强的影响[20]。基于此，有必要对卤素离子做进一步的研究。本文中将分析不同种类的卤素离子对NELIBS信号的影响。
1. 样品制备及实验装置
1.1 纳米颗粒制备及表征
使用Lee-Meisel法[21]制备灰绿色的纳米银溶胶(灰银胶)，即柠檬酸钠(C6H5Na3O7)还原硝酸银(AgNO3)生成银纳米粒子。
在超薄碳膜上滴加银胶溶液，使用透射电子显微镜对样品进行形貌表征。紫外-可见分光光度计用来测量银胶的吸收光谱[22]。
1.2 样品制备
配制以下溶液：浓度为0.01 mmol/L十二烷基硫酸钠(sodium dodecyl sulfate，SDS)(质量分数不小于99.0%)溶液[20]；浓度为2 mmol/L的MgSO4(质量分数不小于99.0%)溶液；浓度为0.01 mmol/L、0.05 mmol/L、0.1 mmol/L、0.15 mmol/L、0.2 mmol/L、0.3 mmol/L、0.4 mmol/L、0.5 mmol/L、1 mmol/L、2 mmol/L、4 mmol/L和20 mmol/L的KBr(质量分数为99.9%)溶液；浓度为0.2 mmol/L的KCl(质量分数不小于99.99%)溶液；浓度为0.05 mmol/L、0.1 mmol/L、0.15 mmol/L、0.2 mmol/L、0.3 mmol/L、0.4 mmol/L、0.5 mmol/L、1 mmol/L、2 mmol/L和4 mmol/L的KF(质量分数为99.9%)以及KI(质量分数不小于99.9%)溶液。
依次用去离子水和无水乙醇超声清洗9 cm2正方形单面抛光硅片(P型硅，100晶向)，20 min后干燥使用[22]。
1.3 LIBS实验
采用Nd ∶YAG纳秒脉冲激光器(波长为532 nm、单脉冲能量80 mJ)，纳秒激光聚焦烧蚀靶样产生等离子体。等离子体发射光谱(侧向收集)聚焦到光纤上，经光纤耦合传导到光谱仪中进行测量。光谱仪延迟时间、积分门宽和信号增益分别设置为0.4 μs、5 μs和1500，采集单发烧蚀LIBS信号，多次测量以降低误差[22]。
2. 结果与讨论
2.1 银纳米粒子的表征
首先对Ag纳米粒子(nanoparticles，NPs)进行透射电子显微镜(transmission electron microscope，TEM)表征，形貌表征结果如图 1所示。TEM测试图(见图 1a, 图 1c, 图 1e)和尺寸统计分布直方图(见图 1b, 图 1d和图 1f)分别对应的是10 mL、5 mL、2 mL柠檬酸钠溶液(质量分数为1%)和2 mL的AgNO3溶液(质量分数为1%)制备的灰银胶。从图 1中可以看出，减少柠檬酸钠的用量会导致Ag NPs直径变大(平均直径为34.53 nm，39.65 nm，59.01 nm)。
![图 1 不同体积的C6H5Na3O7溶液(质量分数为1%)和2 mL AgNO3溶液(质量分数为1%)制备灰银胶的TEM图及尺寸分布统计]()
图 1 不同体积的C6H5Na3O7溶液(质量分数为1%)和2 mL AgNO3溶液(质量分数为1%)制备灰银胶的TEM图及尺寸分布统计Figure 1. TEM images and size distribution statistics of different volumes of C6H5Na3O7 solution (mass fraction of 1%) and 2 mL AgNO3 solution (mass fraction of 1%) for preparation of grey silver sol图 2是灰银胶吸收光谱的测量结果。可以看到，减少柠檬酸钠的用量会使420 nm附近的共振吸收峰红移。由于较小尺寸的胶体会更加稳定，不易团聚，并且为尽量使其吸收峰位更接近532 nm激光[22]，在之后的实验中选择了纳米粒子平均直径为39.65 nm的灰银胶。
![图 2 不同体积比的AgNO3溶液(质量分数为1%)和C6H5Na3O7溶液(质量分数为1%)制备灰银胶的吸收光谱]()
图 2 不同体积比的AgNO3溶液(质量分数为1%)和C6H5Na3O7溶液(质量分数为1%)制备灰银胶的吸收光谱Figure 2. Absorption spectra of different volume ratios of AgNO3 solution (mass fraction of 1%) and sodium citrate solution (mass fraction of 1%) for preparation gray silver sol以氯离子为例, 研究了卤素离子对银纳米溶胶聚集效应的影响，发现不同浓度的氯离子诱导银纳米颗粒聚集的程度不同，随着氯离子浓度的增加，银纳米粒子逐渐团聚，间距越来越小，直至凝聚沉淀[20]。
图 3为加入氯离子浓度为20 mmol/L时的TEM图。可以看到, 纳米颗粒团聚十分严重，出现链状的凝聚，颗粒几乎很难分辨。
![图 3 氯离子浓度为20 mmol/L时银胶形貌的TEM图]()
图 3 氯离子浓度为20 mmol/L时银胶形貌的TEM图Figure 3. TEM image of morphology of Ag colloid with chloride ion concentrations of 20 mmol/L2.2 LIBS谱线特征
由作者团队之前的工作[20]可知，氯离子可以引起纳米颗粒团聚现象，0.2 mmol/L的氯离子NELIBS信号的程度最大。基于此，用同样的方法研究了不同种类的卤素离子对NELIBS信号的影响。在MgSO4溶液中加入KF、KBr和KI溶液，引入卤素离子后测量NELIBS信号的变化。图 4是靶元素Mg的一个典型的光谱图。光谱范围在382.3 nm~384.4 nm，382.90 nm、383.21 nm、383.80 nm是Mg元素的3个特征峰。从图中可以清楚看到, 添加纳米颗粒之后的LIBS信号有明显的增强效果。
![图 4 Mg元素LIBS和NELIBS光谱的对比]()
图 4 Mg元素LIBS和NELIBS光谱的对比Figure 4. Comparison of LIBS and NELIBS spectra of Mg elements改变卤素离子浓度，测量了SDS+Ag NPs MgSO4(2 mmol/L)样品中Mg元素的NELIBS信号强度，实验结果如图 5所示。图中信号强度是通过扣除本底信号后选取382.66 nm、384.13 nm为左右端点进行面积积分，将积分值作为信号强度。当Br-、I-浓度为0.2 mmol/L时Mg的NELIBS信号达到最强，与之前工作[20]中Cl-实验结果一致，而F-浓度为0.4 mmol/L时Mg的NELIBS信号最强。
![图 5 不同浓度的KF、KBr、KI溶液加入到2 mmol/L MgSO4溶液中时Mg的NELIBS信号变化]()
图 5 不同浓度的KF、KBr、KI溶液加入到2 mmol/L MgSO4溶液中时Mg的NELIBS信号变化Figure 5. NELIBS signal of Mg changes when different concentrations of KF, KBr and KI are added into 2 mmol/L MgSO4 solution基于图 5中的实验结果，综合考量实验因素，固定卤素离子的浓度为0.2 mmol/L，研究分析了4种卤素阴离子对NELIBS信号强度的影响，结果见图 6。从图 6中可以看出, 分别加入KF、KCl、KBr、KI溶液(浓度均为0.2 mmol/L)到2 mmol/L MgSO4+0.01 mmol/L SDS+Ag NPs的溶液中，当银溶胶中加入0.2 mmol/L卤化钾时，Mg的NELIBS信号得到了不同程度的增强，卤素离子对Mg的NELIBS信号的增强效果为：F-＞Cl-＞Br-＞I-。
![图 6 在2 mmol/L MgSO4溶液中加入等量0.2 mmol/L KF、KCl、KBr、KI溶液时Mg的NELIBS信号变化]()
图 6 在2 mmol/L MgSO4溶液中加入等量0.2 mmol/L KF、KCl、KBr、KI溶液时Mg的NELIBS信号变化Figure 6. NELIBS signal of Mg changes when the same amount of KF, KCl, KBr and KI solutions with 0.2 mmol/L concentration are added into 2 mmol/L MgSO4 solution3. 结论
研究了不同种类、不同浓度的卤素阴离子对Ag NPs增强LIBS信号的影响。在添加卤素离子之后对比分析了Mg的NELIBS信号，发现其信号会得到不同程度的增强，结合之前氯离子的工作，表明卤素阴离子与Ag NPs之间存在着一定的相互作用。Ag NPs具有较大的比表面积，少量未反应的银离子可能会吸附在Ag NPs的表面，而银离子与卤素阴离子具有库伦相互作用，使得卤素阴离子在Ag NPs的表面上吸附，引起Ag NPs的团聚现象，从而使得Ag NPs之间的距离发生了显著的变化；F-对Ag NPs的影响比Cl-、Br-、I-要强，F-与Ag NPs的活性点结合更容易，原因可能是和F、Cl、Br、I的原子序数有较大的关系。卤素阴离子对Mg的NELIBS信号增强的作用为：F-＞Cl-＞Br-＞I-。
-
![]()
图 1 深度密集残差GAN网络框架
Figure 1. Framework of the deep dense residual generative adversarial network
![]()
图 8 建筑物的对比结果
a—模糊图像 b—ESR GAN方法 c—DeBlur GAN-V2方法 d—本文中算法 e—清晰图像
Figure 8. Comparison results of building
a—blurred image b—ESR GAN method c—DeBlur GAN-V2 method d—our algorithm e—sharp image
![]()
图 9 汽车的对比结果
a—模糊图像 b—ESR GAN方法 c—DeBlur GAN-V2方法 d—本文中算法 e—清晰图像
Figure 9. Comparison results of car
a—blurred image b—ESR GAN method c—DeBlur GAN-V2 method d—our algorithm e—sharp image
![]()
图 10 广场的对比结果
a—模糊图像 b—ESR GAN方法 c—DeBlur GAN-V2方法 d—本文中算法 e—清晰图像
Figure 10. Comparison results of square
a—blurred image b—ESR GAN method c—DeBlur GAN-V2 method d—our algorithm e—sharp image
表 1 算法对比结果
Table 1 Comparison of results for different algorithms
evaluation criterion ESR GAN DeBlur GAN-V2 our algorithm PSNR/dB 20.3371 20.8760 22.0443 SSIM 0.6570 0.6640 0.7353 running time/s 0.326 0.293 0.596 
下载: 导出CSV
-
[1] 安胜彪, 娄慧儒, 陈书旺, 等. 基于深度学习的旋转目标检测方法研究进展[J]. 电子测量技术, 2021, 44(21): 168-178. https://www.cnki.com.cn/Article/CJFDTOTAL-DZCL202121028.htm AN Sh B, LOU H R, CHEN Sh W, et al. Research progress of rotating target detection methods based on deep learning[J]. Electronic Measurement Technology, 2021, 44(21): 168-178(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-DZCL202121028.htm
[2] 李宇豪, 吕晓琪, 谷宇, 等. 基于改进S3FD网络的人脸检测算法[J]. 激光技术, 2021, 45(6): 722-728. DOI: 10.7510/jgjs.issn.1001-3806.2021.06.008 LI Y H, LV X Q, GU Y, et al. Face detection algorithm based on improved S3FD network[J]. Laser Technology, 2021, 45(6): 722-728(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2021.06.008
[3] 常颖, 常大俊. 改进型卷积神经网络焊点缺陷识别算法研究[J]. 激光技术, 2020, 44(6): 779-783. DOI: 10.7510/jgjs.issn.1001-3806.2020.06.023 CHANG Y, CHANG D J. Research on solder joint defect recognition algorithm based on improved convolutional neural network[J]. Laser Technology, 2020, 44(6): 779-783(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2020.06.023
[4] 王坚, 张义兵, 陈双, 等. 基于机器视觉的瞄准镜缺陷检测系统设计[J]. 制造业自动化, 2022, 44(2): 36-41. https://www.cnki.com.cn/Article/CJFDTOTAL-JXGY202202009.htm WANG J, ZHANG Y B, CHEN Sh, et al. Design of the inspection system for the defects of the sight based on machine vision[J]. Manufacturing Automation, 2022, 44(2): 36-41(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-JXGY202202009.htm
[5] 赵文清, 孔子旭, 周震东, 等. 增强小目标特征的航空遥感目标检测[J]. 中国图象图形学报, 2021, 26(3): 644-653. https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202103014.htm ZHAO W Q, KONG Z X, ZHOU Zh D, et al. Target detection algorithm of aerial remote sensing based on feature enhancement technology[J]. Journal of Image and Graphics, 2021, 26(3): 644-653(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-ZGTB202103014.htm
[6] 李宇环, 王洁, 鲁力, 等. 用于遥感图像的轻量化实时目标检测模型[J]. 激光与光电子学进展, 2021, 58(16): 1615007. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202116043.htm LI Y H, WANG J, LU L, et al. Lightweight real-time target detection model for remote sensing images[J]. Laser & Optoelectronics Progress, 2021, 58(16): 1615007(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202116043.htm
[7] 胡锦林, 齐永锋, 王佳颖. 基于时空图卷积网络的学生在线课堂行为识别[J]. 光电子·激光, 2022, 33(2): 149-156. https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ202202006.htm HU J L, QI Y F, WANG J Y. Recognition of students'online classroom action based on spatiotemporal graph convolutional network[J]. Journal of Optoelectronics·Laser, 2022, 33(2): 149-156(in Chin-ese). https://www.cnki.com.cn/Article/CJFDTOTAL-GDZJ202202006.htm
[8] 杨斌, 云霄, 董锴文, 等. 基于机器视觉的石化场景人员危险行为识别[J]. 激光与光电子学进展, 2021, 58(22): 2215001. https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202122035.htm YANG B, YUN X, DONG K W, et al. Human's dangerous action recognition in petrochemical scene using machine vision[J]. Laser & Optoelectronics Progress, 2021, 58(22): 2215001(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-JGDJ202122035.htm
[9] HINTON G E, OSINDERO S, TEH Y W. A fast learning algorithm for deep belief nets[J]. Neural Computation, 2006, 18(7): 1527-1554.
[10] GOODFELLOW I, POUGET-ABADIE J, MIRZA M, et al. Generative adversarial nets[J]. Advances in Neural Information Processing Systems, 2014, 3(1): 2672-2680.
[11] HE K, ZHANG X, REN S, et al. Deep residual learning for image recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York, USA: IEEE, 2016: 770-778.
[12] JOHNSON J, ALAHI A, LI F F. Perceptual losses for real-time style transfer and super-resolution[M]. Berlin, Germany: Springer International Publishing, 2016: 694-711.
[13] NAH S, KIM T H, LEE K M. Deep multi-scale convolutional neural network for dynamic scene deblurring[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York, USA: IEEE, 2017: 257-265.
[14] RAMAKRISHNAN S, PACHORI S, GANGOPADHYAY A, et al. Deep generative filter for motion deblurring[C]//Proceedings of the IEEE International Conference on Computer Vision. New York, USA: IEEE, 2017: 2993-3000.
[15] KUPYN O, BUDZAN V, MYKHAILYCH M, et al. DeBlur GAN: Blind motion deblurring using conditional adversarial networks[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2018: 8183-8192.
[16] OUYANG Y. Total variation constraint GAN for dynamic scene deblurring[J]. Image and Vision Computing, 2019, 88: 113-119.
[17] NIMISHA T M, SINGH A K, RAJAGOPALAN A N. Blur-invariant deep learning for blind-deblurring[C]//Proceedings of the IEEE International Conference on Computer Vision. New York, USA: IEEE, 2017: 4762-4770.
[18] TAO X, GAO H, WANG Y, et al. Scale-recurrent network for deep image deblurring[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition. New York, USA: IEEE, 2018: 8174-8182.
[19] KUPYN O, MARTYNIUK T, WU J, et al. DeBlur GAN-V2: Deblurring (orders-of-magnitude) faster and better[C]//IEEE/CVF International Conference on Computer Vision (ICCV). New York, USA: IEEE, 2019: 8877-8886.
[20] YONG Z, SHAO Y M, XI Z, et al. EDGAN: Motion deblurring algorithm based on enhanced generative adversarial networks[J]. The Journal of Supercomputing, 2020, 76(11): 1-16.
[21] 郭佑东, 凌福日, 姚建铨. 基于梯度变换的太赫兹图像超分辨率重建[J]. 激光技术, 2020, 44(3): 271-277. DOI: 10.7510/jgjs.issn.1001-3806.2020.03.001 GUO Y D, LING F R, YAO J Q. Super-resolution reconstruction for terahertz images based on gradient transform[J]. Laser Technology, 2020, 44(3): 271-277(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2020.03.001
[22] QI Q, GUO J, JIN W. Attention network for non-uniform deblurring[J]. IEEE Access, 2020, 8: 100044-100057.
[23] LI X L, LI G, DU Zh L. High fidelity single image blind deblur via GAN[J]. Wireless Networks, 2021, 2: 1-10.
[24] HUANG G, LIU Z, LAURENS V, et al. Densely connected convolutional networks[C] //IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York, USA: IEEE, 2017: 2261-2269.
[25] LEDIG C, THEIS L, HUSZAR F, et al. Photo-realistic single image super-resolution using a generative adversarial network[C]//IEEE Conference on Computer Vision and Pattern Recognition (CVPR). New York, USA: IEEE, 2017: 105-114.
-
期刊类型引用(5)
1. 覃淮青，姚顺春，喻子彧，马维喆，卢志民，董美蓉，陆继东. 煤粉流等离子体光谱诊断及定量分析研究. 工程热物理学报. 2024(06): 1863-1871 . 
百度学术
2. 唐瑞玲，胡梦颖，邢夏，刘彬，张鹏鹏，顾雪，房芳，张灵火，徐进力，白金峰，张勤. 激光诱导击穿光谱仪工作参数对测定土壤样品中稀土元素的影响. 应用激光. 2021(05): 1084-1090 . 百度学术
3. 龚书航，钱东斌，苏茂根，赵冬梅，孙对兄，吴超，王永强，马新文. 复杂颗粒状物质中微量元素的LIBS稳定性研究. 激光与光电子学进展. 2018(07): 472-477 . 百度学术
4. 李文煜，章海锋，刘婷，马宇. 一种波束扫描固态等离子体超表面的设计. 激光技术. 2018(06): 822-826 . 本站查看
5. 马宇，章海锋，刘婷，李文煜. 一种波束扫描超材料天线的设计. 强激光与粒子束. 2018(10): 70-75 . 百度学术
其他类型引用(1)
计量
- 文章访问数: 7
- HTML全文浏览量: 0
- PDF下载量: 5
- 被引次数: 6