Weld seam tracking method under strong noise based on kernel correlation filters
-
摘要:
在基于结构光视觉的焊缝跟踪中，焊接时产生的电弧和飞溅等强噪声会大幅降低焊缝的能见度，导致跟踪失败。为了解决这一问题，提出了一种基于改进核相关滤波器的焊缝跟踪算法，以更好地适应强噪声的环境。首先获取焊缝的初始特征点，基于焊缝激光条纹的灰度分布特征，通过Steger算法提取焊缝激光条纹的中心线; 接着对中心线进行滤波并求导来获取焊缝的初始特征点; 最后将焊缝的初始特征点作为初始输入，应用改进的核相关滤波器对焊缝特征点进行学习与跟踪。结果表明，在强噪声干扰的情况下，该算法的平均误差为0.305 mm，最大跟踪误差为0.479 mm，取得了良好的跟踪效果并有效避免了跟踪漂移。该研究为高精度焊缝跟踪提供了有益参考。
Abstract:In the seam tracking based on structured light vision, strong noise such as arc and spatter generated in the welding process would greatly reduce the visibility of the weld, resulting in tracking failure. In order to solve this problem, a seam tracking algorithm based on the improved kernel correlation filter was proposed to better adapt to the strong noise environment. Firstly, the initial feature points of the weld were obtained. Based on the gray distribution characteristics of the weld laser stripe, the centerline of the weld laser stripe was extracted by Steger algorithm. Then the center line was filtered and derived to obtain the initial feature points of the weld. Finally, the initial feature points of the weld were used as the initial input, and the improved kernel correlation filter was applied to learn and track the weld feature points. The results show that, the average error of the algorithm is 0.305 mm, and the maximum tracking error is 0.479 mm in the case of strong noise interference, which achieves good tracking effect and effectively avoids tracking drift. This study provides a useful reference for high-precision seam tracking.
-
0. 引言
气溶胶在大气中有着重要的作用[1]。气溶胶是由固体或液体微粒悬浮在气体中形成的混合物, 其微粒的大小通常在几纳米到数十微米之间。大气气溶胶会吸收和散射太阳光，降低能见度, 影响气候变化和空气质量。此外，气溶胶会影响云的形成，间接对气候造成影响[2]，并对人体健康产生很多不良影响。粒径分布和浓度分布是气溶胶的重要特征[3]。运用光散射进行气溶胶探测研究在100多年前就开始了，激光器问世后，由于激光的强度高以及单一性、准直性等特点，使用激光作为光源的光学粒子计数器的性能和设备大小可进一步优化，使光散射气溶胶探测领域的研究更加深入[4]。市场上已经涌现出很多对气溶胶粒子谱的研究和产品。其中包括Brechtel公司设计的微型光学粒子计数器(micro optical particle counter, m-OPC)系列产品、TSI公司研发的扫描电迁移率粒径谱仪[5]、Handix公司研发的光学气溶胶探空仪(portable optical particle spectrometer, POPS)[6]、DMT公司研制的PCASP-100X[7]等型号产品以及Temtop公司研制的嵌入式粒子计数器等系列产品。国内对光学粒子计数器有深入研究的团队主要有: 上海理工大学的相关团队对光散射图像法测量颗粒粒度进行了研究[8]; 南京理工大学的相关团队对尘埃粒子计数器进行了多方面的研究[9-11]，包括不同光源、光敏区光强分布均匀度对粒子计数器的影响、建立了光散射颗粒随机测量过程统计模型等; 中国科学院安徽光学精密机械研究所也研制了50个通道的OPC-06光学粒子计数器。国内其它相关研究机构有：华中科技大学[12]、东南大学[13]、中国计量大学[14]、苏州大学[15]、山东理工大学[16]和成都信息工程大学[17-18]等。
为了提高气溶胶粒度谱仪的粒径分辨率和最小测量粒径，本文中主要研究了使用光电倍增管作为气溶胶粒度谱仪接收元件对粒子分布以及数浓度等气溶胶参数的影响，设计了气溶胶粒子谱仪系统，其包含实时显示存储气溶胶粒径分布等参数的功能。此设备可与无人机等联合使用，可以测量低空垂直气溶胶特性[19-21]。
1. 系统概述
本文中设计的气溶胶粒子谱仪通过检测来自单个粒子的侧向散射光和前向散射光，测量约0.12 μm~3.00 μm范围的大气气溶胶颗粒。气溶胶粒子谱仪由光学系统和信号处理电子系统以及轻型外壳构成。光学系统收集通过激光束的单个粒子散射的光，然后通过光电探测器将光脉冲转换为电脉冲；信号处理电脉冲进行放大、滤波、数字化和分类，存储及传输至上位机处理和显示；上位机软件以1 Hz频率、30 bin的尺寸直方图形式实时显示气溶胶粒子谱图，并计算数浓度、平均直径等参数。在0.12 μm~3.00 μm范围内，散射光强度覆盖了6个数量级以上，超过单个光电探测器的动态范围，因此光学系统中使用两个光电探测器：一个是光电倍增管(photon multiplier tube, PMT)，用于测量小尺寸粒子的侧向散射光信号；另外一个是光电二极管PIN型探测器，用于收集大尺寸粒子的前向散射光信号。
2. 系统设计
气溶胶粒子谱仪的整体光路结构如图 1所示。其中，光源采用405 nm波长的半导体激光器，管芯功率150 mW，固定在一个金属外壳中散热。使用非球面透镜加柱透镜的组合，对半导体激光二极管产生的光束进行整形，压缩光束的发射角，改进光束在粒子散射区的均匀性。最终在散射区形成一个宽度约1.5 mm、厚度约0.2 mm的近似均匀光斑。一个球面反射镜用于收集粒子侧向散射的激光，空气流与反射镜中心的距离约为15.0 mm，该距离决定的最大采集角度范围为40°~140°。反射镜收集的光束通过一个圆孔光阑照射到PMT光敏面上。圆孔光阑可以减少腔体反射和气流瑞利散射造成的背景光。激光束在通过粒子检测区后首先45°入射到一个光密度为3的可见光中性密度滤光片上，吸收掉大部分直射光束。剩余小部分光束被反射到第2个中性密度滤光片上吸收。粒子的前向散射光信号采集角度由第1块滤光片和光收集透镜的尺寸决定，前向散射光的采集角度范围为7°~14°。
粒径分辨率作为仪器的性能指标，与仪器的信号响应表现相关。分析表明，响应信号的幅度分布越窄，对应仪器的粒子信号粒径分辨率越高；不同粒径粒子响应信号重合程度越低，区分不同粒径粒子的能力越强。气路的优化设计是改善仪器分辨率的重要手段。高分辨率仪器的要点之一就是首先保证被测粒子能够单个通过照射区，在此基础上，从计得的脉冲数和采样流量就可以计算出所测样本气体中的颗粒浓度。因此通过光敏区的气流是否稳定直接影响着响应信号的好坏。目前高分辨率仪器中最常采用的气路是带空气保护套(鞘气)的结构，空气保护套使进入照射区的气流分为两个部分：过滤的洁净空气(鞘气)和样本气体(样气)。在粒子穿过照射区时洁净空气包围在粒子流的外围。在保护气套的作用下，采样气流的扩散被抑制，边缘散射减少，能够提高仪器分辨率。同时保护气套还能起到防止采样气体污染光学镜片的作用。带保护气套的气溶胶粒子谱仪气路设置如图 2所示。在采用气泵的作用下，样气通过直径为0.8 mm的采样管吹出，鞘气经过滤后包裹住样气穿过光束，由于样气气流直径小于光束宽度，被测气溶胶全部穿过光束。采用两个流量计分别测量鞘气流量和总气流流量，样气流量为总气流流量与鞘气流量之差。
PMT和PIN探测器输出的电压信号分别经过阻抗匹配后，通过全差分放大器单端转差分电路输出两路相位相反的电压信号进入模数转换器(analog-to-digital converter, ADC), 电压信号经由模数转换为数字信号。选用AD9240高速ADC芯片，其采样率为10×106/s，量化位数为14位，单电源供电，有低功耗的特点。信号处理板的核心芯片采用AMD xc7z020clg400-I。Zynq可扩展处理平台的总架构包含了两个部分：处理器系统(processing system, PS)双核ARM Cortex-A9和可编程逻辑(programmable logic, PL)Artix-7架构28 nm可编程逻辑资源。板载2片双倍速率同步动态随机存储器，单片容量为4 Gbit，总容量为8 Gbit。编写信号判别逻辑程序在PL中，当满足记录条件时，PL中的程序将会自动运行，将ADC输入的信号进行脉冲检测和峰值检测并进行区分。
3. 对标准粒子的响应
为了测试气溶胶粒子谱仪对小粒子的响应和分辨能力，在实验中使用了聚苯乙烯(polystyrene, PSL)微球标准物质作为测试粒子，共6种尺寸，分别为120 nm、140 nm、160 nm、200 nm、280 nm、400 nm。PSL标准物质为单分散交联聚苯乙烯标准微粒悬浮液，用滴管取少量样品，稀释于纯水中，再经气溶胶发生器雾化后喷出，最后通过硅胶干燥管干燥后连接到气溶胶粒子谱仪样气入口进行测试。测量的标准粒子散射信号响应分布如图 3所示。图中, 横坐标为粒子散射信号脉冲幅度，纵坐标显示每个响应区间内的粒子数; 数值为使用标准粒子多次测量后的平均值。对应的气溶胶粒子谱仪输出的粒子计数直方图如图 4所示。
![图 3 标准粒子散射信号响应分布]()
图 3 标准粒子散射信号响应分布Figure 3. Distribution of scattering signal response from standard particles使用了6种尺寸粒子对设计的气溶胶粒子谱仪进行测试。由标准粒子产生的散射响应分布(见图 3)和直方图(见图 4)可知，气溶胶粒子谱仪能够精确地区分120 nm~400 nm粒径之间的多个粒径分布。相比于大尺寸粒子的直方图分布，小尺寸粒子的散射分布较窄。横向比较5种标准粒子产生的响应分布，峰值之间的重合度低，能够较明显区分开来各个粒子的响应，粒径分辨率达20 nm。
系统中接收前向散射光的PIN光电探测器采用紫外增强型硅光电二极管，响应波长范围为200 nm~1100 nm，经测试能够响应的最小粒径为400 nm。由于实验室的气溶胶发生器不能泵出1 μm以上的标准PSL粒子，对PIN响应电压的划分方法是先测试PIN探测器对500 nm、700 nm、800 nm这3种尺寸的PSL粒子的响应，然后根据球形粒子米散射计算软件计算PSL粒子散射光强与粒径的关系曲线，两者拟合之后划分了1 μm以上粒子的响应区间。前向散射光的采集角度范围为设定7°~14°，主要限制因素是光学元件尺寸和系统机械结构尺寸。由于气溶胶粒子谱仪的尺寸标定采用的是PSL标准粒子，因此尺寸的划分只有在测量标准球形PSL粒子是准确的，对于其它非球形PSL的气溶胶粒子的测量结果存在偏差。
图 5展示了气溶胶粒子谱仪的上位机软件界面。软件可显示环境温度、工作温度、采样流量以及气溶胶粒子个数等参数。根据采样流量等参数，可以计算出数浓度、中值直径和有效直径等气溶胶粒子参数。此外，上位机软件还提供了实时观测气溶胶分布变化的功能。用户可以切换界面画布，以便观察和记录过去2 h内气溶胶粒子谱仪的温度、数浓度以及采样流量的变化趋势。图 5中的粒子谱分布数据是1 s时间内的统计结果，在室内进行的测量，空间中主要分布的是小尺寸粒子。
研制的气溶胶粒子谱仪整机如图 6所示。整体采用便携式设计，整机大小为23 cm×26 cm，重量为0.9 kg，可与无人机组成测量系统，测量低空垂直气溶胶特性。系统使用12 V直流供电，也可用锂电池工作，工作功率小于4 W。Handix公司的光学气溶胶探空仪POPS如图 6中左下角所示。测量粒径范围为0.13 μm~3.00 μm，直径分辨率为直径的5%左右，仪器尺寸为27 cm × 23 cm。
在2024-01-17—01-18期间，对研制的粒子谱仪和Handix公司的POPS进行24 h静态对比探测室内环境的气溶胶数浓度, 结果如图 7所示。粒子谱仪的数浓度数目与POPS相近。在数浓度变化时，POPS和粒子谱仪的变化趋势一致。
![图 7 设备与POPS同时连续观测24 h数浓度图]()
图 7 设备与POPS同时连续观测24 h数浓度图Figure 7. Continuous 24 h number concentration map observed simultaneously by the equipment and POPS4. 结论
本文中通过设计光路结构和气路结构、信号处理板电路以及上位机软件, 研制了一种高性能气溶胶粒子谱仪。针对测量0.12 μm~3.00 μm尺寸超过单个探测器的动态范围，使用了两个光电探测器的方案，小粒径粒子使用光电倍增管测量侧向散射光，大尺寸粒子使用光电二极管测量前向散射光。气溶胶粒子谱仪整机尺寸小、重量轻、可单独工作存储数据，也可与上位机通信，实时显示大气气溶胶粒径分布等特征。通过对设备进行标准粒子响应测试、24 h观测对比实验，进一步验证了该设备的高灵敏度、分辨率和可靠性。
-
![]()
图 13 改进KCF算法下跟踪漂移的修正
Figure 13. Tracking drift correction under the improved KCF algorithm
表 1 特征点跟踪误差
Table 1 Tracking errors of feature points
group number of welding average/mm maximum/mm RMS/mm 1 0.279 0.421 0.311 2 0.312 0.476 0.342 3 0.286 0.378 0.327 4 0.341 0.479 0.374 
下载: 导出CSV
-
[1] ROUT A, DEEPAK B, BISWAL B B. Advances in weld seam tracking techniques for robotic welding: A review[J]. Robotics and Computer-Integrated Manufacturing, 2019, 56: 12-37. DOI: 10.1016/j.rcim.2018.08.003
[2] XU Y, FANG G, LV N, et al. Computer vision technology for seam tracking in robotic GTAW and GMAW[J]. Robotics and Computer-Integrated Manufacturing, 2015, 32: 25-36. DOI: 10.1016/j.rcim.2014.09.002
[3] DINHAM M, FANG G. Autonomous weld seam identification and localisation using eye-in-hand stereo vision for robotic arc welding[J]. Robotics and Computer-Integrated Manufacturing, 2013, 29: 288-301. DOI: 10.1016/j.rcim.2013.01.004
[4] LIU J, FAN Z, OLSEN S I, et al. Boosting active contours for weld pool visual tracking in automatic arc welding[J]. IEEE Transactions on Automation Science and Engineering, 2015, 14(2): 1096-1108.
[5] XU Y, LV N, FANG G, et al. Welding seam tracking in robotic gas metal arc welding[J]. Journal of Materials Processing Technology, 2017, 248: 18-30. DOI: 10.1016/j.jmatprotec.2017.04.025
[6] BANAFIAN N, FESHARAKIFARD R, MENHAJ M B. Precise seam tracking in robotic welding by an improved image processing approach[J]. The International Journal of Advanced Manufacturing Technology, 2021, 114: 251-270. DOI: 10.1007/s00170-021-06782-4
[7] XIA L, ZHOU J, XUE R, et al. Real-time seam tracking during narrow gap GMAW process based on the wide dynamic vision sensing method[J]. Journal of Manufacturing Processes, 2023, 101: 820-834. DOI: 10.1016/j.jmapro.2023.06.045
[8] ZHANG Z, MALASHKHIA L, ZHANG Y, et al. Design of Gaussian process based model predictive control for seam tracking in a laser welding digital twin environment[J]. Journal of Manufacturing Processes, 2022, 80: 816-828. DOI: 10.1016/j.jmapro.2022.06.047
[9] ZOU Y, ZHU M, CHEN X. A robust detector for automated welding seam tracking system[J]. Journal of Dynamic Systems, Measurement, and Control, 2021, 143(7): 071001. DOI: 10.1115/1.4049547
[10] ZHAO Z, LUO J, WANG Y, et al. Additive seam tracking technology based on laser vision[J]. The International Journal of Advanced Manufacturing Technology, 2021, 116: 197-211. DOI: 10.1007/s00170-021-07380-0
[11] DU R Q, XU Y L, HOU Zh, et al. Strong noise image processing for vision-based seam tracking in robotic gas metal arc welding[J]. The International Journal of Advanced Manufacturing Technology, 2019, 101: 2135-2149. DOI: 10.1007/s00170-018-3115-2
[12] WANG N, ZHONG K, SHI X, et al. A robust weld seam recognition method under heavy noise based on structured-light vision[J]. Robotics and Computer-Integrated Manufacturing, 2020, 61: 101821. DOI: 10.1016/j.rcim.2019.101821
[13] LI J, LI B, DONG L, et al. Weld seam identification and tracking of inspection robot based on deep learning network[J]. Drones, 2022, 6(8): 216. DOI: 10.3390/drones6080216
[14] GU W P, XIONG Z Y, WAN W. Autonomous seam acquisition and tracking system for multi-pass welding based on vision sensor[J]. The International Journal of Advanced Manufacturing Technology, 2013, 69: 451-460. DOI: 10.1007/s00170-013-5034-6
[15] XU Y L, FANG G, CHEN Sh B, et al. Real-time image processing for vision-based weld seam tracking in robotic GMAW[J]. The International Journal of Advanced Manufacturing Technology, 2014, 73: 1413-1425. DOI: 10.1007/s00170-014-5925-1
[16] 李小刚, 富巍. 基于激光测距的机器人焊缝跟踪研究[J]. 装备制造技术, 2018(6): 161-165. LI X G, FU W. Research on robot welding seam tracking based on laser ranging[J]. Equipment Manufacturing Technology, 2018(6): 161-165(in Chinese).
[17] STEGER C. An unbiased detector of curvilinear structures[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(2): 113-125. DOI: 10.1109/34.659930
[18] SHAH H N M, SULAIMAN M, SHUKOR A Z, et al. Butt welding joints recognition and location identification by using local thresholding[J]. Robotics and Computer-Integrated Manufacturing, 2018, 51: 181-188. DOI: 10.1016/j.rcim.2017.12.007
[19] 曹学鹏, 张弓, 杨根, 等. 面向三维复杂焊缝的焊接机器人焊缝跟踪方法[J]. 工程科学学报, 2023, 45(2): 310-317. CAO X P, ZHANG G, YANG G, et al. Welding seam tracking method of welding robot oriented to three-dimensional complex welding seam[J]. Chinese Journal of Engineering, 2023, 45(2): 310-317(in Chinese).
[20] HENRIQUES J F, CASEIRO R, MARTINS P, et al. High-speed tracking with kernelized correlation filters[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 37(3): 583-596.
[21] KNYAZ V A, ZHELTOV S Y, VISHNYAKOV B V. Robust object tracking techniques for vision-based 3D motion analysis applications[J]. Proceedings of the SPIE, 2016, 9896: 334-342.
[22] ZHOU Y, YANG W, SHEN Y. Scale-adaptive KCF mixed with deep feature for pedestrian tracking[J]. Electronics, 2021, 10(5): 536. DOI: 10.3390/electronics10050536
[23] 吴家洲, 刘君, 施佳文, 等. 激光焊缝图像分割与颜色识别方法研究[J]. 激光技术, 2023, 47(5): 723-728. DOI: 10.7510/jgjs.issn.1001-3806.2023.05.022 WU J Zh, LIU J, SHI J W, et al. Research on image segmentation and color recognition method of laser weld[J]. Laser Technology, 2023, 47(5): 723-728(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2023.05.022
[24] FEI Y, GAO G, WU D, et al. Improved KCF algorithm and its application to target lost prediction[C]//2022 4th International Conference on Intelligent Control, Measurement and Signal Processing (ICMSP). New York, USA: IEEE Press, 2022: 996-1000.
计量
- 文章访问数: 2
- HTML全文浏览量: 0
- PDF下载量: 4