A laser vision sensing method for seam tracking based on an improved TLD algorithm
-
摘要: 为了解决基于线激光视觉传感的焊缝中心位置定位精度不高的问题, 采用了一种基于改进跟踪-学习-检测(TLD)算法的焊缝跟踪方法。由激光视觉传感器实时获取焊缝图像, 采用将跟踪器与检测器结合的TLD算法实时跟踪焊缝特征点, 同时通过在线学习机制更新分类器参量。在此基础上对激光条纹图像截取感兴趣区域, 大幅减少检测器的搜索区域; 根据激光条纹光强分布特性, 结合纠偏方向选取跟踪器有效特征点, 以此提高算法效率, 对不锈钢板V型焊缝和搭接焊缝进行跟踪试验。结果表明, 跟踪与检测可实现共同定位焊缝中心位置, 其融合的焊缝跟踪方法能够准确地提取焊缝特征点, 两种焊缝跟踪平均绝对误差分别为0.062mm和0.052mm。此方法为提高焊缝跟踪精度提供了依据。
-
关键词:
- 图像处理 /
- 焊缝跟踪 /
- 跟踪-学习-检测算法 /
- 激光视觉
Abstract: In order to solve the problem of low positioning accuracy of the weld seam center based on line laser vision sensing, a seam tracking method based on an improved tracking-learning-detection (TLD) algorithm was adopted. The weld images were acquired in real time during the weld seam tracking. The TLD algorithm combining the tracker (tracking) and the detector (detection) was adopted to track weld feature points in real time and the online learning mechanism (learning) was adopted to update the classifier parameters, so as to improve the accuracy of seam tracking. On this basis, the region of interest (ROI) was intercepted from the laser stripe images, which greatly reduced the detector's search area. The effective feature points of the tracker were selected to improve the efficiency of the algorithm according to the characteristics of the light intensity distribution of the laser stripe in combination with the rectifying direction. The V-shaped weld and the lapped weld of the stainless steel plate were tracked. The results indicate that the location of the seam center can be achieved by tracking and detecting and the fusion weld tracking method can accurately extract weld feature points. The mean absolute tracking errors of both weld seams were 0.062mm and 0.052mm. This method provides the basis for improving the accuracy of weld seam tracking.-
Keywords:
- image processing /
- seam tracking /
- TLD algorithm /
- laser vision
-
引言
强激光场与原子、分子相互作用可以产生许多非线性光学现象。高次谐波(high-order harmonic generation, HHG)作为其中一种非常重要的现象在探测原子、分子内电子运动以及产生孤立阿秒脉冲中起到非常重要的作用并被广泛研究[1-3]。
目前,高次谐波的辐射过程可由半经典的三步模型[4]来描述。例如:束缚电子首先由隧道电离进入连续态(第1步:电离过程);随后电子在激光场的作用下加速并远离核子(第2步:加速过程);最后电子在激光场驱动下反向加速与核子发生碰撞并辐射高次谐波(第3步:回碰过程)。对于原子体系来说,三步模型可以很好地解释谐波辐射过程。但对于分子体系,由于体系多出的核自由度,分子中电子的电离以及回碰与原子相比有很大的不同,进而导致一些分子谐波特有的现象。例如:多光子电离[5]、电荷共振增强电离[6]、离解态电离[7]在谐波辐射中的贡献;多通道谐波辐射[8];谐波红移[9];谐波蓝移[10];谐波辐射的空间分布[11]等。
最近,随着远紫外(extreme ultraviolet, XUV)光源的发展,利用XUV光源调控谐波过程得到了很多关注。例如:作者[12]利用超短XUV光源驱动He原子增强谐波强度,并获得1个脉宽为43as的孤立阿秒脉冲。ZHANG等人[13]利用XUV光源与双色激光场的组合场驱动He+离子获得了一个47as脉冲。随后,这种利用超短XUV光源增强谐波辐射强度的方案被TAKAHASHI等人[14]实验证实。但是上述方法中都是用XUV光源驱动原子体系,并且都是用于控制三步模型中的电离过程,即利用XUV光源增大电离几率,进而增强谐波辐射强度。
因此,鉴于上述原因,本文中研究了H2+在红外激光与远紫外激光场驱动下谐波辐射的过程,并且通过经典与量子的分析给出了由于远紫外光源的加入所导致的多重谐波截止能量以及谐波频移的原因。若无说明,本文中采用原子单位(atomic units,a.u.)。
1. 计算方法
i∂ψ(z,R,t)∂t=[−1mp∂2∂R2−2mp+14mp∂2∂z2+V(z,R)+(1+12mp+1)zE(t)]ψ(z,R,t) (1) 式中,mp,R,z分别为核质量、核间距与电子坐标; t是时间; V(z,R)=1/R−1/√(z−R/2)2+1−1/√(z+R/2)2+1为H2+势能; ψ(z,R,t)为电子波函数。激光场形式为:
E(t)=E1exp[−4ln(2)(t/τ1)2]cos(ω1t)+EXUVexp{−4ln(2)[(t−td)/τXUV]4}×cos[ωXUV(t−td)] (2) 式中,E1,ω1,τ1为红外(infrared, IR)场振幅、频率和半峰全宽; EXUV,ωXUV,τXUV为XUV光源的振幅、频率和半峰全宽; td为两束激光场的延迟时间。
高次谐波频谱图可表示为:
S\left( \omega \right) = |\frac{1}{{\sqrt {2{\rm{ \mathsf{ π} }}} }}\smallint a\left( t \right){{\rm{e}}^{{\rm{ - i}}{\omega _1}t}}{\rm{d}}t|{^2} (3) 式中, a\left( t \right) = - \left\langle {\psi \left( {z, R, t} \right)|\frac{{\partial V(z, R)}}{{\partial z}} + E\left( t \right)|\psi \left( {z, R, t} \right)} \right\rangle 为偶极加速度[21],ω为谐波频次。由于谐波辐射能E=hω,h为普朗克常量。因此在本文中,通过分析谐波阶次ω/ω1来讨论截止能量。
2. 结果与分析
图 1中给出H2+在单色10fs/800nm IR场以及该IR场与6fs/30nm XUV光源的组合场分别驱动下谐波辐射的特点。IR场场强为I1=4.0×1014W/cm2,XUV光源的场强为IXUV=1.0×1014W/cm2以及IXUV=1.0×1015W/cm2。两束激光场延迟时间为零。由图可知,在单色IR场驱动下,谐波光谱呈现经典的截止能量,即Ip+3.17Up(标记为“1”), 其中Ip是H2+的电离势, Up=I/4ω12为自由电子的有质动力势。当XUV光源的加入后,谐波光谱呈现2个明显特点:(1)第26阶谐波(H26)的强度被明显增强;(2)谐波截止能量明显延伸,形成能量间隔为XUV光子能量(ωXUV)的多重谐波截止能量。并且随着XUV光源强度增大,可以获得更多的截止能量, 但是其强度会逐渐减小。例如:当IXUV=1.0×1014W/cm2,谐波截止能量只延伸1个ωXUV,标记为“2”;当IXUV=1.0×1015W/cm2,谐波截止能量可以延伸2个ωXUV,标记为“3”。对于H26的增强现象很好理解,这是由于选用的XUV光源能量与H26能量相近形成了共振增强电离现象。对于多重谐波截止能量的延伸,作者认为是由于电子在回碰过程中吸收额外的XUV光子所形成的。但是由三步模型可知,谐波截止能量的延伸可以发生在电离-加速-回碰中的任何一步,因此,为了证明上述观点,本文中做了如下分析。
图 2a~图 2c中给出H2+在单色IR场以及上述组合场下的电离几率。T表示800nm激光场光学周期。由图可知,XUV光源的加入对H2+电离影响很小。因此,多重谐波截止能量延伸不可能发生在电离过程。图 3a~图 3c是电子波包随时间的演化图。从图中可知,在单色IR场下(见图 3a),电子加速最远可以运动到35a.u.,这与经典结果xmax=E1/ω12是一致的。随着XUV光源的加入可见(见图 3b和图 3c),电子加速的最远距离几乎保持不变,这说明多重谐波截止能量的延伸不是在加速过程中产生的。由此可见,多重谐波截止能量的延伸只能产生于回碰过程。
为了进一步证明此观点以及理解分子谐波辐射过程,图 4中给出了上述激光场的波形。H2+在激光场驱动下辐射谐波的时频分析图[22],谐波光谱随核间距R的变化关系以及核间距R随时间的演化图。在单色IR场下(见图 4a~图 4d),由三步模型可知,电子电离可以发生在激光场振幅附近,即第1个~第7个电离时刻i1~7附近;随后电子在激光场中加速,并在激光场反向时与母核发生回碰辐射谐波,即第1个~第7个回碰时刻r1~7附近(见图 4a)。因此在谐波辐射时频分析图中可以观测到7个主要的谐波辐射过程,即第1个~第7个辐射能量峰P1~7(见图 4b)。为了更好地说明谐波辐射过程,基于牛顿方程的经典电子回碰能 K\left( t \right) = \frac{1}{2}{[\int {} E(t){\rm{d}}t]^2}也在图 4b中给出。可见,经典结果与量子结果符合得很好。分析图 4c和图 4d可知,谐波辐射主要发生在R=2.0a.u.到R=15.0a.u.区间。具体来说:(1)当t < -2.25T时(T表示800nm激光场周期),由于激光强度较弱,H2+不能被充分电离,因此导致在较小核间距下的1sσg态和2pσu态之间的拉比共振[23],这也是当R < 3.0a.u.时只有低阶谐波产生的原因; (2)随着激光在-2.25T < t < 0.75T时达到峰值,电离几率以及核运动逐渐增大,进而多光子共振电离在4.0a.u. < R < 6.0a.u.区间起主要作用,这是导致高阶谐波在4.0a.u. < R < 6.0a.u.产生的原因; (3)当0.75T < t < 2.25T时,虽然激光强度逐渐减小,但是由于随着R的增大,H2+的电离能逐渐减小,因此导致6.0a.u. < R < 10.0a.u.区间的电荷共振增强电离以及谐波辐射过程; (4)随着激光继续与H2+作用,虽然核间距可以延伸到更远的距离,例如:R>10.0a.u.,即离解态电离区间,但是由于激光强度迅速减小,因此只导致低阶谐波在此区间产生。对于组合场的情况(见图 4e~图 4h和图 4i~图 4l),分析图 4e和图 4i可知,第2个~第6个电离时刻i2~6与回碰时刻r2~6被XUV光源覆盖,因此当加速电子返回母核回碰的过程中,由于XUV光源的作用,电子有几率在回碰过程中再吸收XUV光子,进而增大了回碰能,同时导致辐射出更高能量的谐波。为了证明上述分析过程,图 4f和图 4j中分别给出XUV光源强度为IXUV=1.0×1014W/cm2和IXUV=1.0×1015W/cm2时,组合场驱动H2+辐射谐波的时频分析图以及解经典牛顿方程得出的经典回碰能,其中,图 4f中两条曲线由上到下分别表示回碰能为K(t)以及K(t)+ωXUV;图 4j中3条曲线由上到下分别表示回碰能为K(t),K(t)+ωXUV以及K(t)+2ωXUV。由图可知,当XUV光强较弱时(见图 4f),电子在r2~6时刻回碰时会吸收1个XUV光子,导致P2~6的谐波截止能量以ωXUV的间隔延伸了1个XUV光子的能量。随着XUV光源强度增强(见图 4j),电子在r2和r6时刻回碰时吸收XUV光子的几率增大,但依然只能吸收1个XUV光子,因此导致P2和P6的谐波截止能量只以ωXUV的间隔延伸了1个XUV光子的能量。但当电子在r3~5时刻回碰时,由于电离几率的增大以及较强的XUV光强,电子会吸收2个XUV光子,因此导致P3~5的谐波截止能量光谱呈现出Ip+3.17Up+2ωXUV的多重谐波截止能量延伸。但是由于每多吸收一个XUV光子的几率都会下降,因此导致多重谐波截止能量的强度呈阶梯形状的下降趋势。分析图 4g、图 4h和图 4k、图 4l可知,谐波辐射的贡献依然来自4个部分,即,Rabi振荡(R < 3.0a.u.)、多光子共振电离(4.0a.u. < R < 6.0a.u.)、电荷共振增强电离(6.0a.u. < R < 10.0a.u.)以及离解态电离(R>10.0a.u.),并且多重谐波截止能量主要出现在多光子共振电离区间。
图 5a中给出了改变XUV光源延迟时间后对多重谐波截止能量的影响。其中XUV光强为IXUV=1.0×1015W/cm2。计算结果表明,当延迟时间在-0.5T≤td≤0.5T时,谐波光谱可以呈现出多重谐波截止能量。但当td>0.5T时,谐波光谱的多重截止能量会逐渐消失。这里只给出td=±0.5T和td=±1.0T时的谐波谱图。图 5b中给出了XUV光源延迟时间对谐波频移的影响。由图可知,当td < 0或td>0时,谐波光谱呈现蓝移或者红移的现象(例如H11和H13)。
为了解释上述现象,图 6是上述激光场的波形图以及谐波辐射的时频分析图。由图可知,当延迟时间在td=-0.5T(见图 6c和图 6d)或td=0.5T时(见图 6e和图 6f),电子回碰的r1~5时刻或r2~7时刻依然可以被XUV光源的主体覆盖,因此电子在回碰时依然可以吸收XUV光子,进而导致多重谐波截止能量的延伸。但当延迟时间在td=-1.0T(见图 6a和图 6b)或td=1.0T(见图 6g和图 6h)时,XUV光源的主体只覆盖激光包络的上升区间(r1,r2)或下降区间(r5~7),因此电子在回碰过程r1,r2或r5~7时可以吸收XUV光子,进而导致谐波辐射过程P1,P2或P5~7的能量延伸。但是由于其延伸能量小于或只略大于经典的谐波截止能量(Ip+3.17Up),因此在谐波光谱中多重谐波截止能量的现象消失了。由三步模型可知,在激光场的上升区间(dI(t)/dt>0),由于激光强度的持续增强,后电离的电子会获得更多的能量,进而导致谐波光谱的蓝移;相反在激光场的下降区间(dI(t) /dt < 0),由于激光强度的持续减小,后电离的电子将获得较低的能量,进而导致谐波光谱的红移[9-10]。分析谐波辐射的时频分析图可知,当td < 0时,激光上升区间的谐波辐射强度增强,因此导致谐波光谱的蓝移;当td>0时,激光下降区间的谐波辐射强度增强,因此导致谐波光谱的红移。
3. 结论
理论研究了H2+在红外激光与远紫外激光场驱动下谐波辐射的特点。结果表明,谐波辐射的贡献分别来源于拉比振荡、多光子共振电离、电荷共振增强电离以及离解态电离。随着远紫外光的加入,谐波光谱呈现能量间隔为远紫外光子能量的多重谐波截止结构。适当调节远紫外光与红外激光场的延迟时间,谐波光谱呈现蓝移和红移的现象。
非常感谢中国科学院大连化学物理研究所韩克利研究员所提供的计算资源。
-
Table 1 Data statistics of testing results for V-shaped weld tracking
algorithm mean absolute
error/mmmaximum absolute
error/mmmean square
error/mmtraditional algorithm 0.094 0.427 0.295 improved TLD algorithm 0.062 0.237 0.118 Table 2 Data statistics of testing results for lapped weld tracking
algorithm mean absolute
error/mmmaximum absolute
error/mmmean square
error/mmtraditional algorithm 0.069 0.349 0.157 improved TLD algorithm 0.052 0.235 0.087 -
[1] GU J, ZHANG L L, WANG J Ch. Application of machine vision in automatic welding[J]. Applied Laser, 2018, 38(6): 1038-1043(in Chinese). http://en.cnki.com.cn/Article_en/CJFDTotal-YYJG201806023.htm
[2] DING Y Y, HUANG W, KOVACEVIC R. An on-line shape-match-ing weld seam tracking system[J]. Robotics and Computer-Integrated Manufacturing, 2016, 42: 103-112. DOI: 10.1016/j.rcim.2016.05.012
[3] ZOU Y B, CHEN X Zh, GONG G J, et al. A seam tracking system based on a laser vision sensor[J]. Measurement, 2018, 127: 489-500. DOI: 10.1016/j.measurement.2018.06.020
[4] GAO X D, LIU Y Y, LAN Ch Zh, et al. Laser-induced infrared characteristic analysis for evaluating joint deviation during austenitic stainless steel laser welding[J]. International Journal of Advanced Manufacturing Technology, 2017, 88(5/8): 1877-1888. DOI: 10.1007%2Fs00170-016-8892-x
[5] SHEN H Y, LIN T, CHEN Sh B, et al. Real-time seam tracking technology of welding robot with visual sensing[J]. Journal of Intelligent and Robotic Systems, 2010, 59(3/4): 283-298. DOI: 10.1007/s10846-010-9403-1
[6] GAO X D, CHEN Y Q, YOU D Y, et al. Detection of micro gap weld joint by using magneto-optical imaging and Kalman filtering compensated with RBF neural network[J]. Mechanical Systems and Signal Processing, 2017, 84: 570-583. DOI: 10.1016/j.ymssp.2016.07.041
[7] MA N J, GAO X D, ZHOU X H, et al. Analysis of magneto-optical imaging characteristics of weld defects under magnetic field excitation[J]. Laser Technology, 2018, 42(4): 97-102(in Chinese).
[8] LU X Q, GU D X, WANG Y D, et al. Feature extraction of welding seam image based on laser vision[J]. IEEE Sensors Journal, 2018, 18(11): 4715-4724. DOI: 10.1109/JSEN.2018.2824660
[9] SHAO W J, HUANG Y, ZHANG Y. A novel weld seam detection method for space weld seam of narrow butt joint in laser welding[J]. Optics & Laser Technology, 2018, 99: 39-51. http://www.sciencedirect.com/science/article/pii/S003039921730693X
[10] FAN J F, JING F Sh, FANG Z J, et al. Automatic recognition system of welding seam type based on SVM method[J]. The International Journal of Advanced Manufacturing Technology, 2017, 92(1/4): 989-999. DOI: 10.1007/s00170-017-0202-8
[11] LIN Sh D, GAO X D, LI Y J, et al. Weld deviation prediction algorithm based on neural network compensation Kalman filter[J]. A-pplied Laser, 2018, 38(6): 940-945(in Chinese). http://en.cnki.com.cn/Article_en/CJFDTOTAL-YYJG201806008.htm
[12] DU R Q, XU Y L, HOU Zh, et al. Strong noise image processing for vision-based seam tracking in robotic gas metal arc welding[J]. International Journal of Advanced Manufacturing Technology, 2019, 101(5/8): 2135-2149.
[13] ZOU Y B, ZHOU W L, WANG Y B. Laser vision seam automatic tracking based on probability continuous model[J]. Journal of Mechanical Engineering, 2017, 53(10): 70-78(in Chinese). DOI: 10.3901/JME.2017.10.070
[14] ZOU Y B, CHEN T. Laser vision seam tracking system based on i-mage processing and continuous convolution operator tracker[J]. Optics and Lasers in Engineering, 2018, 105: 141-149. DOI: 10.1016/j.optlaseng.2018.01.008
[15] MENG L, YANG X. A survey of object tracking algorithms[J]. Acta Automatica Sinica, 2019, 45(7): 1244-1260(in Chinese). http://en.cnki.com.cn/Article_en/CJFDTotal-MOTO201907003.htm
[16] LIN Sh D, GAO X D, LI Y J, et al. Weld feature extraction and location based on corner detection and optical flow tracking[J]. Journal of Mechanical & Electrical Engineering, 2019, 36(4): 440-444(in Chinese).
[17] MA B, LIN Sh D, ZHANG N F, et al. Weld seam tracking method based on slope characterization and Kalman filter[J]. Journal of Mechanical & Electrical Engineering, 2020, 37(2): 206-210(in Chin-ese).
[18] ZOU Y B, WANG Y B, ZHOU W L. Research on line laser seam tracking method based on Guassian kernelized correlation filters[J]. Applied Laser, 2016, 36(5): 578-584(in Chinese). http://en.cnki.com.cn/Article_en/CJFDTOTAL-YYJG201605014.htm
[19] ZOU Y B, LAN R, WEI X Zh, et al. Robust seam tracking via a deep learning framework combining tracking and detection[J]. A-pplied Optics, 2020, 59(14): 4321-4331. http://med.wanfangdata.com.cn/Paper/Detail/PeriodicalPaper_PM32400408
[20] KALAL Z, MIKOLAJCZYK K, MATAS J. Tracking-learning-detection[J]. IEEE Transactions on Software Engineering, 2011, 34(7): 1409-1422. http://ieeexplore.ieee.org/document/6104061
[21] MA B, GAO X D, ZHANG N F, et al. Research on 3-D reconstruction method of multi-layer single-pass arc additive manufacture surface[J]. Laser Technology, 2020, 44(3): 321-325(in Chinese). http://www.researchgate.net/publication/335738389_Research_on_3D_Reconstruction_Method_of_Multi-layer_Single-pass_Arc_Additive_manufacture_Surface
[22] MAO X B, ZHOU X D, LIU Y H. Improved TLD object tracking algorithm based on fast feature points[J]. Journal of Zhengzhou University (Engineering Science Edition), 2018, 39(2): 1-5(in Chin-ese).
[23] LI Ch M, BAI H Y, GUO H W, et al. Moving object detection and tracking based on improved optical flow method[J]. Chinese Journal of Scientific Instrument, 2018, 39(5): 249-256(in Chinese). http://en.cnki.com.cn/Article_en/CJFDTotal-YQXB201805030.htm
-
期刊类型引用(2)
1. 成晋军,张晓娟,樊东燕. 实验室投影融合设备的红外辐射光谱检测方法. 激光杂志. 2021(07): 37-40 . 百度学术
2. 聂丰英,吴丽华. 车载红外热成像图像处理系统的构建. 激光杂志. 2020(07): 123-127 . 百度学术
其他类型引用(0)