Laser welding steady status recognition method based on correlation analysis and neural network

激光焊接具有焊接变形小、热影响区小、能量密度高、效率高等优点，因此日益广泛地应用于工业生产中^[1-4]。当高强度激光作用于熔融金属时，工件表面发生强烈的蒸发，当蒸发产生的压力超过流体静压和熔体的表面张力，熔体就会被推开产生匙孔，同时金属蒸汽从匙孔喷出^[5-6], 因此产生了液相和气相的剧烈振荡，导致焊接过程极易出现不稳定状态。传统方法提出存在两种焊接状态：稳态和非稳态。FANG对钇铝石榴石固体激光焊接过程的研究表明，在全熔透基础上，匙孔穿透及未穿透两种模式并非突变，而是存在一个两种模式交替出现的过渡区^[7]。这是因为激光焊接过程在多相耦合作用下，存在一种准稳态的自平衡机制，当外界干扰导致参量产生波动时(如激光能量密度减小)，由于干扰幅度较小，不会导致焊接状态直接从稳态突变为非稳态，而是首先体现在某个相态的波动(如金属蒸汽体量减小)，由于该相态对其它相态的作用机制(金属蒸汽减小导致孔内压力降低，引起匙孔深度及开口面积减小)，并最终反作用于参量(匙孔深度减小，导致光束聚焦面积减小，能量密度提高)，使得焊接过程再次恢复到稳定状态。只有当外界干扰持续对焊接过程产生影响，并最终突破准稳态的调控阈值，焊接过程才转为非稳态。在准稳态下，即使没有出现焊接缺陷，各种信号也会出现明显的波动。准确识别焊接过程中的准稳态，对于提早调整工艺参量、避免出现焊接缺陷具有重大意义。

液态熔池和金属蒸汽不是单一地影响焊接稳定性，二者的振荡互相耦合，具有相关性。WANG等人认为，匙孔振荡是诱发金属蒸汽振荡的主要因素^[8]。PANG等人通过建模方法研究了金属蒸汽和匙孔的动态行为，模拟结果表明，金属蒸汽的振荡与匙孔内的气体动力学密切相关^[9]。金属蒸汽蒸发时，从匙孔喷出的颗粒对匙孔壁的能量吸收有影响，这可能影响焊接过程中匙孔的稳定性^[10]。对多相振荡相关性的研究需要获取焊接过程中多种相态的信号，涉及到传感信号的采集技术。光学视觉监测方法目前被广泛使用^[11-12]，通过这种方法可以获得大量可靠的数据，诸如熔池、飞溅和金属蒸汽等多种形态特征。采用深度学习的方法研究激光焊接成为当今研究的热点^[13-14]。GAO等人建立了包括光学信号、光谱信号、X光信号等6路信号的同步传感系统，通过关联分析，从16个关键特征中提取42个原始特征，建立基于关键特征的贝叶斯网络缺陷检测模型，实现对激光焊接状态的实时检测^[15]。MA等人使用卷积神经网络和主动视觉技术自动检测焊缝的典型咬边、炸孔和焊穿缺陷^[16]。HUANG等人通过视觉传感提取熔池正面的形状特征参量和背面熔宽信息作为训练集，建立反向传播神经网络模型有效地预测焊缝的熔透状态^[17]。ZHANG等人利用包括激光成像系统、视觉成像系统、光谱测量仪、光电传感器的多传感器系统分析焊接状态信息，建立深信度网络模型对焊接状态进行监测，该模型具有更高的精度和鲁棒性^[18]。

本文中提出了一种基于多传感信号的相关性及神经网络的焊接稳态识别方法，该方法通过光电传感器获得可见光强度和反射光强度，通过高速摄像机获得匙孔面积和金属蒸汽面积，利用相关分析法计算4种信号特征两两之间的相关系数，研究了信号特征的相关性随焊缝的稳态类型变化的规律。根据稳态类型与信号特征的相关系数的对应关系，对每一组相关系数进行标签分类，相关系数与分类标签作为训练集，构建全连接神经网络进行模型训练，实现了对焊接稳态类型准确的预测。

实验在配备了大功率盘形激光焊接装置通快16002的平台上进行，执行机构为安川六轴机器人，激光焊接装置结构如图 1所示。盘型激光波长为1030nm，激光束直径为300μm，激光功率的范围为2kW~16kW，聚焦位置范围为-4mm~4mm，焊接速率范围为2m/min~4m/min，保护气体为氩气。焊接材料为304不锈钢钢板，厚度为6mm。数据采集系统主要由光电传感器模块和工业成像模块组成。具体来说，扫描激光头通过单向反射镜和聚焦透镜收集来自焊接区的光辐射，并将其传输到光电传感器模块，两个光电传感器为了捕获可见光和反射激光的光强信号，在激光头中预先安装了一个分光镜，来自焊接区域的光信号通过光电二极管盒内的分光镜传输到可见光光电二极管(波长380nm~780nm)和反射激光光电二极管(波长1030nm), 最后经放大后由示波器接收，信号采样频率为500kHz。对于工业成像模块，将一个配备了窄带滤光片(波长为976nm)的高速黑白摄像机安置于与水平方向成60°角的位置，以捕捉焊件上方的匙孔和熔池的图像。为了得到清晰的金属飞溅与金属蒸汽动态图像，将配备了可见光感应滤光片的高速彩色摄像机安装在垂直于焊接方向的位置。高速摄像机的采集帧频为5000frame/s，图像分辨率为512pixel×512pixel。

控制功率变化的焊接实验参量如表 1所示。焊接速率为3m/min，离焦量为-3mm, 保护气流量为30L/min，通过变化功率，获得稳态、准稳态、非稳态3种焊接状态。

金属蒸汽面积提取的图像处理流程如图 2a所示。首先对彩色摄像机拍摄的图片进行感兴趣区域(region of interest, ROI)提取，得到金属蒸汽的图像，周围还有少量细小飞溅；然后对ROI区域进行中值滤波，中值滤波将每一像素点的灰度值设置为该点某邻域窗口内的所有像素点灰度值的中值^[19]，从而消除大部分飞溅造成的孤立噪声点；但是经过中值滤波后无法消除所有飞溅噪声，因此再对滤波后的图像进行二值化和开运算处理。开运算对图像进行先腐蚀后膨胀的操作。腐蚀可以消除边界点，使得边界向内部收缩。膨胀可以将与边界接触的点合并进来，使得边界向外部扩张。经过开运算后可以平滑边界，消除剩余的细小飞溅，但不会明显改变金属蒸汽的面积大小。金属蒸汽的面积通过处理后图像的像素个数和彩色摄像机的像素分辨率(0.012345mm/pixel)的乘积来估计。匙孔面积提取的图像处理流程与金属蒸汽面积提取的流程类似，如图 2b所示。因为匙孔图像中由反光引起的大噪声较多，无法通过中值滤波和开运算完全消除，所以匙孔面积提取比金属蒸汽面积提取多一个ROI提取的步骤。首先获得多幅匙孔区域的图像，然后计算每一幅图像中匙孔区域的外接圆的圆心和半径并得出圆心和半径的均值，即可构建出匙孔区域的外接圆掩模，以实现匙孔的分割和提取。匙孔面积通过处理后图像的像素个数和黑白摄像机的像素分辨率(0.000597mm/pixel)的乘积来估计。

观察上述每一组实验的焊缝表面质量与可见光强、反射光强、匙孔面积以及金属蒸汽面积的幅值波动程度，将焊接状态划分为3种状态。图 3a所示为稳态下4种信号特征的波动图像。每一幅图中间的细窄型曲线显示了每1000个原始数据点幅值的平均值，当焊缝处于稳态时，焊缝表面质量良好，4种信号特征的幅值和均值的波动较为平稳，金属蒸汽面积的波动较其它3种信号特征的波动稍微大一些，但金属蒸汽面积的均值大部分比较平稳，均值的波峰和波谷横跨的时间范围较小。图 3b所示为稳态的状态机理图。匙孔内的压力维持平衡，匙孔与金属蒸汽振荡均匀。

图 4a所示为准稳态下4种信号特征的波动图像。焊缝质量良好，没有明显的缺陷，但信号特征的波动较为剧烈，可见光光强的幅值和均值在0.1s~0.3s时波动剧烈，出现较多较大的峰值；匙孔面积在0.4s~0.65s时波动剧烈；对比稳态下的金属蒸汽面积，准稳态下金属蒸汽面积在整个焊接过程中波动都较为剧烈，均值离散程度大，均值的波峰和波谷横跨的时间范围较大。图 4b所示为准稳态的状态机理图。激光功率增加使匙孔内的压力增大，匙孔的振荡和金属蒸汽振荡更剧烈，金属蒸汽体量有所增加，可见光强也增加。

图 5a所示为非稳态下4种信号特征的波动图像。焊缝表面质量明显不佳，4种信号特征的波动非常剧烈，方框区域1中4种信号特征的幅值先增后减，焊缝出现焊瘤缺陷，方框区域2中4种信号特征的幅值上下来回振荡，焊缝出现凹陷缺陷。图 5b所示为非稳态的状态机理图。匙孔内的压力增大，使得匙孔的振荡非常剧烈，匙孔的振荡导致喷出的金属蒸汽振荡也非常剧烈，并且熔池向上凸起和向下收缩的幅度更大，易产生焊瘤和凹陷缺陷。根据焊缝的表面质量与各种信号特征的幅值和均值波动的情况，可以基本判别焊缝所处的稳态类型。

在焊接过程中，各种信号会相互耦合，信号的变化具有一定的相关性，而焊接信号的相关性间接反映了焊接质量。为了量化焊接过程的不同状态，利用信号相关分析法。相关性系数可以用来统计两个变量之间的相关性。信号X与信号Y的相关系数可以描述为：

式中，X和Y分别为矩阵X_i和矩阵Y_i的均值，i为当前变量的数据点序号，n为当前变量的数据点总个数，相关系数r的取值范围是[-1, 1]。

根据上述焊缝状态分析的方法，对11组实验的焊后状态进行划分，图 6所示为各信号特征之间的相关性随激光功率的变化情况。除了可见光强与反射光强的相关系数随功率变化没有明显规律外，其它信号特征之间的相关系数随功率的增加总体上呈上升趋势，但各信号特征之间的相关系数并非单调递增。激光功率为7kW和12kW时焊缝各信号特征之间的相关系数出现拐点，因为激光功率为7kW和12kW时焊缝处于准稳态，7kW前后的两组焊缝处于稳态，12kW前后的两组焊缝处于非稳态。关注激光功率为7kW处的前后图像，当焊缝从稳态变为准稳态，各信号之间的相关系数增加；当焊缝从准稳态变为稳态，各信号之间的相关系数减少。关注激光功率为12kW处的前后图像，当焊缝从非稳态变为准稳态，各信号之间的相关系数减少；当焊缝从准稳态变为非稳态，各信号之间的相关系数增加。值得注意的是，当激光功率为8kW, 9kW和10kW时，焊缝分别处于稳态、准稳态和非稳态，各信号特征之间的相关系数均单调递增，其变化趋势与前述7kW和12kW处相关系数随不同稳态的变化趋势一致。因此可以看出，焊缝各信号特征的相关系数与焊缝的稳态有着密切的联系。

焊缝各信号特征之间的相关系数随功率的变化规律不显著，随稳态的变化具有一定规律。为了研究焊缝稳态类型的变化对各信号特征相关性的影响，对图 6中激光功率从7kW~12kW之间的数据点进行平移，处于稳态的数据点向前移动，处于非稳态的数据点向后移动，处于准稳态的数据点置于稳态和非稳态之间，根据稳态的类型重新排布图像，使处于同一稳态类型的数据点相邻显示，图 7所示为各信号特征之间的相关系数随焊缝稳态类型的变化情况。

图 7a为可见光强与反射光强的相关系数随稳态的变化情况。可见光强与反射光强的相关系数随功率变化的范围很小，数值在0.3~0.4之间波动，属于弱相关，可见光强与反射光强的相关性无法区分焊缝处于哪一种稳态。图 7b为可见光强与匙孔面积的相关系数随稳态的变化情况。当焊缝处于稳态，相关系数的范围为(0，0.1)；当焊缝处于准稳态，相关系数的范围为(0.1，0.2)，焊缝处于稳态和准稳态时可见光强与匙孔面积均极弱相关；当焊缝处于非稳态，相关系数在0.4上下细微波动，可见光强与匙孔面积中等程度相关。图 7c为可见光强与金属蒸汽面积的相关系数随稳态的变化情况。当焊缝处于稳态，相关系数趋近于0，可见光强与金属蒸汽面积不相关；当焊缝处于准稳态，相关系数的范围为(0.1，0.25)，可见光强与金属蒸汽面积极弱相关；当焊缝处于非稳态，相关系数的范围为(0.4，0.5)，可见光强与金属蒸汽面积中等程度相关。图 7d为反射光强与匙孔面积的相关系数随稳态的变化情况。当焊缝处于稳态和稳准态，相关系数趋近于0，反射光强与匙孔面积不相关；当焊缝处于非稳态，相关系数的范围为(0.1，0.2)，反射光强与匙孔面积极弱相关。图 7e为反射光强与金属蒸汽面积的相关系数随稳态的变化情况。当焊缝处于稳态，相关系数趋于0，反射光强与金属蒸汽面积不相关；当焊缝处于准稳态，相关系数的范围为(0，0.2)，反射光强与金属蒸汽面积极弱相关；当焊缝处于非稳态，相关系数的范围为(0.1，0.2)，反射光强与金属蒸汽面积极弱相关。图 7f为匙孔面积与金属蒸汽面积的相关系数随稳态的变化情况。当焊缝处于稳态，相关系数的范围为(0.2，0.3)，匙孔面积与金属蒸汽弱相关；当焊缝处于准稳态，相关系数的范围为(0.4，0.5)，匙孔面积与金属蒸汽面积中等程度相关；当焊缝处于非稳态，相关系数的范围为(0.6，0.7)，匙孔面积与金属蒸汽面积强相关。

根据以上分析发现，除了可见光强与反射光强的相关性无法区分不同稳态外，焊缝的其它信号特征之间的相关性随着稳态、准稳态、非稳态3个层级依次递增，在各自的稳态类型内，各信号特征之间的相关性在一定的范围内波动。匙孔面积和金属蒸汽面积的相关性能明显区分稳态和准稳态。可见光强与匙孔面积的相关性、可见光强与金属蒸汽面积的相关性、匙孔面积与金属蒸汽面积的相关性都能明显区分准稳态和非稳态。

传统的激光焊接状态预测模型通常将传感器采集的熔池、飞溅、金属蒸汽等信号特征直接作为模型的输入来进行训练，根据第2节中的分析可知，当焊接状态从稳态向准稳态、非稳态转变时，焊接过程中的各种信号的相关性会不断增强。当输入的特征之间的相关性越高，则模型的泛化性能越差^[20]。如果将传感器捕获的原始信号物理特征作为模型的输入，则模型对稳态的预测效果较好，但对非稳态的预测效果会较差。因此本文中将采用不同信号特征之间的相关系数作为模型的输入，而不选择用原始信号的物理特征，以避免不同稳态时原始信号物理特征之间相关性不同而导致的模型对不同稳态类型的预测性能不同。

为了获得足够的训练集和测试集，每500个数据点计算一次不同信号特征之间的相关系数，由于在焊接开始和结束时焊接速度会发生变化，导致相关系数异常，因此这些相关系数被剔除，最终提取出5926组训练数据，643组测试数据。不同稳态类型的数据集数量如表 2所示。

神经网络模型的结构如图 8所示。输入层有6个神经元，分别为可见光强、反射光强、匙孔面积、金属蒸汽面积4种信号特征两两之间的相关系数，隐藏层有3层，神经元个数分别为512个、256个和128个，输出层为焊缝3种不同的稳态类型。模型的超参量分别是：训练轮数40轮，学习率0.001，每批次的数量(batch size)为24。此外，训练集划分出1/10用作验证集，验证集不参与训练，每一轮训练后，用验证集验证模型的预测性能。

每一个输入数据在每一层神经元中传递时需经过如下表达式的变换：

式中，矩阵Y为一层神经元的输出，矩阵X_j为输入的相关系数值，矩阵W_j为权重，b为偏置，j为当前的样本序号，m为训练集总样本数，φ为激活函数。3个隐藏层之间使用的激活函数是线性整流函数(rectified linear units，ReLU)，其表达式为：

式中，x是自变量。最后一个隐藏层与输出层之间使用的激活函数是归一化指数函数(别名softmax函数)，其表达式为：

式中，C为输出类别的个数，y_k为第k个输出类别的输出值，y_l为第l个输出类别的输出值，q_k为第k个输出类别的预测概率值。一组相关系数值输入后经过隐藏层计算，再通过softmax函数得出该组输入数据对应稳态、准稳态和非稳态3个输出类别的预测概率值，3个概率值加和为1，概率值最大的输出类别即为模型预测的类别。每经过一轮的训练，都要计算一次损失函数，用以调整权重矩阵W_j和偏置b。损失函数采用交叉熵损失函数，表达式为：

式中，L(p, q)为损失函数值，p_k为第k个输出类别的实际概率值(1或者0)。从后往前逐层计算损失函数分别对权重和偏置的偏导数，原始权重减去损失函数对权重W_j的偏导数与学习率的乘积得到更新的权重，原始偏置减去损失函数对偏置b的偏导数与学习率的乘积得到更新的偏置。焊接稳态识别模型重复以上权重和偏置更新的过程，使损失函数值不断减小，以完成模型对稳态类型预测的学习过程。

焊接稳态类型识别模型的训练过程如图 9所示。在训练28轮之后，训练准确率和验证准确率已经达到收敛，此时训练准确率为99.4%，验证准确率为98.96%。

使用该焊接稳态识别模型对643组测试数据进行预测，预测结果如表 3所示。对稳态的预测准确率达到99.75%，对准稳态的预测准确率达到99.44%，对非稳态的预测准确率达到99.23%，结果表明，此模型对不同稳态类型的预测性能十分接近，并且整体的预测准确率达到98.76%。经检验，基于相关系数和神经网络构建的焊接稳态识别模型能够准确地根据焊缝各种信号特征之间的相关性，对焊缝所处的稳态类型进行识别。

为了解决在焊接过程中识别准稳态、避免出现非稳态的问题，利用相关分析的方法，对焊缝的光学和视觉特征信号的相关性进行研究，结果表明，随着稳态类型从稳态向准稳态、非稳态转变时，除了可见光强与反射光强的相关性没有明显变化外，焊缝其它信号特征之间的相关性依次递增，可见光强、匙孔面积、金属蒸汽面积3种信号特征两两之间的相关性可明显区分3种稳态。将信号特征的相关系数与稳态类别作为训练集，基于全连接神经网络构建了焊缝稳态识别模型，该模型对焊缝稳态类型的识别准确率在测试集上整体达到98.76%，具有较高的识别精度。