Study on the robustness of spot center based on adaptive region

在光学测量方法中，如激光扫描三角测量法^[1]、激光准直测量法^[2]等，通常需要配备光学系统, 用以光电跟踪和测量。其中激光光斑中心检测^[3-4]是激光检测系统中的关键技术，特别是在长距离测量中存在更多的色散、随机噪声和干扰光，因此最终检测结果直接受激光光斑中心定位精度的影响^[5]。常用的激光光斑中心检测算法包括质心法^[6]、霍夫变换方法^[7]、圆拟合方法^[8]、空间矩算法^[9-10]和重力法^[11]等。质心法和重心法要求激光光斑图像均匀分布且边缘清晰，否则会导致较大的误差。霍夫变换方法需要对图像边界点进行逐点投票，因此需要花费较长的计算时间以及较大的存储空间，同时检测精度也较低。这3种方法都具有较差的抗干扰能力。空间矩算法利用边缘的灰度空间矩来检测具有亚像素位置的边缘，但它的计算过程包括6个模板和原始图像之间的卷积，过于复杂和缓慢。在实际应用中，激光光斑图像会受到较大的噪声干扰^[12-13]，有两个主要的噪声源：一个是由于电荷藕合器件(charge coupled device, CCD)的热噪声; 另一个是图像传感器的模噪声及模数转换(analog-to-digital，A/D)噪声等导致的具有大灰度的离散单像素点。同时由于远距离的传播和环境背景光的影响，激光光斑图像与许多不同频率的噪声混合，使图像轮廓模糊，图像质量差，信噪比低^[14]。这些噪声对激光光斑中心的检测有很大影响^[15]。其中在强光背景下，背景光影响的程度更加严重。当硬件措施无法完全消除噪声^[16-17]时，可以优化软件来解决问题。传统模板匹配算法对噪声具有较好的鲁棒性，然而因计算时间较长，因此有必要对其进行改进，以提高计算效率。

本文中主要研究强光照背景噪声下激光光斑中心的检测方法。该方法在圆拟合算法的基础上进行了改进，提高了算法的抗干扰能力和检测效率，给出了矩阵实验室(matrix laboratory, MATLAB)的仿真结果和分析, 提出了光致图像劣化的现象, 同时提出了克服这个问题的策略, 即自适应感兴趣区域(region of interest, ROI)，并使用提出的策略进行了实验验证。

在不利的光照条件下，激光光斑中心可能会被错误地检测到，特别是在野外测试中。直射阳光或反射光会导致捕获的激光光斑的图像质量显著降低。这种退化可能导致亮度不平衡、边缘的损失或特征形状的改变，这将导致激光光斑中心的错误定位。参考文献[18]中，在实验室昏暗的条件下解决了这一问题。但是，仍需要进一步研究激光光斑在过度曝光时的影响。

在本文中，对激光光斑受到不利光照现象进行了详细描述。

为了更好地说明，现以实验室中获得的混凝土背景和模拟激光光斑的合成图像(429pixel×433pixel)来进行说明(如图 1所示)。使用激光光斑进行追踪定位的典型方法是找到由混凝土背景包围的红色激光的质心。这可以通过对图像进行二值化获得边缘后，对其进行圆拟合来找到。图 1a中所示的清晰图像，红色激光可以成功地与背景分离。相反，如图 1b所示，当图像具有不平衡的亮度时(即一些背景像素比激光亮)，二值化处理不能把红色激光分离出来，将导致对圆心的错误估计。因此必须控制这种与光照有关的问题。

Figure 1.  Image binarization for feature detection by Otsu threshold

为了有效地解决第1节中描述的光致激光光斑中心检测误差的问题，提出了一种基于机器视觉的光斑中心测量策略。该策略基于自适应ROI的方法可以可靠地实现激光光斑的中心定位。所提出的方法能够在具有不利光照射的测试环境中进行精确快速的光斑中心定位。

自适应ROI方法是一种自动且快速的过程，用于选择每个捕获图像中的最小ROI。如图 2所示，自适应ROI方法由4个步骤组成。第1步是获得原始图片(见图 2a)。该图是通过高清数码相机拍摄的包含有激光光斑的图片。要求该图像是未过渡曝光的图片，通过对其进行阈值分割获得匹配模板。第2步是进行模板匹配。通常匹配结果为红色激光光斑，如图 2b所示。研究该图像以定位包含红色激光的与模板尺寸一致的矩形框，在本研究中将其称为自适应ROI。第3步，由自适应ROI裁剪的图像如图 2c所示。值得注意的是，裁剪后的图像包含一个没有明亮背景的清晰光斑。第4步，使用阈值方法对裁剪后的图像进行二值化，该方法有助于将光斑与背景分开，这样可以清楚地区分光斑和背景，如图 2d所示，通过边缘上像素进行拟合来获得圆心。因此，自适应ROI方法可以在不利的光照条件下可靠地检测激光光斑中心。

Figure 2.  Adaptive (ROI) process in Fig. 1b

本文中提出的自适应方法中核心的是模板匹配，其基本思想是利用相关系数寻找受到强光影响后的图像中与未过渡曝光的激光光斑模板的最相似的区域。其中经常选用的相关系数如下:

式中，M是选用子集的大小; f(x_i, y_j)是未过渡曝光时激光光斑区域所对应的灰度值; f_m表示未过渡曝光时激光光斑区域对应灰度的均值; Δf表示未过渡曝光时激光光斑区域对应灰度的标准差; g(x_i′, y_j′)是受到强噪声影响后对应图形的灰度; g_m表示受到强噪声影响后对应图形灰度的均值; Δg表示受到强噪声影响后对应图形灰度的标准差。

经典的模板匹配算法包括基于索引表的图像匹配算法、基于序贯相关性的检测算法和基于图像相关性的图像匹配算法。其中后者具有更强的噪声鲁棒性，因此, 对于本文背景中的强太阳光影响的适应性更强。该算法的特征是需要利用模板在全图进行模板匹配，以寻找最合适的区域作为光斑的位置，其中计算步长不同, 获得的精度也不同。为了提高精度，传统方法需要较小的计算步长，这样将会浪费较多的时间。因此，有必要在保证计算精度的前提下, 降低计算时间以满足快速计算的需求。为了提高算法的计算效率，根据获得计算区域的相似度系数的反馈来调整计算步长，利用这种自适应调整模板计算步长的方法，在保证计算精度的基础上，提高计算效率。自适应ROI在计算步长与相关系数计算之间存在有反馈通道，根据某一时刻相关系数计算的输出值与阈值进行比较，从而进一步对步长进行动态调整，实现用最优步长计算。

自适应ROI可以处理图像中的不利光效应。图 3a中所示的白化背景的原始图像，在不同阈值的情况下，激光光斑和背景之间不能明显分离。因此，任何阈值，包括Otsu阈值以及像素范围的70%和80%等阈值，都不能将激光光斑与背景完全隔离。相反地，通过自适应ROI方法裁剪后的图像直方图清楚地分为两组像素强度，两组像素强度分别代表激光光斑和背景。实际上，两组之间利用任何阈值都可以成功地将裁剪后的图像二值化，如图 3b所示。因此，自适应ROI提供了针对不利光照测试环境下，可靠的激光光斑中心定位的有效手段。

Figure 3.  Histogram and binarized map with different threshold levels

模拟9个大小分别为172pixel×174pixel, 215pixel×217pixel, 430pixel×434pixel, 516pixel×520pixel, 645pixel×650pixel, 867pixel×875pixel, 1612pixel×1628pixel, 2421pixel×2442pixel, 4330pixel×4290pixel的图像(模拟素混凝土背景)，在每个图像上产生半径为50pixel的清晰红色激光圆斑。添加高斯噪声图像以进行真实的模拟。根据典型电荷耦合器件相机噪声分布特点，在产生的图像基础上增加一个均值为零，方差为1.8588的高斯噪声。控制精度为1pixel的情况下, 传统模板匹配算法与改进的自适应ROI计算所用的时间如图 4所示。

Figure 4.  With the same accuracy, the calculation time of adaptive ROI and traditional template matching varies with the size of the simulated image

由图 4可知，在模拟激光光斑尺寸一定的情况下，传统模板匹配和提出的自适应ROI法的计算时间都随着模拟图像尺寸的增大而增大, 并且随着模拟图像尺寸增大, 传统模板匹配法计算时间增加的程度越来越快。同时由图 4可知，随着模拟图像的增大，传统模板匹配法与自适应ROI法之间的计算时间差在增大。两者随着模拟图像的增大, 计算时间逐渐增加，这是显而易见的，主要原因在于模拟图像尺寸越大，计算的次数越多，消耗的时间自然会增多，这也是模板匹配对于模拟图像尺寸较大的情况下计算效率较慢的主要原因，是模板匹配法的一个最主要的缺点。两者随着模拟图像的增大，消耗时间的增加速度越快。这是由于随着模拟图像的增大，水平和竖向方向的尺寸都不断增大，两者的乘积表示计算时间的增加的倍数，因此随着模拟图像的不断增大，倍数越大。随着尺寸的不断增大，增加的计算时间也将呈倍数增加。之所以自适应ROI法比传统模板匹配法在相同的模拟图像尺寸情况下，计算时间少，是因为自适应ROI方法可以随着计算出来的相关系数来调整步长，在较小的相关系数的情况下，说明待搜索的光斑位置与所在的搜索位置较远，因此可以加大步长来搜索; 当计算的相关系数较大时，说明待搜索的光斑位置与所在的搜索位置较近，可以适当减小步长来搜索。在模板尺寸一定的情况下，模拟图像越小，直接计算出来的相关系数就较大，此时步长也会较小，因此自适应ROI和传统模板匹配搜索激光光斑位置所花费的时间基本一致。然而随着模拟图像的不断增大，激光光斑在模拟图像中显得越来越小，计算相关系数时，受到激光光斑影响区域占模拟图像的比例越来越小，不受激光光斑影响的区域在搜索时计算出来的相关系数就较小，此时计算的步长就可以选用较大值。不受激光光斑影响的范围越大，这种大步长计算的范围就越多，自然所利用的时间也就会与传统模板匹配法之间的时间差越来越大。因此自适应ROI可以更适应在较大尺寸的模拟图像上应用。同时这种大尺寸模拟图像利用传统模板匹配方法是非常不利的。

为确定光对自适应ROI方法精度的影响，进行了不确定性分析的数值模拟。模拟产生一个433pixel×429pixel的图像(模拟素混凝土背景)，在此图像上生成一个半径为50pixel的清晰红色激光圆斑, 然后添加高斯噪声图像进行真实的模拟。根据典型电荷耦合器件相机噪声分布特点，在产生的图像基础上增加一个均值为零、方差为1.8588的高斯噪声。过度曝光会导致图像劣化，如图 3a所示，所以在光斑中心引入点光源来进行模拟。随着点光源的亮度增加，像素强度等级增加，每个图像的平均像素强度在增加, 图像的背景变得更亮, 如图 5所示。以未曝光图片的光斑中心作为基准，用自适应ROI方法来计算, 用随着曝光强度的增加引起的位移来估计误差。误差用像素表示，可以使用已知的转换比(mm/pixel)转换为物理位移值。图 5b显示了误差与每个图像的平均像素强度的关系。随着曝光强度的增强，当过亮的白光覆盖图像中心的光斑，即平均像素强度在175附近时，误差发生急剧的变化。因此，这是自适应ROI方法的限制条件，同时也是模板匹配的限制条件。

Figure 5.  The error of the adaptive ROI method under exposure conditions

使用3点弯混凝土梁在实验室内研究自适应ROI方法对于光致图像劣化的稳健性。图 6显示了实验装置，包括激光光源、实验小梁、千斤顶、三脚架、高清数码相机、手持发光二极管(light-emitting diode, LED)灯、位移传感器、位移采集系统及电脑。

Figure 6.  Experimental facility configuration

利用MATLAB(R2012a)获取加载前后含有激光光斑图像中的特征点相对基准点的竖向位移，同时利用DH3816静态应变测试系统获取位移计采集的相应位置的竖向位移值进行精度对比。实验过程中通过调整手持LED灯光源的亮度来模拟曝光情况。

将由自适应ROI测量的位移与通过Otsu分割边缘拟合的方法测量的位移进行比较，并通过位移计测量标准位移的变化。计算的未曝光和曝光的测量点的位移分别在图 7中示出，以清楚地显示光诱导的误差。在图 7中，由于改进的自适应算法和模板匹配算法可以控制在相同的计算精度内，因此图中并未显示传统模板匹配算法的计算结果。使用自适应ROI方法计算的所有情况的位移都与位移计方法(displacement meter method，DMM)测量的位移保持很好的一致，即使在明显曝光的情况下也不例外。然而，通过Otsu分割边缘拟合的方法在曝光情况下会产生较大的误差。这是由于在进行阈值分割的过程中，因受到强光噪声的影响，致使阈值分割的边缘不能与激光光斑的边缘完全一致，如图 1b所示。故以此为边缘集拟合的图像也与激光光斑不完全重合，这就产生了误差。并且噪声影响越严重，特别是存在激光光斑受到部分区域影响时，误差会越大。为了进一步对误差进行分析，视频测量的位移与位移计测量的位移之间的相关性如图 8所示。这也进一步证实了使用自适应ROI方法的优势。在利用自适应ROI方法的情况下，未曝光和明显曝光情况下位移计算的回归线结果：线性相关系数R²基本都接近1，并与位移计采集结果很接近。因此，利用基于ROI的自适应方法可以防止由于在现场测试环境中因为不利太阳光而导致较大的测量误差。

Figure 7.  Comparison of DMM, adaptive ROI and traditional Otsu measurement results

Figure 8.  The correlation between the displacement obtained by the camera and the displacement obtained by the displacement meter is obtained by linear regression

同时，对上述全图分别利用自使应ROI和传统模板匹配方法，在保证1pixel精度的情况下，计算的时间如表 1所示。其中计算时模板尺寸为100pixel×100pixel。拍摄的照片尺寸为5184pixel×3456pixel。

由表 1可知，在未曝光的情况下，自适应ROI计算的均值为897s, 而传统的模板匹配算法的平均计算时间为3388s。同时存在曝光的情况下，自适应ROI的平均计算时间为921s, 传统模板匹配的平均时间为3389s。由此可知，无论是在未曝光情况下还是存在曝光的情况下，自适应ROI计算所花费的时间都远比传统模板匹配计算所花费的时间少。这主要是由于自适应ROI的方法根据计算的相关系数来调整下一步的步长值，在远离激光光斑的区域，相关系数计算值较小，可以采用大步长计算，而在激光光斑区域影响的范围内，采用较小的步长逼近，这样在保证精度的情况下，大幅地提高了计算效率。存在曝光情况时，计算所花费的平均时间比未存在曝光时花费的时间多，这是由于曝光的存在，导致曝光影响区域计算的相关系数也较高，故此区域采用的步长相对来说较小, 所以花费的时间自然比未存在曝光的情况下花费的时间多。

自适应ROI方法的测量不确定性是在不同的光照条件下进行实验的。逐渐增加光照的明亮程度，背景光照逐渐变亮，直到照明设备的最大水平，如图 9a所示。标记图像的平均像素强度随着背景光的增强而增加。与无背光情况相比，随着像素强度的增加，测量误差增加的结果如图 9b所示。以关闭背景光时的特征点的位置作为基准, 测量误差为0.4pixel。自适应ROI方法即使在不利的光条件下也能较好地实现亚像素精度。在这种不利光的情况下，如果不利用自适应ROI方法，会产生较大的误差。

Figure 9.  Measurement error under different illumination conditions

在需要激光光斑进行跟踪测量的应用中，由于环境噪声，CCD性能等的影响，引入了随机噪声。收集图像时，噪声可能导致计算结果产生错误。本文中在改进圆形拟合算法的基础上提出了自适应ROI法，改进后的算法可以更好地适应强光照背景噪声，大大提高了激光光斑中心检测的抗干扰能力, 还使用模拟的激光光斑图像来验证改进的算法在保证较高精度的前提下比较明显地提高了计算效率。实验结果表明，改进算法具有较高的稳定性以及较高的计算效率。