高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种线结构光平面的标定方法

李忠祥 周哲海 陈丽 赵爽 李勇

引用本文:
Citation:

一种线结构光平面的标定方法

    作者简介: 李忠祥(1998-), 男, 硕士研究生, 现主要从事光电与视觉检测方向的研究.
    通讯作者: 周哲海, zhouzhehai@bistu.edu.cn
  • 基金项目:

    国家自然科学基金资助项目 61875237

    北京市属高校高水平教师队伍建设支持计划长城学者培养计划资助项目 CIT&TCD20190323

    北京市优秀人才培养"青年拔尖"项目 Z2019042

  • 中图分类号: TN247

A method for calibrating the light plane of the linear structured light

    Corresponding author: ZHOU Zhehai, zhouzhehai@bistu.edu.cn ;
  • CLC number: TN247

  • 摘要: 为了线结构光平面标定的准确性和高效性, 以及提高线结构光平面标定方法的普适性, 提出了一种基于2维圆形标靶的线结构光平面标定方法。采用光条提取算法得到照射在2维圆形标定靶任意位置处光条中心点的亚像素坐标值, 将光条上所有点拟合成直线, 交圆形标定靶每列靶标连线于一点; 得到每列靶标连线与拟合出的光条中心线交点后, 连接交点与相机光学中心形成一条直线; 联立该连线的直线方程与像素坐标系下两条交线的直线方程, 以及2维圆形标定靶所在平面的方程, 求解出每个交点在相机坐标系下的坐标; 最后采用最小二乘拟合算法进行平面拟合, 得到了所求光平面方程; 介绍了该标定方法的基本原理和实现过程, 搭建实验系统对其有效性进行了验证。结果表明, 用该方法求取光平面的平均测量误差可以达到2.36737 mm, 鲁棒性高, 且标定流程十分简便, 适用于一般的工程应用和机械加工过程。该研究为线结构光传感器的光平面标定提供了参考。
  • 图 1  相机成像模型与各坐标系之间关系

    Figure 1.  Relationship between the camera imaging model and each coordinate system

    图 2  光条中心提取结果

    a—线结构光光条照射在标定靶上  b—使用光条中心提取算法提取的光条中心结果

    Figure 2.  Extraction result of light stripe center

    a—line structured light strip exposed to a calibrated target  b—light stripe center results extracted using the light stripe center extraction algorithm

    图 3  标定靶圆心连线与光条相交

    a—每个圆心连成直线  b—圆心连线与光条中心线交点

    Figure 3.  Line linking the centers of the calibrated targets intersects the light stripe

    a—each center of the circles is connected to a straight line  b—line linking the centers of the circles intersects the center line of the light stripe

    图 4  标定板上两线的交点透视投影模型

    Figure 4.  Perspective projection model of the intersection of two lines on the calibration plate

    图 5  搭建的实验系统

    a—系统结构示意图  b—系统实物图  c—使用的圆形标定靶

    Figure 5.  Experimental system built

    a—schematic diagram of the system structure  b—physical view of the system  c—circular calibration target used

    图 6  系统标定流程图

    Figure 6.  System calibration flowchart

    图 7  光条图片与光条中心提取结果

    a—光条在标靶上的图片  b—各个位置光条提取结果

    Figure 7.  Light stripe picture and light strip center extraction results

    a—picture of the light stripe on the target  b—light stripe extraction results for each position

    图 8  光平面标定结果

    Figure 8.  Light plane calibration results

    图 9  量块实拍图与量块在不同位置的位移情况

    a—光平面照射在标准量块上的图片  b—移动量块在光平面不同位置的图片

    Figure 9.  Actual picture of the gauge block with the displacement of the block at different positions

    a—picture of the light plane onto the standard gauge block  b—picture of the moving gauge block at different positions in the light plane

    表 1  前6次测量结果

    Table 1.  Results of the first 6 measurements/mm

    position 1 2 3 4 5 6
    our method 37.61066 38.11144 38.33195 38.59902 38.45734 37.06425
    ZHANG’s method 37.61856 38.11846 38.33737 38.60265 38.45980 37.06543
    下载: 导出CSV

    表 2  后10次测量结果

    Table 2.  Results of the last 10 measurements/mm

    position 7 8 9 10 11 12 13 14 15 16
    our method 37.07062 36.74692 36.47288 37.94350 36.99725 37.88658 37.60713 36.67100 38.25522 38.29625
    ZHANG’s method 37.07013 36.74542 36.47009 37.93971 36.99215 37.87989 37.59973 36.66109 38.24422 38.28226
    下载: 导出CSV

    表 3  误差分析/mm

    Table 3.  Error analysis/mm

    mean error mean error of the first 6 measurements mean error of the last 10 measurements RMS error of the first 6 measurements RMS error of the last 10 measurements RMS error of 16 measurements
    our method 2.36737 1.97089 2.60527 0.204202 0.284060 0.246337
    ZHANG’s method 2.36957 1.96629 2.61153 0.203766 0.284567 0.246575
    下载: 导出CSV
  • [1] 丁少闻, 张小虎, 于起峰, 等. 非接触式3维重建测量方法综述[J]. 激光与光电子学进展, 2017, 54(7): 070003.

    DING Sh W, ZHANG X H, YU Q F, et al. Overview of non-contact 3D reconstruction measurement methods[J]. Laser & Optoelectronics Progress, 2017, 54(7): 070003(in Chinese). 
    [2] 占栋, 肖建. 基于线结构光参考平面的多摄像机灵活标定方法研究[J]. 仪器仪表学报, 2015, 36(9): 2030-2036. doi: 10.3969/j.issn.0254-3087.2015.09.014

    ZHAN D, XIAO J. Study on the flexible multiple camera calibration approach based on the reference plane emitted by line structured light[J]. Chinese Journal of Scientific Instrument, 2015, 36(9): 2030-2036(in Chinese). doi: 10.3969/j.issn.0254-3087.2015.09.014
    [3] 张志俊, 吴庆阳, 邓亦锋, 等. 基于霍夫变换的结构光场3维成像方法[J]. 激光技术, 2023, 47(4): 492-499.

    ZHANG Zh J, WU Q Y, DENG Y F, et al. Structured light field 3-D imaging method based on Hough transform[J]. Laser Technology, 2023, 47(4): 492-499(in Chinese). 
    [4]

    XU X B, FEI Zh W, YANG J, et al. Line structured light calibration method and centerline extraction: A review[J]. Results in Physics, 2020, 19: 103637. doi: 10.1016/j.rinp.2020.103637
    [5] 张曦, 张健. 线结构光标定方法综述[J]. 激光与光电子学进展, 2018, 55(2): 020001.

    ZHANG X, ZHANG J. Summary on calibration method of line-structured light[J]. Laser & Optoelectronics Progress, 2018, 55(2): 020001 (in Chinese). 
    [6]

    FAN J F, JING F Sh, FANG Z J, et al. A simple calibration method of structured light plane parameters for welding robots[C]// Chinese Control Conference(IEEE). New York, USA: IEEE, 2016: 6127-6132.
    [7]

    ZHENG F, KONG B. Calibration of linear structured light system by planar checkerboard[C]// International Conference on Information Acquisition(IEEE). New York, USA: IEEE, 2004: 344-346.
    [8]

    LI D, WEN G, HUI B W, et al. Cross-ratio invariant based line scan camera geometric calibration with static linear data[J]. Optics & Lasers in Engineering, 2014, 62: 119-125.
    [9]

    HUYNH D Q, HARTMANN P E, OWENS R A. Calibrating a structured light stripe system: A novel approach[J]. International Journal of Computer Vision, 1999, 33(1): 73-86. doi: 10.1023/A:1008117315311
    [10] 刘震, 张广军, 魏振忠, 等. 一种高精度线结构光视觉传感器现场标定方法[J]. 光学学报, 2009, 29(11): 3124-3128.

    LIU Zh, ZHANG G J, WEI Zh Zh, et al. An accurate calibration method for line structured light vision sensor[J]. Acta Optica Sinica, 2009, 29(11): 3124-3128(in Chinese). 
    [11]

    YU J H, YANG H X, LIU Z H, et al. The line-structured light plane calibration based on the Plücker line[C]// 2021 IEEE 2nd International Conference on Big Data, Artificial Intelligence and Internet of Things Engineering (IEEE). New York, USA: IEEE, 2021: 1106-1109.
    [12]

    XU G, ZAHNG X Y, SU J, et al. Solution approach of a laser plane based on Plücker matrices of the projective lines on a flexible 2D target[J]. Applied Optics, 2016, 55(10): 2653-2656. doi: 10.1364/AO.55.002653
    [13]

    LI D D, WEN G J, HUI B W, et al. Cross-ratio invariant based line scan camera geometric calibration with static linear data[J]. Optics and Lasers in Engineering, 2014, 6: 119-125.
    [14]

    PAN X, LI Zh. High-accuracy calibration of line-structured light vision sensor by correction of image deviation[J]. Optics Express, 2019, 27(4): 4364-4385. doi: 10.1364/OE.27.004364
    [15]

    CHEN R M, LI X H, WANG X H, et al. A planar pattern based calibration method for high precision structured laser triangulation measurement[J]. Proceedings of the SPIE, 2019, 11189: 1118914.
    [16]

    ZHANG G J, LIU Zh, SUN J H, et al. Novel calibration method for a multi-sensor visual measurement system based on structured light[J]. Optical Engineering, 2010, 49(4): 043602. doi: 10.1117/1.3407429
    [17]

    XU G, HAO Z B, LI X T, et al. Calibration method of laser plane equation for vision measurement adopting objective function of uniform horizontal height of feature points[J]. Optical Review, 2016, 23(1): 33-39.
    [18]

    XU G, SUN L N, LI X T, et al. Global calibration and equation reconstruction methods of a three dimensional curve generated from a laser plane in vision measurement[J]. Optics Express, 2014, 22(18): 22043-22055.
    [19]

    YONG Q, WANG Y, NING J, et al. Calibration of line structured light senor based on active vision systems[C] // 2013 International Conference on Computational PROBLEM-Solving (IEEE). New York, USA: IEEE, 2013: 249-252.
    [20]

    YANG Sh M, YANG L L, ZHANG G F, et al. Modeling and calibration of the galvanometric laser scanning three-dimensional measurement system[J]. Nanomanufacturing and Metrology, 2018, 1(3): 180-192.
    [21] 李玥华, 赵勃冲, 胡泊, 等. 一种线结构光振镜扫描测量系统通用标定方法[J]. 光学学报, 2022, 42(10): 1015001.

    LI Y H, ZHAO B Ch, HU B, et al. Universal calibration method for line structured light galvanometer scanning system[J]. Acta Optica Sinica, 2022, 42(10): 1015001 (in Chinese). 
    [22] 王腾, 杨树明, 李述胜, 等. 振镜激光扫描测量系统误差分析与补偿[J]. 光学学报, 2020, 40(23): 2315001.

    WANG T, YANG Sh M, LI Sh Sh, et al. Error analysis and compensation of galvanometer laser scanning measurement system[J]. Acta Optica Sinica, 2020, 40(23): 2315001(in Chinese). 
    [23]

    LI Y H, ZHAO B Ch, ZHOU J B, et al. A universal method for the calibration of swing-scanning line structured light measurement system[J]. Optik, 2021, 241(1): 166930.
    [24]

    ZHANG Zh Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.
    [25]

    STEGER C. An unbiased detector of curvilinear structures[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(2): 113-125.
    [26]

    ALARD C, LUPTON R H. A method for optimal image subtraction[J]. Astrophysical Journal, 1998, 503(1): 325-331.
    [27] 张瑞峰, 舒子芸, 南刚雷. 一种新的线结构光标定方法[J]. 激光与光电子学进展, 2019, 56(22): 221101.

    ZHANG R F, SHU Z Y, NAN G L. Calibration method for line-structured light[J]. Laser & Optoelectronics Progress, 2019, 56(22): 221101(in Chinese). 
  • [1] 陈曼龙 . 机器视觉螺纹测量的误差分析. 激光技术, 2014, 38(1): 109-113. doi: 10.7510/jgjs.issn.1001-3806.2014.01.024
    [2] 周策策李杏华 . 基于机器视觉的螺纹参量测量系统. 激光技术, 2016, 40(5): 643-647. doi: 10.7510/jgjs.issn.1001-3806.2016.05.006
    [3] 闵永智王红霞康飞党建武 . 基于图像式传感器的铁路轨距检测系统研究. 激光技术, 2015, 39(3): 344-348. doi: 10.7510/jgjs.issn.1001-3806.2015.03.014
    [4] 孙越娇雷武虎胡以华赵楠翔任晓东 . 基于视觉显著模型的遥感图像舰船快速检测. 激光技术, 2018, 42(3): 379-384. doi: 10.7510/jgjs.issn.1001-3806.2018.03.017
    [5] 高世一杨永强杨凯珍 . 不等厚板激光焊接焊缝缺陷结构光视觉检测. 激光技术, 2011, 35(4): 440-443. doi: 10.3969/j.issn.1001-3806.2011.04.002
    [6] 谢军昱许杨剑王效贵 . 基于贝叶斯模型和数字图像相关的视觉测量. 激光技术, 2016, 40(6): 866-870. doi: 10.7510/jgjs.issn.1001-3806.2016.06.019
    [7] 李文龙戈海龙任远成巍 . 图像处理技术在激光熔池温度检测的应用. 激光技术, 2018, 42(5): 599-604. doi: 10.7510/jgjs.issn.1001-3806.2018.05.004
    [8] 张晓玲罗印升林玉池 . 基于光栅投射的机器人导航视觉传感器研究. 激光技术, 2017, 41(3): 376-379. doi: 10.7510/jgjs.issn.1001-3806.2017.03.014
    [9] 冯煦张瑞瑛周萍李松 . 大功率半导体线激光图像处理方法研究. 激光技术, 2010, 34(5): 624-627. doi: 10.3969/j.issn.1001-3806.2010.O5.013
    [10] 刘逸飞苏亚姚晓天崔省伟杨丽君周聪聪何松 . OCT无创血糖检测图像处理最优化方法研究. 激光技术, 2023, 47(2): 178-184. doi: 10.7510/jgjs.issn.1001-3806.2023.02.004
    [11] 陈树越刘金星丁艺 . 基于小波变换的红外与X光图像融合方法研究. 激光技术, 2015, 39(5): 685-688. doi: 10.7510/jgjs.issn.1001-3806.2015.05.021
    [12] 赵蓉顾国华杨蔚 . 基于偏振成像的可见光图像增强. 激光技术, 2016, 40(2): 227-231. doi: 10.7510/jgjs.issn.1001-3806.2016.02.016
    [13] 李昌海叶玉堂沈淦松徐伟叶涵姚景昭 . 基于图像轮廓分析的LCD线路缺陷检测. 激光技术, 2013, 37(2): 207-210. doi: 10.7510/jgjs.issn.1001-3806.2013.02.017
    [14] 王星李醒飞黄健黎春宇谭文斌陈诚 . 坐标测量机上红宝石轴承视觉自动定位系统. 激光技术, 2013, 37(2): 227-230. doi: 10.7510/jgjs.issn.1001-3806.2013.02.022
    [15] 张绍兵熊显名蒋曲博张文涛胡放荣 . 基于靶标的三目视觉3维坐标测量系统. 激光技术, 2013, 37(4): 523-528. doi: 10.7510/jgjs.issn.1001-3806.2013.04.024
    [16] 张从鹏马岩毛潭熊国顺 . 面向计算机显微视觉系统的白细胞识别. 激光技术, 2020, 44(1): 125-129. doi: 10.7510/jgjs.issn.1001-3806.2020.01.022
    [17] 杜健准高向东黎扬进肖小亭孙友松卢新钊 . 基于改进TLD算法的激光视觉传感型焊缝跟踪. 激光技术, 2021, 45(3): 292-297. doi: 10.7510/jgjs.issn.1001-3806.2021.03.004
    [18] 刘常杰李斌郭寅张云昊刘洋 . 焊接机器人实时引导中光条快速提取算法研究. 激光技术, 2015, 39(5): 642-647. doi: 10.7510/jgjs.issn.1001-3806.2015.05.012
    [19] 田猛高向东谢岳轩张艳喜 . 焊接缺陷磁光成像噪声特征分析及处理算法. 激光技术, 2023, 47(5): 646-652. doi: 10.7510/jgjs.issn.1001-3806.2023.05.011
    [20] 吴超王寿松 . 基于轨迹图像的雾滴颗粒运动速度光电测量方法. 激光技术, 2014, 38(2): 214-217. doi: 10.7510/jgjs.issn.1001-3806.2014.02.015
  • 加载中
图(9) / 表(3)
计量
  • 文章访问数:  893
  • HTML全文浏览量:  611
  • PDF下载量:  13
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-11-02
  • 录用日期:  2022-12-22
  • 刊出日期:  2023-11-25

一种线结构光平面的标定方法

    通讯作者: 周哲海, zhouzhehai@bistu.edu.cn
    作者简介: 李忠祥(1998-), 男, 硕士研究生, 现主要从事光电与视觉检测方向的研究
  • 1. 北京信息科技大学 机械工业现代光电测试技术重点实验室, 北京 100192
  • 2. 北京信息科技大学 光电测试技术及仪器教育部重点实验室, 北京 100192
基金项目:  国家自然科学基金资助项目 61875237北京市属高校高水平教师队伍建设支持计划长城学者培养计划资助项目 CIT&TCD20190323北京市优秀人才培养"青年拔尖"项目 Z2019042

摘要: 为了线结构光平面标定的准确性和高效性, 以及提高线结构光平面标定方法的普适性, 提出了一种基于2维圆形标靶的线结构光平面标定方法。采用光条提取算法得到照射在2维圆形标定靶任意位置处光条中心点的亚像素坐标值, 将光条上所有点拟合成直线, 交圆形标定靶每列靶标连线于一点; 得到每列靶标连线与拟合出的光条中心线交点后, 连接交点与相机光学中心形成一条直线; 联立该连线的直线方程与像素坐标系下两条交线的直线方程, 以及2维圆形标定靶所在平面的方程, 求解出每个交点在相机坐标系下的坐标; 最后采用最小二乘拟合算法进行平面拟合, 得到了所求光平面方程; 介绍了该标定方法的基本原理和实现过程, 搭建实验系统对其有效性进行了验证。结果表明, 用该方法求取光平面的平均测量误差可以达到2.36737 mm, 鲁棒性高, 且标定流程十分简便, 适用于一般的工程应用和机械加工过程。该研究为线结构光传感器的光平面标定提供了参考。

English Abstract

  • 近些年来,线结构光3维测量系统因其结构简单、稳定度高、效率高、量程大、非接触等优势,在3维模型重建、物体3维轮廓检测、逆向工程等领域获得了广泛应用,体现出了相当广阔的应用前景[1-3]。在线结构光3维测量系统中, 测量的精度主要取决于系统标定的精度, 而线结构光的光平面标定是系统标定中的关键部分[4-5]

    现有的光平面标定法主要分为矢量法[6-7]、几何法[8-9]和数学计算法[10-12]3种类型。其中,矢量法是使用向量叉乘的思想来求解光平面的坐标,该方法计算速度较快,实际操作也相对简单,但是精度相对较低。几何法是利用几何思维来求解光平面的方程,随着研究的不断深入,许多新的方法被不断提出,例如,LI等人[13]使用一组设计好的正交平面,并在两个平面上绘制两组平行线, 首尾相连可以得到多个直角三角形,将光条照射在各个平面上,直角三角形的光条长短关系使用交比不变原理可获取交点的坐标值,最后使用非线性优化获得最终结果;PAN等人[14]提出的一种基于条纹点位置不确定性补偿的交比不变方法,最终标定精度的均方根(root mean square,RMS)可以达到0.4 mm;CHEN等人[15]也提出了一种基于光束整形系统和交比不变方法的光平面标定方法,可以使被测物的轮廓扫描测量精度达到0.005 mm。数学计算法是这3种方法中运算量最大且基本不需要获取光条上特征点信息的一种方法,LIU等人[10]提出的基于联立多个光条在相机坐标系中的Plǜcker矩阵求解光平面方程的方法,精度RMS达到了0.009 mm;ZHANG等人[16]提出了一种基于Plǜcker矩阵的多传感器全局校准方法,该方法通过优化不同位置的光条中心点,并设置基准视觉传感器来校准其它传感器,误差小于0.05 mm,但总体上该方法计算量过大且流程复杂。除此之外,学者们还提出了一些新方法,例如使用3维靶标的光平面标定方法[17-18],以及为了解决自动扫描问题而提出的一些基于主动视觉[19]或使用振镜[20-22]和旋转机构[23]来标定的方法。但这些方法要么依赖3维标定靶的加工精度,要么依赖振镜和旋转机构运动的线性度,因此导致操作复杂, 且要获得较高精度时的成本较高。

    为了解决上述问题与不足,本文作者提出了一种新的基于几何法的线结构光平面标定方法。该方法使用线结构光光条上所有中心点来拟合光条在像素坐标系下的直线方程,并将该直线与标定靶标之间连成的直线相交,得到交线的像素坐标P0(u, v)。利用投影几何原理可知,该交点连接相机光心后,必定交沿相机坐标系Zc轴方向一定距离处的投影平面α于一点E″。建立该交点E″与P0(u, v)之间的数学关系,联立标定靶所在平面的相机坐标系下数学表达式,即可求解得到每个交点P0(u, v)的相机坐标系值,多次移动标定靶,获取多组交点的相机坐标值,通过最小二乘拟合即可得到相机坐标系下光平面的方程。结果表明,本文中提出的方法在干扰较大或光条特性不明显的地方(如光条两端或相机视野两边处),仍能获得较高的测量精度。该标定方法在简化了标定流程和计算量的同时,具有较高的稳定性、准确性和精度,适用于一般工业应用场景。

    • 在进行线结构光平面标定之前,需要先将单目相机进行内外参数的标定[24]。这里把相机看成一个小孔成像模型,由此可以得到世界坐标系中的一个点A(Xw, Yw, Zw)与相机光心之间的关系,如图 1所示。

      图  1  相机成像模型与各坐标系之间关系

      Figure 1.  Relationship between the camera imaging model and each coordinate system

      图 1中,把世界坐标系描述为Ow-XwYwZw, 相机坐标系描述为Oc-XcYcZc, 图像坐标系描述为O-xy,像素坐标系描述为O-uv。所以由刚体变换可以得到世界坐标系中的点A(Xw, Yw, Zw)转换到相机坐标系Ac(Xc, Yc, Zc)的过程如下:

      $ \left[\begin{array}{c} X_{\mathrm{c}} \\ Y_{\mathrm{c}} \\ Z_{\mathrm{c}} \end{array}\right]=\boldsymbol{R}\left[\begin{array}{l} X_{\mathrm{w}} \\ Y_{\mathrm{w}} \\ Z_{\mathrm{w}} \end{array}\right]+\boldsymbol{T} $

      (1)

      式中,R为描述刚体变换的旋转矩阵,T为平移向量;点Ac由相机坐标转换到图像坐标系O-xy时可以描述为:

      $ Z_{\mathrm{c}}\left[\begin{array}{c} x \\ y \\ 1 \end{array}\right]=\left[\begin{array}{cccc} f & 0 & 0 & 0 \\ 0 & f & 0 & 0 \\ 0 & 0 & f & 1 \end{array}\right]\left[\begin{array}{c} X_{\mathrm{c}} \\ Y_{\mathrm{c}} \\ Z_{\mathrm{c}} \\ 1 \end{array}\right] $

      (2)

      式中,f为焦距。在图像坐标系转换到像素坐标系时需要注意的是,像素坐标原点通常表示在图片的左上角,而图像坐标原点却在图片的正中间,所以图像坐标系到像素坐标系之间的转换关系为:

      $ \left[\begin{array}{c} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} \frac{1}{d_x} & 0 & u_0 \\ 0 & \frac{1}{d_y} & v_0 \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{l} x \\ y \\ 1 \end{array}\right] $

      (3)

      式中,dxdy表示单个像素的像元大小,u0v0表示在像素坐标系下主点位置的偏移量。得到各个坐标系之间的转换关系,可以用ZHANG[24]提出的相机标定方法进行相机标定,这样就得到了上面各式之间相互转换所要的相机内、外参数矩阵。

    • 假设有一点B(Xw, 1, Yw, 1, Zw, 1)在世界坐标系下的标定靶平面上,并且将世界坐标系建立在了标定靶平面上,则可以把标定靶标所在的世界坐标系下平面方程描述为:

      $ M X_{\mathrm{w}, 1}+N Y_{\mathrm{w}, 1}+P Z_{\mathrm{w}, 1}+Q=0 $

      (4)

      式中,MNPQ为常数。由(1)式可以得到该平面在相机坐标系下的表达式为:

      $\left[\begin{array}{llll} M & N & P & Q \end{array}\right]\left[\begin{array}{cc} \boldsymbol{R} & \boldsymbol{T} \\ \mathbf{0}^{\mathrm{T}} & 1 \end{array}\right]^{-1}\left[\begin{array}{c} X_{{\rm{c}}, 1} \\ Y_{{\rm{c}}, 1} \\ Z_{{\rm{c}}, 1} \\ 1 \end{array}\right]=0 $

      (5)

      因为世界坐标系建立在了标定靶平面上,所以(4)式可以转变为Zw, 1=0。由此可以推出在相机坐标系下表示为:

      $ \left[\begin{array}{llll} 0 & 0 & 1 & 0 \end{array}\right]\left[\begin{array}{cc} \boldsymbol{R} & \boldsymbol{T} \\ \mathbf{0}^{\mathrm{T}} & 1 \end{array}\right]^{-1}\left[\begin{array}{c} X_{{\rm{c}}, 1} \\ Y_{{\rm{c}}, 1} \\ Z_{{\rm{c}}, 1} \\ 1 \end{array}\right]=0 $

      (6)

      观察(5)式可知,R, T是在相机标定时求出的每个标定靶不同位姿的平移旋转矩阵,这样可以唯一确定在不同位姿下各个标定靶所在平面的相机坐标系下的方程为:

      $ M_1 X_{{\rm{c}}, 1}+N_1 Y_{{\rm{c}}, 1}+P_1 Z_{{\rm{c}}, 1}+Q_1=0 $

      (7)

      式中,M1N1P1Q1是可求常数。

    • 使用光条中心亚像素提取算法[25]计算光条亚像素中心,结果如图 2所示,这里使用的标定靶是一种圆形标定靶。对提取的所有亚像素中心点使用随机抽样一致(random sample consensus,RANSAC)进行直线拟合,可以得到较为精确的线结构光光线的直线方程λn,将其描述为:

      $ a_0 u+b_0 v+c_0=0 $

      (8)

      图  2  光条中心提取结果

      Figure 2.  Extraction result of light stripe center

      式中, a0, b0c0为直线方程λn的常数项。因为使用的标定靶是圆形标定靶,所以可以很好地得到每个圆形圆心的像素坐标,进而得到每个圆心连线的直线方程Ln,如图 3a所示。

      图  3  标定靶圆心连线与光条相交

      Figure 3.  Line linking the centers of the calibrated targets intersects the light stripe

      Ln可以表示为:

      $ a_1 u+b_1 v+c_1=0 $

      (9)

      式中, a1, b1c1为直线方程Ln的常数项。如图 3b所示,进一步将光条与圆心连线相交的交点P0(u, v)表示为:

      $ P_0(u, v)=\left\{\begin{array}{l} u=\frac{b_0 c_1-b_1 c_0}{b_1 a_0-b_0 a_1} \\ v=\frac{a_0 c_1-a_1 c_0}{b_0 a_1-b_1 a_0} \end{array}\right. $

      (10)

      由相机的透视投影模型可知,在相机视野范围内的标定板上所有点与相机光心的连线都与标定板有且仅有一个交点。所以由(2)式,光条与靶标连线的交点P0(u, v)在相机坐标系下可描述为:

      $ Z_{c, 0}\left[\begin{array}{c} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} f_x & 0 & u_0 \\ 0 & f_y & v_0 \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{c} X_{{\rm{c}}, 0} \\ Y_{{\rm{c}}, 0} \\ Z_{{\rm{c}}, 0} \end{array}\right] $

      (11)

      式中,(Xc, 0, Yc, 0, Zc, 0)T表示相机坐标系下的交点的坐标值,其系数矩阵为相机标定时获取的相机内参矩阵,而fxfy表示相机在uv轴向的尺度因子,u0v0表示选取的主点坐标。将(11)式中的相机内参矩阵求逆后左乘至等号左边,可得到如下关系式:

      $ \left[\begin{array}{c} X_{\mathrm{c}, 0} \\ Y_{\mathrm{c}, 0} \\ Z_{\mathrm{c}, 0} \end{array}\right]=Z_{\mathrm{c}, 0}\left[\begin{array}{ccc} \frac{1}{f_x} & 0 & -\frac{u_0}{f_x} \\ 0 & \frac{1}{f_y} & -\frac{v_0}{f_y} \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right] $

      (12)

      经过化简,(12)式进一步表示为:

      $ \left\{\begin{array}{l} X_{\mathrm{c}, 0}=Z_{\mathrm{c}, 0} \frac{u-u_0}{f_x} \\ Y_{\mathrm{c}, 0}=Z_{\mathrm{c}, 0} \frac{v-v_0}{f_y} \\ Z_{\mathrm{c}, 0}=Z_{\mathrm{c}, 0} \end{array}\right. $

      (13)

      标定板上两线的交点透视投影模型如图 4所示。通过分析可知,距离相机光心一定距离处的,图像坐标系α中点E″的图像坐标与相机光心的连线和世界坐标系下,该点与相机光心的连线共线。

      图  4  标定板上两线的交点透视投影模型

      Figure 4.  Perspective projection model of the intersection of two lines on the calibration plate

      所以,相机坐标系与离相机光心一定距离处的图像坐标系α之间的旋转矩阵R为单位阵,并且平移向量T=(0, 0, g)T, 其中g为常数。进而得到在坐标系α中两线交点的相机坐标值为:

      $ \left[\begin{array}{c} X_{\mathrm{c}, 0} \\ Y_{\mathrm{c}, 0} \\ Z_{\mathrm{c}, 0} \end{array}\right]=\left[\begin{array}{c} g \frac{u-u_0}{f_x} \\ g \frac{v-v_0}{f_y} \\ g \end{array}\right] $

      (14)

      为了方便计算,这里设g=1,(14) 式简化为:

      $ \left\{\begin{array}{l} X_{\mathrm{c}, 0}=\left(u-u_0\right) / f_x \\ Y_{\mathrm{c}, 0}=\left(v-v_0\right) / f_y \\ Z_{\mathrm{c}, 0}=1 \end{array}\right. $

      (15)

      所以,图 2E点的投影坐标E″与相机光心Oc所组成的直线方程为:

      $ \frac{X_{\rm{c}}-X_{{\rm{c}}, 0}}{X_{{\rm{c}}, 0}}=\frac{Y_{\rm{c}}-Y_{{\rm{c}}, 0}}{Y_{{\rm{c}}, 0}}=Z_c-1 $

      (16)

      联立(7)式、(10)式和(16)式,得到E点在相机坐标系下的坐标为:

      $ \left\{\begin{aligned} X_{\mathrm{c}}=- & {\left[Q_1 f_y\left(a_1 b_0-a_0 b_1\right) b_0 c_1-b_1 c_0-u_0 a_0 b_1+u_0 a_1 b_0\right] /\left[M_1 f_y\left(a_1 b_0-a_0 b_1\right)\left(b_0 c_1-b_1 c_0-u_0 a_0 b_1+u_0 a_1 b_0\right)+\right.} \\ & \left.N_1 f_x\left(a_0 b_1-a_1 b_0\right)\left(a_0 c_1-a_1 c_0-v_0 a_1 b_0+v_0 a_0 b_1\right)+P_1 f_x f_y\left(a_0 b_1-a_1 b_0\right)\left(a_1 b_0-a_0 b_1\right)\right] \\ Y_{\mathrm{c}}=- & {\left[Q_1 f_x\left(a_0 b_1-a_1 b_0\right)\left(a_0 c_1-a_1 c_0-v_0 a_1 b_0+v_0 a_0 b_1\right)\right] /\left[M_1 f_y\left(a_1 b_0-a_0 b_1\right)\left(b_0 c_1-b_1 c_0-u_0 a_0 b_1+u_0 a_1 b_0\right)+\right.} \\ & \left.N_1 f_x\left(a_0 b_1-a_1 b_0\right)\left(a_0 c_1-a_1 c_0-v_0 a_1 b_0+v_0 a_0 b_1\right)+P_1 f_x f_y\left(a_0 b_1-a_1 b_0\right)\left(a_1 b_0-a_0 b_1\right)\right] \\ Z_{\mathrm{c}}=- & {\left[Q_1 f_x f_y\left(a_0 b_1-a_1 b_0\right)\left(a_1 b_0-a_0 b_1\right)\right] /\left[M_1 f_y\left(a_1 b_0-a_0 b_1\right)\left(b_0 c_1-b_1 c_0-u_0 a_0 b_1+u_0 a_1 b_0\right)+\right.} \\ & \left.N_1 f_x\left(a_0 b_1-a_1 b_0\right)\left(a_0 c_1-a_1 c_0-v_0 a_1 b_0+v_0 a_0 b_1\right)+P_1 f_x f_y\left(a_0 b_1-a_1 b_0\right)\left(a_1 b_0-a_0 b_1\right)\right] \end{aligned}\right. $

      (17)

      式中,等号右边均为已知量,a0a1b0b1c0c1可由N个不同位姿标定板上的光条直线方程与靶标连线的7条直线方程得到。使光平面固定不变,移动N次标定板获取N×7个交点,即可使用最小二乘法拟合得到光平面方程。

    • 为了测试光平面标定的精度以及算法的稳定性,设计并搭建了如图 5所示的线结构光3维测量系统。系统使用黑白工业相机,并搭配8 mm定焦镜头用于成像。使用波长为405 nm的一字线结构光激光器作为线结构光源,标靶采用图案数量为7×7,靶标圆心距离为2 cm的圆形标靶。

      图  5  搭建的实验系统

      Figure 5.  Experimental system built

      系统标定时,为了使标定更加简便、准确,使用了一种图片相减求差异[26]的方式来定位光条所在区域。在拍摄标定单目相机所需要图片的同时,也打开激光器照射到标定靶上再次拍摄图片,使在标定靶相同位置下,拍摄的这两张照片之间的差异只有光条,这样就完成了光条感兴趣区域(region of interest,ROI)提取。

      整个光平面的标定流程大致分为:(a)拍摄标定靶在不同位置的图像;(b)标定单目相机;(c)使用有无线结构光光条的标定靶图片相减后提取光条中心;(d)将光条中心进行直线拟合并求出标定靶圆点与该直线交点的表达式;(e)求出标定靶所在平面的相机坐标系下表达式;(f)求出第1.2节中的(15)式,并联立所有方程组求解交点的相机坐标系下的坐标值;(g)多次移动标定靶求解多个交点的相机坐标系值后,使用最小二乘拟合光平面。具体的标定流程如图 6所示。

      图  6  系统标定流程图

      Figure 6.  System calibration flowchart

    • 移动10次标定靶,拍摄10组有、无光条的标定靶图片,标定得到单目相机的内参矩阵为:

      $ \boldsymbol{M}=\left[\begin{array}{ccc} 2411.3221524654123 & 0 & 1194.2398017944938 \\ 0 & 2411.2737493416175 & 1028.5612192475869 \\ 0 & 0 & 1 \end{array}\right] $

      (18)

      拍摄的所有标定使用光条如图 7a所示;使用光条中心提取算法得到图 7b中每个光条对应的中心线。

      图  7  光条图片与光条中心提取结果

      Figure 7.  Light stripe picture and light strip center extraction results

      光平面标定结果如图 8所示,表达式为:

      $ Z_{\mathrm{c}}=0.260958 X_{\mathrm{c}}+1.833015 Y_{\mathrm{c}}+68.194519 $

      (19)

      图  8  光平面标定结果

      Figure 8.  Light plane calibration results

      使用了长度为40 mm的标准量块来测试光平面的标定精度,量块实物图如图 9a所示。使用相机拍摄该量块在光条不同位置处的图像如图 9b所示,使用光平面标定结果量块上的光条中心点转换为世界坐标并计算量块两端的点距离。

      图  9  量块实拍图与量块在不同位置的位移情况

      Figure 9.  Actual picture of the gauge block with the displacement of the block at different positions

      表 1所示为使用本文作者提出的方法对该量块的测量结果。表中列出了使用本文中的方法和ZHANG[27]提出的方法,分别对该量块在同一光平面下不同位置的16次测量结果。使用ZHANG[27]的方法得到的光平面方程为:

      $ Z_{\mathrm{c}}=0.260212 X_{\mathrm{c}}+1.833526 Y_{\mathrm{c}}+68.194689 $

      (20)

      表 1  前6次测量结果

      Table 1.  Results of the first 6 measurements/mm

      position 1 2 3 4 5 6
      our method 37.61066 38.11144 38.33195 38.59902 38.45734 37.06425
      ZHANG’s method 37.61856 38.11846 38.33737 38.60265 38.45980 37.06543

      而从表 2中容易看出,本文中的方法在后10次的光条和相机视野边缘位置处,测量的量块宽度仍能保持较好的鲁棒性。使用ZHANG[27]的方法在光条质量较好、且测量时被测物处于相机成像中心区域内的测量结果略优于本文中的方法,但是在不理想条件下的准确性和鲁棒性均未能达到本文作者所提出方法的性能。

      表 2  后10次测量结果

      Table 2.  Results of the last 10 measurements/mm

      position 7 8 9 10 11 12 13 14 15 16
      our method 37.07062 36.74692 36.47288 37.94350 36.99725 37.88658 37.60713 36.67100 38.25522 38.29625
      ZHANG’s method 37.07013 36.74542 36.47009 37.93971 36.99215 37.87989 37.59973 36.66109 38.24422 38.28226

      表 3为测量结果的误差分析。结合表 1表 2中的测量结果可知,两种方法在距离相机视野中心并且在激光器出射角中心处的测量误差均较小。在边缘位置对成像不利的条件下,本文作者提出的方法依然能达到相对较高的精度,且RMS误差和平均测量误差也小于对比的方法,证明该方法的抗干扰能力较强,稳定性较好。

      表 3  误差分析/mm

      Table 3.  Error analysis/mm

      mean error mean error of the first 6 measurements mean error of the last 10 measurements RMS error of the first 6 measurements RMS error of the last 10 measurements RMS error of 16 measurements
      our method 2.36737 1.97089 2.60527 0.204202 0.284060 0.246337
      ZHANG’s method 2.36957 1.96629 2.61153 0.203766 0.284567 0.246575
    • 提出了一种线结构光标定方法,并将该方法与已有的方法进行了对比,得到了更高的测量精度、鲁棒性和稳定性。同时,由于该方法采用先拟合直线后相交的方法,使得光条上干扰点对于拟合光平面的误差可以得到较好的降低,并且所投射的线结构光光条可以在标定靶的任何位置,使得标定更加可控和简便。应用该方法时,在标定时使用到了标定靶的中心点的圆心特征,这样会受到来自标定靶加工精度以及相机畸变程度的影响,这是接下来值得研究的一个问题。

参考文献 (27)

目录

    /

    返回文章
    返回