高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

鱼眼成像系统标定技术研究

王云鹏 刘力双 刘洋

引用本文:
Citation:

鱼眼成像系统标定技术研究

    通讯作者: 刘力双, Liulishaung@bistu.edu.cn
  • 基金项目:

    ××重点实验室基金资助项目 202105509

  • 中图分类号: TN209

Research on calibration technology of fisheye imaging system

    Corresponding author: LIU Lishaung, Liulishaung@bistu.edu.cn ;
  • CLC number: TN209

  • 摘要: 为了解决目标在大视场鱼眼成像系统中定位精度低的问题, 采用了一种基于相机移动标定鱼眼成像系统的研究方法。以固定不动的单个点光源作为标定物, 通过电动高精度2维旋转位移台驱动鱼眼成像系统移动, 分别记录点光源在鱼眼成像系统中的方位角度和光点在图像中的像素位置, 构建鱼眼成像系统标定模型, 使点光源成像在图像中的各位置; 利用图像有效区域的边缘拟合圆计算出光学中心, 并采用分区域标定的方式计算出畸变参数, 减小标定误差。结果表明, 当划分为三区域标定时, 该方法在中心成像区域的标定误差为0.06°, 精度较高。此研究可应用于红外地球敏感器、广角成像侦查系统等领域中对大视场鱼眼成像系统的标定。
  • 图 1  鱼眼镜头成像模型

    Figure 1.  Fisheye lens imaging model

    图 2  非线性畸变成像点偏差

    Figure 2.  Nonlinear distortion imaging point deviation

    图 3  标定区域划分示意图

    Figure 3.  Marking area division diagram

    图 4  实验系统搭建

    Figure 4.  Experimental system construction

    图 5  高精度2维转台及鱼眼成像系统实物图

    Figure 5.  Physical view of high precision 2-D turntable and fisheye imaging system

    图 6  亚像素边缘检测

    Figure 6.  Sub-pixel edge detection

    图 7  标定物在初始位置成像

    Figure 7.  Imaging of the calibrator at the initial position

    图 8  不同方位标定物成像

    Figure 8.  Imaging of calibrators in different orientations

    表 1  光学中心及图像有效区域半径拟合结果/pixel

    Table 1.  Optical center and image effective area radius fitting results/pixel

    a b r
    1 651.50 525.58 619.35
    2 651.51 525.57 619.37
    3 651.51 525.58 619.36
    4 651.51 525.57 619.36
    5 651.51 525.58 619.37
    6 651.52 525.58 619.37
    7 651.52 525.56 619.37
    8 651.52 525.55 619.37
    average value 651.51 525.57 619.36
    下载: 导出CSV

    表 2  分区域畸变参数

    Table 2.  Sub-regional distortion parameters

    K1 K2 K3 P1 P2
    single area 1 3.54×10-3 -3.34×10-8 1.57×10-13 1.80×10-6 2.22×10-6
    double area 1 1.99×10-3 2.92×10-9 1.26×10-14 2.49×10-6 6.79×10-7
    2 1.65×10-2 -1.47×10-7 3.91×10-13 1.70×10-6 2.89×10-6
    three area 1 1.99×10-3 2.92×10-9 1.26×10-14 2.49×10-6 6.79×10-7
    2 4.27×10-3 -2.49×10-8 9.79×10-14 2.52×10-6 2.97×10-6
    3 2.00×10-1 -1.37×10-6 2.41×10-12 -1.69×10-6 2.15×10-6
    下载: 导出CSV

    表 3  实验结果

    Table 3.  Experimental result

    area number average error/(°)
    single area 1 2.15
    double area 1 0.06
    2 1.47
    three area 1 0.06
    2 0.26
    3 0.45
    下载: 导出CSV
  • [1]

    ZHU J C, WAN L, LIU N, et al. A correction method of fish-eye lens based on projective reconstruction[J]. Applied Mechanics & Materials, 2014, 577: 741-744.
    [2]

    ZHANG B, LU C, RÖNING J, et al. The study of calibration and epipolar geometry for the stereo vision system built by fisheye lenses[J]. Proceedings of the SPIE, 2015, 9406: 94060M.
    [3] 刘帅, 牛燕雄, 刘海月. 全向凝视光电成像系统鱼眼透镜的设计[J]. 激光技术, 2017, 41(2): 296-301.

    LIU Sh, NIU Y X, LIU H Y. Design of fisheye lens of omnidirectional gaze photoelectric imaging systems[J]. Laser Technology, 2017, 41(2): 296-301(in Chinese). 
    [4] 蔡梦姚, 王鹏. 空间转换的鱼眼图像畸变校正[J]. 国外电子测量技术, 2022, 41(3): 9-13.

    CAI M Y, WANG P. Distortion correction of fish eye image based on spatial conversion[J]. Foreign Electronic Measurement Technology, 2022, 41(3): 9-13(in Chinese).
    [5] 刘泉新, 林世治, 吴光强, 等. 大视场光电测量系统广角相机标定方法研究[J]. 光学技术, 2022, 48(4): 452-458.

    LIU Q X, LIN Sh Zh, WU G Q, et al. Research on calibration method of wide-angle camera for large field of view photoelectric measurement system[J]. Optical Technique, 2022, 48(4): 452-458(in Chinese).
    [6] 胡浩, 魏斌, 梁晋, 等. 大视场远距离视觉测量系统的分步标定[J]. 光学精密工程, 2022, 30(4): 478-488.

    HU H, WEI B, LIANG J, et al. Two-step calibration for vision mea-surement system with large field of view and high depth[J]. Optics and Precision Engineering, 2022, 30(4): 478-488(in Chinese).
    [7]

    TSAI R Y. A versatile camera calibration technique for high-accuracy 3D machine vision metrology using off-the-self TV cameras and lenses[J]. IEEE Journal on Robotics and Automation, 1987, 3(4): 323-344. doi: 10.1109/JRA.1987.1087109
    [8]

    ZHANG Zh Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. doi: 10.1109/34.888718
    [9] 朱均超, 葛磊, 韩芳芳, 等. 基于分离参数标定的鱼眼镜头成像模型研究[J]. 传感技术学报, 2013, 26(7): 975-980.

    ZHU J Ch, GE L, HAN F F, et al. Research on fisheye lens imaging model based on the separated parameters calibration[J]. Chinese Journal of Sensors and Actuators, 2013, 26(7): 975-980(in Chinese).
    [10] 肖智越, 刘力双, 吕勇, 等. 基于相机移动的鱼眼成像系统目标方位标定研究[J]. 激光杂志, 2020, 41(9): 24-28.

    XIAO Zh Y, LIU L Sh, LÜ Y, et al. Research on target orientation calibration of fish eye imaging system based on camera movement[J]. Laser Journal, 2020, 41(9): 24-28(in Chinese).
    [11]

    KANATANI K. Calibration of ultra-wide fisheye lens cameras by eigenvalue minimization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(4): 813-822. doi: 10.1109/TPAMI.2012.146
    [12]

    HE Y, XIONG W, CHEN H, et al. Fish-eye image distortion co-rrection based on adaptive partition fitting[J]. CMES-Computer Modeling in Engineering & Sciences, 2021, 126(1): 379-396.
    [13]

    BAWA V S, KUMAR K, KUMAR V. A generalized non-linear method for distortion correction and top-down view conversion of fish eye images[J]. Image Analysis & Stereology, 2017, 36(2): 141-150.
    [14]

    HA J E. Comparison of the performance of the calibration algorithm of wide-angle lens[J]. Applied Mechanics & Materials, 2013, 467: 323-326.
    [15] 杨初平, 刘建斌, 谭穗妍, 等. 应用频率积分相位解调测量径向畸变[J]. 激光技术, 2014, 38(3): 402-405.

    YANG Ch P, LIU J B, TAN H Y, et al. Measurement of radial distortion based on frequency integration phase demodulation[J]. Laser Technology, 2014, 38(3): 402-405(in Chinese). 
    [16] 叶峰, 王敏, 陈剑东, 等. 共面点的摄像机非线性畸变校正[J]. 光学精密工程, 2015, 23(10): 2962-2970.

    YE F, WANG M, CHEN J D, et al. Camera nonlinear distortion correction based on coplanar point[J]. Optics and Precision Engineering, 2015, 23(10): 2962-2970(in Chinese).
    [17] 傅思勇, 吴禄慎, 陈华伟, 等. 综合多畸变因素的摄像机标定[J]. 仪器仪表学报, 2018, 39(2): 248-256.

    FU S Y, WU L Sh, CHEN H W, et al. Camera calibration based on multiple distortion factors[J]. Chinese Journal of Scientific Instrument, 2018, 39(2): 248-256(in Chinese).
    [18]

    HARTLEY R, KANG S B. Parameter-free radial distortion correction with center of distortion estimation[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(8): 1309-1321. doi: 10.1109/TPAMI.2007.1147
    [19]

    FENG W, ZHANG B, CAO Z, et al. Calibration and rectification research for fish-eye lens application[J]. Proceedings of the SPIE, 2011, 7878: 536-547.
    [20] 黄霄霄, 吕勇, 刘力双. 红外图像边缘亚像素定位算法研究[J]. 激光杂志, 2020, 41(12): 57-60.

    HUANG X X, LÜ Y, LIU L Sh. Research on sub-pixel location algorithm of infrared image edge[J]. Laser Journal, 2020, 41(12): 57-60(in Chinese).
    [21] 李佳莹, 罗哉, 江文松, 等. 基于交比不变性的分区域相机畸变矫正[J]. 中国测试, 2020, 46(9): 125-130.

    LI J Y, LUO Z, JIANG W S, et al. Sub-regional camera distortion correction based on cross-ratio invariance[J]. China Measurement & Test, 2020, 46(9): 125-130(in Chinese).
    [22] 芦颖, 王泽民, 杨博瑞. 基于畸变偏移矢量的结构光区域标定[J]. 激光与光电子学进展, 2022, 59(2): 0214002.

    LU Y, WANG Z M, YANG B R. Calibration of structured light area based on distortion shift vector[J]. Laser & Optoelectronics Progress, 2022, 59(2): 0214002(in Chinese).
  • [1] 刘顺涛骆华芬陈雪梅徐静 . 结构光测量系统的标定方法综述. 激光技术, 2015, 39(2): 252-258. doi: 10.7510/jgjs.issn.1001-3806.2015.02.023
    [2] 谢洪波李勇姚丽娟祝世民 . 激光转镜扫描系统中自由曲面f-物镜的设计. 激光技术, 2014, 38(6): 742-746. doi: 10.7510/jgjs.issn.1001-3806.2014.06.005
    [3] 刘雄龙骆亚波徐卓揆 . 单目标旋转摄影方法标定图像全站仪相机. 激光技术, 2024, 48(2): 196-203. doi: 10.7510/jgjs.issn.1001-3806.2024.02.008
    [4] 杨承曾钦勇朱大勇甘春泉 . 日盲型紫外探测系统中目标定位的研究. 激光技术, 2008, 32(2): 140-142,146.
    [5] 薛璐胡文静徐彬刘学峰姚政鹏陈智龙黄益俊熊吉川 . 基于偏振参数非直观光学成像的鼻唇沟量化表征. 激光技术, 2023, 47(4): 572-578. doi: 10.7510/jgjs.issn.1001-3806.2023.04.020
    [6] 李升辉孙祥仲 . 采用相位板的中波红外共形光学系统设计. 激光技术, 2022, 46(2): 283-287. doi: 10.7510/jgjs.issn.1001-3806.2022.02.021
    [7] 李玉瑶王菲孙同同 . 薄膜激光损伤阈值标定技术. 激光技术, 2021, 45(6): 729-734. doi: 10.7510/jgjs.issn.1001-3806.2021.06.009
    [8] 陈慧赵斌马国鹭 . 无衍射光电子标靶的直接映射标定方法研究. 激光技术, 2011, 35(3): 407-411. doi: 10.3969/j.issn.1001-3806.2011.03.031
    [9] 翟中生赵斌 . 无衍射光束中心光斑的特性研究. 激光技术, 2008, 32(5): 480-483.
    [10] 冯伟伟张循利陈立刚 . 光束会聚对光学偏振探测影响的分析. 激光技术, 2011, 35(4): 559-561,565. doi: 10.3969/j.issn.1001-3806.2011.04.029
    [11] 欧攀刘星孙鸣捷于康龙王治权 . 一种大步长的光学微扫描方法. 激光技术, 2013, 37(3): 293-296. doi: 10.7510/jgjs.issn.1001-3806.2013.03.005
    [12] 马志明王晓玲周哲海 . 基于LED照明的时域全场OCT成像系统设计. 激光技术, 2023, 47(2): 280-285. doi: 10.7510/jgjs.issn.1001-3806.2023.02.019
    [13] 陈均溢商思航苗丹江财俊曾延安 . 光电成像系统的绝对光谱响应效率测量及分析. 激光技术, 2021, 45(1): 121-125. doi: 10.7510/jgjs.issn.1001-3806.2021.01.021
    [14] 徐帅朱启兵黄敏 . 手持式食品残留物荧光成像检测系统开发. 激光技术, 2023, 47(6): 872-880. doi: 10.7510/jgjs.issn.1001-3806.2023.06.021
    [15] 雷选华杨克成 . 一种基于FPGA水下激光成像系统的同步控制器. 激光技术, 2010, 34(5): 682-685. doi: 10.3969/j.issn.1001-3806.2010.O5.029
    [16] 夏春蕾郑刚戴曙光 . 大景深成像技术及其相移现象的控制. 激光技术, 2008, 32(2): 159-162.
    [17] 汪靓杨宇黄敏朱启兵 . 基于偏振成像技术的油桃机械损伤检测. 激光技术, 2022, 46(6): 841-849. doi: 10.7510/jgjs.issn.1001-3806.2022.06.021
    [18] 王骐迟欣李琦 . 太赫兹自由电子激光器的成像原理及进展. 激光技术, 2006, 30(6): 643-646.
    [19] 李芮李晓王志斌黄艳飞王耀利张瑞 . 阵列探测器在成像光谱偏振探测技术中的应用. 激光技术, 2014, 38(6): 822-825. doi: 10.7510/jgjs.issn.1001-3806.2014.06.021
    [20] 胡江涛黄峰张雏刘秉琦王元铂 . 超分辨率重构复眼成像技术的研究进展. 激光技术, 2015, 39(4): 492-496. doi: 10.7510/jgjs.issn.1001-3806.2015.04.014
  • 加载中
图(8) / 表(3)
计量
  • 文章访问数:  2822
  • HTML全文浏览量:  1892
  • PDF下载量:  17
  • 被引次数: 0
出版历程
  • 收稿日期:  2022-12-29
  • 录用日期:  2023-02-02
  • 刊出日期:  2024-01-25

鱼眼成像系统标定技术研究

    通讯作者: 刘力双, Liulishaung@bistu.edu.cn
  • 北京信息科技大学 仪器科学与光电工程学院, 北京 100192, 中国
基金项目:  ××重点实验室基金资助项目 202105509

摘要: 为了解决目标在大视场鱼眼成像系统中定位精度低的问题, 采用了一种基于相机移动标定鱼眼成像系统的研究方法。以固定不动的单个点光源作为标定物, 通过电动高精度2维旋转位移台驱动鱼眼成像系统移动, 分别记录点光源在鱼眼成像系统中的方位角度和光点在图像中的像素位置, 构建鱼眼成像系统标定模型, 使点光源成像在图像中的各位置; 利用图像有效区域的边缘拟合圆计算出光学中心, 并采用分区域标定的方式计算出畸变参数, 减小标定误差。结果表明, 当划分为三区域标定时, 该方法在中心成像区域的标定误差为0.06°, 精度较高。此研究可应用于红外地球敏感器、广角成像侦查系统等领域中对大视场鱼眼成像系统的标定。

English Abstract

    • 鱼眼镜头是一种特殊的广角镜头,具有较广阔的视野范围和较短的焦距[1-3]。大视角的特点使鱼眼镜头在红外地球敏感器和广角侦查系统等众多领域得到广泛的应用。然而,鱼眼镜头自身工艺制作的缺点以及镜头在组合装配中的误差使其不可避免地引起了图像畸变[4-5],图形畸变的产生会在提取目标方位信息时造成偏差。方位信息的偏差在红外地球敏感器中,会造成地平圆圆心目标的定位不精确,无法准确计算卫星的姿态信息;在广角侦查系统中,同样会导致系统在对目标定位时出现偏移,使目标定位精度下降。如何通过畸变图像在大视场鱼眼成像系统中确定目标的方位,成为了近年来国内外众多学者深入研究的重点问题。

      根据鱼眼图像精确提取目标方位的本质是建立2维图像和3维空间的映射关系[6]。TSAI的两步法[7]和ZHANG的棋盘标定法[8]虽然具有较高的标定精度,但需要尺寸与大视场成像系统拍摄范围相匹配的标定板,制作成本较高,实验难度较大。ZHU等人[9]建立球面投影模型,基于畸变参数分离的思想标定鱼眼成像系统,但该模型中要确定的畸变参数过多,导致计算量过大。XIAO等人[10]采用两步法模型,分别对靠近光学中心的区域建立线性畸变模型和远离光学中心的区域建立非线性畸变模型,实现对目标转台姿态角的精定位,但经实验验证,其所提出的坐标轮转方法不能精确定位光学中心,影响转台姿态角的拟合精度。

      为提升在大视场鱼眼成像系统中目标定位精度,本文作者采用了基于相机移动的研究方法构建鱼眼成像系统的标定模型。控制高精度2维旋转位移台的角度位置,移动鱼眼成像系统拍摄固定位置的点光源,根据点光源在鱼眼成像系统中的方位角度和光点在图像中的像素位置,构建两者之间的数学模型。为提高模型标定精度,减小系统标定误差,采用图像有效区域的边缘拟合圆计算出光学中心,并采用分区域标定的方式计算出畸变参数。再根据像素位置拟合标定物方位角度,验证模型精度。

    • 图 1所示,在鱼眼成像系统中,成像的过程就是3维世界坐标系下点Pw经一系列坐标变化映射成为2维图像坐标系下点Pd的过程[11]。具体过程为:世界坐标系(xw, yw, zw)下的点经过光线映射到摄像机坐标系(xc, yc, zc)中,再投影到代表传感器的成像平面坐标系(x, y)上,最终经过数模变换映射为图像坐标系(u, v)中的像素点[12]

      图  1  鱼眼镜头成像模型

      Figure 1.  Fisheye lens imaging model

      在摄像机坐标系下,将鱼眼镜头视作半径为R的半球面。经世界坐标系中任一点Pw的光线沿光学中心的方向进入摄像机坐标系,交点为Pc(xc, yc, zc),入射角为θ,在xcyc平面上的投影与xc轴正方向的偏移角为φPc点可以由θφ确定:

      $ \left\{\begin{array}{l} x_{\mathrm{c}}=R \sin \theta \cos \varphi \\ y_{\mathrm{c}}=R \sin \theta \sin \varphi \\ z_{\mathrm{c}}=R \cos \theta \end{array}\right. $

      (1)

      根据小孔成像原理,Pc在图像平面的理想投影为点P(u, v),两者之间的坐标映射关系为:

      $ z_{\mathrm{c}}\left[\begin{array}{l} u \\ v \\ 1 \end{array}\right]=\left[\begin{array}{ccc} f / d & 0 & u_0 \\ 0 & f / d & v_0 \\ 0 & 0 & 1 \end{array}\right]\left[\begin{array}{l} x_{\mathrm{c}} \\ y_{\mathrm{c}} \\ z_{\mathrm{c}} \end{array}\right] $

      (2)

      式中: (u0, v0)为光学中心Oc在图像平面上投影O的像素坐标; f为鱼眼镜头焦距; d×d为单个像元尺寸。

      鱼眼成像系统的结构不同于一般成像系统,主要受非线性畸变影响,成像多为非相似成像。Pc在图像平面的实际投影为点Pd(ud, vd),P点与Pd点间的畸变关系将在下一节中进行讨论。

      根据式(1)和式(2),得到在鱼眼镜头坐标系下入射角θ与图像平面下点P到光学中心距离r之间的关系:

      $ \tan \theta=A \times r $

      (3)

      式中: $A=d / f ; r=\sqrt{\left(u-u_0\right)^2+\left(v-v_0\right)^2}$。

      同理,也得到偏移角φP点像素坐标之间的关系:

      $ \tan \varphi=\frac{v-v_0}{u-u_0} $

      (4)
    • 在鱼眼成像系统中,点Pc本该于理想成像点P处成像,但因为成像过程受到非线性畸变的影响,实际成像位置偏移到了点Pd处,如图 2所示。这种成像点的位置偏移是无法精确提取目标方位的主要原因,受到径向畸变、切向畸变和薄棱镜畸变三者的影响,其中薄棱镜畸变的影响过小可将其忽略[13-14],主要考虑前两者的影响。径向畸变是造成图像畸变的主要原因,表现为成像点在半径方向上发生位置偏移,产生原因是生产工艺造成鱼眼镜头表面出现不规则的形状[15]。径向畸变模型为:

      $ r=k_1 \times r_{\mathrm{d}}+k_2 \times r_{\mathrm{d}}{ }^3+k_3 \times r_{\mathrm{d}}^5 $

      (5)

      图  2  非线性畸变成像点偏差

      Figure 2.  Nonlinear distortion imaging point deviation

      式中: $r_{\mathrm{d}}=\sqrt{\left(u_{\mathrm{d}}-u_0\right)^2+\left(v_{\mathrm{d}}-v_0\right)^2} ; k_i(i=1, 2, 3)$为径向畸变参数。

      切向畸变改变了成像点到光学中心矢量的角度,使成像点发生角度偏转。产生原因是构成鱼眼镜头透镜的光心与几何中心不重合[16],畸变模型为:

      $ \left\{\begin{array}{l} u=u_{\mathrm{d}}+2 p_1 u_{\mathrm{d}} v_{\mathrm{d}}+p_2\left(r_{\mathrm{d}}^2+2 u_{\mathrm{d}}^2\right) \\ v=v_{\mathrm{d}}+p_1\left(r_{\mathrm{d}}^2+2 v_{\mathrm{d}}^2\right)+2 p_2 u_{\mathrm{d}} v_{\mathrm{d}} \end{array}\right. $

      (6)

      式中: pj(j=1, 2)为切向畸变参数。

      将式(5)代入式(3)可得:

      $ \tan \theta=K_1 \times r_{\mathrm{d}}+K_2 \times{r_{\mathrm{d}}}^3+K_3 \times{r_{\mathrm{d}}}^5 $

      (7)

      式中: 入射角畸变参数Ki=A×ki, i=1, 2, 3。

      将式(6)代入式(4)可得:

      $ \tan \varphi=\frac{v_{\mathrm{d}}+P_1\left(r_{\mathrm{d}}^2+2 v_{\mathrm{d}}^2\right)+2 P_2 u_{\mathrm{d}} v_{\mathrm{d}}-v_0}{u_{\mathrm{d}}+2 P_1 u_{\mathrm{d}} v_{\mathrm{d}}+P_2\left(r_{\mathrm{d}}^2+2 u_{\mathrm{d}}^2\right)-u_0} $

      (8)

      式中: 偏移角畸变参数Pj=pj, j=1, 2。

      将标定点的入射角θ集合与距光学中心的距离rd集合代入式(7)中,即可求得入射角畸变参数Ki(i=1, 2, 3)。同理将标定点的偏移角φ的集合与像素坐标Pd(ud, vd)集合同时代入式(8)中,即可求得偏移角畸变参数Pj(j=1, 2)。

    • 鱼眼成像系统的畸变围绕光学中心对称,畸变程度与成像点离光学中心的距离为正相关[17]。理想情况下光学中心的成像位置应该与图像中心相重合,但由于鱼眼镜头的装配误差,使得两者不能完全重合,需要对其单独标定[18-19]。因为大视角的特点,鱼眼图像成像有效区域边缘为圆形。为计算出光学中心,选择采用最小二乘法拟合鱼眼图像的有效区域边沿圆,拟合得到的圆心就是光学中心的实际像素位置。设理想圆的标准方程为:

      $ \left(x_{\mathrm{s}}-a\right)^2+\left(y_{\mathrm{s}}-b\right)^2=r^2 $

      (9)

      式中: (xs, ys)为圆上的任意一点; (a, b)为圆心坐标; r为圆的半径。最小二乘法要求残差值最小:

      $ S=\sum\limits_{q=1}^p\left[\sqrt{\left(x_{\mathrm{s}}-a\right)^2+\left(y_{\mathrm{s}}-b\right)^2}-r\right]^2 $

      (10)

      当残差值S最小时,则有:

      $ \frac{\partial S}{\partial r}=0 $

      (11)

      $ \frac{\partial S}{\partial a}=0 $

      (12)

      $ \frac{\partial S}{\partial b}=0 $

      (13)

      根据以上3式,可以求出圆心(a, b)和半径。

    • 在进行最小二乘法拟合前,采用了亚像素边缘检测算法中的灰度矩边缘定位法定位图像有效区域轮廓,提升光学中心的拟合精度从而减小系统的标定误差。基本原理是假设图像的实际边缘分布与阶跃式变化的理想边缘的灰度矩一致[20],利用图像实际边缘的前3阶灰度矩求取图像的亚像素边缘点。设鱼眼图像实际边缘的灰度值为hl(l=1, 2, 3, …, n); n为图像实际边缘包含的像素点总数,计算图像的图像实际边缘的前3阶灰度矩:

      $ m_k=\frac{1}{n} \sum\limits_{l=1}^n h_l^k, (k=1, 2, 3) $

      (14)

      得到前3阶灰度矩后,精确计算图像的亚像素边缘点的位置:

      $ t=\frac{n}{2} \lambda \sqrt{\frac{1}{4+p^2}}+\frac{n+1}{2} $

      (15)

      式中: λ=(M3+2M13-3M1M2)/(M2-M12)2/3

      通过传统边缘检测算法粗定位图像边缘的像素坐标(xe, ye),根据周围像素点的灰度值判断边缘方向:当Gx>Gy(GxGy分别表示边缘在x方向和y方向的梯度算子),边缘方向为水平;反之,边缘方向为垂直。

      $ \left\{\begin{array}{l} G_x=\max \left(\left|g\left(x_e-1, y_e\right)-g\left(x_e, y_e\right)\right|, \left|g\left(x_e, y_e\right)-g\left(x_e+1, y_e\right)\right|\right) \\ G_y=\max \left(\left|g\left(x_e, y_e-1\right)-g\left(x_e, y_e\right)\right|, \left|g\left(x_e, y_e\right)-g\left(x_e, y_e+1\right)\right|\right) \end{array}\right. $

      (16)

      式中: g(xe, ye)为点(xe, ye)的灰度值。

      得到边缘方向后,以(xe, ye)为中心,延灰度方向分别向两侧拓展6个像素,根据式(15)求得亚像素边缘点。

    • 鱼眼镜头产生的畸变是非线性的畸变,图像中不同位置的像点受到的畸变影响程度不同,用同一组畸变参数对整幅图像校正,对校正精度和稳定性会产生影响[21]。为了能提高标定精度,对鱼眼图像采取了一种分区域标定的方法,对不同区域求取不同的畸变参数,提升标定的精度。

      在鱼眼成像系统中,成像点到光学中心的距离主要受标定物入射角θ影响。鱼眼图像的畸变关于光学中心对称,且随着成像点距光学中心距离的增大而增加,在以光学中心为圆心的圆上畸变大致相同[22]。如图 3所示,在标定过程中,根据标定物入射角θ的大小将鱼眼图像划分为以光学中心为圆心的同心圆区域,对每个区域进行标定。

      图  3  标定区域划分示意图

      Figure 3.  Marking area division diagram

    • 实验系统由图像采集和方向控制两部分组成。图像采集部分由中联科创鱼眼镜头VM0420MP5、大恒工业相机DH-HV1351UM和标定物做成,标定物是单个点光源,相机分辨率为1280 pixel×1024 pixel。方向控制部分是由高精度2维旋转位移台、光学平台和上位机组成,上位机可以对转台实现精确控制,角度变化精度为0.004°。图 4为实验系统搭建的示意图,图 5为实验系统实物图。

      图  4  实验系统搭建

      Figure 4.  Experimental system construction

      图  5  高精度2维转台及鱼眼成像系统实物图

      Figure 5.  Physical view of high precision 2-D turntable and fisheye imaging system

    • 控制鱼眼成像系统拍摄多幅白纸的图像。根据前面提出的灰度矩边缘定位法提取图像有效区域的边缘,对提取到的边缘使用最小二乘法拟合,得到鱼眼图像光学中心的坐标(a, b)和半径r图 6所示为亚像素边缘检测结果。

      图  6  亚像素边缘检测

      Figure 6.  Sub-pixel edge detection

      拍摄8组图像进行拟合,如表 1所示,为对8组数据的拟合结果。取结果的平均值(651.51 pixel,525.57 pixel)作为光学中心和619.36 pixel作为有效区域半径。

      表 1  光学中心及图像有效区域半径拟合结果/pixel

      Table 1.  Optical center and image effective area radius fitting results/pixel

      a b r
      1 651.50 525.58 619.35
      2 651.51 525.57 619.37
      3 651.51 525.58 619.36
      4 651.51 525.57 619.36
      5 651.51 525.58 619.37
      6 651.52 525.58 619.37
      7 651.52 525.56 619.37
      8 651.52 525.55 619.37
      average value 651.51 525.57 619.36
    • 标定物单个点光源由红色平板光源和带孔的不锈钢板组合构成,将不锈钢板覆盖于平板光源表面。孔洞为直径10 mm的圆孔,钢板厚度为0.1 mm,在钢板外侧表面覆盖遮挡物,只留下作为点光源的孔洞,这样得到的点光源较为均匀,光源边缘成像效果更为清晰。标定物在鱼眼成像系统中的成像近似为圆形,面积约为116 pixel,在对图像进行均值滤波后,通过灰度质心法提取标定物中心作为标定点。图 7为标定物在初始位置的图像。

      图  7  标定物在初始位置成像

      Figure 7.  Imaging of the calibrator at the initial position

      控制高精度2维旋转位移台,调整角度位置,使标定点与鱼眼成像系统的光学中心相重合,此位置为鱼眼成像系统的初始位置。然后移动鱼眼成像系统,在不同角度下拍摄标定物,记录标定点在图像中的像素坐标(u, v)和标定物在鱼眼成像系统的方位角度(θ, φ)。共拍摄图像184幅,使标定点尽可能充满整个图像。将采集到标定物的方位角度和图像点的像素坐标作为数据集代入式(7)、式(8),计算出畸变模型。

      图 8为标定物在不同方位的成像。为了验证标定精度通过转台转动鱼眼成像系统到任意角度,拍摄10幅图像。计算出每幅图像中标定点的像素坐标及到光学中心的距离,将这些数据作为测试集代入畸变模型中,拟合每幅图像中标定物的方位角度,与实际方位角度θφ对比,检测系统标定精度。

      图  8  不同方位标定物成像

      Figure 8.  Imaging of calibrators in different orientations

    • 在实验中采取分区域标定的方式以降低系统的标定误差,根据入射角度θ划分区域。为了降低标定系统的复杂性,采用三区域划分法。在划分区域时,要保证各区域的标定误差尽可能的小,且每个区域的数据集点不能过少,影响畸变参数的求取,所以采取角度遍历的方式分别对两个分界角度进行求取,先根据各区域数据集求取畸变模型,再将测试集代入畸变模型,计算标定精度。

      经过测试,入射角θ的最大值为90°。先求取区域1、2的分界角度,在区间[30°,80°]中,采用步进为1°进行遍历,找到能使区域1中标定误差最小的角度,角度为42°; 再根据求取的第1个分界角度,重新划分区间[50°,80°],求取区域2、3的分界角度71°,使二区域的标定误差最小。

      根据求得角度进行区域划分,验证理论。单区域为图像的整个视场;二区域以42°为界线划分区域1(0°~42°)、区域2(42°以上);三区域划分为区域1(0°~42°)、区域2(42°~71°)、区域3(71°以上)。根据采集数据分别计算各区域的畸变参数和标定误差, 如表 2表 3所示。

      表 2  分区域畸变参数

      Table 2.  Sub-regional distortion parameters

      K1 K2 K3 P1 P2
      single area 1 3.54×10-3 -3.34×10-8 1.57×10-13 1.80×10-6 2.22×10-6
      double area 1 1.99×10-3 2.92×10-9 1.26×10-14 2.49×10-6 6.79×10-7
      2 1.65×10-2 -1.47×10-7 3.91×10-13 1.70×10-6 2.89×10-6
      three area 1 1.99×10-3 2.92×10-9 1.26×10-14 2.49×10-6 6.79×10-7
      2 4.27×10-3 -2.49×10-8 9.79×10-14 2.52×10-6 2.97×10-6
      3 2.00×10-1 -1.37×10-6 2.41×10-12 -1.69×10-6 2.15×10-6

      表 3  实验结果

      Table 3.  Experimental result

      area number average error/(°)
      single area 1 2.15
      double area 1 0.06
      2 1.47
      three area 1 0.06
      2 0.26
      3 0.45

      根据实验结果可知,拟合标定物方位角度的误差值随着标定区域的增加而减小。在将整个鱼眼图像划分为3个区域时,区域1的平均误差为0.06°,区域2的平均误差为0.26°,区域3的平均误差为0.45°。可以看出,靠近光学中心的主要成像区域误差较小,远离光学中心的边缘成像区域误差较大,对鱼眼图像划分区域标定可以有效降低系统的标定误差,提升了整个鱼眼成像系统的标定精度。

    • 为了提升大视场鱼眼成像系统中目标定位精度,采用基于相机移动的研究方法构建鱼眼成像系统的标定模型。先计算光学中心坐标,再对鱼眼图像进行分区域标定,依据标定点像素位置拟合其在大视场中的方位。相较于其它标定算法需要先校正图像再求取目标方位,本文中所提出的方法通过模型直接将像素点与空间坐标建立了对应关系,同时对其它参数如焦距等不做关心,降低了标定的复杂程度。另外, 采用点光源加相机转台的方法,也避免了制造高精度大尺寸标定板,降低了系统的复杂性和成本。

      从实验结果来看,分区标定方法避免了一套畸变系数造成的部分区域误差过大的问题, 既保证了图像中心区域的精度,又提高了容易造成大误差的大视角区域的精度。在划分为三区域标定时,可以将靠近光学中心的主要成像区域的平均误差降低到0.06°,相比于前文提到的其它算法,拥有更高的标定精度。这一标定方法可以应用到红外地球敏感器、广角侦查系统等领域的大视角应用场景中对鱼眼成像系统进行的标定。

参考文献 (22)

目录

    /

    返回文章
    返回