高级检索

ISSN1001-3806CN51-1125/TN 网站地图

留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

无人机自主降落过程视觉定位方法研究

索文凯 胡文刚 张炎 张彪

引用本文:
Citation:

无人机自主降落过程视觉定位方法研究

    作者简介: 索文凯(1988-), 男, 硕士研究生, 助理工程师, 现主要从事光学装备技术保障方面的研究.
    通讯作者: 胡文刚, HuWengangg@qq.com
  • 中图分类号: O439

Research of visual positioning method during UAV autonomous landing process

    Corresponding author: HU Wengang, HuWengangg@qq.com ;
  • CLC number: O439

  • 摘要: 为了充分利用连续视觉图像中3维空间信息, 解决无人机自主降落过程中的定位问题, 在稠密3维点云法和光流法定位原理的基础上, 提出了基于同物不同时图像像空间的定位方法。以理论推算、图形注释等方式, 通过求解单个像素点和整个图像移动变化情况, 将连续帧图像的形变、量变信息分解为无人机和参照物的空间相对运动信息, 并结合已知的参照物运动参量, 推算了无人机飞行位姿信息, 完成了无人机基于光学视觉图像的空间定位方法研究。结果表明, 该研究为视觉系统在无人机降落回收过程中独立实现空间定位提供了一定的借鉴和参考。
  • Figure 1.  Monocular imaging mechanism

    Figure 2.  Visual positioning priciple of UAV

    Figure 3.  Visual location principle of dense point cloud method

    a—continuous sequential frame image b—image digital processing c—large field point cloud image d—simutate flight routes on satellite maps

    图 4  Visual location principle of optical flow

    a—2-D image plane optical flow field b—3-D sports field c—pre-frame pixel d—parallel state pixel e—pitch state pixel f—flip state pixel

    Figure 5.  Visual location principle of different frame images' spatial with same object

    a—initial frame image b—climbing frame image c—dive frame image d—left fly frame image e—right fly frame image f—far away frame image g—asymptotic frame image h—flip frame image

    Figure 6.  Spatial projection of flight trajectory

    Figure 7.  Image space change of adjacent frame

    a—regular distortion image b—irregular distortion image c—two frames before and after the image overlap

    Figure 8.  Simulated flight space analytical map of UAV

  • [1]

    WEI Y M, QUAN J Ch, HOUYU Q Y. Research on time series image positioning of UAV based on CNN and Bi-LSTM[J]. Electronics Optical & Control, 2017, 24(12): 51-55(in Chinese).
    [2]

    SNIDERMAN D. UAV camera: a unique optical imaging method [J]. Today Electronics, 2017, 6(6): 35-37(in Chinese).
    [3]

    YANG Sh, CHENG H, LI T, et al.The precise positioning algorithm of UAV target based on image registration[J].Infrared Technology, 2017, 39(6):11-16(in Chinese).
    [4]

    ZHANG Y L, WANG Y Zh, HAN Zh. A method of landing UAV based on fastSLAM algorithm[J].Electronics Optics & Control, 2017, 24(9):83-87(in Chinese).
    [5]

    ZHANG Ch, ZHAO H Y, QIAN X. Research on target feature tracking method for UAV image[J].Infrared Technology, 2015, 37 (3):224-228(in Chinese).
    [6]

    LEHMKVHLER K, WONG K C, VERSTRAETE D. Methods for accurate measurements of small fixed wing UAV inertial properties[J]. Aeronautical Journal, 2016, 120(1233):1785-1811. doi: 10.1017/aer.2016.105
    [7]

    WOODGET A S, AUSTRUMS R. Subaerial gravel size measurement using topographic data derived from a UAV-SfM approach[J]. Earth Surface Processes & Landforms, 2017, 42 (9):1434-1443. 
    [8]

    ALI N, BAJWA K B, SABLATNIG R, et al. A novel image retrieval based on visual words integration of SIFT and SURF[J]. PLOS One, 2016, 11(6):e0157428. doi: 10.1371/journal.pone.0157428
    [9]

    CHEN B H, DENG L, CHEN Zh X, et al. Visual positioning of UAV based on instant dense 3-D reconstruction[J].Acta Electronica Sinica, 2017, 45(6):1294-1300(in Chinese).
    [10]

    LIU Y P, CHENG X J, JIA D F, et al. A registration method for sequence images and ground laser point clouds[J].Laser Journal, 2017, 38(10):90-95(in Chinese).
    [11]

    HUANG N N, LIU G X, ZHANG Y Zh, et al. Visual navigation algorithm for drones[J].Infrared and Laser Engineering, 2016, 45(7):269-277(in Chinese).
    [12]

    GOPPERT J, YANTEK S, HWANG I. Invariant Kalman filter application to optical flow based visual odometry for UAVs[C]// Ninth International Conference on Ubiquitous & Future Networks. New York, USA: IEEE, 2017: 99-104.
    [13]

    LAI L J, XU Zh Y, ZHANG W. Improved gradient optical flow method applied in stabilization system[J]. Infrared and Laser Engineering, 2016, 45(4):273-279(in Chinese). 
    [14]

    XIE H, YUAN B, XIE W. Moving target detection algorithm based on LK optical flow method and three-frame difference method[J]. Journal of Applied Science, 2016, 43(3): 23-27(in Chinese).
    [15]

    ZHU M, TIAN J Sh, WEN W L, et al. Research on large dynamic fringe camera based on electron bombardment CCD[J].Acta Physica Sinica, 2015, 64(9): 516-523(in Chinese).
    [16]

    TIFFENBERG J, SOFOHARO M, DRLICAWAGNER A. Single-electron and single-photon sensitivity with a silicon skipper CCD[J]. Physical Review Letters, 2017, 119(13):1318021-1318026. 
    [17]

    FAN J J. Research on relationship matching of regular object images based on line features[D]. Xi'an: Xi'an University of Science and Technology, 2011: 34-41(in Chinese).
    [18]

    WANG Y T. Passive direction finding time difference location method based on cosine theorem[J].Modern Radar, 2015, 37(5):41-46(in Chinese).
    [19]

    GUO Y H. A generalization of cosine theorem in tetrahedron[J]. Journal of Mathematics, 2004, 10(10):24-25(in Chinese).
    [20]

    YAO B, HE L F, KANG Sh Y, et al. Eight-contiguous Euler number algorithm for binary image based on graph theory[J]. Journal of Naval University of Engineering, 2016, 28(5): 36-40(in Chin-ese).
  • [1] 索文凯胡文刚班利明林源和钱乐 . 基于视觉图像的四旋翼无人机飞行控制研究. 激光技术, 2020, 44(4): 451-458. doi: 10.7510/jgjs.issn.1001-3806.2020.04.010
    [2] 缪欣张德斌宋余华张新兴梅扬妮杨文然熊金飞邵海军 . 基于激光末端引导的无人机精确回收技术. 激光技术, 2018, 42(5): 687-691. doi: 10.7510/jgjs.issn.1001-3806.2018.05.019
    [3] 彭赤杨磊周小红石书山陈科羽谢春 . 无人机山区环境激光扫描路径规划方法研究. 激光技术, 2020, 44(4): 441-446. doi: 10.7510/jgjs.issn.1001-3806.2020.04.008
    [4] 王海林苗鹏程阎大鹏贺安之 . 物理光学方法分析Moire偏折法. 激光技术, 1991, 15(6): 335-340.
    [5] 曾旭陈伯建潘磊李诚龙江波 . 基于机载激光点云的电网绝缘子识别方法. 激光技术, 2023, 47(1): 80-86. doi: 10.7510/jgjs.issn.1001-3806.2023.01.012
    [6] 杨海磊宋连科王荣新王会丽 . 基于成像光谱仪中的α-BBO晶体渥拉斯顿棱镜设计. 激光技术, 2014, 38(1): 79-82. doi: 10.7510/jgjs.issn.1001-3806.2014.01.017
    [7] 王劼予杨林刘巧君左浩毅罗时荣 . 多色GSM光束通过杨氏双缝后谱强度的一般式. 激光技术, 2010, 34(3): 343-346. doi: 10.3969/j.issn.1001-3806.2010.03.016
    [8] 薛璐胡文静徐彬刘学峰姚政鹏陈智龙黄益俊熊吉川 . 基于偏振参数非直观光学成像的鼻唇沟量化表征. 激光技术, 2023, 47(4): 572-578. doi: 10.7510/jgjs.issn.1001-3806.2023.04.020
    [9] 范希智 . 二次元多周期1维光子晶体带隙的实质. 激光技术, 2021, 45(3): 313-317. doi: 10.7510/jgjs.issn.1001-3806.2021.03.008
    [10] 许森东 . 艾里涡旋光束通过负折射率介质的传输特性. 激光技术, 2022, 46(6): 850-854. doi: 10.7510/jgjs.issn.1001-3806.2022.06.022
    [11] 唐恒敬吴福全邓红艳 . 格兰-泰勒棱镜和格兰-付科棱镜透射比的比较研究. 激光技术, 2006, 30(2): 215-217.
    [12] 赵爽吴福全唐恒敬 . 椭圆偏振光与部分偏振光检验的理论分析. 激光技术, 2006, 30(4): 436-437,448.
    [13] 余文芳黄佐华周进朝李华新 . 用全反射法测冰醋酸和酒精的折射率. 激光技术, 2014, 38(2): 161-164. doi: 10.7510/jgjs.issn.1001-3806.2014.02.004
    [14] 单聪淼孙华燕赵延仲 . 基于M-Z干涉的相干高斯光束远场干涉图样研究. 激光技术, 2017, 41(1): 113-119. doi: 10.7510/jgjs.issn.1001-3806.2017.01.023
    [15] 马丽丽吴福全宋连科苏富芳史萌 . Rochon棱镜反向使用消光比. 激光技术, 2017, 41(4): 611-613. doi: 10.7510/jgjs.issn.1001-3806.2017.04.031
    [16] 郭淑霞单雄军张政高颖 . 典型场景下电波传播特性建模. 激光技术, 2015, 39(1): 124-128. doi: 10.7510/jgjs.issn.1001-3806.2015.01.025
    [17] 王凤彭捍东孙山山孙丹宋连科 . 干涉因素对偏光棱镜消光比测量的影响. 激光技术, 2017, 41(1): 120-123. doi: 10.7510/jgjs.issn.1001-3806.2017.01.024
    [18] 章海锋 . 3维函数光子晶体的特性研究. 激光技术, 2018, 42(3): 318-324. doi: 10.7510/jgjs.issn.1001-3806.2018.03.006
    [19] 魏勇朱艳英 . 拉盖尔-高斯涡旋光束传播中的相位变化分析. 激光技术, 2015, 39(5): 723-726. doi: 10.7510/jgjs.issn.1001-3806.2015.05.029
    [20] 魏勇朱艳英肖长江 . 光驱动马达技术中晶体转子厚度的优化分析. 激光技术, 2015, 39(2): 194-197. doi: 10.7510/jgjs.issn.1001-3806.2015.02.010
  • 加载中
图(8)
计量
  • 文章访问数:  4478
  • HTML全文浏览量:  2831
  • PDF下载量:  24
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-12-11
  • 录用日期:  2019-01-08
  • 刊出日期:  2019-09-25

无人机自主降落过程视觉定位方法研究

    通讯作者: 胡文刚, HuWengangg@qq.com
    作者简介: 索文凯(1988-), 男, 硕士研究生, 助理工程师, 现主要从事光学装备技术保障方面的研究
  • 1. 陆军工程大学石家庄校区 电子与光学工程系, 石家庄 050003
  • 2. 中国人民解放军68129部队, 兰州 730000
  • 3. 中国人民解放军32135部队, 大同 037000

摘要: 为了充分利用连续视觉图像中3维空间信息, 解决无人机自主降落过程中的定位问题, 在稠密3维点云法和光流法定位原理的基础上, 提出了基于同物不同时图像像空间的定位方法。以理论推算、图形注释等方式, 通过求解单个像素点和整个图像移动变化情况, 将连续帧图像的形变、量变信息分解为无人机和参照物的空间相对运动信息, 并结合已知的参照物运动参量, 推算了无人机飞行位姿信息, 完成了无人机基于光学视觉图像的空间定位方法研究。结果表明, 该研究为视觉系统在无人机降落回收过程中独立实现空间定位提供了一定的借鉴和参考。

English Abstract

    • 近年来,随着人工智能技术和机器深度学习技术的进一步发展,机器视觉替代人眼完成搜索、识别、判断的技术越来越成熟,各型无人化、智能化产品层出不穷,各项功能也越来越完善。光学视觉设备作为机器视觉的基础,凭借其小型化、轻便化、即时化、便宜化等诸多优势,已经成为各类无人化、智能化产品不可缺少的核心部分之一。光学视觉设备搜集拍摄的高清度即时性图像直接影响着各类无人化、智能化产品的综合性能。特别是在当前无人机研究领域,无论是如何利用光学视觉设备更高标准地实现无人机的全地域、全时域优势,还是如何更高效地利用光学视觉设备无源性、实时性特征完成无人机自主降落功能,都是当前影响无人机向更高层次进化的重点。因此,基于光学视觉设备拍摄的连续图像进行无人机实时定位,实现无人机回收过程中的自主降落一直是当前无人机研究和发展的热点[1]

      无人机光学视觉设备主要包括成像组件、测距组件、图像数字化处理组件等。成像组件分为微光成像、可见光成像、红外成像3个大类,在各类大、中型无人机以及各型军用无人机中,成像组件主要以多类成像设备组合使用为主,而小型消费级无人机大多只使用可见光成像设备;测距组件主要有激光测距机、超声波测距和利用双目镜或多目镜成像的立体测距等;图像数字化处理组件主要为基于不同功能算法提取、变换、压缩、处理、描述视觉图像的处理器[2]。根据使用环境和功能要求的不同,无人机机载的光学视觉设备也不尽相同,例如大众化的消费级无人机一般没有测距组件,而高精度化的军用无人机还包含其它辅助组件等。

      无人机的成像组件和测距组件现阶段都已成熟,用户可以根据无人机的应用环境、功能作用及价格空间自行选配不同型号的光学成像、测距设备。本文中主要对现阶段光学视觉辅助无人机自主降落过程中两种定位方法进行研究,在分析其定位原理和方式的基础上,提出基于已知参照物的同物不同时像素空间定位方法,最后对该算法进行了分析论证。

    • 无人机光学视觉定位系统主要包含硬件设备和软件控制两大部分。硬件设备主要由光学视觉成像设备、光电测距设备等机构组成,软件控制主要包含数字图像处理器、结构算法等。

    • 无人机视觉定位功能主要依赖机载光学视觉成像设备实现,常用的光学视觉成像设备有单目镜成像机构、双目镜成像机构,甚至多目镜成像机构。单目镜成像机构因为自身系统局限性,所拍摄的2维平面图像信息不能直接转为3维立体空间信息。因此,单目镜成像机构往往会与一些测距组件组合使用,比如单目镜成像机构与激光测距机组合,单目镜成像机构与超声波测距组合等。本文中主要以单目镜成像机构为主进行讨论,其样式如图 1所示。

      Figure 1.  Monocular imaging mechanism

      视觉成像机构通常被安装在无人机下方,但具体位置各不相同。多旋翼无人机的视觉成像机构安装在无人机质心的下方,或者在前进方向的前端;固定翼、伞翼和扑翼无人机的视觉成像机构通常安装在机头下方。根据任务需求的变化,无人机视觉成像镜头的安装角度也大不相同,有的镜头平行于水平面安装,有的镜头与水平面成一定角度安装。有的镜头安装角度固定,有的镜头安装角度又是可以灵活变换的。

    • 无人机的视觉定位,是从感知的2维平面图像中提取相关的3维世界信息,辅助以距离、角度、加速度等动态参量,运用复杂的空间几何运算或模型算法等、经神经网络和统计学方法构建出无人机像空间的3维信息,进而与无人机的实际位置进行匹配,完成无人机的视觉导航定位。其过程主要包括光学视觉成像标定、光学图像数字化、视觉图像处理、空间定位解算、位置信息输出具体原理如图 2所示。

      Figure 2.  Visual positioning priciple of UAV

      在无人机视觉定位整个过程中,以定位解算阶段最为关键,定位解算的核心是根据同一目标在不同时刻或不同帧的视觉物像变动进行位置和姿态信息解算。具体过程包括:在无人机机载系统提供位置姿态参量基础上,利用扩展卡尔曼滤波器(extended Kalman filter, EKF)、光流法、稠密点云、数值分析等方法,对多帧连续图像中经尺度不变特征变换(scale-invariant feature transform, SIFT)、加速版尺度不变特征变换(speed-up robust features, SURF)、Hongh变换(Hongh transform,Hongh)等算法提取的目标特征进行解算,经即时定位与地图构建方法(simultaneous localization and mapping, SLAM)或离线3维重建方法构建3维空间动态信息,获取无人机的和目标的动态参量,进而进行无人机飞行参量修正,完成后续的匹配、跟踪和自主降落等[3-8]

    • 稠密点云法主要是利用连续顺序帧的无人机光学视觉图像生成稠密的较大视场3维点云,替代单张小视场视觉图像,与无人机事先预置的卫星图像进行匹配,利用迭代变换估计不断优化、扩大3维点云视场的图像地域,得到无人机航拍轨迹对应在卫星图中的飞行路线,获得无人机在卫星图上的精准地理坐标,即可得到无人机在现实世界中的实际大地坐标位置;同理,在单帧视觉图像灰度差异较大的基础上,对多张连续图像中的重叠部分进行匹配迭代,利用已知深度的关键帧或基准帧图像生成连续稠密的3维点云深度图,获得图像各点的深度信息,即可完成视觉信息的3维空间重构。再辅助以时间域信息,得到无人机动态的位置姿态变量信息,进而实现无人机的控制和自主降落[9-10]

      图 3为模拟的稠密点云原理图。图 3a为连续顺序帧的小视场即时视觉图像,图 3b为图像经处理后形成的数字模拟的像,图 3c为不断优化迭代的多张小视场单帧图像组成的大视场点云图像,图 3d为点云图像与卫星图像匹配后,判定的无人机当前位置及飞行路线,方框部分为无人机的当前位置,3条箭头线为无人机的飞行路线。

      Figure 3.  Visual location principle of dense point cloud method

    • 光流法从字面上讲就是根据光学图像的像素点在像空间的流动变化推算物体位置和姿态参量的方法。即在一定时间域内或前后连续帧图像之间,通过观察空间物体在机载光学视觉设备像平面的移动变化,找出前后帧图像之间像素运动的对应关系,并且对数字化处理后图像中的部分特征值像点位移情况进行复杂的空间几何运算,求解出无人机和空间物体的瞬时速度、角度、高度等动态运动场信息。根据运动方式的不同可分为特征值光流法、频域光流法和梯度光流法。光流法分析相邻帧之间的图像信息时,有3个前提假设条件:像素场亮度恒定,像素点运动较“缓”,同一像素点具有相同的运动分量。光流法充分利用了2维像平面各特征值在前后帧的位移变化信息,根据不同帧同一特征值像素点的前后变化和不同帧不同特征值像素点的前后变化推算无人机的位姿信息,进而完成空间定位[11-12]

      图 4所示,无人机飞行过程经视觉成像设备拍摄存储为连续帧2维平面像,通过观察像平面各点的移动情况得到每个像素点的矢量运动参量,再将多个像素点的矢量参量融合构成3维运动场信息。图 4c中红绿蓝3点分别代表灰度不同的特征值像素点,图 4d为无人机相对地面平行飞行各像素点的移动变化,图 4e为无人机相对地面旋转飞行各像素点的移动变化,图 4f为无人机相对地面翻转飞行各像素点的移动变化,从图 4c图 4d图 4e图 4f的对比中可以发现, 各像素点的移动情况各不相同,综合各像素的速度矢量可完成无人机动态分析,完成视觉定位。

      图  4  Visual location principle of optical flow

      对于单个像素点$\overrightarrow u $(x, y)来说,不仅包含特定时间内移动距离信息,还包含移动方向信息。即:

      $ \begin{array}{l} {I_i}\left( {{x_i} + {\rm{d}}x, {y_i} + {\rm{d}}y, {t_i} + {\rm{d}}t} \right) = \\ {I_i}({x_i}, {y_i}, {t_i}) + \frac{{\partial {I_i}}}{{\partial {x_i}}}{\rm{d}}x + \frac{{\partial {I_i}}}{{\partial {y_i}}}{\rm{d}}y + \frac{{\partial {I_i}}}{{\partial {t_i}}}{\rm{d}}t \end{array} $

      (1)

      由第1个假设条件亮度相同可得:

      $ {I_i}\left( {{x_i} + {\rm{d}}x, {y_i} + {\rm{d}}y, {t_i} + {\rm{d}}t} \right) = {I_i}({x_i}, {y_i}, {t_i}) $

      (2)

      式中,Ii为任意像素点i的亮度值,xiyi为其对应的x轴和y轴坐标。

      (1) 式和(2)式相减可得:

      $ \frac{{\partial {I_i}}}{{\partial {x_i}}}{\rm{d}}x + \frac{{\partial {I_i}}}{{\partial {y_i}}}{\rm{d}}y + \frac{{\partial {I_i}}}{{\partial {t_i}}}{\rm{d}}t = 0 $

      (3)

      令$\frac{{\partial {I_i}}}{{\partial {x_i}}} = {u_i}, \frac{{\partial {I_i}}}{{\partial {y_i}}} = {v_i}$, 可得:

      $ \left[ {{I_{ix}}, {I_{iy}}} \right] \cdot \left[ \begin{array}{l} {u_i}\\ {v_i} \end{array} \right] = - {I_{it}} $

      (4)

      式中,IixIiy为任意像素点i的亮度值在x轴和y轴上的分量, Iit是任意像素点it时刻的亮度值。

      由于亮度是恒定的,即可得A$\overrightarrow u $=b,由于Ab即像素点移动信息,所以可计算出3维$\overrightarrow u $信息,完成视觉定位[13-14]

    • 同物不同时像空间定位方法是在综合考虑上述多种方法的基础上提出的,其基本原理为:从机载视觉设备拍摄的连续帧图像中,观察某一中心对称已知形状的参照物在无人机不同飞行状态下的像空间变化。根据参照物在像平面的位移变化和参照物在像平面的形状变化推算无人机针对参照物的相对速度信息、相对角度和运动方向等信息。再由已知参照物的运动参量或无人机的初始巡航速度,推算出无人机的飞行位姿参量,分析无人机与参照物运动参量的差异,不断修正无人机的飞行速度、角度、加速度等变量,最终实现无人机的稳定跟踪、靠近降落等。以正方形为例,无人机不同方式飞行时,像空间移动方向和形状变化也各不相同,具体如图 5所示。

      Figure 5.  Visual location principle of different frame images' spatial with same object

      图 5中可以发现,参照物在无人机不同飞行状态下的形状各不相同。当无人机同一飞行状态下以不同加速度或角速度飞行时,像空间的形状、大小畸变也随之发生改变,但其所有的运动信息都被详细地记录在2维的像平面。随着制造工艺和材料技术的更新换代,光学相机、光学传感器、CCD等光敏器件的性能在不断突飞猛进,光学视觉成像质量、灵敏度、信噪比等参量越来越好,特别是有些相机像元尺寸已经可以达到3μm~10μm,使同一尺寸CCD像面可以记录更精准的变量信息。对于中低速无人机来说,现有的CCD像素阵列已经完全可以精准记录其各项运动信息,只要赋予一定的初始参量,就可以解算出无人机整个飞行过程位姿信息[15-16]

    • 在同物不同帧像空间定位方法中,有两个前提假设条件:(1)参照物形状已知,大小尺寸已知,特征明显,与周边环境有明显区分;(2)参照物运动轨迹已知,速度已知。在该方法中参照物一般选取中心对称的平面形状物体,作者以边长为r的正方框作为无人机使用该方法定位的参照物。

      由物体成像原理可知,为了使像空间参照物的像更加清晰、像空间记录的位移信息更加精确,需要在满足成像口径的基础上,使得像空间的像素阵列更稠密,即同一CCD芯片像元素越多,像素越大记录的运动参量就越精确。因此,CCD型号的选择直接影响着该方法定位的精度。为便于读者理解及数据计算,经过充分的市场调研,综合考量价格区间、性能参量等因素,本文中选取4.8mm×3.6mm的CCD光学相机,假定:(1)其成像焦距为f,像素分布为1200×900=108万像素,即每个像素大小为4μm×4μm;(2)每秒输出图像数为30frame/s,即前后帧图像间隔时间ΔT=1/30s。

    • 图 4图 5可以发现,无人机在空中飞行过程中,参照物在像平面的像即为参照物在像平面的投影。利用参照物像的变量直接解算的初始参量,只是无人机与参照物综合作用后的飞行参量在像平面投影,因此不能直接引用,必须考虑距离和角度变量的影响作用,只有这样,才算真正求出无人机的位姿信息,完成视觉定位。如图 6所示,假如无人机实际飞行轨迹为$\overrightarrow {\mathit{MN}} $,其在3个面的投影分别为$\overrightarrow {{\mathit{M}_{\rm{1}}}{\mathit{N}_1}} $, $\overrightarrow {{\mathit{M}_{\rm{2}}}{\mathit{N}_2}} $, $\overrightarrow {{\mathit{M}_{\rm{3}}}{\mathit{N}_3}} $,包含大小和方向信息。同理,假如在无人机像平面,参照物在光学视觉设备成像平面的轨迹已知,即参照物的每个像素点移动的大小和方向就已知了。但光有像素点的参量还不足以推算无人机的飞行信息,还必须借助于参照物的整个边界变化信息推算无人机的高度和角度。

      Figure 6.  Spatial projection of flight trajectory

      图 7为无人机机载光学视觉设备拍摄的边长为r的正方框参照物在相邻两帧图像的像。即ΔT=1/30s,图 7a为参照物规则的像,也可称前一帧图像,图 7b为参照物不规则的像,也可称后一帧图像。

      Figure 7.  Image space change of adjacent frame

      利用像空间大小推算物像距离的两种常用方法为边界法和极值法,对于规则的像(见图 7a)采用边界法,取任意边界h作为基准参量;对于不规则的像(见图 7b)用极值法,由于无人机与地平面夹角为任意角,各边界变化情况受夹角的影响各不相同,因此选择受夹角影响最小边界作为基准量,也就是选择参照物图像最大的那条边界hmax,根据物像关系式[17]f=hL/H,可得:

      $ L = fH/h = fH/{h_{{\rm{max}}}} $

      (5)

      式中, h为参照物规则像的边界长度, hmax为参照物不规则像的最大边界长度,H为参照物实际的边界长度,f为相机焦距,L为无人机与参照物的距离。通过数像格法和近似迭代等可以得到参照物像的边界尺寸h和最大边界hmax,根据(5)式即可求得无人机距离参照物的距离,即无人机的瞬时飞行高度L。通过图 7a图 7b中两帧像比较,可以发现图像整体在缩小,说明无人机当前为远离飞行;右边框BC变小的速度大于左边框AD,说明无人机在进行左飞;上边框AB变小速度大于下边框DC,说明无人机为爬升飞行,即无人机正在做向左爬升远离参照物飞行。在2.2.1节中提到两个假设条件中参照物的速度已知,再辅助以像空间的像素的移动位置,利用余弦定理[18-19]可得无人机相对于参照物的移动位移大小及方向,即大小为:

      $ \begin{array}{l} {d_P}\prime = {N_{ij}}d, {v_x} = L{d_P}\prime /(\Delta Tf), 已知, \\ {v^2} = {v_x}^2 + {v_{\rm{c}}}^2 - 2{v_x}{v_{\rm{c}}}{\rm{cos}}\phi = {\left[ {L{d_P}\prime /(\Delta Tf)} \right]^2} + \\ \;\;\;\;\;\;\;\;{v_{\rm{c}}}^2 - 2\left[ {L{d_P}\prime /(\Delta Tf)} \right]{v_{\rm{c}}}{\rm{cos}}\phi \end{array} $

      (6)

      式中, L为(5)式所求距离或高度,dP′为图 7中参照物中心P点的像素移动距离,vx为无人机相对于参照物移动速度,Nij为参照物中心像元素移动个数,i为第i行,j为第j列,d为第2.2.1节中像元素边长,vc为参照物速率,ϕ为参照物移动方向与像素移动方向的空间夹角;方向为参照物移动方向与像素移动方向的矢量之和方向。

      图 7中不规则的像(见图 7b)可以看作无人机在规则的像(见图 7a)的位置上绕任意轴μ旋转θ角度后,在像平面的投影,根据欧拉转动定理[20]可知,θ角度可分解为x, y, z轴上α, β, γ 3个角度的连续转动,即:

      $ {R_\mu }\left( \theta \right) = R\left( {\gamma , \beta , \alpha } \right) = {R_x}\left( \alpha \right){R_y}\left( \gamma \right){R_z}\left( \gamma \right) $

      (7)

      式中,Rx(α)为绕x轴转动αRy(β)为绕y轴转动βRz(γ)为绕z轴转动γ。以无人机飞行速度v、参照物运动速度vc、和像空间移动速度vx构建空间矢量关系图,无人机与参照物从T1时刻至T2时刻的运动轨迹与像空间的移动轨迹构成了空间矢量关系图, 如图 8所示。

      Figure 8.  Simulated flight space analytical map of UAV

      一方面,在同一帧图像中,将像素坐标系进行旋转,使不规则畸变的像其中1条边界与像素坐标重合,即可得到上下、左右两组相对的边界,如图 7中左右组AD, BC两个边界,上下组AB, DC两个边界。利用成像原理可知左右变化可以求出为物体绕y轴变化的角度β,上下变化可求出物体绕x轴变化的角度α;另一方面,根据前后帧图像像点位移变化可求出绕z轴变化的角度γ(在像平面也就是像素点前后时刻行列坐标变化),即:

      $ \left\{ \begin{array}{l} {\rm{tan}}\alpha = \left( {{d_{AB}} - {D_{DC}}} \right)L/(f \cdot r)\\ {\rm{tan}}\beta = \left( {{d_{AD}} - {d_{BC}}} \right)L/(f \cdot r)\\ {\rm{tan}}\gamma = {n_i}/{n_j} \end{array} \right. $

      (8)

      式中, dAB, dDCdAD, dBC分别为参照物两个对称边界在像空间的长度,ni为参照物中心点在像空间移动的行数,nj为参照物中心点在像空间移动的列数;将(8)式带入(7)式即到无人机的旋转角θ,这样得到无人机的速率v、方向、角度θ,就完成了无人机的空间定位。

    • 在进一步细化论证该方法的可行性后,主要完成两项后续工作:一是参考不同视觉导航参照物的优缺点,构建更加合适的参照物,在如何更好地提高参照物成像亮度,设置更加易于提取识别的特征点,减小噪声干扰,提高匹配识别时效等方面进行改造;二是利用计算机仿真进行模拟实验,进一步论证设计实验平台各项参量和限制条件,依据现有市场上的各类型光学视觉设备组件,搭建满足实验要求的机载光学视觉设备和处理器,选择合适载重的无人机组建实验样机,进行现场实验,对比实际实验与理论计算的差距,进行不断修正和完善,为进一步实现自主视觉定位的研究积累数据和经验。

    • 光学视觉定位方法受半导体材料、光敏元件、图像传感器等诸多硬件的制约较为明显,现阶段的光学视觉成像设备中,光强敏感度、光电转化率、图像处理、传输以及处理器运行参量等都只能满足中低速移动目标的识别解算,大大影响了光学视觉定位在无人机、机器人等人工智能领域的利用率。随着高精度制造工艺的进一步发展,以及复合材料等技术的逐渐成熟与应用普及,各项成本会逐渐降低,光学视觉成像设备的性能参量也将得到跨越式的提高。届时,伴随着高感光的光敏组件、高清化的视觉成像、高速化的运行处理内存,带来的将是大视场、远距离的拍摄区域,高效化的特征提取与识别、高精度的定位解算以及精准化的修正控制。这样就充分发挥了光学视觉无源化、实时化特有优势,使光学视觉定位成为更多无人化、智能化高新产品发挥眼睛和大脑作用的重要保证。

参考文献 (20)

目录

    /

    返回文章
    返回