Research of visual positioning method during UAV autonomous landing process

近年来，随着人工智能技术和机器深度学习技术的进一步发展，机器视觉替代人眼完成搜索、识别、判断的技术越来越成熟，各型无人化、智能化产品层出不穷，各项功能也越来越完善。光学视觉设备作为机器视觉的基础，凭借其小型化、轻便化、即时化、便宜化等诸多优势，已经成为各类无人化、智能化产品不可缺少的核心部分之一。光学视觉设备搜集拍摄的高清度即时性图像直接影响着各类无人化、智能化产品的综合性能。特别是在当前无人机研究领域，无论是如何利用光学视觉设备更高标准地实现无人机的全地域、全时域优势，还是如何更高效地利用光学视觉设备无源性、实时性特征完成无人机自主降落功能，都是当前影响无人机向更高层次进化的重点。因此，基于光学视觉设备拍摄的连续图像进行无人机实时定位，实现无人机回收过程中的自主降落一直是当前无人机研究和发展的热点^[1]。

无人机光学视觉设备主要包括成像组件、测距组件、图像数字化处理组件等。成像组件分为微光成像、可见光成像、红外成像3个大类，在各类大、中型无人机以及各型军用无人机中，成像组件主要以多类成像设备组合使用为主，而小型消费级无人机大多只使用可见光成像设备；测距组件主要有激光测距机、超声波测距和利用双目镜或多目镜成像的立体测距等；图像数字化处理组件主要为基于不同功能算法提取、变换、压缩、处理、描述视觉图像的处理器^[2]。根据使用环境和功能要求的不同，无人机机载的光学视觉设备也不尽相同，例如大众化的消费级无人机一般没有测距组件，而高精度化的军用无人机还包含其它辅助组件等。

无人机的成像组件和测距组件现阶段都已成熟，用户可以根据无人机的应用环境、功能作用及价格空间自行选配不同型号的光学成像、测距设备。本文中主要对现阶段光学视觉辅助无人机自主降落过程中两种定位方法进行研究，在分析其定位原理和方式的基础上，提出基于已知参照物的同物不同时像素空间定位方法，最后对该算法进行了分析论证。

无人机光学视觉定位系统主要包含硬件设备和软件控制两大部分。硬件设备主要由光学视觉成像设备、光电测距设备等机构组成，软件控制主要包含数字图像处理器、结构算法等。

无人机视觉定位功能主要依赖机载光学视觉成像设备实现，常用的光学视觉成像设备有单目镜成像机构、双目镜成像机构，甚至多目镜成像机构。单目镜成像机构因为自身系统局限性，所拍摄的2维平面图像信息不能直接转为3维立体空间信息。因此，单目镜成像机构往往会与一些测距组件组合使用，比如单目镜成像机构与激光测距机组合，单目镜成像机构与超声波测距组合等。本文中主要以单目镜成像机构为主进行讨论，其样式如图 1所示。

Figure 1.  Monocular imaging mechanism

视觉成像机构通常被安装在无人机下方，但具体位置各不相同。多旋翼无人机的视觉成像机构安装在无人机质心的下方，或者在前进方向的前端；固定翼、伞翼和扑翼无人机的视觉成像机构通常安装在机头下方。根据任务需求的变化，无人机视觉成像镜头的安装角度也大不相同，有的镜头平行于水平面安装，有的镜头与水平面成一定角度安装。有的镜头安装角度固定，有的镜头安装角度又是可以灵活变换的。

无人机的视觉定位，是从感知的2维平面图像中提取相关的3维世界信息，辅助以距离、角度、加速度等动态参量，运用复杂的空间几何运算或模型算法等、经神经网络和统计学方法构建出无人机像空间的3维信息，进而与无人机的实际位置进行匹配，完成无人机的视觉导航定位。其过程主要包括光学视觉成像标定、光学图像数字化、视觉图像处理、空间定位解算、位置信息输出具体原理如图 2所示。

Figure 2.  Visual positioning priciple of UAV

在无人机视觉定位整个过程中，以定位解算阶段最为关键，定位解算的核心是根据同一目标在不同时刻或不同帧的视觉物像变动进行位置和姿态信息解算。具体过程包括：在无人机机载系统提供位置姿态参量基础上，利用扩展卡尔曼滤波器(extended Kalman filter, EKF)、光流法、稠密点云、数值分析等方法，对多帧连续图像中经尺度不变特征变换(scale-invariant feature transform, SIFT)、加速版尺度不变特征变换(speed-up robust features, SURF)、Hongh变换(Hongh transform，Hongh)等算法提取的目标特征进行解算，经即时定位与地图构建方法(simultaneous localization and mapping, SLAM)或离线3维重建方法构建3维空间动态信息，获取无人机的和目标的动态参量，进而进行无人机飞行参量修正，完成后续的匹配、跟踪和自主降落等^[3-8]。

稠密点云法主要是利用连续顺序帧的无人机光学视觉图像生成稠密的较大视场3维点云，替代单张小视场视觉图像，与无人机事先预置的卫星图像进行匹配，利用迭代变换估计不断优化、扩大3维点云视场的图像地域，得到无人机航拍轨迹对应在卫星图中的飞行路线，获得无人机在卫星图上的精准地理坐标，即可得到无人机在现实世界中的实际大地坐标位置；同理，在单帧视觉图像灰度差异较大的基础上，对多张连续图像中的重叠部分进行匹配迭代，利用已知深度的关键帧或基准帧图像生成连续稠密的3维点云深度图，获得图像各点的深度信息，即可完成视觉信息的3维空间重构。再辅助以时间域信息，得到无人机动态的位置姿态变量信息，进而实现无人机的控制和自主降落^[9-10]。

图 3为模拟的稠密点云原理图。图 3a为连续顺序帧的小视场即时视觉图像，图 3b为图像经处理后形成的数字模拟的像，图 3c为不断优化迭代的多张小视场单帧图像组成的大视场点云图像，图 3d为点云图像与卫星图像匹配后，判定的无人机当前位置及飞行路线，方框部分为无人机的当前位置，3条箭头线为无人机的飞行路线。

Figure 3.  Visual location principle of dense point cloud method

光流法从字面上讲就是根据光学图像的像素点在像空间的流动变化推算物体位置和姿态参量的方法。即在一定时间域内或前后连续帧图像之间，通过观察空间物体在机载光学视觉设备像平面的移动变化，找出前后帧图像之间像素运动的对应关系，并且对数字化处理后图像中的部分特征值像点位移情况进行复杂的空间几何运算，求解出无人机和空间物体的瞬时速度、角度、高度等动态运动场信息。根据运动方式的不同可分为特征值光流法、频域光流法和梯度光流法。光流法分析相邻帧之间的图像信息时，有3个前提假设条件：像素场亮度恒定，像素点运动较“缓”，同一像素点具有相同的运动分量。光流法充分利用了2维像平面各特征值在前后帧的位移变化信息，根据不同帧同一特征值像素点的前后变化和不同帧不同特征值像素点的前后变化推算无人机的位姿信息，进而完成空间定位^[11-12]。

如图 4所示，无人机飞行过程经视觉成像设备拍摄存储为连续帧2维平面像，通过观察像平面各点的移动情况得到每个像素点的矢量运动参量，再将多个像素点的矢量参量融合构成3维运动场信息。图 4c中红绿蓝3点分别代表灰度不同的特征值像素点，图 4d为无人机相对地面平行飞行各像素点的移动变化，图 4e为无人机相对地面旋转飞行各像素点的移动变化，图 4f为无人机相对地面翻转飞行各像素点的移动变化，从图 4c、图 4d、图 4e、图 4f的对比中可以发现, 各像素点的移动情况各不相同，综合各像素的速度矢量可完成无人机动态分析，完成视觉定位。

对于单个像素点$\overrightarrow u $(x, y)来说，不仅包含特定时间内移动距离信息，还包含移动方向信息。即：

由第1个假设条件亮度相同可得：

式中，I_i为任意像素点i的亮度值，x_i和y_i为其对应的x轴和y轴坐标。

(1) 式和(2)式相减可得：

令$\frac{{\partial {I_i}}}{{\partial {x_i}}} = {u_i}, \frac{{\partial {I_i}}}{{\partial {y_i}}} = {v_i}$, 可得：

式中，I_ix和I_iy为任意像素点i的亮度值在x轴和y轴上的分量, I_it是任意像素点i在t时刻的亮度值。

由于亮度是恒定的，即可得A$\overrightarrow u $=b，由于A，b即像素点移动信息，所以可计算出3维$\overrightarrow u $信息，完成视觉定位^[13-14]。

同物不同时像空间定位方法是在综合考虑上述多种方法的基础上提出的，其基本原理为：从机载视觉设备拍摄的连续帧图像中，观察某一中心对称已知形状的参照物在无人机不同飞行状态下的像空间变化。根据参照物在像平面的位移变化和参照物在像平面的形状变化推算无人机针对参照物的相对速度信息、相对角度和运动方向等信息。再由已知参照物的运动参量或无人机的初始巡航速度，推算出无人机的飞行位姿参量，分析无人机与参照物运动参量的差异，不断修正无人机的飞行速度、角度、加速度等变量，最终实现无人机的稳定跟踪、靠近降落等。以正方形为例，无人机不同方式飞行时，像空间移动方向和形状变化也各不相同，具体如图 5所示。

Figure 5.  Visual location principle of different frame images' spatial with same object

从图 5中可以发现，参照物在无人机不同飞行状态下的形状各不相同。当无人机同一飞行状态下以不同加速度或角速度飞行时，像空间的形状、大小畸变也随之发生改变，但其所有的运动信息都被详细地记录在2维的像平面。随着制造工艺和材料技术的更新换代，光学相机、光学传感器、CCD等光敏器件的性能在不断突飞猛进，光学视觉成像质量、灵敏度、信噪比等参量越来越好，特别是有些相机像元尺寸已经可以达到3μm~10μm，使同一尺寸CCD像面可以记录更精准的变量信息。对于中低速无人机来说，现有的CCD像素阵列已经完全可以精准记录其各项运动信息，只要赋予一定的初始参量，就可以解算出无人机整个飞行过程位姿信息^[15-16]。

在同物不同帧像空间定位方法中，有两个前提假设条件：(1)参照物形状已知，大小尺寸已知，特征明显，与周边环境有明显区分；(2)参照物运动轨迹已知，速度已知。在该方法中参照物一般选取中心对称的平面形状物体，作者以边长为r的正方框作为无人机使用该方法定位的参照物。

由物体成像原理可知，为了使像空间参照物的像更加清晰、像空间记录的位移信息更加精确，需要在满足成像口径的基础上，使得像空间的像素阵列更稠密，即同一CCD芯片像元素越多，像素越大记录的运动参量就越精确。因此，CCD型号的选择直接影响着该方法定位的精度。为便于读者理解及数据计算，经过充分的市场调研，综合考量价格区间、性能参量等因素，本文中选取4.8mm×3.6mm的CCD光学相机，假定：(1)其成像焦距为f，像素分布为1200×900=108万像素，即每个像素大小为4μm×4μm；(2)每秒输出图像数为30frame/s，即前后帧图像间隔时间ΔT=1/30s。

从图 4和图 5可以发现，无人机在空中飞行过程中，参照物在像平面的像即为参照物在像平面的投影。利用参照物像的变量直接解算的初始参量，只是无人机与参照物综合作用后的飞行参量在像平面投影，因此不能直接引用，必须考虑距离和角度变量的影响作用，只有这样，才算真正求出无人机的位姿信息，完成视觉定位。如图 6所示，假如无人机实际飞行轨迹为$\overrightarrow {\mathit{MN}} $，其在3个面的投影分别为$\overrightarrow {{\mathit{M}_{\rm{1}}}{\mathit{N}_1}} $, $\overrightarrow {{\mathit{M}_{\rm{2}}}{\mathit{N}_2}} $, $\overrightarrow {{\mathit{M}_{\rm{3}}}{\mathit{N}_3}} $，包含大小和方向信息。同理，假如在无人机像平面，参照物在光学视觉设备成像平面的轨迹已知，即参照物的每个像素点移动的大小和方向就已知了。但光有像素点的参量还不足以推算无人机的飞行信息，还必须借助于参照物的整个边界变化信息推算无人机的高度和角度。

Figure 6.  Spatial projection of flight trajectory

图 7为无人机机载光学视觉设备拍摄的边长为r的正方框参照物在相邻两帧图像的像。即ΔT=1/30s，图 7a为参照物规则的像，也可称前一帧图像，图 7b为参照物不规则的像，也可称后一帧图像。

Figure 7.  Image space change of adjacent frame

利用像空间大小推算物像距离的两种常用方法为边界法和极值法，对于规则的像(见图 7a)采用边界法，取任意边界h作为基准参量；对于不规则的像(见图 7b)用极值法，由于无人机与地平面夹角为任意角，各边界变化情况受夹角的影响各不相同，因此选择受夹角影响最小边界作为基准量，也就是选择参照物图像最大的那条边界h_max，根据物像关系式^[17]f=hL/H，可得:

式中, h为参照物规则像的边界长度, h_max为参照物不规则像的最大边界长度，H为参照物实际的边界长度，f为相机焦距，L为无人机与参照物的距离。通过数像格法和近似迭代等可以得到参照物像的边界尺寸h和最大边界h_max，根据(5)式即可求得无人机距离参照物的距离，即无人机的瞬时飞行高度L。通过图 7a和图 7b中两帧像比较，可以发现图像整体在缩小，说明无人机当前为远离飞行；右边框BC变小的速度大于左边框AD，说明无人机在进行左飞；上边框AB变小速度大于下边框DC，说明无人机为爬升飞行，即无人机正在做向左爬升远离参照物飞行。在2.2.1节中提到两个假设条件中参照物的速度已知，再辅助以像空间的像素的移动位置，利用余弦定理^[18-19]可得无人机相对于参照物的移动位移大小及方向，即大小为：

式中, L为(5)式所求距离或高度，d_P′为图 7中参照物中心P点的像素移动距离，v_x为无人机相对于参照物移动速度，N_ij为参照物中心像元素移动个数，i为第i行，j为第j列，d为第2.2.1节中像元素边长，v_c为参照物速率，ϕ为参照物移动方向与像素移动方向的空间夹角；方向为参照物移动方向与像素移动方向的矢量之和方向。

图 7中不规则的像(见图 7b)可以看作无人机在规则的像(见图 7a)的位置上绕任意轴μ旋转θ角度后，在像平面的投影，根据欧拉转动定理^[20]可知，θ角度可分解为x, y, z轴上α, β, γ 3个角度的连续转动，即：

式中，R_x(α)为绕x轴转动α，R_y(β)为绕y轴转动β，R_z(γ)为绕z轴转动γ。以无人机飞行速度v、参照物运动速度v_c、和像空间移动速度v_x构建空间矢量关系图，无人机与参照物从T₁时刻至T₂时刻的运动轨迹与像空间的移动轨迹构成了空间矢量关系图, 如图 8所示。

Figure 8.  Simulated flight space analytical map of UAV

一方面，在同一帧图像中，将像素坐标系进行旋转，使不规则畸变的像其中1条边界与像素坐标重合，即可得到上下、左右两组相对的边界，如图 7中左右组AD, BC两个边界，上下组AB, DC两个边界。利用成像原理可知左右变化可以求出为物体绕y轴变化的角度β，上下变化可求出物体绕x轴变化的角度α；另一方面，根据前后帧图像像点位移变化可求出绕z轴变化的角度γ(在像平面也就是像素点前后时刻行列坐标变化)，即：

式中, d_AB, d_DC与d_AD, d_BC分别为参照物两个对称边界在像空间的长度，n_i为参照物中心点在像空间移动的行数，n_j为参照物中心点在像空间移动的列数；将(8)式带入(7)式即到无人机的旋转角θ，这样得到无人机的速率v、方向、角度θ，就完成了无人机的空间定位。

在进一步细化论证该方法的可行性后，主要完成两项后续工作：一是参考不同视觉导航参照物的优缺点，构建更加合适的参照物，在如何更好地提高参照物成像亮度，设置更加易于提取识别的特征点，减小噪声干扰，提高匹配识别时效等方面进行改造；二是利用计算机仿真进行模拟实验，进一步论证设计实验平台各项参量和限制条件，依据现有市场上的各类型光学视觉设备组件，搭建满足实验要求的机载光学视觉设备和处理器，选择合适载重的无人机组建实验样机，进行现场实验，对比实际实验与理论计算的差距，进行不断修正和完善，为进一步实现自主视觉定位的研究积累数据和经验。

光学视觉定位方法受半导体材料、光敏元件、图像传感器等诸多硬件的制约较为明显，现阶段的光学视觉成像设备中，光强敏感度、光电转化率、图像处理、传输以及处理器运行参量等都只能满足中低速移动目标的识别解算，大大影响了光学视觉定位在无人机、机器人等人工智能领域的利用率。随着高精度制造工艺的进一步发展，以及复合材料等技术的逐渐成熟与应用普及，各项成本会逐渐降低，光学视觉成像设备的性能参量也将得到跨越式的提高。届时，伴随着高感光的光敏组件、高清化的视觉成像、高速化的运行处理内存，带来的将是大视场、远距离的拍摄区域，高效化的特征提取与识别、高精度的定位解算以及精准化的修正控制。这样就充分发挥了光学视觉无源化、实时化特有优势，使光学视觉定位成为更多无人化、智能化高新产品发挥眼睛和大脑作用的重要保证。