3-D surface reconstruction based on structured light and deep neural network
-
摘要: 为了提高基于结构光法的3维重建精度, 采用机器学习中的回归模型对物体进行了3维形貌测量, 通过以单目式获取对象高度点不同方向的光强信息簇样本, 将其作为回归模型的训练集, 在训练好回归模型后, 直接建立起条纹图案的光强信息分布与对象高度之间的映射函数关系, 完成对目标的3维测量; 将调制条纹光数值信息以特征形式导入回归模型, 获得端到端高度信息, 验证了机器学习的神经网络回归模型在3维面形重建上的可行性。结果表明, 该模型即使在投影特征模糊或噪音较大的情况也能较精确地重建3维面形, 平均重建误差为1.40×10-4 mm, 优于一般面形重建方法的数据。该研究为物体在强干扰条件下的单目式高精度3维面形重建提供了参考, 简化了繁琐的计算过程和测量过程, 提高了测量精度。Abstract: For the purpose of enhancing the precision of 3-D reconstruction based on the structured light method, the regression model in machine learning was used to measure the 3-D topography of objects. The light intensity information cluster samples in different directions of object height points were obtained monocular as the training set of the regression model. After the regression model was trained, the mapping function relationship between the illumination intensity information distribution of the modulation diagram and the height of the object can be directly established to complete the three-dimensional measurement of the object. The numerical information of modulated fringe light was introduced into the regression model in the form of characteristics. 3-D surface of the object was accurately reconstructed, and the purpose of obtaining the height information from end to end was realized. The feasibility of the neural network regression model based on machine learning in 3-D surface reconstruction was verified. The results show that the model can reconstruct the 3-D surface accurately even when the projection features are fuzzy or the noise is large. The average reconstruction error is 1.40×10-4 mm, which is better than the data of the general reconstruction method. This study provides a reference for the high-precision 3-D surface reconstruction of monocular objects under strong interference conditions, effectively simplifies the tedious calculation and measurement process, and improves measurement accuracy.
-
0. 引言
利用图像全站仪技术进行自动工业摄影测量在技术上已成为可能。采用图像全站仪进行摄影测量具备高精度、无接触、面测量、自动化及无人为照准误差等特性，在天文测量、变形测量及精密工程测量等领域有广泛应用前景[1-7]。高精度的相机标定是图像全站仪进行精密摄影测量一个基础而又不可或缺的问题，也是目前图像全站仪及其应用亟待解决的关键技术之一，但目前相关的研究鲜见报道，相近的研究也主要集中在天文测量和变形测量领域，且只针对望远镜相机定焦测量展开研究，未对广角相机展开研究[8-14]。
EHRHART等人在使用徕卡MS50图像全站仪进行工程结构动态监测时，对该望远镜相机检校进行了研究，认为对于变形监测而言，可以不考虑相机的像主点坐标和畸变，只需要相机的角分辨率即可[11]。国内信息工程大学天文课题组在使用TS50i图像全站仪进行天文测量时，对相机的像平面倾斜、像主点坐标、主距及畸变系数等进行了检校[12]，提出的检校方法简单且方便操作，但相机成像模型并不严密，未考虑相机在全站仪设备中的偏心元素(包括3个位置偏移量x0, y0, z0和3个角度偏移量α, β, γ)，其本质是将全站仪坐标系统等价于相机坐标系统，这会引起相机标定误差。对于望远镜相机而言，相机与全站仪望远镜同轴安置，位置偏移量级为亚毫米级，角度偏移量级为角秒级，全站仪仪器中心近似为相机光心对相机标定结果影响较小，但对于广角相机而言，相机与全站仪望远镜显著偏心安置，仪器中心与相机光心的位置偏差为厘米级，将仪器中心当作相机光心会显著引起相机标定误差，使得相机标定参数在不同摄影距离下标定解算的结果不具备一致性，无法实现图像测量和全站仪角度测量的精确统一，从而限制了图像全站仪在精密工程测量领域中的应用。综上所述，对图像全站仪相机科学的标定方法展开研究具有应用意义。
偏心元素的求解是图像全站仪相机标定独有的问题，由于图像全站仪相机与全站仪刚性连接，偏心元素的各项数值均为常数，在一般标定方法中存在参数耦合问题，需用特殊的方法进行参数解耦。ZHANG提出使用检校条，通过多测站近距离旋转摄影的方式，构建成像共线方程，采用摄影测量前方交会的方式完成偏心元素检校[15]。ZHU提出相机参数逐级标定法，利用全站仪做小角旋转单独标定相机主距，将之作为已知量逐步求解其它参数，避免参数之间的耦合[16]。两者均从理论上指出图像全站仪可通过旋转摄影的方式构建标定场，但缺乏实验来验证旋转摄影标定方法的有效性。
本文作者基于旋转摄影理论，采用图像全站仪单目标旋转摄影标定的方法，推导并建立了图像全站仪相机标定模型，同时，开展实验对模型在不同摄影距离上进行了相机标定，均获得了高精度的标定结果。
1. 单目标旋转摄影标定方法
本文中提出的单目标旋转摄影标定方法主要是指首先通过计算机程序控制全站仪相机对单个靶标进行扫描式摄影，然后利用相机摄影时的姿态角及对应靶标影像的中心像素坐标来构建相机成像方程，最后利用构建的成像方程实现对相机标定参数的求解。该方法不仅充分发挥了图像全站仪平台特性，同时对目标对象的布设以及标定过程的自动化程度方面，相对于传统的方法，具备无可比拟的优势。
单目标旋转摄影标定方法中，人们借助图像全站仪的GEOCOM二次开发接口[17]，通过编写计算机程序实现靶标图像自动化数据采集，整个测量和拍摄作业自动化程度高。具体流程是：通过计算机控制指令驱动望远镜在水平和垂直方向上指向规划的角度并记录当前望远镜姿态，相机与望远镜固联，随全站仪旋转驱动；摄影标定目标不动，仪器每次旋转规划的角度后，对靶标进行拍摄，使目标近似均匀的成像在电荷耦合器件(charge-coupled device, CCD)不同区域。该过程可等价成相机不动而靶标在以相机为中心的球面上移动[18]，目标的每一个姿态角均可等价于一个方向控制点，且控制点精度仅取决于测角精度。在几十米范围内，图像全站仪测角精度可达到0.5″，远高于测距精度，这使得旋转摄影标定方法获得的精度比控制网标定方法更高。采用单靶标进行拍照，可将靶标做得相对较大，有利于提升靶标中心提取精度。用旋转摄影的方法进行点位扩展，相当于在空间中布设高精度的异面控制点，能近乎零成本和更高效地建立高精度且视域内均匀分布的空间标定场。
2. 单目标旋转摄影标定的理论模型
2.1 坐标系
相机标定过程中，涉及到不同坐标系间的坐标转换，主要有全站仪坐标系、望远镜坐标系、相机坐标系以及像素坐标系。为保持与全站仪观测量的一致性，均采用了与全站仪坐标系一致的左手坐标系。
(a) 全站仪坐标系(total station，TS)OTS-XTSYTSZTS，原点为全站仪中心，ZTS轴取全站仪竖轴，XTS轴平行水平度盘零方向，YTS轴由左手系确定。
(b) 望远镜坐标系(telescope，T)OT-XTYTZT，原点取全站仪中心，ZT轴取全站仪望远镜视准轴，YT轴取全站仪横轴，XT轴由左手系确定。当望远镜坐标系处于置零状态时与全站仪坐标系一致。
(c) 相机坐标系(camera，C)OC-XCYCZC，原点为相机光心，ZC轴取相机主光轴，XC轴与像素坐标系XP轴平行且同方向，YC轴由左手系确定。
(d) 像素坐标系(pixel，P)OP-XPYP，建立在相机坐标系ZC=-f的2维平面坐标系，f为相机等效主距。原点为图像左上角，取行方向为XP轴，列方向为YP轴。
图像全站仪相机与全站仪刚性连接，偏心元素为常量，相机坐标系与望远镜坐标系的空间关系如图 1所示。各坐标系的空间关系示意图如图 2所示，其中相机坐标系的ZC轴延长线与像素坐标系平面的交点为像主点(u0, v0)。
![图 1 T坐标系与C坐标系空间关系图]()
图 1 T坐标系与C坐标系空间关系图Figure 1. Spatial relationship between T-coordinate system and C-coordinate system2.2 相机成像模型
首先，建立T坐标系至S坐标系的位姿转换。设全站仪照准靶标P时，全站仪水平角、天顶角和距离读数分别为θ0, φ0, s，P点在全站仪坐标系下的坐标为：
\boldsymbol{P}_{\mathrm{TS}}=s\left[\begin{array}{c} \sin \varphi_{0} \cos \theta_{0} \\ \sin \varphi_{0} \sin \theta_{0} \\ \cos \varphi_{0} \end{array}\right] (1) 驱动全站仪旋转到某一规划指向，此时全站仪水平角、天顶角读数为分别为θ, φ。根据TS坐标系与T坐标系的空间旋转关系可知，TS坐标系绕ZTS轴旋转θ，再绕YTS轴旋转φ，可实现TS坐标系到T坐标系的转换，即：
\begin{equation*} \boldsymbol{P}_{\mathrm{T}}=\boldsymbol{R}_{Y_{\mathrm{TS}}}(\varphi) \cdot \boldsymbol{R}_{Z_{\mathrm{TS}}}(\theta) \cdot \boldsymbol{X}_{\mathrm{TS}} \end{equation*} (2) 式中: RZTS(θ)、RYTS(φ)为对应旋转矩阵，可表示为：
\begin{align*} & \boldsymbol{R}_{Z_{\mathrm{TS}}}(\theta)=\left[\begin{array}{ccc} \cos \theta & \sin \theta & 0 \\ -\sin \theta & \cos \theta & 0 \\ 0 & 0 & 1 \end{array}\right] \end{align*} (3) \begin{align*} & \boldsymbol{R}_{Y_{\mathrm{TS}}}(\varphi)=\left[\begin{array}{ccc} \cos \varphi & 0 & -\sin \varphi \\ 0 & 1 & 0 \\ \sin \varphi & 0 & \cos \varphi \end{array}\right] \end{align*} (4) 式(2)可表示为：
\begin{equation*} \boldsymbol{P}_{\mathrm{T}}=s \cdot \boldsymbol{n}_{\mathrm{T}} \end{equation*} (5) 式中: nT为靶标中心在望远镜坐标系下的单位方向向量，其计算表达式为：
\begin{gather*} \boldsymbol{n}_{\mathrm{T}}=\left[\begin{array}{l} s_{x} \\ s_{y} \\ s_{z} \end{array}\right]= \\ {\left[\begin{array}{c} \cos \varphi \sin \varphi_{0} \cos \left(\theta_{0}-\theta\right)-\sin \varphi \cos \varphi_{0} \\ \sin \varphi_{0} \sin \left(\theta_{0}-\theta\right) \\ \sin \varphi \sin \varphi_{0} \cos \left(\theta_{0}-\theta\right)+\cos \varphi \cos \varphi_{0} \end{array}\right]} \end{gather*} (6) 其次，建立T坐标系至C坐标系的位姿转换，根据T坐标系与C坐标系的空间关系有：
\boldsymbol{P}_{\mathrm{C}}=\boldsymbol{R}_{X_{\mathrm{T}}}(\alpha) \cdot \boldsymbol{R}_{Y_{\mathrm{T}}}(\beta) \cdot \boldsymbol{R}_{Z_{\mathrm{T}}}(\gamma) \cdot \boldsymbol{P}_{\mathrm{T}}+\left[\begin{array}{l} x_{0} \\ y_{0} \\ z_{0} \end{array}\right] $$ (7) 式中: α, β, γ为T坐标系与C坐标系的角度偏移量; x0, y0, z0为位置偏移量。
考虑到无论是广角相机或是望远镜相机，C坐标系至T坐标系的空间转换均为小角度旋转，可将旋转矩阵线性化并取一次项近似代替，有：
\boldsymbol{P}_{\mathrm{C}}=\left[\begin{array}{ccc} 1 & \gamma & -\beta \\ -\gamma & 1 & \alpha \\ \beta & -\alpha & 1 \end{array}\right] \boldsymbol{P}_{\mathrm{T}}+\left[\begin{array}{l} x_{0} \\ y_{0} \\ z_{0} \end{array}\right] (8) 式(8)也可写为：
\begin{equation*} \boldsymbol{P}_{\mathrm{C}}=s \cdot \boldsymbol{n}_{\mathrm{C}} \end{equation*} (9) 式中: nC为靶标中心在相机坐标系下的单位方向向量, 其计算表达式为：
\boldsymbol{n}_{\mathrm{C}}=\left[\begin{array}{c} c_{x} \\ c_{y} \\ c_{z} \end{array}\right]=\left[\begin{array}{c} s_{x}+\gamma s_{y}-\beta s_{z}+x_{0} / s \\ -\gamma s_{x}+s_{y}+\alpha s_{z}+y_{0} / s \\ \beta s_{x}-\alpha s_{y}+s_{z}+z_{0} / s \end{array}\right] (10) 最后，建立C坐标系至P坐标系的坐标转换，由相机成像共线方程有：
\begin{equation*} \frac{x-u_{0}}{c_{x}}=\frac{y-v_{0}}{c_{y}}=\frac{f}{c_{z}} \end{equation*} (11) 由式(11)可得图像全站仪成像模型为：
\left\{\begin{array}{l} x=f_{x} \frac{c_{x}}{c_{z}}+u_{0} \\ y=f_{y} \frac{c_{y}}{c_{z}}+v_{0} \end{array}\right. (12) 式中: x, y为靶标中心像素坐标; fx, fy为相机等效主距; u0, v0为像主点坐标。式(12)也可表示为：
\left\{\begin{array}{l} x=f_{x} \frac{s_{x}+\gamma s_{y}-\beta s_{z}+x_{0} / s}{\beta s_{x}-\alpha s_{y}+s_{z}+z_{0} / s}+u_{0} \\ y=f_{y} \frac{-\gamma s_{x}+s_{y}+\alpha s_{z}+y_{0} / s}{\beta s_{x}-\alpha s_{y}+s_{z}+z_{0} / s}+v_{0} \end{array}\right. (13) 2.3 相机标定方程
对式(13)进行线性化，可得线性化观测误差方程为：
\begin{equation*} \boldsymbol{V}=\boldsymbol{A} \boldsymbol{X}-\boldsymbol{L} \end{equation*} (14) 式中: V为观测残差矩阵; A为参数系数矩阵; X为待解的相机参数; L为观测矩阵。其中：
\begin{gather*} \boldsymbol{X}=\left[u_{0}, v_{0}, f_{x}, f_{y}, \alpha, \beta, \gamma, x_{0}, y_{0}, z_{0}\right]^{\mathrm{T}} \end{gather*} (15) \boldsymbol{L}=\left[\begin{array}{l} x \\ y \end{array}\right] (16) 相机参数系数矩阵的计算表达式为：
\boldsymbol{A}=\left[\begin{array}{l} \frac{\partial x}{\partial u_{0}} \frac{\partial x}{\partial v_{0}} \frac{\partial x}{\partial f_{x}} \frac{\partial x}{\partial f_{y}} \frac{\partial x}{\partial \alpha} \frac{\partial x}{\partial \beta} \frac{\partial x}{\partial \gamma} \frac{\partial x}{\partial x_{0}} \frac{\partial x}{\partial y_{0}} \frac{\partial x}{\partial z_{0}} \\ \frac{\partial y}{\partial u_{0}} \frac{\partial y}{\partial v_{0}} \frac{\partial y}{\partial f_{x}} \frac{\partial y}{\partial f_{y}} \frac{\partial y}{\partial \alpha} \frac{\partial y}{\partial \beta} \frac{\partial y}{\partial \gamma} \frac{\partial y}{\partial x_{0}} \frac{\partial y}{\partial y_{0}} \frac{\partial y}{\partial z_{0}} \end{array}\right] (17) 对式(17)求导取1阶项，简化整理可得：
\mathit{\boldsymbol{A = }}\left[ \begin{array}{l} 1\quad 0\quad\frac{{{c_x}}}{{{c_z}}}\quad 0\quad \quad \left( {x - {u_0}} \right)\frac{{{s_y}}}{{{c_z}}}\quad \quad \left( {{u_0} - x} \right)\left( {\frac{{{s_x}}}{{{c_z}}} + \frac{{{s_z}}}{{{c_x}}}} \right)\quad \left( {x - {u_0}} \right)\frac{{{s_y}}}{{{c_x}}}\quad \frac{{x - {u_0}}}{{s{c_x}}}\quad 0\quad \frac{{{u_0} - x}}{{s{c_z}}}\\ 0\quad 1\quad 0\quad \frac{{{c_y}}}{{{c_z}}}\quad \left( {{v_0} - y} \right)\left( {\frac{{{s_z}}}{{{c_y}}} + \frac{{{s_y}}}{{{c_z}}}} \right)\quad \quad \left( {y - {v_0}} \right)\frac{{{s_x}}}{{{c_z}}}\quad\quad \left( {{v_0} - y} \right)\frac{{{s_x}}}{{{c_y}}}\quad \quad 0\quad \frac{{y - {v_0}}}{{s{c_y}}}\quad \frac{{{v_0} - y}}{{s{c_z}}} \end{array} \right] (18) 采用最小二乘方法求解相机参数，有：
\begin{equation*} \boldsymbol{X}=\left(\boldsymbol{A}^{\mathrm{T}} \boldsymbol{P} \boldsymbol{A}\right)^{-1} \boldsymbol{A} \boldsymbol{P} \boldsymbol{L} \end{equation*} (19) 式中: P为观测量的权矩阵。由于标定参数间存在的强相关性，直接组建标定方程求解时标定方程可能奇异，无法正确求解，应当分析变量间的相关性，解决参数强相关性问题。
2.4 相关性分析
通过参数之间的偏导数关系，对参数的相关性展开分析，具体为：
\begin{gather*} {\left[\begin{array}{llll} \frac{\partial \beta}{\partial x_{0}} & \frac{\partial \beta}{\partial u_{0}} & \frac{\partial x_{0}}{\partial u_{0}} & \frac{\partial z_{0}}{\partial f_{x}} \\ \frac{\partial \alpha}{\partial y_{0}} & \frac{\partial \alpha}{\partial v_{0}} & \frac{\partial y_{0}}{\partial v_{0}} & \frac{\partial z_{0}}{\partial f_{y}} \end{array}\right]=} \\ {\left[\begin{array}{llll} \frac{\partial x / \partial x_{0}}{\partial x / \partial \beta} & \frac{\partial x / \partial u_{0}}{\partial x / \partial \beta} & \frac{\partial x / \partial u_{0}}{\partial x / \partial x_{0}} & \frac{\partial x / \partial f_{x}}{\partial x / \partial z_{0}} \\ \frac{\partial y / \partial y_{0}}{\partial y / \partial \alpha} & \frac{\partial y / \partial v_{0}}{\partial y / \partial \alpha} & \frac{\partial y / \partial v_{0}}{\partial y / \partial y_{0}} & \frac{\partial y / \partial f_{y}}{\partial y / \partial z_{0}} \end{array}\right]} \end{gather*} (20) 经计算整理有：
\begin{array}{c} {\left[\begin{array}{llll} \frac{\partial \beta}{\partial x_{0}} & \frac{\partial \beta}{\partial u_{0}} & \frac{\partial x_{0}}{\partial u_{0}} & \frac{\partial z_{0}}{\partial f_{x}} \\ \frac{\partial \alpha}{\partial y_{0}} & \frac{\partial \alpha}{\partial v_{0}} & \frac{\partial y_{0}}{\partial v_{0}} & \frac{\partial z_{0}}{\partial f_{y}} \end{array}\right]=} \\ {\left[\begin{array}{cccc} \frac{-c_{z} / s}{c_{x} s_{x}+c_{z} s_{z}} & \frac{-c_{z}^{2} / f_{x}}{c_{x} s_{x}+c_{z} s_{z}} & \frac{s c_{z}}{f_{x}} & \frac{s c_{z}}{-f_{x}} \\ \frac{c_{z} / s}{c_{y} s_{y}+c_{z} s_{z}} & \frac{c_{z}^{2} / f_{y}}{c_{y} s_{y}+c_{z} s_{z}} & \frac{s c_{z}}{f_{y}} & \frac{s c_{z}}{-f_{y}} \end{array}\right]} \end{array} (21) 式中: 相机主距fx和fy可视作常数，偏心元素的各项数值均为小量常数，可计算出sz, cz的值趋于1，远大于sx, sy, cx, cy。当考虑单距离旋转摄影标定时，即摄影距离s为常量时，式(21)中各项导数计算值均近似为常数，即β, x0, u0强相关，α、y0、v0强相关，fx, fy, z0强相关，故通过单距离观测进行相机标定时，仅可考虑变量u0, v0, fx, fy, γ进行标定解算，无法解算出参数α, β, x0, y0, z0。
当考虑多距离旋转摄影标定时，即摄影距离s为变量时，式(21)中∂β/∂u0, ∂α/∂v0的值近似不变，其余项的计算值线性变化，即x0, y0, z0与摄影距离s线性相关，故通过多距离观测整体解算可解耦x0, y0, z0，但无法解算α, β。经分析认为，需改变相机相对全站仪的位置才能解耦α, β，这可以通过切换全站仪度盘来改变相机相对全站仪的位置，采用双盘观测的方式解耦α, β。
2.5 双盘观测方程
将望远镜绕水平方向旋转180°，再绕竖直方向旋转180°可实现全站仪度盘切换。切换观测度盘会改变相机相对全站仪的位置，假设在盘左观测中偏心元素为x0, y0, z0, α, β, γ，在盘右观测中偏心元素则为-x0, -y0, z0, -α, -β, γ。令盘左观测时靶标像素坐标为(xl, yl)，盘右观测时靶标像素坐标为(xr, yr)。盘右图像成正像显示，观测数据需作镜像处理，将式(12)对应参数进行修正，可得盘右观测时对应的成像方程为：
\left\{\begin{array}{l} x_{\mathrm{r}}=f_{x} \frac{-s_{x}-\gamma s_{y}-\beta s_{z}+x_{0} / s}{-\beta s_{x}+\alpha s_{y}+s_{z}+z_{0} / s}+\left(R-u_{0}\right) \\ y_{\mathrm{r}}=f_{y} \frac{\gamma s_{x}-s_{y}+\alpha s_{z}+y_{0} / s}{-\beta s_{x}+\alpha s_{y}+s_{z}+z_{0} / s}+\left(C-v_{0}\right) \end{array}\right. (22) 式中: R为图像的行数; C为图像的列数。构建双盘观测方程为：
\left\{\begin{array}{l} x_{1}=f_{x} \frac{s_{x}+\gamma s_{y}-\beta s_{z}+x_{0} / s}{\beta s_{x}-\alpha s_{y}+s_{z}+z_{0} / s}+u_{0} \\ y_{1}=f_{y} \frac{-\gamma s_{x}+s_{y}+\alpha s_{z}+y_{0} / s}{\beta s_{x}-\alpha s_{y}+s_{z}+z_{0} / s}+v_{0} \\ x_{\mathrm{r}}=f_{x} \frac{-s_{x}-\gamma s_{y}-\beta s_{z}+x_{0} / s}{-\beta s_{x}+\alpha s_{y}+s_{z}+z_{0} / s}+\left(R-u_{0}\right) \\ y_{\mathrm{r}}=f_{y} \frac{\gamma s_{x}-s_{y}+\alpha s_{z}+y_{0} / s}{-\beta s_{x}+\alpha s_{y}+s_{z}+z_{0} / s}+\left(C-v_{0}\right) \end{array}\right. (23) 利用式(23)，在多个距离上扫描目标的盘左和盘右成像坐标，通过整体平差解算可求解出全部相机参数。借鉴分步求解思路来降低参数耦合的影响，先假设参数α、β值为0°，通过整体平差解出参数fx, fy, u0, v0, γ, x0, y0, z0，此时α、β耦合在u0、v0中，后通过某种方式单独解算α、β，再对u0、v0进行修正。
由式(23)可构建双盘观测量：
\left\{\begin{align*} \frac{x_{1}+x_{\mathrm{r}}}{2}= & \frac{f_{x}}{2}\left(\frac{s_{x}+\gamma s_{y}-\beta s_{z}+x_{0} / s}{\beta s_{x}-\alpha s_{y}+s_{z}+z_{0} / s}+\right. \\ & \left.\frac{-s_{x}-\gamma s_{y}-\beta s_{z}+x_{0} / s}{-\beta s_{x}+\alpha s_{y}+s_{z}+z_{0} / s}\right)+\frac{R}{2} \\ \frac{y_{1}+y_{\mathrm{r}}}{2}= & \frac{f_{y}}{2}\left(\frac{-\gamma s_{x}+s_{y}+\alpha s_{z}+y_{0} / s}{\beta s_{x}-\alpha s_{y}+s_{z}+z_{0} / s}+\right. \\ & \left.\frac{\gamma s_{x}-s_{y}+\alpha s_{z}+y_{0} / s}{-\beta s_{x}+\alpha s_{y}+s_{z}+z_{0} / s}\right)+\frac{C}{2} \end{align*}\right. (24) 忽略小量βsx, αsy，整理化简可得：
\left\{\begin{array}{l} \frac{x_{1}+x_{\mathrm{r}}}{2}=-\beta f_{x}+f_{x} \frac{x_{0}}{s s_{z}}+\frac{R}{2} \\ \frac{y_{1}+y_{\mathrm{r}}}{2}=\alpha f_{y}+f_{y} \frac{y_{0}}{s s_{z}}+\frac{C}{2} \end{array}\right. (25) 可得到α, β的计算式为:
\left\{\begin{array}{l} \beta=\frac{x_{0}}{s s_{z}+z_{0}}+\frac{R}{2 f_{x}}-\frac{x_{1}+x_{\mathrm{r}}}{2 f_{x}} \\ \alpha=-\frac{y_{0}}{s s_{z}+z_{0}}-\frac{C}{2 f_{y}}+\frac{y_{1}+y_{\mathrm{r}}}{2 f_{y}} \end{array}\right. (26) 在解得α, β的基础上，对像主点坐标做相应修正，可获得实际像主点坐标值u0, v0：
\left\{\begin{array}{l} \bar{u}_{0}=u_{0}-f_{x} \beta \\ \bar{v}_{0}=v_{0}+f_{y} \alpha \end{array}\right. (27) 2.6 相机畸变模型
由于镜头设计的复杂性和工艺水平等因素的影响，镜头折射率不一致，光学器件存在偏移，导致实际成像点(x′, y′)与理论像点(x, y)之间存在像素偏差(δx, δy)，即：
\left[\begin{array}{l} x \\ y \end{array}\right]=\left[\begin{array}{l} x^{\prime} \\ y^{\prime} \end{array}\right]+\left[\begin{array}{l} \delta_{x} \\ \delta_{y} \end{array}\right] (28) Brown-Conrady畸变理论认为存在3种畸变类型，分别为径向畸变、偏心畸变和薄棱镜畸变[19]。同时考虑这3种畸变，相机畸变模型可表示为：
\left\{\begin{align*} \delta_{x}= & \left(x-u_{0}\right)\left(k_{1} r^{2}+k_{2} r^{4}+k_{3} r^{6}\right)+ \\ & 2 \rho_{1}\left(x-u_{0}\right)\left(y-v_{0}\right)+\rho_{2}\left(r^{2}+2 x^{2}\right)+s_{1} r^{2} \\ \delta_{y}= & \left(y-v_{0}\right)\left(k_{1} r^{2}+k_{2} r^{4}+k_{3} r^{6}\right)+ \\ & 2 \rho_{2}\left(x-u_{0}\right)\left(y-v_{0}\right)+\rho_{1}\left(r^{2}+2 y^{2}\right)+s_{2} r^{2} \end{align*}\right. (29) 式中: r=\sqrt{\left(x-u_0\right)^2+\left(y-v_0\right)^2}，表示像点到透视中心的像素距离；k1, k2, k3为径向畸变系数；ρ1和ρ2为偏心畸变系数；s1和s2为薄棱镜畸变系数。
3. 标定实验及分析
3.1 实验描述
基于上述理论，本文作者对TS60图像全站仪进行相机标定实验。TS60同时具有望远镜相机和广角相机，望远镜相机为变焦相机，视场角为1.5°，广角相机为定焦相机，视场角为19.4°，成像规格为2560 pixel×1920 pixel(R×C)。标定靶标采用同心圆环靶标，设计有十字丝便于全站仪初始精确照准。设计在8 m、12 m、16 m、20 m、24 m、30 m的距离进行望远镜相机和广角相机的图像采集。设定合适的摄影间隔使得标定靶标在视域内均匀分布成像，本文中设计旋转摄影照片数量为26×24，对应广角相机旋转摄影方位角和高度角摄影间隔分别为35.77′和29.25′，对应望远镜相机旋转摄影方位角和高度角摄影间隔分别为2.77′和2.25′，在单个距离采集624张靶标图像。基于C#实现计算机与全站仪的蓝牙通讯，参照手册开发计算机程序控制全站仪相机驱动到规划的角度姿态对靶标进行拍照，实现靶标图像自动化数据采集。实验室现场环境如图 3所示。望远镜相机获得的部分靶标图像集如图 4所示。
相机标定流程如下：(a)通过中心提取算法[20-21]获取靶标中心像素坐标(x, y)，并记录对应的摄影方向(θ, φ)；(b)仅考虑参数u0, v0, fx, fy, γ进行解算，作为后续求解的初值；(c)采用多距离双盘观测整体解算模型解算变量u0, v0, fx, fy, γ, x0, y0, z0；(d)构建双盘观测量解算α, β，在此基础上对像主点坐标进行改正；(e)广角相机考虑相机畸变参数k1、k2，望远镜相机考虑畸变参数k1，求解相机畸变参数；(f)通过畸变参数对靶标像素坐标做相应改正，重复步骤(b)~(f)，直至求解的参数变化量小于容许值，获得最终相机标定参数。
3.2 实验结果及分析
表 1中为采用单个距离的望远镜相机盘左和盘右观测数据进行相机标定的结果。表中, 全站仪观测度盘面值(face)为0表示盘左观测，度盘面值为1表示盘右观测，mr表示平均重投影点位误差，为中心提取算法获取的靶标中心像素坐标与通过模型计算得到的靶标中心像素坐标的平均差值。表 2中为联合所有观测距离的望远镜相机盘左和盘右观测数据分别进行标定解算的结果。
表 1 望远镜相机单距离观测标定解算Table 1. Calibration solution of telescope camera for single distance observationface s/m u0/pixel v0/pixel fx /pixel fy /pixel γ /(″) mr/pixel 0 8.11 962.47 1280.89 105588.46 105588.45 487.45 0.12 1 8.11 958.52 1279.37 105565.96 105592.29 491.36 0.10 0 12.27 962.05 1281.44 105484.74 105526.00 490.01 0.10 1 12.27 961.19 1280.47 105492.32 105529.98 478.04 0.12 0 15.83 962.02 1281.02 105512.10 105550.65 492.63 0.08 1 15.83 958.84 1278.62 105512.43 105542.27 477.48 0.07 0 19.85 962.37 1283.05 105522.13 105499.94 461.41 0.37 1 19.85 959.45 1279.93 105501.19 105508.14 489.65 0.14 0 23.93 960.35 1283.33 105465.85 105487.35 481.27 0.12 1 23.93 961.68 1280.78 105471.87 105584.78 522.80 0.18 0 29.70 961.57 1283.24 105462.67 105444.87 475.50 0.26 1 29.70 958.84 1277.76 105447.33 105467.91 450.16 0.19 表 2 望远镜相机多距离观测标定解算Table 2. Calibration solution of telescope camera for multiple distance observationface u0/pixel v0/pixel fx/pixel fy/pixel α/(″) β/(″) γ/(″) x0/mm y0/mm z0/mm k1/10-10 mr/pixel 0 960.63 1282.91 105392.33 105382.56 -6.30 2.30 496.28 0.16 -0.15 -15.77 -3.13 0.88 1 959.46 1279.69 105412.70 105452.90 -6.30 2.30 493.64 0.01 -0.01 -12.13 -4.76 1.15 由表 1与表 2可知：望远镜相机不同距离同盘观测的像主点坐标较为稳定，同一距离不同度盘观测的像主点坐标平均差异为2 pixel；单距离观测相机主距有随摄影距离增加而减小的趋势，与多距离观测主距最大差异为205 pixel，对应引起图像边缘的角度最大变化约7.0″；单盘解算平均重投影误差为0.15 pixel，对应图像分辨率0.3″，多距离解算平均重投影误差为1.02 pixel，对应的图像角分辨率约2.0″。
表 3中为采用单个距离的广角相机盘左和盘右观测数据进行相机标定的结果。表 4中为联合所有观测距离的广角相机盘左和盘右观测数据分别进行标定解算的结果。由表 3与表 4可知：广角相机单距离观测的像主点坐标存在明显变化，其中u0分量有随摄影距离增加而减小的趋势，v0分量有随摄影距离增加而增大的趋势，体现了偏心元素与相机参数耦合对相机标定的影响；单距离观测相机主距与多距离观测主距最大差异为59 pixel，对应引起图像边缘的角度最大变化约23″；单盘解算平均重投影误差为0.72 pixel，对应图像分辨率15.5″，多距离解算平均重投影误差为0.6 pixel，对应的图像角分辨率约13.3″。
表 3 广角相机单距离观测标定解算Table 3. Calibration solution of wide-angle camera for single distance observationface s/m u0/pixel v0/pixel fx/pixel fy/pixel γ/(″) mr/pixel 0 8.11 1033.24 1267.07 9438.46 9433.63 -64.21 0.91 1 8.11 1030.93 1265.02 9439.43 9434.14 -71.99 0.86 0 12.27 1009.08 1273.66 9414.37 9409.81 -37.40 0.92 1 12.27 1007.02 1271.27 9414.72 9410.60 -46.64 0.88 0 15.83 998.50 1276.43 9407.02 9402.95 -46.28 0.76 1 15.83 996.38 1273.87 9405.88 9401.83 -52.03 0.80 0 19.85 991.33 1278.15 9405.75 9402.92 -55.70 0.57 1 19.85 989.26 1276.18 9407.07 9401.63 -51.05 0.61 0 23.93 986.43 1279.06 9412.55 9411.97 -15.19 0.61 1 23.93 984.45 1277.25 9409.08 9406.26 -49.37 0.47 0 29.70 981.64 1280.41 9396.30 9401.08 -19.98 0.80 1 29.70 979.66 1278.31 9400.80 9401.36 -41.03 0.48 表 4 广角相机多距离观测标定解算Table 4. Calibration solution of wide-angle camera for single distance observationface u0/pixel v0/pixel fx/pixel fy/pixel α/(″) β/(″) γ/(″) x0/mm y0/mm z0/mm k1/10-9 k2/10-15 mr/pixel 0 962.48 1285.71 9380.27 9379.64 -50.16 40.97 -45.15 60.58 -15.88 -48.09 3.33 -3.26 0.61 1 960.61 1283.43 9384.54 9383.22 -50.16 40.97 -50.53 60.22 -15.88 -45.34 2.32 -2.32 0.58 望远镜相机多距离观测数据进行整体观测的重投影误差图如图 5所示。广角相机多距离观测数据进行整体观测的重投影误差图如图 6所示。图 5、图 6为利用相机多距离观测标定结果作为相机参数计算的靶标理论像素坐标与中心提取算法获得的靶标中心像素坐标的误差矢量图。从图中可发现，图像中心视域重投影误差较小，视域边缘重投影误差相对较大，说明相机中心视域内的图像测量精度更高。
![图 5 望远镜相机整体解算重投影误差图]()
图 5 望远镜相机整体解算重投影误差图Figure 5. Overall solution of reprojection error diagram of telescope camera![图 6 广角相机整体解算重投影误差图]()
图 6 广角相机整体解算重投影误差图Figure 6. Overall solution of reprojection error diagram of wide-angle camera从实验结果来看，有：(a)望远镜单距离简化模型中，望远镜相机可视作同轴安置，不同摄影距离相机像主点位置较为稳定，变化量主要体现在分量引起的主距变化；广角相机应视为偏心安置，偏心元素对相机标定解算的影响极大，主要表现为分量引起相机像主点位置在不同摄影距离下明显变化；(b)通过多距离双盘观测联合解算模型可以有效解决标定参数的耦合问题，由此得到的相机参数适用于不同摄影距离的图像测量，其中望远镜相机多距离变焦摄影图像的角度分辨率可达2.0″，单个距离定焦摄影时的角度分辨率可达0.3″；广角相机多距离摄影图像角度分辨率达13.3″；只利用相机的中心视域进行图像测量有更高的角度分辨率，相机标定结果可满足高精度的图像测量要求；(c)望远镜相机多距离多参数模型的标定解算精度低于单距离简化模型标定解算精度，这主要是因为望远镜相机采用了对焦系统，不同距离拍摄过程中需要重新调焦，由此会带来相机焦距和主光轴方向的变化。
在传统相机标定法中，标定场是由全站仪人工测量的系列非共面点的绝对坐标组成，采用这种方式整个控制网的布设过程费时耗力且成本高昂，且控制点的布设还存在通视上的限制；有时囿于加工精度的制约，标定板和标定块不能无限制增大，在广角相机标定时和在较远距离进行相机标定时，标定板和标定块在成像视域内所占图幅较小，控制点难以在成像视域内均匀分布，这会降低传统相机标定解算精度。同时，传统相机标定法要求对控制场进行多距离多视角的摄影，拍摄过程中更多的是使用人工拍摄，拍摄作业的自动化程度低。这些存在的问题，在本文中都得到了克服，很大程度上保证了方法的优势。
4. 结论
采用单目标旋转摄影的图像全站仪相机标定方法，建立了多距离双盘观测的联合解算模型，可以实现广角相机和望远镜相机的精确标定。
(a) 与传统的摄影测量标定方法相比，采用基于旋转摄影的图像全站仪标定方法，无需建立精密的标定控制网，可实现免控制点的精密标定，标定过程可做到自动化。
(b) 多距离双盘观测的联合解算模型能很好地克服参数相关问题，标定解算得到的相机参数可用于不同摄影距离的图像测量，最终望远镜相机图像角度分辨率达2.0″，定焦摄影时图像角度分辨率达0.3″；广角相机图像角度分辨率达13.3″，这个结果优于传统的方法。
(c) 可进一步推广，将相机搭载在全站仪上，采用本文中提出的旋转摄影相机标定方法和解算模型，实现其它相机免控制网的全自动高精度标定。
本文中的研究结果有望提高全站仪的测量精度。
-
![]()
图 11 不同类型的仿真训练物体
a—刀锋状物体 b—波纹状物体 c—随机噪点物体
Figure 11. Different types of simulation training objects
a—knife-like object b—corrugated object c—random noise object
表 1 本文中的DNN训练参数与实验配置
Table 1 Training parameters and experimental configuration of DNN
experimental configuration table network training parameters inclination angle of projector 15° initial learning rate 0.01 rotation angle of projector 0°, 45°, 90° weight decay open distance between projector and base plane 0.966 m optimizer Adam distance between camera and base plane 1.0 m number of learning rounds 193 epochs program platform MATLAB/Python number of hidden layers 32 model of projector XGIMI NEW Z6X number of neurons per layer 18 GPU model of computer GTX 1650 activation function tanh CUDA model of computer 896 interlayer connection dropout experimental environment chamber penalty function elastic net 
下载: 导出CSV
表 2 不同条件下重建能力对比
Table 2 Comparison of reconstruction capabilities under different conditions
measuring distance/mm light interference average error/mm maximum error /mm reconstruction time/s 1.0×103 no interference 1.40×10-4 1.42×10-4 0.27 1.0×103 bright light 1.93×10-4 1.94×10-4 0.30 2.0×103 no interference 1.62×10-4 1.65×10-4 0.27 2.0×103 bright light 2.82×10-4 2.84×10-4 0.31 3.0×103 no interference 2.16×10-4 2.29×10-4 0.26 3.0×103 bright light 3.72×10-4 3.81×10-4 0.31 4.0×103 no interference 3.46×10-4 3.72×10-4 0.25 4.0×103 bright light 4.21×10-4 4.84×10-4 0.32 5.0×103 no interference 3.84×10-4 4.04×10-4 0.25 5.0×103 bright light 5.39×10-4 5.77×10-4 0.33 6.0×103 no interference 4.34×10-4 4.72×10-4 0.24 6.0×103 bright light 5.79×10-4 6.00×10-4 0.35 7.0×103 no interference 5.57×10-4 5.83×10-4 0.23 7.0×103 bright light 6.83×10-4 6.93×10-4 0.37 8.0×103 no interference 6.26×10-4 6.63×10-4 0.20 8.0×103 bright light 7.55×10-4 7.75×10-4 0.41 9.0×103 no interference 7.54×10-4 7.94×10-4 0.19 9.0×103 bright light 8.40×10-4 8.75×10-4 0.43 10.0×103 no interference 7.81×10-4 8.51×10-4 0.18 10.0×103 bright light 9.89×10-4 9.96×10-4 0.51
下载: 导出CSV
表 3 不同方法重建阶梯状物体性能对照
Table 3 Comparison of properties of step objects reconstructed by different methods
methods sample size training time/
(s/batch)MSE maximum error/mm reconstruction time/s PMP/FTP — — ＞1.00 ＞1.00 ＞1 MLP unknow unknow ＞1.00 1.00×10-2 ＞1 BP neural network 32768000 3.9 9.27×10-4 3.40×10-3 3.8 our approach 2621440 1.11 4.12×10-5 1.42×10-4 0.27
下载: 导出CSV
-
[1] MIN L, LI D, DONG Sh. 3D surface roughness measurement based on SFS method[C]//2017 8th International Conference on Intelligent Human-Machine Systems and Cybernetics(IHMSC). Hangzhou, Ch-ina: IEEE, 2017: 484-488.
[2] 郭小凡, 张启灿. 应用BP神经网络重建物体3维面形[J]. 激光杂志, 2019, 40(1): 40-41. GUO X F, ZHANG Q C. Three-dimensional shape reconstruction based on BP neural network[J]. Laser Journal, 2019, 40(1): 40-41(in Chinese).
[3] GERON A. Hands-on machine learning with scikit-learn, keras, and tensorflow: Concepts, tools, and techniques to build intelligent systems[M]. 2th ed. Sebastopol, USA: O'Reilly Media, 2019: 220-226.
[4] THEOBALD O. Machine learning for absolute beginners: A plain english introduction[M]. Washington DC, USA: Amazon Publishing, 2019: 66-68.
[5] LIU Y Sh, WANG R M, ZHAO J J, et al. A novel robust variable selection algorithm for multilayer perceptron[C]//2022 13th Asian Control Conference(ASCC). Jeju, Korea: IEEE, 2022: 470-475.
[6] NIELSEN M. Neural networks and deep learning[M]. Berlin, Germany: Springer Publishing, 2019: 113-116.
[7] 周志华. 机器学习[M]. 北京: 清华大学出版社, 2017: 35-48. ZHOU Zh H. Machine learning[M]. Beijing: Tsinghua University Press, 2017: 35-48(in Chinese).
[8] KO B S, KIM H G, OH K J, et al. Controlled dropout: A different approach to using dropout on deep neural network[C]//2017 IEEE International Conference on Big Data and Smart Computing (BigComp). New York, USA: IEEE, 2017: 358-362.
[9] XIE Sh J, LI L. Improvement and application of deep belief network based on sparrow search algorithm[C]//2021 IEEE International Conference on Advances in Electrical Engineering and Computer A-pplications (AEECA). New York, USA: IEEE, 2021: 705-708.
[10] 李蒙, 张翠, 童杏林. 基于BP算法和FBG传感的复合材料冲击定位检测技术[J]. 激光技术, 2022, 46(3): 320-325. DOI: 10.7510/jgjs.issn.1001-3806.2022.03.005 LI M, ZHANG C, TONG X L. Composite material impact location detection technology based on BP algorithm and FBG sensing[J]. Laser Technology, 2022, 46(3): 320-325(in Chinese). DOI: 10.7510/jgjs.issn.1001-3806.2022.03.005
[11] AYHAN T, ALTUN M. Approximate fully connected neural network generation[C]//2018 15th International Conference on Synthesis, Modeling, Analysis and Simulation Methods and Applications to Circuit Design (SMACD). New York, USA: IEEE, 2018: 93-96.
[12] YAN D X, AN Y, LI G H, et al. High-resolution reconstruction of FMT based on elastic net optimized by relaxed ADMM[J]. IEEE Transactions on Biomedical Engineering(Early Access), 2022, 10(11): 1-10.
[13] GONG F X, GONG T R, YU Y, et al. An electricity load forecasting algorithm based on kernel lasso regression[C]//2021 IEEE 4th International Electrical and Energy Conference (CIEEC). New York, USA: IEEE, 2021: 1-4.
[14] LI D, GE Q F, ZHANG P Ch, et al. Ridge regression with high order truncated gradient descent method[C]//2020 12th International Conference on Intelligent Human-Machine Systems and Cybernetics (IHMSC). New York, USA: IEEE, 2020: 252-255.
[15] LIU L, LUO Y H, SHEN X, et al. β-Dropout: A unified dropout[J]. IEEE Access, 2019, 7(3): 36140-36153.
[16] SMITH R, KANDIMALLA V A K, REDDY G D. Predicting diabetes using outlier detection and multilayer perceptron with optimal stochastic gradient descent[C]//2020 IEEE India Council International Subsections Conference (INDISCON). New York, USA: IEEE, 2022: 51-56.
[17] PATTERSON J, GIBSON A. Deep learning: A practitioners a-pproach[M]. Sebastopol, USA: O'Reilly Published, 2019: 402-406.
[18] KHANIKI M A L, HADI M B, MANTHOURI M. Feedback error learning controller based on RMSprop and salp swarm algorithm for automatic voltage regulator system[C]//2020 10th International Conference on Computer and Knowledge Engineering (ICCKE). New York, USA: IEEE, 2020: 425-430.
[19] 古德费洛I, 本吉奥Y. 深度学习[M]. 北京: 人民邮电出版社, 2017: 53-79. GOODFELLOW I, BENGIO Y. Deep learning[M]. Beijing: Posts Telecom Press, 2017: 53-79(in Chinese).
[20] 马园园, 王立地. 神经网络的光电测量系统畸变校正和优化研究[J]. 激光杂志, 2017, 37(11): 42-45. https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201611011.htm MA Y Y, WANG L D. Study on distortion correction and optimization of optical measurement system based on neural network[J]. Laser Journal, 2017, 37(11): 42-45(in Chinese). https://www.cnki.com.cn/Article/CJFDTOTAL-JGZZ201611011.htm
[21] GERON A. Hands-on machine learning with scikit-learn and tensorflow[M]. 2th ed. Sebastopol, USA: O'Reilly Media, 2020: 576-579.
计量
- 文章访问数: 568
- HTML全文浏览量: 0
- PDF下载量: 7