Map
HTML
-
结构光3维形貌测量技术是当今社会一种应用广泛的技术，因其具有非接触式、全场测量、低成本等优点, 在工业制造、物品3维轮廓检测、人体建模、航天领域和医学领域等众多领域具有庞大的技术需求[1]。其中条纹投影轮廓术是结构光3维形貌测量中最具有代表性的一项技术[2]。条纹投影轮廓术原理是先用投影仪将光栅条纹投射到被测物体表面，然后光栅变形条纹与参考条纹由摄像机捕获，被摄像机捕获到的条纹通过计算可以求出内含被测物体高度信息的包裹相位，然后通过相位展开求取真实相位，最后利用相位-高度映射和摄像机-投影仪条纹投影轮廓术(fringe projection profilometry，FPP)系统的标定参数，进行3维重建[3-4]、生成3维点云[5]。摄像机进行条纹捕获时会引入噪声[6], 从而造成相位误差，最终会影响3维重建的精确度。
对于条纹投影轮廓术，条纹噪声通常是不可避免的，并导致相位误差。目前，很多学者对噪声所致的相位误差和相位展开可靠性进行了研究。WANG等人[7]提出一种边缘模式策略，通过最大化计算长度来提高模式信噪比，但这种技术对投影仪与相机之间的图像散焦和分辨率差异很敏感。YANG[8]提出了基于2维正弦光栅编码的系统标定，消除了投影仪镜头畸变引起的测量误差。CUI等人[9]提出一种基于π/3相移的噪声补偿方法，通过相移则可以使信号的强度反转，噪声强度也反转，相移前后的噪声叠加取均值来补偿噪声。ZUO等人[10]利用捕获条纹的调制强度与相位误差成反比的特点，提出了一种提高获取条纹调制强度的方法。SERVIN等人[11]证实相移条纹噪声通常为高斯噪声，相位误差也符合高斯随机过程。LI等人[12]用随机噪声方差表达相位误差，使随机噪声方差与相位误差建立联系，证明相位误差与相移步数成反比、与捕获条纹的调制强度成反比、与随机噪声方差的平方成正比，并且得出相位方差与条纹频率有关，并给出条纹最优频率及其偏差所带来的误差。ZHUANG等人[13]通过处理采集条纹，提取被测物体的轮廓，精确定位噪声范围，并对误差像素均值化来减小噪声带来的误差。BAI[14]针对优化结构光条纹图像质量，通过滤波方法解决了结构光条纹图像灰度分布退化的问题。
条纹噪声是随机的，但现有方法的噪声模型是基于高斯噪声模型。此外，现有方法仅讨论标准的双频或多频相移法(如3fh+3fl、4fh+4fl，表示三步或四步相移双频外差方法, fh和fl分别表示高频和低频)，尚未对非标准的双频或多频相移法(如3fh+2fl，表示高频三步相移和低频两步相移双频外差方法)进行讨论与分析。为此，本文作者提出了一种评价方法，该方法不基于高斯噪声模型，直接根据条纹噪声的方差计算相位误差的最大方差；然后讨论了3种双频相移法(标准3fh+3fl与4fh+4fl，非标准的3fh+2fl)相位展开的可靠性; 理论与实验对比了3种算法的包裹相位误差和相位展开可靠性。
-
光栅投影原理是在被测物体的表面投影计算机生成的标准正弦光栅条纹，通常采用相移法[15]，被测物体表面上的变形条纹由相机采集传输给计算机，最后通过相机采集到的参考条纹和被测物体表面的变形条纹计算出相位。假设光栅投影条纹为正弦条纹，则投影条纹的灰度值可以由下式表示[16]：
式中: Ip(xp, yp)表示投影仪所投影的条纹; A(xp, yp)为背景光强值; B(xp, yp)为调制强度; f0为载波频率。投影相移条纹的灰度值可以用下式表示：
式中: n表示第n次相移; pn=2π(n-1)/N; N表示相移步长总数。相机采集过程中会受到周围环境光和被测物体表面反光的干扰，因此摄像机采集到的光栅条纹表示为：
式中:
式中: In，c(xc，yc)表示摄像机所采集的条纹; ϕ(x, y)为包裹相位; k(x, y)为被测物体表面反射率; β1(x, y)为外部光源照到被测物体表面反射进入相机的环境光; β2(x, y)为外部光源直射相机的环境光。条纹投影与采集原理图如图 1所示。
Figure 1. Principle of fringe projection and capture
由相机捕获的条纹通过相位计算可以求出相位主值(也称为包裹相位)，包裹相位求取由下式表示：
式中: ϕ(x, y)的范围限制在-π和π之间，为了建立相机和投影仪间唯一的像素对应关系，并正确重建3维形貌，需对相位进行展开[17]，而展开相位的计算方法有空间相位展开法和时间相位展开法[18-20]，本文中采用时间相位展开法求展开相位，这种方法对于复杂的物体形貌依然可以准确计算出展开相位，对于表面不连续的物体依然可以精确测量[21]。典型的时间相位展开法有三频相位展开法、三频外差相位展开法、指数增长、线性增长、负指数增长，本文作者采用双频外差法来求解包裹相位，然后通过解出频率为1的包裹相位间接求取展开相位。
-
通过摄像机捕获条纹频率为fh和fl的投影条纹灰度值可以表示为：
式中: fh表示高频; m(m=0, 1, 2，…, M-1)是指频率为fh的捕获光栅条纹的相移步数; M是指频率为fh的捕获光栅条纹的相移步长总数, 这里M=3;fl表示低频; n(n=0, 1, 2，…, N-1)是指频率为fl的捕获光栅条纹的相移步数; N是指频率为fl的捕获光栅条纹的相移步长总数，这里N=3。频率为fh的三步相移的包裹相位可以表示为：
式中: ϕ3s，fh(x, y)表示高频三步相移; In, fh(x, y)(n=1, 2, 3)表示三步相移的第1幅、第2幅和第3幅条纹。
噪声干扰光栅条纹可以表示为：
式中: Nm, fh(x, y)是指在光栅条纹频率为fh的第m(m=1, 2, 3)个条纹的噪声强度。同理，由通式可以推出带噪声的三步相移的实际包裹相位可以表示为：
为了便于计算，将符号后的(x, y)进行省略，根据式(7)、式(9)和式(10)，噪声干扰引起的包裹相位误差可以表示为：
根据式(6)、式(8)和式(11)，包裹相位误差可以进一步表示为：
噪声强度远小于调制强度3b，因此上式可以简化为：
含有噪声的条纹计算的包裹相位减去理想条纹计算的包裹相位，并按如下方式计算方差：
式中，var(·)代表求方差，C(·)表示相关系数。
由于三步相移条纹由相同的测量系统捕获，因此可以假设随机噪声方差大致相等，式(10)可以进一步表示为：
式中: σ2是噪声的方差; σ∇12是随机噪声差∇N1(x, y)的方差; σ∇22是随机噪声差∇N2(x, y)的方差; ζ是相关系数; ζ3-2表示第3幅与第2幅条纹的相关系数，并且0≤ζ≤1，τ=1-ζ，则0≤τ≤1。
为了容易比较相位误差，假设两个随机噪声的相关系数相等，则τ1-2=τ1-3=τ3-2=τ1，则可以推出：
因为∇N1(x, y)和∇N2(x, y)比b(xc, yc)小很多，而且使用相位误差的方差来表示它们的值，因此可以得出：
根据上式可以得出与之对应的方程式：
然后对上式ϕ3s, fh求导，可以求出y的极值。
令:
并且已知：
因此频率为fh的三步相移的包裹相位误差的最大方差可以得出：
用相同的方法可以求出频率fl的三步相移的包裹相位误差的最大方差：
对于双频外差相位展开算法，可以从频率为fh和fl的包裹相位中提取频率f1=1的包裹相位。
式中：∇φfl是频率为fl条纹展开相位的误差。频率为1的3fh+3fl包裹相位误差的最大方差:
具有高频fh的展开相位可以由下式求出：
式中: r(·)为舍入函数; k是整数条纹顺序; Th为展开条纹周期数。式(26)的分子中包含相位误差，为保证k的正确性，其分子的相位误差应满足以下条件：
可以得出上式分子的相位误差的最大方差为：
根据式(28)可以看出，Th越小，k的可靠性越高。然而当Th越小，展开相位的分辨率越低，为了提高相位精度和k的可靠性，可以使用三频相移或多频相移。使用1.7638作为3fh+3fl的包裹相位误差系数，并且将3.5276作为3fh+3fl的展开相位可靠性。对于包裹相位可靠区域，包裹相位误差系数可用于表示最终相位精度，但是对于展开相位不可靠区域，由于条纹顺序引起的相位误差远大于包裹相位误差，因此使用相位展开可靠性系数来表示最终相位精度。
-
对于3fh+2fl，频率为fl的捕获条纹可以表示为：
频率为fl的二步相移计算包裹相位的方法为：
对于3fh+2fl，频率为fh的最大包裹相位误差已经得到，频率为fl的最大包裹相位误差可由下式得出：
式中: ϕ2s, fl表示低频两步相移。
为了比较相位误差，假设两个随机噪声的相关系数相等。
则频率为fl的最大包裹相位为：
讨论一下包裹相位的可靠性系数，通过3fh+2fl可以得到频率为1的包裹相位误差的最大方差：
3fh+2fl的展开相位的可靠性为：
对于展开相位可靠区域，包裹相位误差系数1.7638可用于表示最终相位精度。但是，对于相位展开不可靠区域，必须使用相位展开可靠性系数4.5918来表示最终相位精度。
-
频率为fh的四步相移包裹相位可以表示为：
带噪声的四步相移的实际包裹相位可以表示为：
噪声干扰引起的包裹相位误差表示为：
为了比较相位误差，假设两个随机噪声的相关系数相等。
使用相位误差的方差来表示其值，式(39)可以进一步表示为：
频率为fh和fl的四步相移的包裹相位的最大方差为：
频率为1时，4fh+4fl包裹相位误差的最大方差为：
4fh+4fl展开相位的可靠性为：
对于相位展开的可靠区域，包裹相位误差系数1.414可用于表示最终相位精度。但是对于相位展开不可靠区域，必须使用相位展开可靠性系数2.828来表示最终相位精度。
-
对于3fh+3fl，3fh+2fl和4fh+4fl，最终相位误差系数如表 1所示。对于相位展开可靠的区域，4fh+4fl的相位误差最小。对于相位展开不可靠的区域，4fh+4fl的相位误差最小。
method wrapped phase error coefficient (reliable phase unwrapping area) phase unwrapping reliability coefficient (unreliable phase unwrapping area) 3fh+3fl 1.7638 3.5276 3fh+2fl 1.7638 4.5918 4fh+4fl 1.4140 2.8280 Table 1. Coefficients comparison of final phase error
首先，由于不可避免的阴影和额外的噪声干扰，应使用相位展开可靠性系数作为最终相位误差系数。包裹相位误差系数仅用于部分可靠性区域。以4fh+4fl的2.828为分母，得到相位误差系数的比值，如表 1所示。对于双频外差相位展开法，fh≈fl，相位误差方差可以计算如下：
使用式(45)中4fh+4fl的相位误差方差作为分母，得到相位误差方差的比值，如表 2所示。从表 2的比较可以证实本文中误差模型的正确性。
ratio ratio of the phase error coefficient in Table 1 ratio of the phase error variance in equation (45) $ \frac{3 f_{\mathrm{h}}+3 f_1}{4 f_{\mathrm{h}}+4 f_1}$ 1.25 1.33 $ \frac{3 f_{\mathrm{h}}+2 f_1}{4 f_{\mathrm{h}}+4 f_1}$ 1.62 1.67 Table 2. Coefficient ratio of phase error
1.1. 投影和采集原理及相位计算
1.2. 3fh+3fl方法相位误差与噪声分析
1.3. 3fh+2fl方法相位误差与噪声分析
1.4. 4fh+4fl方法相位误差与噪声分析
1.5. 不同方法的比较和讨论
-
实验设备主要由数字投影仪(三星SP-P410M)、摄像机(大恒彩色相机DH-GV400UC)和计算机(AMD Ryzen 5 5600H with Radeon Graphics 3.30 GHz)组成。3维测量流程如图 2所示。
Figure 2. Flow chart of 3-D measurement
-
为了证明本文作者提出的评价方法，分别以小象和勺子工件为第1组实验对象，如图 3a所示；第2组实验对象为牙颌和牙膏，如图 4a所示。投影条纹周期数分别为33和32，通过以下3种方法3fh+2fl、3fh+3fl和4fh+4fl对物体进行相位计算和3维重建。图中的毛刺状相位误差由条纹噪声所致，其误差数量在图中用phase error(单位：个)表示。为了方便对比，给出了两个不同的视角，第一视角给出了物体重建形貌，第二视角便于观察噪声所致的噪声误差。第1组实验的重建正面效果如图 3b、图 3c和图 3d所示；其侧面效果如图 3e、图 3f和图 3g所示。第2组实验的重建正面效果如图 4b、图 4c、图 4d所示；其侧面效果如图 4e、图 4f和图 4g所示。
Figure 3. Comparison of 3-D reconstruction results of the first group of experiments
Figure 4. Comparison of 3-D reconstruction results of the second group of experiments
表 3中为相位误差数量对比。可以看出，两组实验中4fh+4fl方法对物体进行3维重建后所产生的相位误差数量最少。相对于4fh+4fl方法，3fh+3fl方法提高了3维测量效率，但两种被测对象中，3fh+3fl方法的相位误差个数增加至4fh+4fl方法的169.7%和126.9%。3fh+2fl方法的条纹数量最少，测量效率最高，但3fh+2fl方法的相位误差个数增加至4fh+4fl方法的422.6%和388.8%。
method the first group of experiments the second group of experiments 4fh+4fl 340 331 3fh+3fl 577 420 3fh+2fl 1505 1287 Table 3. Comparison of the number of phase errors
对图 4的重建正面效果图进行局部放大，结果如图 5所示。通过图 5中第2组实验的局部放大部分进行对比可以发现，用4fh+4fl方法对实验物体进行3维重建的效果要优于3fh+3fl和3fh+2fl，图 5a中重建平面比较光滑、完整，并且图像中出现的误差个数明显少于其它两个图像，而其它两种方法的实验结果中有比较严重的褶皱。比较3fh+2fl与3fh+3fl，对比图 5中的两种方法，由于3fh+2fl方法删减了部分条纹导致重建效果变差，相比3fh+3fl重建后的物体表面褶皱较明显，并且有些高光重建部分模糊，带有较多误差。因此，对比图 5b、图 5c可以发现，图 5c中重建表面褶皱较大并且不光滑，使用3fh+3fl方法对物体进行重建后的效果要优于3fh+2fl.，但相比于4fh+4fl算法和3fh+ 3fl算法，3fh+2fl方法测量效率提升了37.5%和16.6%。
Figure 5. Reconstruction of the second group of experiments with local amplification comparison
理论与实验结果表明，相位误差和相位展开可靠性与相移步数成反比，相移步数越高，则相位误差越小，相位展开可靠性越高，3维重建效果越好。但是，相移步数增大后，测量效率会降低。
-
在上述的两个实验中只是对物体表面进行局部放大对比，为了更精确地对3种方法进行比较，验证结论，将3种方法的3维重建结果取一行相位进行对比，对两组实验的结果都取第384行相位，以4fh+4fl方法进行重建的结果为例，对使用3种方法的结果提取第384行相位，其位置为图 6中红色虚线所标位置，红色方框中虚线为图 7中局部放大对比位置。
Figure 6. Position of phase and local amplification contrast in line 384
Figure 7. Three algorithms phase unwrapping results are partial comparison
图 7中的洋红线、蓝线与黑线分别代表 3fh+2fl、3fh+3fl与4fh+4fl这3种方法的相位变化。从曲线可以看出，4fh+4fl所对应的黑线的波动要比其它两种颜色的线小很多，而3fh+3fl对应的蓝线与3fh+2fl对应的洋红线在4fh+4fl对应的黑线上下波动，但从整体看蓝线波动幅度略小于洋红线，3fh+3fl的相位波动略小于3fh+2fl的相位波动，并且洋红线垂直向下所代表的误差也要比其它两种方法多，因此验证了结论的准确性。
2.1. 重建局部放大对比
2.2. 局部相位对比
-
对于噪声引起的相位误差和相位展开的可靠性，本文中采取一种微分方法，引入方差，将随机噪声方差转化为相位误差的方差，通过微分来求取相位误差的最大方差，然后对比包裹相位误差系数和相位展开可靠性系数来判定3维重建效果的好坏。用第1、2组实验来对比3种方法3维重建后的效果，对结果进行局部放大对比分析与提取一行对比分析。对比结果验证了本方法的可靠性，实验验证了3种方法中4fh+4fl方法重建效果最佳，其重建物体表面平滑无褶皱，精度较高；其次是3fh+3fl算法的重建效果略差，重建物体表面散布水纹；最后是3fh+2fl算法重建模型褶痕较多，测量精度较差，但相比于传统算法将效率提升了37.5%。
DownLoad: