1 引言

目前结构光的三维测量的研究主要集中在以下几个方面：1） 提高三维测量的测量效率；2） 提升三维测量的重建精度；3） 研究不同的编码方法，提高三维廓形重建的速度和鲁棒性；4） 将结构光视觉和工业生产过程以及机器人应用等结合起来。结构光测量过程中会受投影仪非线性响应，相机畸变以及环境光等因素影响，导致物体测量精度不足。对于形貌简单、体积合适的物体重构难度不大，而对于形貌复杂、体积较小的物体重构精度不够。采用多频结构光栅，算法的核心是对现有四步相移进行改进，结合多频外差原理^[1]，解相位时逐点解相，多种频率展开相位值通过最小二乘法进行拟合，得到一个全场范围覆盖的展开相位。同时，本文以体积小、形貌复杂的螺丝模型为研究对象，对提高小型物体重建精度进行验证。

结构光扫描技术精度的提升一直是国内外学者关注的问题之一。例如Zhang等人^[2-4]提出从标定过程探讨标定精度问题，但所提出的全场误差计算法易受到环境光照影响，同时，物体表面反射率改变时也需重新进行标定。J.M.Huntley和H. Saldner等人^[5]提出以正弦结构光算法为核心来改善重建精度。基于数字光栅投影的传统方法有对时间相位进行展开的四步相移法，实际测量过程中物体边界发生急剧突变、高反射率因素都会导致解相周期发生错乱，进而得到不连续的相位，物体重建的精度也会受到影响。因此，本文采用多频光栅结合四步相移算法进行改进，实现了对小型物体和形貌复杂物体的高精度重建。

1 结构光栅三维重建原理

结构光三维测量技术的实现是基于光学三角法。DLP投影仪作为结构光光源投出特定频率的光栅到物体表面，对同种频率的光栅分别采集0， ${\text{π}}/2$， ${\text{π}}$， $3{\text{π}}/2$四幅不同的光栅调制图，即四步相移法。然后利用CCD相机进行数据采集， 将采集到的形变光栅图与参考光栅对比，解相位得到物体的三维廓形。其中系统工作的原理图如图1所示。

相移法的实质是光的干涉原理，由于物体表面高度变换而得到变形的调制条纹。利用CCD摄像机采集得到二维的变形条纹图可表示为

${I_N} = a(x,y) + b(x,y)\cos [2{\text{π}} fx + \Delta {\mathit{\Phi}} (x,y)]$ (1)

式中： $a(x,y)$， $b(x,y)$ 分别为摄相机接收到的光强和背景光强； $\Delta {\mathit{\Phi}} (x,y)$为隐含物体高度信息的相位函数。

图 1. 结构光三维重建系统原理图

Fig. 1. Schematic diagram of structured light three-dimensional reconstruction system

下载图片 查看所有图片

由（1）式可知，方程存在３个未知量 ${{a}}({{x}},{{y}})$， ${{b}}({{x}},{{y}})$和 $\Delta {\mathit{\Phi}} ({{x}},{{y}})$。理论上给出3个不同相位的光强值便能得出 $\Delta{\mathit{ \Phi}}({{x}},{{y}})$。其中采用N步相移法的话，相移量则为 $2{{{\text{π}} }}/{{N}}$，物体的相位函数表达式^[6]为

$\Delta{\mathit{ \Phi}} (x,y) = \arctan \left[ {\frac{{\displaystyle\sum\limits_0^{N - 1} {{I_N}(x,y)\sin \left( {\dfrac{{2n{\text{π}} }}{N}} \right)} }}{{\displaystyle\sum\limits_0^{N - 1} {{I_N}(x,y)\cos \left( {\dfrac{{2n{\text{π}} }}{N}} \right)} }}} \right]$ (2)

由（2）式可以计算出相位函数：

$\Delta {\mathit{\Phi}} (x,y) = \arctan \left[ {\frac{{{I_2}(x,y) - {I_4}(x,y)}}{{{I_1}(x,y) - {I_3}(x,y)}}} \right]$ (3)

如何准确获得相机采集光栅的深度信息在重建过程中很关键。由图2光栅投影系统模型可知计算出的相位 $\Delta{\mathit{ \Phi}}({{x}},{{y}})$与高度 ${{PP'}}$的映射关系，其中由式 ${{AB}} \times 2{\text{π}}{{ f}} =\Delta {\mathit{ \Phi}}({{x}},{{y}})$ 和 $\dfrac{{{{PP}}'}}{{{{L}} - {{PP}}'}} = \dfrac{{{{AB}}}}{{{d}}}$ ,可得高度为

$P{P'} = \frac{{L\times \Delta{\mathit{ \Phi}} (x,y)}}{{2{\text{π}} fd + \Delta {\mathit{\Phi}} (x,y)}}$ (4)

图 2. 光栅投影系统模型图

Fig. 2. Model diagram of grating projection system

下载图片 查看所有图片

2 多频外差原理解相过程分析

多频外差的方式产生几种不同频率的结构光栅，采用多频外差法对小型物体廓形重建细节得到完整体现，且具有很好的抗干扰性。获取物体深度信息是重建的关键环节之一。此时的包裹相位实际上是对截断在 $[ - {{\text{π}}},{{\text{π}}}]$反三角函数相位的求解^[7-8]。

多频外差的原理是频率相异的相位函数 ${{{\varphi }}_1}$ 和 ${{{\varphi }}_2}$叠加成频率较低的相位函数 ${{{\varphi }}_{12}}$。其中 ${{{f}}_1}$ 和 ${{{f}}_2}$ 分别为相位函数 ${{{\varphi }}_1}$ 和 ${{{\varphi }}_2}$的频率， ${{{f}}_{12}}$为相位函数 ${{{\varphi }}_{12}}$的频率，相位函数 ${{{\varphi }}_{12}}$的频率 ${{{f}}_{12}}$计算公式^[9]为⁹

${f_{12}} = \frac{{{f_1}\times {f_2}}}{{{f_1} - {f_2}}}$  (5)

相机、投影仪测量角度保持 ${20^\circ } \sim {30^\circ }$位置，并且被测物和他们相对位置不发生改变，两种周期下绝对相位的关系为

$\frac{{{{\rm{\varphi }}_1}}}{{2{{\text{π}}}}}\times {{{T}}_1} = \frac{{{{\rm{\varphi }}_2}}}{{2{{\text{π}}}}}\times {{{T}}_2}$ (6)

相位包裹分布的关系为

$\Delta {\rm{\varphi }} = {{\rm{\varphi }}_1} - {{\rm{\varphi }}_2} = \left\{ \begin{array}{l} {{\rm{\varphi }}_1} - {{\rm{\varphi }}_2}({{\rm{\varphi }}_1} > {{\rm{\varphi }}_2})\\ 2{{\text{π}}} + {{\rm{\varphi }}_1} - {{\rm{\varphi }}_2}({{\rm{\varphi }}_1} < {{\rm{\varphi }}_2}) \end{array} \right.$ (7)

两种周期结构光的绝对相位值^[10]为¹⁰

${{\rm{\varphi }}_1} = \frac{{{{{T}}_2}}}{{{{{T}}_2} - {{{T}}_1}}}\Delta {\rm{\varphi }}$ (8)

其中：

${{n}} = {{NINT}}\left[ {\left( {\frac{{{{{T}}_2}}}{{{{{T}}_2} - {{{T}}_1}}}\Delta {\rm{\varphi }} - {{\rm{\phi }}_1}} \right)/2{{\text{π}}}} \right]$ (9)

${{\text{π}} _1} = 2{\text{π}} n + {\varphi _1}$ (10)

式中n表示该点的条纹周期数。

多频相位展开过程中，双频光栅对复杂物体重建细节体现不足，3种频率以上的光栅又会提高设备性能要求，且耗时，因此我们采用3种频率的光栅。实际操作中，使用的相机分辨率为 1 080 pixel，通过使用visual studio2017软件中的python工具进行仿真，此过程中选取3种频率的光栅条距分别为 ${{{T}}_1} = 15\;{\rm{pixel}}$， ${{{T}}_1} = 16\;{\rm{pixel}}$， ${{{T}}_1} = 17\;{\rm{pixel}}$，由（5）式多频外差公式可得， ${{{T}}_{12}} = 240\;{\rm{pixel}}$， ${{{T}}_{23}} = 272\;{\rm{pixel}}$，再叠加 ${{{T}}_{12}}$， ${{{T}}_{23}}$可得， ${{{T}}_{123}} = 2\;040\;{\rm{pixel}}$，而我们要处理的图片为 $1\;280\;{\rm{pixel}}$，满足要求。

实际操作过程中DLP投影仪运用标准的四步相移法投射出3种频率的光栅投影，通过仿真，不同频率的 ${{\rm{\varphi }}_1}$和 ${{\rm{\varphi }}_2}$进行叠加得到频率更低的 ${{\rm{\varphi }}_{12}}$，同理，通过对不同频率的 ${{\rm{\varphi }}_2}$ 和 ${{\rm{\varphi }}_3}$进行叠加得到 ${{\rm{\varphi }}_{23}}$，然后将 ${{\rm{\varphi }}_{12}}$和 ${{\rm{\varphi }}_{23}}$进行叠加得到 ${{\rm{\varphi }}_{123}}$，而且在三频的正弦光栅中，选择合适的初始光栅频率，使得 ${{\rm{\varphi }}_{123}} = 1$，这样能够让相位在全场范围内进行展开^[11]。如图3所示为展开相位图，图中展开的相位连续，无噪点。

图 3. 多频外差法解相过程

Fig. 3. Multi-frequency heterodyne method for phase decomposition

下载图片 查看所有图片

3 单频光栅和多频光栅三维重建对比

基于四步相移的单一频率结构光仿真中，采集装置为DLP投影仪和CCD相机，重建物体为实际比例的螺丝模型。通过仿真发现，单一频率结构光进行重建时，环境光对结果影响非常大，细节体现不足。仿真中参数设置，通过测量摄相机到参考平面的距离为 ${{L}} = 26\;{\rm{cm}}$，投影仪光心到摄相机光心的距离为 ${{D}} = 10\;{\rm{cm}}$，投影光栅的频率为 ${{f}} = $$1/16\;{\rm{Hz}}$。

其中图4（a）为参考光栅解相位仿真图。采用四步相移法对采集的参考光栅与调制光栅进行解相位，于是可以仿真得到图4（b）中的光栅形变的仿真图以及相位包裹前与包裹后的仿真图。图4（a）中所示在像素400 pixel～600 pixel和800 pixel～1 000 pixel解相位不完全连续。

如图5所示为部分螺丝廓形重建图，螺纹细节无法显示，同时噪声影响很大，多次测试与标准螺丝相比误差达0.1 mm～0.5 mm。

通过对多次仿真结果进行分析可知，单频正弦光栅投影频率为低频时，由于频率与周期互为倒数关系，导致正弦光栅投影周期过大，通过对螺丝模型进行分析，周期过大时，由于螺丝模型体积比较小，部分地方形貌复杂，投射的物体表面的光栅条纹可能相位无法被解调出来，此时测量物体的精度变低，物体细节丢失；而单独采用高频光栅时，虽然可以提升物体细节的辨别，但易发生大于半个周期的条纹被投影在物体突变或不连续区域，算法展开会不连续，产生信息丢失等错误^{[7, 12]}。

图 4. 螺丝模型重构过程

Fig. 4. Reconstruction process of screw model

下载图片 查看所有图片

图 5. 采集部分螺丝廓形重建图

Fig. 5. Acquired part of reconstructed screw profile

下载图片 查看所有图片

为验证多频外差法对物体重建的精度和实现效果，实验对象为螺丝模型。DLP投影仪，相机为MV-UB130M黑白相机，分辨率为1 280 pixel×1 024 pixel，帧率为30帧/s。三维重建系统实物搭建如图6所示。

图 6. 三维重建系统实物搭建图

Fig. 6. Physical mapof three-dimensional reconstruction system setup

下载图片 查看所有图片

多频光栅参数设定，相机采用焦距6 mm～12 mm可调焦相机，相机曝光时间最好设置为1/60 s的整数倍，相机曝光时间设置为33.333 ms。将相机的光圈设置为16，投影仪与相机间所成夹角为20°～30°，3种光栅的频率分别为1/64、1/58、1/53。

使用如下系统对螺丝模型进行重建，重建步骤如下：

1） 用张正友棋盘格法对相机内参进行标定；

进行多频正弦光栅投影，对于螺丝模型每面投出固定几种频率的光栅，并采用标准的四步相移法对每种频率的光栅解相位。采集每面数据所需时间大约7 s～8 s。投影出的光栅如图7所示。

2） 基于特征点的拼接；

3） 基于ICP的全局优化。

图 7. 螺丝模型投射的多频光栅

Fig. 7. Multi-frequency grating projected by screw model

下载图片 查看所有图片

配准过程即对于空间中不同的2个点集，他们存在一定的变换关系，通过变换2个点集将其统一到同一坐标下，如图8所示。

图 8. 点云匹配

Fig. 8. Point cloud matching

下载图片 查看所有图片

根据坐标系（u，v，w），我们可以计算3个标量值^[13-14]

$\alpha = v \times {n_j}$ (11)

${\mathit{\Phi }} = \frac{{u \times ({p_j} - {p_i})}}{{||{p_j} - {p_i}||}}$ (12)

$\theta = \arctan (w \times {n_j},u \times {n_j})$ (13)

随后通过平移和旋转变换即能得到点云粗校准。

ICP（iterative closest point）算法即最近迭代算法，点云匹配中的常用方法。求取空间坐标系中采集不同面 $m$个对应的特征点（其中2个面特征点云数据重合率应达到20%以上），通过刚体变换 $T$，不断迭代使得 $m$对匹配特征点距离达到最小^[13]。利用要将源点云转换到目标点云坐标系下，可通过神经网络，设置阈值进行迭代，直到两点间距离误差满足要求，即为精确配准^[15-16]。特征点匹配后网格化的螺丝模型如图9所示。

图 9. 网格化螺丝模型

Fig. 9. Meshed screw model

下载图片 查看所有图片

4 实验结果分析

实验结果表明，采用多频外差法进行光栅投影，物体细节更加明显，如图10（a）所示，信息丢失更少，得出的结果模型明显好于单一频率重建的结果，图10（b）融合结果中螺丝模型底部存在明显缺陷。因此，说明了采用多频光栅是提升物体廓形重建精度的一种相对较好的方法。

同时，此实验环境为正常日光环境，得到的螺丝廓形完整，说明多频外差结合四步相移算法解相过程能够得到一个全场范围内连续的相位，算法的改进也提高了结构光重建对环境光的抗干扰程度。

如表1所示，基本原理基于多频外差法的单目视觉的结构光重建。由表1数据可知，精度达到了0.03 mm～0.05 mm。同时，通过图11多次测试牙距参数，牙距重建误差小于0.03 mm，满足实际生产需求。总体来说，采用多频外差原理进行物体廓形重建，对于小型物体细节还原效果好，抗干扰强，提高了物体重建精度。通过改善算法，提高了精度，减少了设备成本。

图 10. 两种方法螺丝模型融合结果对比图

Fig. 10. Comparisons of two methods for screw model fusion results

下载图片 查看所有图片

图 11. 牙距误差图

Fig. 11. Pitch error map

下载图片 查看所有图片