0 引　言

三维光学测量技术^[1]由于其具有非接触、高效率等特点，被广泛应用于工业制造、逆向工程、文物保护、医疗卫生等领域。结构光法是一种常见的光学三维测量方法，通过投射结构光图案，使用像素阵列的传统相机捕获场景图像，并结合三角测量原理对物体表面的三维坐标进行测量。

然而，基于三角测量原理的结构光三维重建方法能够获得正确结果的一个重要的假设是光线在被探测器接收前仅经过了一次反射^[2]。由于被测表面形貌的复杂性和材料的多样性，在实际测量条件下，探测器像素所接收到的光线常是来自于不同光源位置处的混合光，使得上述假设不成立。按照光与被测物体的作用方式，像素探测器接受到的混合光可进一步被分解为直接光照（Direct illumination）与全局光照（Global illumination）^[3]。直接光照是指在传播过程中未被散射且仅在场景中反射一次的光，满足上述假设；而全局光照又被称作间接光照，是指发生散射或在场景中经过了多次反射或散射的光线，不满足上述假设，从而导致测量误差或数据缺失。因此，在全局光照干扰下，二值图案、相移条纹等传统结构光三维测量方法均无法实现完整和高精度的测量。

互反射和次表面散射是两种典型的全局光照。互反射发生在凹陷的光亮反射表面，是由一束光照射到被测物体表面后，反射到被测物其他位置处而形成的^[4]。次表面散射发生在半透明材料表面及其下方区域，是光线入射到被测物体后，在物体内部发生散射，然后从入射点周围出射的现象^[5]。目前在实际工业应用中，避免全局光照对测量产生影响的一般方法是：向物体表面喷涂显影剂，使表面反射特性趋向漫反射，从而消除互反射与次表面散射的影响。然而在很多应用场景中，被测物是不允许喷涂显影剂的，例如数控加工中的在位测量和生产流水线上的在线测量等；还有些物体因为自身的属性不能喷涂显影剂，比如文物、高温物体等；而且显影剂的厚度会导致额外的测量误差，在测量后清洗物体表面的显影剂还会引入额外的工序，大大增加了检测时间和成本。因此，如何在不喷涂显影剂的情况下避免全局光照对测量产生影响，是对复杂型面进行完整高精度三维测量的关键技术瓶颈。

针对此问题，国内外学者进行了初步探索。由于直接光照不改变投射条纹的空间频率，而间接光照会降低投射图案的空间频率。基于该原理，Nayar等人^[6]提出了利用高频图案分离直接和间接光照的方法，向场景投射变化的高频图案，使低频的间接光照分量保持恒定，从而将相机采集到的直接反射分量和低频相互反射分量分离。Gupta等人^[7]提出了微相移，将投射条纹的频率限制在一个高频的窄频带中，从而抑制相互反射对测量产生的影响。天津大学的王晋疆等人^[8]通过高频格雷码结构光识别出相互反射区域，去除传统格雷码结构光的错误解码结果，并生成相互反射区域的相机掩模和投射掩模；然后只对掩模区域投射传统格雷码结构光，得到相互反射区域的测量数据。由于间接光照具有消偏的特性，Chen等人^[9]将偏振差别成像应用于相移条纹投射法，他们在投射器前放置一个起偏器，使从投射器出射的光变为线偏振光。在相机前放置一个可以旋转的检偏器，相机成像两次，检偏器的偏振态一次与起偏器平行，另一次与起偏器垂直在两次成像的图像中光强不变，用来减小测量半透明物体的误差。

然而，这些方法都在一定程度上对光传输过程作出了假设，因此解决的方法不具有一般性，在某些情况下仍然会出现测量失败或精度降低的问题。例如，对于高频投射类的方法，其假设场景中只存在低频的相互反射，因此该类方法仅适用于相互反射的成分为漫反射和低频镜面反射的情况。而对于线偏振光的方法，其假设直接光照不产生消偏效应，但由于漫反射光也会发生消偏，当被测物表面镜面反射较弱时，该方法无法进行有效测量。因此，需要一种能够更加通用的方法对探测器像素的混合光进行分解，从而使全局光照下的三维测量问题真正解决。

单像素成像技术可以通过没有空间分辨率的探测器捕获场景^[10-12]。与大多数现代数码相机对反射光场进行采样不同，这种成像方法通过空间调制器（例如投影仪）对入射光场进行编码，从而得到入射光场视角下最终可被单像素探测器所接受到的光能量，无论这些能量是由物体所直接反射后被探测到的还是经过了复杂的散射后才被探测到的。因此，单像素成像在原理上就为混合光线的分解提供了完善、通用的理论模型。

单像素成像技术目前已经被广泛应用于光谱探测^[13-15]、红外^[16]、太赫兹^{[17, 18]}、3D^{[19, 20]}和时域^[21-23]信号的采集。文中将单像素成像技术扩展到传统像素化的图像传感器中，将图像传感器上的每个像素都被视为是一个独立的单元，可以同时获取图像。

1 理论分析

三维结构光测量系统由投影仪和相机组成。光线由投射器发出，经过场景的反射与散射后，被相机接收。由于全局光照的影响，相机中每个像素所接收到的光线并不都是直接反射光，还可能包含互反射光和次表面散射光，如图1所示。

图 1. Diagram of structured light 3D vision system

Fig. 1. Diagram of structured light 3D vision system

下载图片 查看所有图片

图1中黑色的光线为直接光照，该光线照射到物体，被物体反射后直接被相机捕获到。红色的光线为互反射光，是由一束光照射到被测物体表面后，反射到被测物其他位置处而形成的。绿色的光线是次表面散射光线，这部分光线入射到被测物体后，在物体内部发生散射，然后从入射点周围出射，最终才被相机捕获到。

根据图1可知，光线从投影仪发出后，可能经历直接反射、互反射或次表面散射后被相机捕获。假设当从投影仪像平面某点 $ {{x}}'{\rm{ = (}}u'{\rm{,}}v'{{\rm{)}}^T} $处发出光线的能量为 $P({{x}}')$时，相机像平面某点 $ {{x}}{\rm{ = (}}u,v{{\rm{)}}^T} $处接收到的全部光能量为 $I({{x}})$，此时可定义无量纲的光传输系数 $h({{x}}';{{x}})$：

1$h({{x}}';{{x}}){\rm{ = }}\frac{{I({{x}})}}{{P({{x}}')}}$

考虑到环境光的影响，相机像素的响应可表达为：

2${I_i}({{x}}) = O({{x}}) + \int_\Omega {h({{x}}';{{x}}){P_i}({{x}}')d{{x}}'} $

其中， $O({{x}})$为 ${{x}}$处接收到的环境光能量。 $\Omega $为投影仪的投射区域。该式表明相机某像素的响应受到投影仪整个投射区域的影响。下角标 $i$表示不同的投射次数。

1.1 投影光栅测量法原理分析

在基于四步相移原理的投影光栅测量方法中，投影仪投射的正弦条纹 ${P_i}({{x}}')$可以表示为^[24]：

3${P_i}({{x}}') = A + B \cdot \cos \left[\phi ({{x}}') + \frac{\pi }{2} \cdot i\right]$

式中： $A$表示平均亮度或者直流分量； $B$表示条纹调制度； $\phi ({{x}}')$表示投影仪像平面 ${{x}}'$处的相位； $i$为四步相移的系数，取值为 $i{\rm{ = }}0,1,2,3$。

当相机和投影仪均对焦完好，物平面上的每个点都对应像平面上的一个点。设 ${{x}}'$对应物体上的 ${{X}}'$， ${{x}}$对应物体上的 ${{X}}$，由上述分析可知，若全局光照不存在时，当且仅当 ${{X}}'{\rm{ = }}{{X}}$时， $h({{x}}';{{x}}) \ne 0$。此时，光传输系数退化为反射率 $R({{x}})$，根据公式(2)可知相机像素响应为：

4${I_i}({{x}}) = O({{x}}) + R({{x}}){P_i}({{x}}')$

其中，对相机像素响应有影响的投影仪坐标为一个特定的点 ${{x}}'$而不再像公式(2)中受到整个投射区域的影响。

公式(4)中的 ${{x}}'$可先由公式(5)获得包裹相位,再根据多频外差法^[4]得到绝对相位。

5$\begin{split} \phi ({{x}}') =\; &\arctan \frac{{{I_3}({{x}}) - {I_1}({{x}})}}{{{I_0}({{x}}) - {I_2}({{x}})}}=\\ & \arctan \frac{{\sin (\phi ({{x}}'))}}{{\cos (\phi ({{x}}'))}} \end{split} $

由于全局光照的影响，相机像素的响应不再是仅取决于投影仪上某一个像素的亮度，而将受到一个区域范围内的影响。此时，根据公式(2)，若依然使用公式(5)进行解相，则解相结果为：

6$\begin{split} {\phi _c}({{x}}')=\; & \arctan \frac{{{I_3}({{x}}) - {I_1}({{x}})}}{{{I_0}({{x}}) - {I_2}({{x}})}}=\\ & \frac{{R({{x}})\sin \phi ({{x}}') + \int_{{\Omega _{/{{x}}'}}} {h({{y}}';{{x}})\sin \phi ({{y}}')d{{y}}'} }}{{R({{x}})\cos \phi ({{x}}') + \int_{{\Omega _{/{{x}}'}}} {h({{y}}';{{x}})\cos \phi ({{y}}')d{{y}}'} }} \end{split} $

其中 ${\Omega _{/{{x}}'}}$为投射区域中不包含 ${{x}}'$的区域。 ${{x}}'$为 ${{x}}$在投影仪像平面对应的直接反光点。 ${{y}}' $为 ${{x}} $投影仪像平面对应的全局光照点。

相比于公式(5)，公式(6)中的分子和分母分别增加了表示全局光照影响的项。

将公式(6)上下同除以 $R({{x}})\cos \phi ({{x}}')$，并使用三角函数的和差角公式进行化简，可以得到：

7${\phi _c}({{x}}'){\rm{ = }}\phi ({{x}}') + \Delta \theta ({{x}})$

其中，

8$\Delta \theta ({{x}}){\rm{ = }}\arctan \frac{{\int_{{\Omega _{/{{x}}'}}} {h({{y}}';{{x}})\sin \Delta \phi ({{y}}')d{{y}}'} }}{{R({{x}}) + \int_{{\Omega _{/{{x}}'}}} {h({{y}}';{{x}})\cos \Delta \phi ({{y}}')d{{y}}'} }}$

9$\Delta \phi ({{y}}'){\rm{ = }}\phi ({{y}}') - \phi ({{x}}')$

公式(7)表明当全局光照不可忽略时，对相机像素 ${{x}}$由公式(6)解算得到的相位 ${\phi _c}({{x}}')$相较于真实相位 $\phi ({{x}}')$有一个偏差 $\Delta \theta ({{x}})$。该偏差是光线从光源的其他位置 ${{y}}'$发出后，经光传输过程后综合作用的结果，由公式(8)给出。由该公式可知，全局光照的影响已经被混合于结果中，难以将它们分离开。这将造成三维形貌测量不完整或发生错误，解算得到的相位发生偏移，导致3D点远离实际位置。

另一方面，由公式(8)可知，仅在特殊情况下，例如 $h({{y}}';{{x}})$关于点 ${{x}}'$为偶函数时，公式(8)中分子积分号内的函数为奇函数。此时该积分项变为零，解算的结果才是正确的。而对于一般情况，尤其是存在互反射的情况下， $h({{y}}';{{x}})$将不关于点 ${{x}}'$具有对称性。

1.2 单像素原理分析

由于单像素成像方法通过空间调制器（例如投影仪）对入射光场进行编码，从而得到入射光场视角下最终可被单像素探测器所接受到的光能量。因此，根据直接光照和全局光照的混合光特点，提出将单像素成像原理作为直接光照和全局光照分解问题的理论模型。

假设采用基于傅里叶变换的单像素成像方法，向被测场景投射正弦条纹：

10${P_i}({{x}}';{{k}}) = A + B\cos \left[{{{k}}^T} \cdot {{x}}' + \frac{\pi }{2}i\right]$

式中： $ {{x}}'{\rm{ = }}{(u',v')^T} $表示投影仪像平面某点； ${{k}}'{\rm{ = }}{\left(\dfrac{{2\pi \cdot k}}{M},\dfrac{{2\pi \cdot l}}{N}\right)^T}$表示离散空间频率； $M$和 $N$为投影仪的横向和纵向分辨率； $k$和 $l$分别取 $k{\rm{ = }}0,1...M - 1$和 $l{\rm{ = }}0,1...N - 1$。

若将相机上每个像素视为一个独立的单像素探测器，则对于相机像平面某点 ${{x}}$，根据公式(2)，其响应为：

11${I_i}({{x}};{{k}}) = O({{x}}) + \int_\Omega {h({{x}}';{{x}}){P_i}({{x}}';{{k}})d{{x}}'} $

当完成投射傅里叶单像素成像所需要的条纹后，根据下式进行傅里叶单像素成像重构：

12$\begin{split} & {F^{ - 1}}\{ [{{I}_0}({{x}};{{k}}) - {{I}_2}({{x}};{{k}})] + j[{{I}_1}({{x}};{{k}}) - {{I}_3}({{x}};{{k}})]\}= \\ & {F^{ - 1}}\left[ {\int_\Omega 2{B \cdot h({{x}}';{{x}})exp(j \cdot {{{k}}^T} \cdot {{x}}')d{{x}}'} } \right] = \\ & 2B \cdot h({{x}}';{{x}}), \end{split} $

式中： ${F^{ - 1}}( \bullet )$表示二维离散傅里叶逆变换。

公式(12)的解算结果为增加了一个比例因子的从投影仪像平面任意点 ${{x}}'$到达相机像平面某点 ${{x}}$的传输系数。若对于每个相机像素重复该重构过程，可求解得到含有该比例系数的光传输系数。因此，原本来自于光源不同位置且混合在一起的光线，就可以被分解开来，也为全局光照干扰下的三维重构提供了前提和基础。

1.3 直接光照点的确定

虽然单像素成像可以将来自光源不同位置的混合光分解，但直接光照的位置却并没有被最终确定。对于互反射存在的情形，某像素的单像素成像的结果会呈现出多个较小的光斑。而对于次表面散射存在的情形，某像素的单像素成像的结果会呈现出一个较大的光斑，如图2所示。

图 2. Light transport coefficients in the case of interreflections and subsurface scattering; (a) light transport coefficients in the case of interreflections; (b) light transport coefficients in the case of subsurface scattering

Fig. 2. Light transport coefficients in the case of interreflections and subsurface scattering; (a) light transport coefficients in the case of interreflections; (b) light transport coefficients in the case of subsurface scattering

下载图片 查看所有图片

为了获得直接光照点，首先需要计算出投影仪平面中的极线方程，见图2。根据极线方程对光斑进行筛选，仅当光斑中的最亮位置距离极线小于给定阈值时，才将该光斑作为候选光斑。再对每个候选光斑求取重心坐标，使用距离极线最近的重心坐标位置作为最终的匹配点。最后，采用传统三维视觉重建算法，完成三维场景重构。

2 实验与分析

首先对于一个同时存在互反射和次表面散射的混合场景进行拍摄，获得三维重构数据，证明单像素成像方法可以在互反射与次表面散射同时存在时进行三维重构。其次，对次表面散射下的三维重构进行了更进一步的研究和分析。分别对几个半透明物体单独进行了测量，并与传统方法进行了对比。最后，选择了标准尼龙球测量件和玉马对精度进行了评价，证明单像素成像方法可实现在全局光照干扰下的高质量、高精度三维重建。

实验中使用的相机分辨率为1920×1200，投影仪分辨率为1920×1080。拍摄的帧频为60 fps。

2.1 混合场景

首先对一个同时存在互反射和次表面散射的场景进行拍摄，获得三维重构数据。该场景包含5个不同物体，如图3所示。小熊是由石膏制成，接近于漫反射表面，作为参考。洋葱和冬瓜是半透明物体，会产生较强的次表面散射现象。涡轮叶片和金属零部件中产生较强的互反射。

图 3. Measured objects in the compound scene; (a) gypsum bear; (b) onion; (c) white gourd; (d) turbine blade; (e) metal parts

Fig. 3. Measured objects in the compound scene; (a) gypsum bear; (b) onion; (c) white gourd; (d) turbine blade; (e) metal parts

下载图片 查看所有图片

图4给出了该混合场景的单像素成像的结果。图4(a)为被拍摄的场景，每个物体的名称被标在右侧，同时选取了6个典型位置展示重构的图像。这6个展示点位置被标记在图4(a)中，每个展示点所对应的子图也用小写字母标记。在每个子图的右上角标记了对应相机像素的具体位置坐标以及用于清晰展示时的放大系数。

图4(b)为小熊腹部处的一点，由于小熊为石膏材质，接近于漫反射表面，因此全局光照不明显，故成像结果为一个较小的光斑。图4(c)和(d)对应半透明的蔬菜表面，因而成像的结果为一个较大的光斑，是次表面散射造成的。图4(e)~(g)中均有多个光斑，是互反射产生的。值得注意的是，由于涡轮叶片的光泽表面，在图4(a)中涡轮叶片侧面处可以看到小熊爪子的镜像。图4(e)展示了小熊爪子对涡轮叶片互反射的结果。这张图中有两个光斑，左侧的清晰可见，是小熊爪子把光反射到涡轮侧面的光线。右侧的相对较暗，是照射到涡轮叶片侧面的直接光。图4的各个子图表明单像素成像对混合光进行了有效分离。

图 4. The reconstructed images of single pixel imaging method for the compound scenes; (a) the measured scenes; (b) reconstructed single-pixel imaging result of a point on the abdomen of the bear; (c) reconstructed single-pixel imaging result of a point on the onion; (d) reconstructed single-pixel imaging result of a point on the white gourd; (e) reconstructed single-pixel imaging result of a point on the turbine blade; (f) reconstructed single-pixel imaging result of the second point on the turbine blade; (g) reconstruction single-pixel imaging result of a point on the metal parts

Fig. 4. The reconstructed images of single pixel imaging method for the compound scenes; (a) the measured scenes; (b) reconstructed single-pixel imaging result of a point on the abdomen of the bear; (c) reconstructed single-pixel imaging result of a point on the onion; (d) reconstructed single-pixel imaging result of a point on the white gourd; (e) reconstructed single-pixel imaging result of a point on the turbine blade; (f) reconstructed single-pixel imaging result of the second point on the turbine blade; (g) reconstruction single-pixel imaging result of a point on the metal parts

下载图片 查看所有图片

图5展示了对该场景三维重构的结果。图5(a)为该场景的全局三维重建结果。图5(b)~(g)分别对应为图5(a)中标有字母的方框内的局部放大图。这几个子图的位置和图4中展示单像素成像结果的位置相互一致。该实验证明了单像素成像方法可以在全局光存在时进行三维重构，且鲁棒性较强，可同时应对互反射和次表面散射同时存在的情形。

图 5. 3D reconstruction results of the compound scene; (a) 3D reconstruction results of the scene; (b) enlarged abdomen region of the bear; (c) enlarged area of the onion; (d) enlarged area of the white gourd; (e) enlarged bear claw and turbine blade region; (f) enlarged region of the turbine blade; (g) enlarged region of the metal parts

Fig. 5. 3D reconstruction results of the compound scene; (a) 3D reconstruction results of the scene; (b) enlarged abdomen region of the bear; (c) enlarged area of the onion; (d) enlarged area of the white gourd; (e) enlarged bear claw and turbine blade region; (f) enlarged region of the turbine blade; (g) enlarged region of the metal parts

下载图片 查看所有图片

2.2 半透明物体三维测量

为了验证文中提出的单像素成像方法对半透明物体表面三维重建的适用性，我们对多个具有半透明性的物体进行单独测量，被测物体选用半透明性较强的白洋葱、冬瓜，表面形貌较为复杂的貔貅雕像。并同时对物体使用传统投影光栅测量法和改进后的12副平均的投影光栅测量法^[5]进行测量，与文中提出的基于单像素成像的三维重构方法相对比，测量结果如图6所示。

图 6. Comparison of 3D reconstruction results of translucent objects

Fig. 6. Comparison of 3D reconstruction results of translucent objects

下载图片 查看所有图片

图6中的不同行对应不同的被测物体，每一列分别代表被测物体的彩色图片、传统投影光栅测量方法的三维重构结果、改进后（12幅平均）投影光栅测量方法的三维重构结果和文中提出的基于单像素成像方法的三维重构结果。由图6可看出，基于单像素成像的半透明物体三维重建方法比传统投影光栅测量法和改进的投影光栅测量法，在重建结果上三维点云更完整，数据质量较好，解决了传统测量方法因次表面散射现象而导致的测量数据严重缺失问题。

2.3 半透明物体三维测量精度评价

为了证明文中提出的单像素成像方法可实现在全局光照干扰下的高质量、高精度三维重建，实验选用直径为25.40 mm的树脂聚酰胺(尼龙)材料的小球和玉马作为测量对象，见图7。

图 7. Measured translucent material object for accuracy evaluation; (a) polyamide sphere; (b) jade horse

Fig. 7. Measured translucent material object for accuracy evaluation; (a) polyamide sphere; (b) jade horse

下载图片 查看所有图片

为了分析尼龙球的测量精度，对重建的点云数据进行球面拟合，根据拟合球面的直径和平均绝对误差和均方根误差对测量精度进行评价。对于玉马，首先使用单像素成像方法对其头部进行三维重建。再对玉马进行表面喷涂漫反射粉末，消去其半透明性，测量获取参考点云。最后，将基于单像素成像的三维点云与参考点云进行比较，以评估其精度。实验对拟合球面后点云的平均绝对误差和均方根误差进行评价。测量结果如图8所示，测量精度的评价数据如表1所示。从实验结果可知，单像素成像的三维重构方法获取的点云精度较高，误差较小。

图 8. Accuracy evaluation of translucent measured objects; (a) 3D reconstruction result of polyamide sphere; (b) reconstruction deviations of polyamide sphere; (c) 3D reconstruction result of jade horse; (d) reconstruction deviations of jade horse

Fig. 8. Accuracy evaluation of translucent measured objects; (a) 3D reconstruction result of polyamide sphere; (b) reconstruction deviations of polyamide sphere; (c) 3D reconstruction result of jade horse; (d) reconstruction deviations of jade horse

下载图片 查看所有图片

3 结　论

综上所述，单像素成像方法可以完全分解直接光照和全局光照，是解决混合光照分解问题的完善、通用理论模型，在此基础上实现了在全局光照干扰下的高质量、高精度三维重建。

笔者首先对复合场景进行测量，该场景中含有多种不同材质属性的被测物体，实验表明，单像素成像具有较高鲁棒性，可以在同时出现互反射和次表面散射的情况下实现三维重建。其次，选取洋葱、冬瓜和表面形貌较为复杂的貔貅雕像作为测量对象，将文中提出的单像素三维重构方法与传统的投影光栅测量方法和改进后的投影光栅测量法进行对比，结果表明，单像素成像的三维重建点云更完整，解决了传统测量技术在次表面散射干扰下的点云数据缺失问题。最后，选取直径已知的尼龙球标准件和玉马对三维测量的精度进行评价，结果表明，单像素成像方法可实现在全局光照干扰下的高质量、高精度三维重建。

目前，笔者正进一步探索提高单像素成像效率的方法，以解决单像素成像技术在三维测量中的实用化问题。