基于VCSEL投影阵列的散斑结构光三维成像技术及其传感器设计

散斑投影轮廓术通过投影单幅随机散斑图案编码场景的深度信息，利用散斑匹配技术建立立体图像间的全局对应关系，从而实现单帧3D重建。但由于被测物体表面的复杂反射特性和双相机间存在的视角差异，投影单幅散斑图案无法为整个测量空间中每个像素编码全局唯一的特征，由此带来的误匹配问题导致测量精度较低，难以满足一些工业场景的高精度测量需求。提出一种基于垂直腔面发射激光器（VCSEL）投影阵列的散斑结构光三维成像技术及其传感器设计方法，所研制的三维结构光传感器集成了3个小型化散斑投影模组，投影一组空间位置不同的散斑图案，对被测场景的深度信息进行高效时空编码。提出一种由粗到精的时空散斑相关算法，以提升测量精度，重建复杂物体的精细轮廓。通过精度分析、三维模型扫描、小目标金属零件检测、复杂场景测量等实验证明，所提三维结构光传感器实现了远距离、大视场的高精度三维测量，可潜在应用于零件分拣、机器人码垛等工业场景。

Abstract

Speckle projection profilometry (SPP) encodes depth information of a scene by projecting a single random speckle pattern and establishes the global correspondences between stereo images using speckle matching technology, thereby achieving a single-shot three-dimensional (3D) reconstruction. However, it is still difficult to encode a globally unique feature for every pixel in an entire measurement space by projecting only a speckle pattern due to the measured object surface with complex reflection characteristics and the perspective differences between stereo cameras. The resulting mismatching problem leads to the low measurement accuracy of SPP, making it difficult to meet the high-precision measurement requirements of some industrial scenarios. In this study, we propose a speckle structured-light-based 3D imaging technique and its sensor design method using a vertical-cavity surface-emitting laser (VCSEL) projection array. The proposed 3D structured-light sensor integrates three miniaturized speckle projection modules to project a set of speckle patterns with different spatial positions, spatially and temporally encoding the depth information of the measured scene efficiently. In addition, a coarse-to-fine spatial-temporal speckle correlation algorithm is proposed to improve the measurement accuracy and reconstruct the fine shapes of complex objects. Experiments, including precision analysis, 3D model scanning, detection of small target metal parts, and measurement of complex scenes, indicate that the proposed 3D structured-light sensor can realize high-precision 3D measurements at a long distance over a large field of view, which can further be applied to industrial scenarios such as part sorting and robot stacking.

1　引言

随着工业智能制造、消费电子、人工智能物联网（AIoT）、智能机器人等行业迅猛发展，三维传感技术的研究和应用步入到一个前所未有的高速发展期。国内外先进的三维传感设备在朝着“距离更远、精度更高、速度更快、功耗更低、自动化、智能化”的方向发展。据The Insight Partners报道，三维传感市场在未来几年将呈现爆发式的增长，市场规模将从2022年的221亿美元发展到2026年的588亿美元，成为下一个重要传感器细分市场。《中国制造2025》中明确指出“以信息化和工业化两化深度融合引领和带动制造业发展”。作为智能制造中重要的信息输入环节，三维数字传感技术是数字化和信息化的源头。在工业设计和制造领域，工业质量检测、虚拟装配和智能制造对复杂零部件三维外形的检测效率和检测精度提出了更高的要求。在消费电子、AIoT、智能机器人领域，场景三维建模、增强现实/虚拟现实（AR/VR）、机器人三维视觉定位和导航相关应用严重依赖于远距离、高精度、高速三维成像。针对以上发展趋势，开发低功耗、远距离、高精度、高速、高分辨的三维传感系统对我国科技创新和产业升级具有重大意义。

目前，国内外市场上的非接触式主动三维传感设备主要采用飞行时间（ToF）法或结构光投影法两种方法。ToF^［1-6］分为直接飞行时间（dToF）和间接飞行时间（iToF）。dToF具有功耗低、抗干扰性强、精度高、测量距离远等优势，但是对单光子雪崩二极管（SPAD）的制作工艺、检测精度有很高要求，导致系统集成困难、分辨率低。以国内南京芯视界微电子科技有限公司的VI4330产品为例，测距范围下的精度达±1%@15 m，速度最高达30 frame/s，但分辨率仅为320×240像素。iToF采用图像传感器接收光信号，克服了分辨率低这一缺陷，但是由于不同反射路径的干扰问题，随着测量距离的不断增大，相位测量的信噪比显著降低，深度误差增大。以国内聚芯微电子公司的SIF2610产品为例，测距范围下的精度达±1%@5 m，分辨率为640×480像素。

结构光投影法^［7-13］中的两种代表性方法分别是条纹投影法和散斑投影法。条纹投影法是一种高精度、全视场的三维测量方法，相关技术已经较为成熟，一些商用化高精度三维测量系统已在工业上广泛使用，如德国GOM公司的ATOS系列，荷兰LMI公司的Gocator系列，国内先临三维公司的EinScan系列。条纹投影法难以实现高质量的动态三维成像，关键条纹投影设备成本高昂，核心部件数字微镜器件被美国TI公司垄断，难以实现系统小型化。散斑投影法极大简化了结构光投影器件的制作工艺，具有测量效率高、系统小型化等优势，器件如美国英特尔公司的RealSense系列，国内奥比中光公司的Astra系列、图漾科技公司的FM系列。以RealSense D455设备为例，测距范围下的精度达±2%@4 m，分辨率为1280×720像素。影响散斑投影法3D成像性能的两大关键技术为散斑图案设计方法与高性能立体匹配算法。散斑图案设计方法的关键思想在于保证局部散斑相对于整个投影散斑图案是全局唯一的，然而，由于被测物体表面的复杂反射特性和双相机间存在的视角差异，仅投影单幅散斑图案仍难以保证整个测量空间中每个像素的全局唯一性，在实际测量时存在因误匹配而导致其测量精度较差的问题。为此，一些立体匹配方法通过平滑视差图以实现密集匹配，代价是匹配精度较低，如半全局匹配（SGM）、高效的大尺度立体匹配（ELAS）和基于倾斜支持窗口的立体匹配（PatchMatch）等。

不难理解，投影多幅散斑图案时可以利用更多的约束信息以保证被测场景的全局唯一性，进而提高三维测量精度。遵循这一思想，四川大学的Zhou等^［14］利用单幅彩色散斑图案和时空立体匹配算法实现了对运动物体的高精度三维测量。德国耶拿大学的Schaffer等^［15-16］采用声光偏转器快速投影激光散斑图案，其投影速率比普通投影仪高10倍以上，实现了每秒350帧的高速三维测量，但该设备存在系统集成的问题。四川大学的Zhou等^［17］提出了一种基于二值掩模转轮的小型化散斑投影器件，利用伺服电机驱动基于近红外LED光源的特制散斑掩模玻璃，向被测场景投影实时旋转的散斑图案。但是为了保证相机采集的相邻两帧散斑图间的低相关性，该散斑投影器件的图案切换需耗时11 ms，限制了高速投影能力。

本文提出了一种基于垂直腔面发射激光器（VCSEL）投影阵列的散斑结构光三维成像技术及其传感器设计方法，利用水平方向上间隔分布的3个小型化散斑投影模组形成散斑投影阵列，向被测场景连续投影3幅不同的散斑图案，实现对场景深度信息的高效时空编码。同时，提出了一种由粗到精的时空散斑相关算法，利用基于零均值归一化互相关（ZNCC）的局部时空匹配算法估计场景的初始视差，继而实施基于归一化互信息的单像素时域匹配方法，在成本计算阶段有效保留被测目标的局部细节，防止局部平滑问题。然后，利用基于3幅散斑图的引导滤波方法实现快速成本滤波，在提升匹配正确率的同时有效保留边缘细节。最后，使用融合抛物线与线性的加权插值函数实现亚像素匹配，以进一步提升匹配精度。经过大量实验证明，所提基于散斑投影阵列的三维结构光传感器具有小型化、远距离、大视场、高精度等优势，可潜在应用于零件分拣、机器人码垛等工业场景。

2　基于散斑投影阵列的三维结构光传感器

2.1　三维结构光传感器的硬件系统

所提基于VCSEL投影阵列的三维结构光传感器主要由2个红外相机模组和3个小型化散斑投影模组构成，如图1所示。对于小型化散斑投影模组，其采用VCSEL投射器作为红外投影光源。通过在VCSEL顶层的特定位置上开孔以形成大量散斑点，从而在VCSEL顶层刻画出所需散斑图案的点状分布；然后，VCSEL发射的红外光线经过准直透镜，根据光的折射原理衍射光束准直并会聚成平行光束，以形成散斑状结构光图案^［18］。值得注意的是，高密度的散斑图案是实现密集立体匹配的必要前提条件之一，VCSEL顶层的开孔数量应尽可能多且密集。然而，开孔的数量受制于两个方面：一方面，单个开孔必须足够大以保证光通量足够大，从而提升单个散斑点的亮度，增加散斑图案的信噪比；另一方面，如果单个开孔的尺寸过大，VCSEL顶层缺失的反射区域将使VCSEL难以产生共振，从而影响VCSEL正常工作。在VCSEL顶层的开孔数量受限的情况下，将具有光束复制功能的衍射光学元件（DOE）引入散斑投影模块，通过定制DOE的表面结构衍射出多个与入射图案相同的子图案，以实现几十甚至数百倍的图案复制效果。所使用的小型化散斑投影模组的视场角为 $58 ° \times 45 °$ ，焦距为8 mm，可以向被测场景投影总计3万多个清晰、均匀的散斑点。水平方向上间隔分布的3个散斑投影模组形成散斑投影阵列，向被测场景连续投影3幅不同的散斑图案，实现对场景深度信息的高效时空编码。

图 1. 基于VCSEL投影阵列的三维结构光传感器的硬件结构示意图

Fig. 1. Diagram of the hardware structure of the 3D structured-light sensor based on VCSEL projection array

下载图片查看所有图片

关于红外相机设计，配备了一款像素分辨率为 $1280 \times 1024$ 的红外图像传感器，最大帧率为120 Hz，视场角为 $68 ° \times 47 °$ ，等效焦距为2.8 mm。红外相机在每次图像采集时会输出一个高电平以驱动散斑投影阵列中的某个散斑投影模组进行投影，从而实现3幅不同散斑图像的同步投影与采集。然后采用FPGA驱动CMOS图像传感器，通过千兆网接口快速访问采集的散斑图像。

2.2　由粗到精的时空散斑相关算法

所提时空散斑相关方法主要包含3个步骤：时空匹配、成本聚合和视差优化，如图2所示。具体地，首先执行一个由粗到精的时空立体匹配算法，在粗匹配阶段使用基于ZNCC的局部时空立体匹配算法获得被测场景的一个可靠但平滑的初始视差先验。在精匹配阶段，将基于归一化互信息的单像素匹配方法与时域匹配相结合，有效缓解局部匹配引起的视差平滑问题，同时提升匹配精度。然后将引导滤波应用于基于三帧散斑图的时空成本聚合，使用融合抛物线与线性的加权插值函数实现亚像素匹配。

图 2. 由粗到精的时空散斑相关算法的示意图

Fig. 2. Diagram of a coarse-to-fine spatial-temporal speckle correlation algorithm

下载图片查看所有图片

2.2.1　基于ZNCC的局部时空立体匹配算法

对红外立体相机采集的立体散斑图像序列（3幅）使用立体校正进行极线对齐，根据视差范围 $[d_{m i n}, d_{m a x}]$ 实施基于ZNCC的局部时空立体匹配。左散斑图像序列 $I_{L, n}$ 中任一点 $(x, y)$ 与右散斑图像序列 $I_{R, n}$ 中候选匹配点 $(x - d, y)$ 的初始匹配成本 $C (x, y, d)$ 为

C (x, y, d) = \frac{\sum_{n = 1}^{3} \sum_{i = - r}^{r} \sum_{j = - r}^{r} I_{L, n}^{s} I_{R, n}^{s}}{\sqrt[]{\sum_{n = 1}^{3} \sum_{i = - r}^{r} \sum_{j = - r}^{r} {(I_{L, n}^{s})}^{2}} \sqrt[]{\sum_{n = 1}^{3} \sum_{i = - r}^{r} \sum_{j = - r}^{r} {(I_{R, n}^{s})}^{2}}}

，（1）

I_{L, n}^{s} = I_{L, n} (x + i, y + j) - \frac{\sum_{n = 1}^{3} \sum_{i = - r}^{r} \sum_{j = - r}^{r} I_{L, n} (x + i, y + j)}{3 \times {(2 r + 1)}^{2}}

，（2）

I_{R, n}^{s} = I_{R, n} (x - d + i, y + j) - \frac{\sum_{n = 1}^{3} \sum_{i = - r}^{r} \sum_{j = - r}^{r} I_{R, n} (x - d + i, y + j)}{3 \times {(2 r + 1)}^{2}}

，（3）

式中： $r$ 为匹配窗口的半径。根据得到的初始匹配成本 $C (x, y, d)$ ，通过“赢家通吃”方法（WTA）获得初始视差图 $I_{d}$ ：

I_{d} (x, y) = \underset{d \in \{d_{m i n}, d_{m a x}\}}{a r g m a x} C (x, y, d)

。（4）

2.2.2　基于归一化互信息的单像素时域匹配算法

局部匹配的基本假设是：匹配窗口中的所有像素具有相似视差。而这一假设在视差不连续处是不成立的，将导致三维重建结果中物体的边缘或狭窄表面处存在边缘粗化问题。针对这一问题，提出了基于归一化互信息的单像素时域匹配方法，以有效恢复被测目标的精细轮廓，从而缓解局部匹配的视差平滑问题。

传统的基于互信息的成本计算方法一般采用分层迭代的计算方式，使用泰勒展开将基于整幅图像的互信息转换为像素级的互信息计算^［19］。如图3所示，首先利用一幅随机生成的视差图 $I_{d}$ 扭曲右视图 $I_{R}$ ，得到 $I_{W R}$ ：

I_{W R} (x, y) = I_{R} [x - I_{d} (x, y), y]

，（5）

图 3. 基于互信息的成本计算方法

Fig. 3. Cost calculation method based on mutual information

下载图片查看所有图片

通过计算 $I_{L}$ 和 $I_{W R}$ 间的互信息 $A_{M I}$ ，得到基于互信息的匹配成本 $C_{M I} (x, y, d)$ ：

C_{M I} (x, y, d) = A_{M I} [I_{L} (x, y), I_{R} (x - d, y)]

，（6）

A_{M I} (u, v) = h_{L} (u) + h_{W R} (v) - h_{L, W R} (u, v)

，（7）

式中： $u$ 和 $v$ 表示 $I_{L} (x, y)$ 和 $I_{R} (x - d, y)$ 的光强值。 $h_{L, W R} (u, v)$ 则通过计算 $I_{L}$ 和 $I_{W R}$ 中对应点光强的联合概率分布 $P_{L, W R} (u, v)$ 得到：

h_{L, W R} (u, v) = - \frac{1}{N} l o g [P_{L, W R} (u, v) \otimes g (u, v)] \otimes g (u, v)

，（8）

P_{L, W R} (u, v) = \frac{1}{N} \sum_{p = (x, y)} T \{(u, v) = [I_{L} (x, y), I_{W R} (x, y)]\}

，（9）

式中： $N$ 为图像的像素数； $\otimes g (\cdot)$ 表示高斯滤波； $T (\cdot)$ 为逻辑判断函数，若输入为真则输出1，若输入为假则输出0。 $h_{L} (u)$ 和 $h_{W R} (v)$ 则通过分别计算图像 $I_{L}$ 和 $I_{W R}$ 中光强值 $u$ 和 $v$ 的概率分布 $P_{L} (u)$ 和 $P_{W R} (v)$ 得到：

h_{L} (u) = - \frac{1}{N} l o g [P_{L} (u) \otimes g (u)] \otimes g (u)

，（10）

h_{W R} (v) = - \frac{1}{N} l o g [P_{W R} (v) \otimes g (v)] \otimes g (v)

，（11）

P_{L} (u) = \sum_{v} P_{L, W R} (u, v)

，（12）

P_{W R} (v) = \sum_{u} P_{L, W R} (u, v)

。（13）

相比传统互信息匹配方法，如图4所示，使用多帧散斑图像进行基于归一化互信息的单像素时域匹配方法提升了互信息方法对噪声的鲁棒性。不同于传统互信息方法中基于随机视差的迭代计算策略，该方法使用粗匹配阶段得到的初始视差图 $I_{d}$ 扭曲右散斑图像序列 $I_{R, n}$ ，得到 $I_{W R, n}$ ，提升了计算效率。 $I_{L, n}$ 和 $I_{R, n}$ 间的匹配成本 $C_{M I} (x, y, d)$ 为

C_{M I} (x, y, d) = \frac{1}{3} \sum_{n = 1}^{3} A_{M I} [I_{L, n} (x, y), I_{R, n} (x - d, y)]

，（14）

A_{M I} (u, v) = \frac{h_{L} (u) + h_{W R} (v)}{h_{L, W R} (u, v)}

。（15）

图 4. 基于归一化互信息的单像素时域匹配方法

Fig. 4. Single-pixel temporal matching method based on normalised mutual information

下载图片查看所有图片

2.2.3　基于引导滤波的时空成本聚合

获得匹配成本后，将引导滤波应用于基于三帧散斑图的时空成本聚合^［20］，通过聚合每个像素在局部窗口内的成本值，减少误匹配。使用引导图 $I = {(I_{L, 1}, I_{L, 2}, I_{L, 3})}^{T}$ 对视差范围 $[d_{m i n}, d_{m a x}]$ 内的每层匹配成本进行引导滤波，任一像素点 $i = (x, y)$ 处的聚合成本值 $C (i, d)$ 为

C (i, d) = \sum_{j} W_{i, j} (I) C_{M I} (j, d)

，（16）

式中：滤波权重 $W_{i, j} (I)$ 是关于引导图 $I$ 的函数。其与初始成本 $C_{M I} (j, d)$ 无关，定义为

W_{i, j} (I) = \frac{1}{{|ω|}^{2}} \sum_{i, j \in ω_{k}} [1 + \frac{{(I_{i} - μ_{k})}^{T} (I_{j} - μ_{k})}{(Σ_{k} + ε U)}]

，（17）

Σ_{k} = (\begin{matrix} Σ_{k}^{11} & Σ_{k}^{12} & Σ_{k}^{13} \\ Σ_{k}^{12} & Σ_{k}^{22} & Σ_{k}^{23} \\ Σ_{k}^{13} & Σ_{k}^{23} & Σ_{k}^{33} \end{matrix})

，（18）

式中： $ω_{k}$ 是以像素点 $k$ 为中心、半径为 $r$ 的滤波窗口； $μ_{k} = {(μ_{k}^{1}, μ_{k}^{2}, μ_{k}^{3})}^{T}$ 和 $Σ_{k}$ 是引导图 $I$ 在滤波窗口 $ω_{k}$ 中的平均值向量和协方差矩阵； $U$ 是大小为 $3 \times 3$ 的单位矩阵； $|ω|$ 表示滤波窗口 $ω_{k}$ 的像素总数； $ε$ 是平滑度参数。

2.2.4　基于加权插值函数的视差优化

使用WTA对聚合后的成本 $C (x, y, d)$ 进行处理，得到整像素视差 $d_{i n t} (x, y)$ 。基于分数差异的亚像素插值算法公式为

d_{s u b} (x, y) = \{\begin{matrix} d_{i n t} (x, y) - 0.5 + F (l_{D i f} / r_{D i f}), & l_{D i f} \leq r_{D i f} \\ d_{i n t} (x, y) + 0.5 - F (r_{D i f} / l_{D i f}), & l_{D i f} > r_{D i f} \end{matrix}

，（19）

\{\begin{array}{l} l_{D i f} = C [x, y, d_{i n t} (x, y) - 1] - C [x, y, d_{i n t} (x, y)] \\ r_{D i f} = C [x, y, d_{i n t} (x, y) + 1] - C [x, y, d_{i n t} (x, y)] \end{array}

，（20）

式中： $F (\cdot)$ 为亚像素插值函数。传统插值方法有：抛物线插值函数、线性插值函数、正弦插值函数等。图5（a）和图5（b）为线性插值函数和抛物线插值函数在插值前后的视差值差异分布的直方图，可以发现差异主要集中在整数值附近，称为“像素锁定”效应。图6（a）和图6（b）对应地显示了线性插值函数和抛物线插值函数方法得到的三维点云结果，可以观察到“像素锁定”效应对测量结果的影响，即方框中的点云数据在深度方向有明显的分层现象。

图 5. 使用不同插值函数的插值前后差异的直方图。（a）线性插值函数；（b）抛物线插值函数；（c）融合插值函数

Fig. 5. Histogram of difference before and after interpolation using different interpolation functions. (a) Linear interpolation function; (b) parabolic interpolation function; (c) fused interpolation function

下载图片查看所有图片

图 6. 使用不同插值函数的三维点云结果。（a）线性插值函数；（b）抛物线插值函数；（c）融合插值函数

Fig. 6. 3D point cloud results using different interpolation functions. (a) Linear interpolation function; (b) parabolic interpolation function; (c) fused interpolation function

下载图片查看所有图片

为了缓解这种影响，使用加权融合的方法结合抛物线插值函数和线性插值函数得到

F (x) = α \frac{x}{x + 1} + (1 - α) \frac{x}{2}

，（21）

式中： $0 \leq α \leq 1$ 为权重系数，默认值为0.5。使用融合插值方法，插值前后的视差值差异分布直方图如图5（c）所示，可以看到插值前后的亚像素视差值的分布更加均匀。从图6（c）的三维点云数据也可以看出几乎不存在深度方向的分层现象。

3　实验结果与分析

为了系统地评估所提基于散斑投影阵列的三维结构光传感器的实际三维测量性能，分别进行4组实验，包括精度分析实验、三维模型扫描重构实验、小目标金属零件的远距离测量实验和复杂场景测量实验。此外，选用市面上2款常见的散斑投影三维传感器作为对比，奥比中光公司的Astra Pro相机和英特尔公司的RealSense D455相机。

3.1　精度分析实验

为了验证三维结构光传感器在不同距离处的测量精度，以10 cm为间隔对50 cm至100 cm距离处的白墙进行多次测量。为了减少随机测量误差的干扰，对每个距离都重复进行10次测量，选取测量点云数据的中心区域进行平面拟合得到其测量误差，误差曲线如图7（a）所示。图7（b）可视化了3个设备输出的100 cm处平面点云结果，图7（c）则定量统计了不同设备在100 cm平面处对点云数据的测量误差。从图7（a）误差曲线图可以看出：在50 cm至100 cm范围内，Astra Pro相机的测量精度是最差的，测量误差一直大于1 mm，在70 cm处误差已经超过1.5 mm；RealSense相机则在70 cm处的误差达到了1 mm；所提三维结构光传感器的测量误差始终低于0.75 mm，且测量误差的波动相对较小，这说明了所提设备在不同距离下具有较高的测量精度与稳定性。从图7（c）误差直方图可以看出，所提设备输出点云的测量误差主要集中在［-1 mm，1 mm］范围内，而Astra Pro相机和RealSense相机的测量误差则均匀分布在［-3 mm，3 mm］范围内。这些实验结果证明，所提设备通过投影3幅散斑图案，并结合由粗到精的时空散斑相关算法，可以在50 cm至100 cm的深度范围内实现精度更高、稳定性更强的三维测量。

图 7. 精度分析结果。（a）不同距离的测量误差曲线；（b）100 cm处平面的点云结果；（c）100 cm处平面的误差直方图

Fig. 7. Precision analysis result. (a) Measurement error curves at different distances; (b) point cloud results of the plane at 100 cm; (c) error histograms of the plane at 100 cm

下载图片查看所有图片

3.2　三维模型扫描重构实验

为了验证所研制的三维结构光传感器对复杂三维模型的测量性能，继续使用这3款设备扫描2个具有不同形状的物体（人头模型和大卫模型），对应的三维测量结果如图8和图9所示。在图8显示的人头模型测量结果中：Astra Pro设备提供的测量数据表面出现了明显的深度阶梯状分层现象，耳朵部位没有被重建出来，存在严重的数据缺少问题；由于严重的点云平滑问题，RealSense设备的数据表面起伏非常大，无法分辨人头模型的五官轮廓，其重构结果略差于Astra Pro设备；所提设备可以较高质量地重建出完整的五官轮廓。图8的下方显示了嘴部的细节放大图，进一步证明了所提设备可以较好地重建出复杂局部区域的精致细节。

图 8. 人头模型的三维测量结果

Fig. 8. 3D measurement results of the human head model

下载图片查看所有图片

图 9. 大卫模型的三维测量结果

Fig. 9. 3D measurement results of the David model

下载图片查看所有图片

图9为不同设备对大卫模型的重构结果，图9的上方显示了鼻梁和双眼部位的细节。可以发现：Astra Pro设备存在多个部位的数据缺失问题；RealSense设备的测量结果已经过度平滑，同样丢失了大量人脸特征。此外，额外实施了基于ZNCC的局部时空立体匹配算法，通过“赢家通吃”方法获得初始视差图，然后使用基于加权插值函数的视差优化提高匹配精度，进而获得如图9所示的3D重构结果。局部匹配算法的基本假设是：匹配窗口中的所有像素具有相似视差。这一假设在视差不连续处是不成立的，从而导致三维重建结果中物体的边缘或狭窄表面处存在边缘粗化问题，如图9所示。不同于上述测量结果，所提设备在细节处有更好的表现，并且提供了完整度更高的三维测量结果。

为了实现定量化的测量误差分析，对获得的三维点云数据与标准数据进行点云对比。标准数据使用天远蓝光三维扫描仪OKIO 5M生成，这是一款工业级三维扫描设备，其精度高达0.005 mm。图10显示了不同设备输出的三维点云与标准数据间的测量误差，可以看出，所提设备在两个模型上的测量表现均优于Astra Pro和RealSense设备，误差测量在0.6 mm以下。Astra Pro和RealSense设备对大卫模型的测量误差比人头模型高出很多，这表明这两种设备并不适用于重建具有复杂形貌的物体。而所提设备在测量这两种模型时的测量误差变化较小，这再次说明了所提设备可以鲁棒地测量各种不同形状的物体，能达到较好的测量精度。

图 10. 不同设备输出的三维点云与标准数据间的测量误差

Fig. 10. Measurement error between the 3D point cloud output by different devices and the standard data

下载图片查看所有图片

3.3　小目标金属零件的远距离测量实验

为了验证所提设备在工业智能制造场景的应用潜力，进行小目标金属零件的远距离测量实验，以满足金属零件的分拣与装配等应用需求。图11显示了1 m距离处以不同姿态堆叠放置的金属螺丝钉（直径约为3~7 mm）的散斑图与测量结果。散斑图的左下角展示了虚线方框中金属零件的放大结果，可以看出零件顶端约占5~7个像素，其末端部位则仅占2~3个像素。由于小目标金属零件占据的像素区域较小，因此设置的局部匹配窗口应尽可能小，但是小匹配窗口将降低匹配的准确率，产生更多的误匹配，这对散斑结构光三维传感器十分具有挑战。从图11（d）~（f）可以看出，所提设备成功地重构出金属零件末端部位的精准细节，且对3种不同姿态均提供了完整的零件三维轮廓，这表明所提方法为工业检测应用提供了良好的数据支撑。

图 11. 金属零件的远距离测量实验。（a）~（c）不同姿态堆叠放置的金属螺丝钉的散斑图；（d）~（f）对应的三维点云结果

Fig. 11. Long-distance measurement experiment of metal parts. (a)-(c) Speckle images of metal screws stacked in different postures; (d)-(f) corresponding 3D point cloud results

下载图片查看所有图片

3.4　复杂场景测量实验

对于三维测量系统而言，测量具有复杂结构或不连续空间分布的远距离场景是一项挑战性任务。使用各种形状不同、大小不一的物体，有表面平滑连续的物体，也有纹理特征复杂的物体进行实验，待测场景的三维空间为0.7 m×0.6 m×1 m（宽度×高度×深度）。如图12所示，无论物体大小、结构简单还是复杂，待测场景中的各个目标均得到高质量重构。具有平面特征的目标均得到平滑、准确重构，如手提袋、纸盒、苹果、罐子和刷子；从大卫、杯子及两个小饰品的测量结果中可以观察到杯子把手、大卫头发、小饰品处更多的特征细节；而对于远距离的细小物体（手提袋的绳子、苹果的枝茎），所提方法依然能够完整地恢复形貌。这些实验结果证明所提设备能实现鲁棒、高精度的复杂场景重构。

图 12. 复杂场景的三维测量结果

Fig. 12. 3D measurement results for complex scene

下载图片查看所有图片

4　结论与展望

提出了一种基于VCSEL投影阵列的散斑结构光三维成像技术及其传感器设计方法，通过使用3个小型化散斑投影模组形成散斑投影阵列，向被测场景连续投影3幅空间位置不同的散斑图案，实现对场景深度信息的高效时空编码。同时，提出了一种由粗到精的时空散斑相关算法，将基于ZNCC的局部时空匹配算法与基于归一化互信息的单像素时域匹配方法结合，在提升匹配精度的同时有效保留被测目标的局部细节，避免了常见的局部平滑问题。然后，将引导滤波应用于基于三帧散斑图的时空成本聚合，使用融合抛物线与线性的加权插值函数实现亚像素匹配，从而成功恢复了复杂目标表面的精细轮廓。精度分析实验证明，相比于市面上现有的同类设备，所提设备将平面目标的测量误差减小了50%以上，在50 cm至100 cm的深度范围内实现了精度优于0.75 mm、稳定性更高的三维测量。三维模型扫描重构实验表明，不同于现有设备，所提设备在扫描不同形貌的复杂目标时均可提供完整度较高的高精度三维重构结果，将测量精度提升至0.6 mm，实现了对复杂目标的鲁棒、高质量三维测量。小目标金属零件的远距离测量实验和复杂场景测量实验共同表明，所提设备实现了对小目标金属零件和复杂场景的远距离、大视场、高精度三维测量，具有应用于零件分拣、机器人码垛等工业场景的潜在能力。

在提升散斑结构光三维测量精度的同时，还应关注散斑匹配/立体匹配算法的计算开销与执行效率等问题。高计算效率的立体匹配一直是立体匹配研究的热门方向，一些对实时性要求较高的应用需要毫秒级的立体匹配，如无人驾驶、机器人自主导航和手持式三维扫描仪等。目前，基于硬件加速的立体视觉方法利用高性能GPU或FPGA硬件平台实现了实时三维成像。面对市场上移动端设备对三维测量的需求，一些三维传感器厂家设计并研发了专用的ASIC芯片以实现基于散斑投影的立体匹配算法，如奥比中光的MX系列芯片、华捷艾米的IMI系列芯片等。随着三维传感器市场的逐渐扩大，相关设备的出货量也稳步增加，专用ASIC芯片研发的高投入也将获得回报。此外，基于FPGA的通用开发平台同样可以实现立体匹配的实时运算处理，但是其成本较高和芯片供应依赖进口等问题限制了基于FPGA的三维传感器的大批量生产能力。因此，为了同时满足精度、速度与计算成本的要求，针对散斑投影轮廓术，如何直接在移动端设备上实现高效率、低计算开销的实时立体匹配也将是今后研究的重点之一。

参考文献

[1] GanapathiV, PlagemannC, KollerD, et al. Real -time motion capture using a single time-of-flight camera[C]∥2010 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, June 13-18, 2010, San Francisco, CA, USA. New York: IEEE Press, 2010: 755-762.

[2] Kolb A, Barth E, Koch R, et al. Time-of-flight cameras in computer graphics[J]. Computer Graphics Forum, 2010, 29(1): 141-159.

[3] HansardM, LeeS, ChoiO,et al. Time-of-flight cameras: principles, methods, and applications[M]. London: Springer, 2013.

[4] Ding P, Yao Y H, Qi D L, et al. Single-shot spectral-volumetric compressed ultrafast photography[J]. Advanced Photonics, 2021, 3(4): 045001.

[5] Salvadori M, Di Giorgio G, Cipriani M, et al. Time-of-flight methodologies with large-area diamond detectors for ion characterisation in laser-driven experiments[J]. High Power Laser Science and Engineering, 2022, 10: e6.

[6] Sun Z Y, Li Y, Bai B F, et al. Silicon nitride-based Kerr frequency combs and applications in metrology[J]. Advanced Photonics, 2022, 4(6): 064001.

[7] Zhang Q C, Su X Y. High-speed optical measurement for the drumhead vibration[J]. Optics Express, 2005, 13(8): 3110-3116.

[8] Gorthi S S, Rastogi P. Fringe projection techniques: whither we are?[J]. Optics and Lasers in Engineering, 2010, 48(2): 133-140.

[9] Feng S J, Zhang L, Zuo C, et al. High dynamic range 3D measurements with fringe projection profilometry: a review[J]. Measurement Science and Technology, 2018, 29(12): 122001.

[10] Zhang S. Absolute phase retrieval methods for digital fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 107: 28-37.

[11] Yin W, Feng S J, Tao T Y, et al. The calibration method for panoramic 3D shape measurement with plane mirrors[J]. Optics Express, 2019, 27(25): 36538-36550.

[12] Wu Z J, Guo W B, Zhang Q C. High-speed three-dimensional shape measurement based on shifting Gray-code light[J]. Optics Express, 2019, 27(16): 22631-22644.

[13] Zuo C, Feng S J, Huang L, et al. Phase -shifting algorithms for fringe projection profilometry: a review[J]. Optics and Lasers in Engineering, 2018, 109: 23-59.

[14] Zhou P, Zhu J P, Jing H L. Optical 3-D surface reconstruction with color binary speckle pattern encoding[J]. Optics Express, 2018, 26(3): 3452-3465.

[15] Schaffer M, Grosse M, Arendt B, et al. High-speed three-dimensional shape measurements of objects with laser speckles and acousto-optical deflection[J]. Optics Letters, 2011, 36(16): 3097-3099.

[16] Schaffer M, Grosse M, Kowarschik R. High-speed pattern projection for three-dimensional shape measurement using laser speckles[J]. Applied Optics, 2010, 49(18): 3622-3629.

[17] Zhou P, Zhu J P, Xiong W, et al. 3D face imaging with the spatial-temporal correlation method using a rotary speckle projector[J]. Applied Optics, 2021, 60(20): 5925-5935.

[18] Zuo C, Zhang X L, Hu Y, et al. Has 3D finally come of age? —an introduction to 3D structured-light sensor[J]. Infra-red and Laser Engineering, 2020, 49(3): 303001.

[19] Hirschmüller H. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.

[20] Hosni A, Rhemann C, Bleyer M, et al. Fast cost-volume filtering for visual correspondence and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(2): 504-511.

2.2.1　基于ZNCC的局部时空立体匹配算法

2.2.2　基于归一化互信息的单像素时域匹配算法

尹维, 李明雨, 胡岩, 冯世杰, 张晓磊, 王槐, 陈钱, 左超. 基于VCSEL投影阵列的散斑结构光三维成像技术及其传感器设计[J]. 激光与光电子学进展, 2023, 60(8): 0811014. Wei Yin, Mingyu Li, Yan Hu, Shijie Feng, Xiaolei Zhang, Huai Wang, Qian Chen, Chao Zuo. Speckle Structured-Light-Based Three-Dimensional Imaging Technology and Its Sensor Design Using VCSEL Projection Array[J]. Laser & Optoelectronics Progress, 2023, 60(8): 0811014.