基于彩色结构光的自由曲面三维重建方法

杨帆; 丁晓剑; 曹杰

doi:doi:10.3788/AOS202141.0212001

光学学报, 2021, 41 (2): 0212001, 网络出版: 2021-02-27

基于彩色结构光的自由曲面三维重建方法下载： 1184次

3D Reconstruction of Free-Form Surface Based on Color Structured Light

论文大纲

杨帆 ^1,2丁晓剑 ^1,2,*曹杰 ^1,2

作者单位

¹ 南京财经大学信息工程学院, 江苏南京 210003

² 南京财经大学江苏电子商务重点实验室, 江苏南京 210003

测量三维重建结构光特征提取特征匹配聚类 measurement 3D reconstruction structured light feature extraction feature matching clustering

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

彩色结构光三维重建过程中,系统的非线性耦合以及待测曲面的拓扑结构等均会对结构光解码产生影响,从而导致调制条纹漏检和颜色码误识别。为解决这一问题,提出一种基于彩色编码结构光的三维重建方法。利用YUV颜色通道对调制条纹进行滤波差分投影处理,通过调制条纹的波形分布提取中心特征线;利用颜色聚类方法精确获取调制条纹的颜色码信息值;最后,为了建立编码条纹码字与调制条纹码字间的对应关系,提出了基于序列特征组合的优化匹配方法,结合双目视觉深度感知数学模型,求解出编码码字的空间三维信息值。通过实验分析可知,本文方法的漏检率低,颜色码识别率高,具有较强的抗干扰性和鲁棒性。

Abstract

In the 3D reconstruction of color structured light, the non-linear coupling of systems, the topological structure of the test surface, and other factors will affect the decoding of structured light, which can lead to the missed detection of modulation fringes and the false recognition of color codes. To solve the problem, we proposed the 3D reconstruction method of color-coded structured light. First, filtering differential projection was performed on the modulation fringes through the YUV color channel, and then the center feature lines of the fringes were extracted after an analysis of the waveform distribution of the fringes. Furthermore, the information values of color codes of the fringes were accurately acquired by virtue of the color clustering method. Finally, in order to establish the corresponding relationship between the codewords of coded fringes and those of modulation fringes, we put forward an optimal matching method based on the combination of sequence features, and combined with the mathematical model of binocular depth perception, we solved the three-dimensional information value of the codewords of coded fringes. The experimental results show that this method has a low rate of missed detection, a high recognition rate of color codes, and strong anti-interference and robustness.

1 引言

三维重建技术一直是计算机视觉、逆向工程、虚拟现实等领域的研究热点,其能够直观地展现待测物体的空间几何形态,尤其在逆向工程中的模型制造、医学中的牙齿模具构建,以及在虚拟现实领域中的空间深度感知互动等各个领域都有广泛应用^[1-2]。目前三维深度获取方式主要分为接触式和非接触式两大类,其中:基于接触式的三维重建方法精度较高,但是存在待测物体表面易受损以及人工参与过多的问题;而基于结构光非接触式三维重建方法,其主要利用光学原理获取待测曲面的三维信息值^[3],可有效避免上述存在的问题。

在基于结构光的三维重建研究中,国内外研究学者提出了种类繁多的编码方法,根据编码图案的不同,这些方法主要分为两大类,一类是多幅编码结构光图案,另一类是单幅编码结构光图案。

多幅编码结构光图案主要采取的方式为时序编码图案(二值编码、相移编码等)。如:文献[ 4]通过将时序编码的结构光图案投射到待测物体表面,实现了对深孔内表面凹槽深度的三维深度测量。针对编码结构光三维重建过程中涉及的阶次噪声干扰问题,文献[ 5]提出了无损阶次校正算法,有效解决了阶次噪声问题。文献[ 6]通过在解包裹过程中附加一系列的解相位约束条件,解决了结构光相位解包裹时出现的相位跳跃问题,得到了平滑的相位。文献[ 7]在研究结构光三维重建过程中,为了提高具有高反射率表面的待测物体的重建精度,提出了分区投射的结构光饱和区域补偿方法,实现了饱和区域边界的平滑过渡,有效地减小了亮度饱和引起的重建误差。

单幅编码结构光图案包含了连续变化编码图案(彩色逐像素编码和连续变化彩色编码)、条纹图案(彩色条纹编码图案、分段条纹编码图案、灰度条纹编码图案)、网格图案和混合图案等。如:文献[ 8]将颜色信息作为编码码元设计出彩色编码条纹图案,该编码图案要求相邻的条纹具有不同的颜色码元信息值;文献[ 9]利用De Bruijn序列对彩色结构光的颜色码元进行编码,生成了5元3级的彩色编码结构光图案,为了提高调制条纹和原始编码条纹之间的匹配正确率,引入动态规划思想进行编码特征的匹配。为解决投影仪-相机系统因色度耦合串扰导致颜色码在解码过程中受损的问题^[10],文献[ 11]对颜色串扰消除问题进行归纳分析,针对不同解码方法设计不同的彩色编码码元。由于解码的关键是对调制的码字进行识别和匹配,文献[ 12]提出了一种改进的规则化颜色特征不变量,文献[ 13]构建向量梯度算子,并结合Canny算子进行调制条纹的边缘检测。为了获取调制条纹边缘颜色信息值,需采用聚类算法以及颜色不变量对调制图像进行颜色码值的识别和归类。

虽然上述彩色结构光编解码方法取得了较好的结果,但都会面临投影仪-相机系统受色彩保真度和分辨率的影响,以及调制条纹的同源像素点匹配难度大等问题,为此本文重点研究调制条纹图案的解码方法。首先将调制条纹编码图像转换到YUV色彩空间中,利用滤波差分投影提取条纹边缘,利用亚像素提取中心条纹,同时对调制条纹颜色码进行聚类识别处理,有效提高了调制条纹颜色码解码的识别正确率,最后利用基于序列特征的组合优化匹配方法,实现调制条纹与编码条纹间的码字特征匹配,结合仿人眼视觉深度感知模型,求解出编码码字的空间三维信息值。

2 基于De Bruijn的彩色结构光编码图案设计

在彩色结构光编码设计的过程中,为了充分利用颜色码信息值,根据解码过程中码元的唯一性,利用De Bruijn序列的伪随机特性对颜色码元进行编码。a元b级的De Bruijn序列为颜色码元字母表包含a个码元、生成长度为a^b的循环码元序列。在该循环码元序列中,长度为b的子序列码元都具有唯一性。De Bruijn编码序列由反馈移位寄存器生成,生成过程中,需要先设定本原多项式和前b个子序列码元,再进行反复迭代,产生大小为a^b-1的码字序列。利用De Bruijn序列的伪随机特性生成彩色编码条纹序列,将红、绿、蓝三原色结合对应的补色以及白色构成7种颜色码元,以充分利用颜色信息值;接着,对7种码元分别用数字1~7进行标号处理,使得每一个颜色码元值都对应唯一的数字标号,随后利用De Bruijn按照数字标号生成7元3级的数字序号序列表,同时在生成数字序号序列表的过程中,确保任意子序列窗口中3个编码序号具有唯一性。利用上述过程中,生成如图1所示7元3级的De Bruijn彩色编码结构光图案。

3 彩色编码结构光的解码方法

基于彩色结构光三维重建技术的核心问题是建立投影仪投射的空间编码图案与相机采集的空间调制图案之间的特征对应关系。由相机和投影仪构成的视觉单元,受系统硬件对像素点的干扰以及外界环境干扰的影响,使采集到的调制条纹发生非线性变化,进而导致彩色条纹图像解码错误率高,重建精度低,为此提出了彩色结构光解码方法,对待测物体求解空间信息值。三维重建系统的流程图如图2所示。

图 1. De Bruijn彩色编码结构光图案

Fig. 1. De Bruijn color coded structured light pattern

下载图片查看所有图片

图 2. 基于彩色结构光的三维重建系统流程图

Fig. 2. Flow chart of 3D reconstruction system based on color structured light

下载图片查看所有图片

3.1 基于滤波差分投影的调制条纹边缘提取

解码调制条纹的关键是对调制条纹和编码条纹进行同源特征点匹配,然而待测物体表面的拓扑结构复杂,调制条纹图像存在错位以及散射等现象,故在对调制条纹的特征匹配之前,需先提取条纹的边缘信息。鉴于调制条纹识别及边缘定位提取时,直接利用RGB模型会存在颜色耦合问题,且调制条纹在边界定位过程中,调制条纹的亮度值大于待测物体本征表面的亮度值,由于YUV颜色空间中的亮度信息Y和色度信息U、V是分离,故考虑将RGB颜色空间模型转换到YUV颜色空间模型中。

对调制彩色条纹转换到YUV颜色空间后,Y颜色通道用于表征由视觉单元感知的待测物体表面的色彩亮度变化情况。鉴于视觉单元在该阶段主要是对调制条纹进行定位,且调制条纹的亮度信息在按行进行处理的过程中会呈现起伏变化,将Y颜色通道中的信息值单独提取出来,并将其描述为YC通道,表达式为

C_{YC} (i) = C_{Y} (i) = 0.299 C_{R} (i) + 0.587 C_{G} (i) + 0.114 C_{B} (i), i = 1,2, \dots, L, (1)

式中,调制条纹图像的像素点为(C_R(i),C_G(i),C_B(i)),对应的YUV颜色空间信息值为(C_Y(i),C_U(i),C_V(i)),其中i为视觉单元按行扫描时对应下标信息值,L为按行扫描宽度。

图3为YC通道中某行的波形分布情况,可以看出该波形分布具有明显的极大极小起伏性,由于视觉单元采集的调制条纹的边界亮度信息的梯度变化较大,图3中波形的极大值为由待测物体表面调制的彩色条纹边界,其中两个相邻的波形极大值,对应调制彩色条纹两端的边缘。在视觉单元设计的编码彩色结构光条纹图像中,其色彩码元会在环境光以及视觉单元光路传输过程中产生色彩码元损耗,调制条纹存在的各种噪声会导致波形不够平滑,为此,对YC通道进行一阶滤波差分投影f_dif(i)处理,以减少YC通道的噪声干扰,表达式为

f_{dif} (i) = \overset{Δ / 2}{\sum_{x = 1}} C_{YC} (i + x) - C_{YC} (i - x), i = 1,2, \dots, L, (2)

式中,Δ为滤波差分的阶次,该值的设定要求不能大于视觉单元投射的编码条纹的宽度值。通过(2)式对YC通道中的条纹码元进行一阶滤波差分投影得到图4,从中可以看出通过该方式处理完成后波形更加平滑。

图 3. YC通道中条纹的波形分布

Fig. 3. Waveform distribution of fringes in YC channel

下载图片查看所有图片

图 4. 一阶线性滤波差分投影的波形分布

Fig. 4. Waveform distribution of first-order linear filter differential projection

下载图片查看所有图片

由于彩色编码结构光图案中相邻条纹码元用黑色码元进行分割,故当其投射到待测物体表面时能够很好地区分相邻条纹。对YC通道进行二阶滤波差分s_dif(i),表达式为

s_{dif} (i) = \overset{Δ / 2}{\sum_{x = 1}} f_{dif} (i + x) - f_{dif} (i - x), i = 1,2, \dots, L 。 (3)

调制条纹的亮度值在YC通道中呈现高低起伏变化,利用二阶线性滤波差分投影可以获取调制条纹的边界位置。图5为二阶线性滤波差分投影的波形分布图。

图 5. 二阶线性滤波差分投影的波形分布

Fig. 5. Waveform distribution of second-order linear filter differential projection

下载图片查看所有图片

3.2 调制彩色结构光条纹中心特征线提取

条纹图像因外界环境等因素干扰出现了像素散射和畸变现象,为此考虑将调制条纹的中心位置作为待匹配的条纹特征值。考虑到投影仪投射的条纹图像具有光强分布特性,本研究采用线索引导的中心条纹特征提取方法。首先,利用线性滤波差分投影获取调制条纹的波形分布,提取初始中心的特征值,然后将初始值和条纹的法线方向进行泰勒表达式展开,精确获取条纹中心特征值。将YC通道中的图像转换为矩阵M_YC,该矩阵的行、列对应图像中的行、列像素值,为了能够精准地提取中心条纹位置,求解图像转换矩阵M_YC对应的梯度向量协方差矩阵V_M,表达式为

V_{M} = [\begin{array}{l} Cov (r_{x}, r_{x}) & Cov (r_{x}, r_{y}) \\ Cov (r_{y}, r_{x}) & Cov (r_{y}, r_{y}) \end{array}], [\begin{array}{l} r_{x} \\ r_{y} \end{array}] = [\begin{array}{l} \partial M_{YC} (x, y) / \partial x \\ \partial M_{YC} (x, y) / \partial y \end{array}], (4)

式中:M_YC(x,y)为矩阵M_YC的矩阵元;Cov(·)表示协方差运算, ${[\begin{array}{l} r_{x} & r_{y} \end{array}]}^{T}$ 为图像的梯度向量。

由于条纹中心线具有对称性,故期望值E(r_x)=0,E(r_y)=0,为此在协方差矩阵V_M进行展开时能够进一步简化,即

V_{M} = [\begin{array}{l} E (r_{x}^{2}) - [E (r_{x} {)]}^{2} & E \{[r_{x} - E (r_{x})] [r_{y} - E (r_{y})]\} \\ E {[r_{y} - E (r_{y})] [r_{x} - E (r_{x})]} & E (r_{y}^{2}) - [E (r_{y} {)]}^{2} \end{array}] = \sum_{(i, j) \in Φ} [\begin{array}{l} r_{i}^{2} & r_{i} r_{j} \\ r_{i} r_{j} & r_{j}^{2} \end{array}], (5)

式中:Φ是以初始中心特征值为中心构成的邻域区域,协方差矩阵V_M最大特征值对应的特征向量υ₁便是条纹中心特征的法向量,表达式为

υ_{1} = {[\frac{1}{2} (\sum_{(i, j) \in Φ} r_{i}^{2} - \sum_{(i, j) \in Φ} r_{j}^{2}) + \frac{1}{2} \sqrt[]{(\sum_{(i, j) \in Φ} r_{i}^{2} - \sum_{(i, j) \in Φ} r_{j}^{2})^{2} + 4 (\sum_{(i, j) \in Φ} r_{i} r_{j})^{2}} \sum_{(i, j) \in Φ} r_{i} r_{j}]}^{T} 。 (6)

利用特征向量υ₁求解单位向量ω= ${[\begin{array}{l} w_{x} & w_{y} \end{array}]}^{T}$ ,并以初始中心特征值(m,n)为中心点沿着该点对应的单位向量 $\bar{ω}$ = ${[\begin{array}{l} w_{m} & w_{n} \end{array}]}^{T}$ 方向进行二阶泰勒展开,表达式为

M_{YC} (m + β w_{m}, n + β w_{n}) = M_{YC} (m, n) + β {\bar{ω}}^{T} \cdot [\begin{array}{l} r_{m} \\ r_{n} \end{array}] + \frac{β^{2}}{2!} {\bar{ω}}^{T} \cdot [\begin{array}{l} r_{mm} & r_{mn} \\ r_{nm} & r_{nn} \end{array}] \cdot \bar{ω}, (7)

式中:β为偏移量;r_mm,r_mn,r_nm和r_nn分别图像在(m,n)处的二阶偏导数。由于条纹中心具有∂M_YC/∂β=0,可得

β = - \frac{w_{m} r_{m} + w_{n} r_{n}}{{w_{m}}^{2} r_{mm} + 2 w_{m} w_{n} r_{mn} + w_{n}^{2} r_{nn}}, (8)

进而解算调制条纹中心的精确特征位置(m+βw_m,n+βw_n)。

3.3 基于聚类中心线的调制条纹颜色码识别

待测曲面会对彩色条纹图像产生光线反射和光能量吸收,进而导致调制条纹颜色码信息值降低。从图6(a)可知,受干扰的点簇在空间分布比较散乱,鉴于彩色条纹图像的颜色码元之间的色彩纯度性便于解码匹配处理,采取条纹颜色码聚类算法将相同类别码元进行归聚,对不同类别码元进行分离^[14-15],再将编码的颜色码元重新赋值到受干扰的调制条纹^[16]。图6(b)为在理想状态下各个类别码元的空间点簇,其受限于各个类别的聚类中心线,可利用聚类中心线对各个调制的颜色码进行归类。基于待迭代更新的各个颜色码的聚类原点坐标O_c以及聚类中心线的方向向量V_c,动态迭代拟合各个颜色码的空间聚类中心线L_c→O_c+V_cX,X∈R,c∈{1,2,3,…,7}。

图 6. 颜色码元在RGB空间中的点簇中的分布。(a)干扰情况下的点簇空间分布;(b)理想情况下的点簇空间分布

Fig. 6. Distribution of color symbols in point clusters in RGB space. (a) Point cluster space distribution in the case of interference; (b) point cluster space distribution in the ideal case

下载图片查看所有图片

利用颜色码的初始信息值,求解各个颜色码到空间聚类中心线L_c的欧氏距离d,其距离最小的聚类中心线归为颜色类别c;接着对各个归属到同一个颜色类别c的点簇组合成为矩阵M_c,求解M_c协方差矩阵Λ_c,表达式为

Λ_{c} = (\begin{array}{l} Cov [M_{c} (R), M_{c} (R)] & Cov [M_{c} (R), M_{c} (G)] & Cov [M_{c} (R), M_{c} (B)] \\ Cov [M_{c} (G), M_{c} (R)] & Cov [M_{c} (G), M_{c} (G)] & Cov [M_{c} (G), M_{c} (B)] \\ Cov [M_{c} (B), M_{c} (R)] & Cov [M_{c} (B), M_{c} (G)] & Cov [M_{c} (B), M_{c} (B)] \end{array}), (9)

式中R,G,B表示红绿蓝三通道。

求解(9)式中矩阵Λ_c最大特征值对应的特征向量,即隶属于相同类别c点簇中心线的方向向量V_c=(v_c_,_r,v_c_,_g,v_c_,_b)。利用聚类中心线的方向向量V_c和聚类原点坐标O_c,求解欧氏距离d,表达式为

d = \overset{C}{\sum_{c = 1}} \overset{N_{k}}{\sum_{i = 1}} ‖ V_{c} \times [M_{c}^{i} - O_{c}] ‖^{2}, (10)

式中:C为编码结构光中设定的颜色码种类数, $M_{c}^{i}$ =( $M_{c, r}^{i}$ , $M_{c, g}^{i}$ , $M_{c, b}^{i}$ )为属于颜色码类别c的第i个像素,N_k为隶属于颜色码类别c的码元个数。对(10)式中的d与待迭代更新的聚类原点坐标O_c的变量进行偏微分求解,构建方程组A·O_c=N,其中A和N的值,表示为

\begin{array}{l} A = [\begin{array}{l} \overset{C}{\sum_{c = 1}} [(v_{c, b})^{2} + (v_{c, g})^{2}] \\ - \overset{C}{\sum_{c = 1}} (v_{c, r} \cdot v_{c, g}) \\ - \overset{C}{\sum_{c = 1}} (v_{c, r} \cdot v_{c, b}) \end{array} \begin{array}{l} - \overset{C}{\sum_{c = 1}} (v_{c, r} \cdot v_{c, g}) \\ \overset{C}{\sum_{c = 1}} [(v_{c, r})^{2} + (v_{c, b})^{2}] \\ - \overset{C}{\sum_{c = 1}} (v_{c, g} \cdot v_{c, b}) \end{array} \begin{array}{l} - \overset{C}{\sum_{c = 1}} (v_{c, r} \cdot v_{c, b}) \\ - \overset{C}{\sum_{c = 1}} (v_{c, g} \cdot v_{c, b}) \\ \overset{C}{\sum_{c = 1}} [(v_{c, r})^{2} + (v_{c, g})^{2}] \end{array}], (11) \\ N = [\begin{array}{l} \overset{C}{\sum_{c = 1}} \overset{N_{k}}{\sum_{i = 1}} \{M_{c, r}^{i} \cdot [(v_{c, g})^{2} + (v_{c, b})^{2}] - M_{c, g}^{i} \cdot v_{c, g} \cdot v_{c, r} - M_{c, b}^{i} \cdot v_{c, b} \cdot v_{c, r}\} \\ \overset{C}{\sum_{c = 1}} \overset{N_{k}}{\sum_{i = 1}} \{M_{c, g}^{i} \cdot [(v_{c, r})^{2} + (v_{c, b})^{2}] - M_{c, b}^{i} \cdot v_{c, b} \cdot v_{c, g} - M_{c, r}^{i} \cdot v_{c, r} \cdot v_{c, g}\} \\ \overset{C}{\sum_{c = 1}} \overset{N_{k}}{\sum_{i = 1}} \{M_{c, b}^{i} \cdot [(v_{c, r})^{2} + (v_{c, g})^{2}] - M_{c, g}^{i} \cdot v_{c, g} \cdot v_{c, b} - M_{c, r}^{i} \cdot v_{c, r} \cdot v_{c, b}\} \end{array}] 。 (12) \end{array}

由于线性方程组A·O_c=N中矩阵A的行列式非零,所以矩阵A具有可逆性,故可利用O_c=(A)^-1·N,解算出待迭代更新的聚类原点坐标O_c。利用求解的O_c动态拟合出各个颜色码的空间聚类中心线,并利用(9)~(12)式更新聚类原点坐标,直至各个调制条纹中心线对应的颜色码元不在发生变化,停止整个聚类迭代过程。

3.4 基于序列特征的组合优化匹配方法

鉴于彩色条纹码字匹配是码元序列的组合优化匹配问题,提出了一种基于序列特征的组合优化匹配方法。a元b级的De Bruijn编码码元序列P={p₁,p₂,…,p_Z},其中Z=a^b,对调制条纹进行码字特征提取后得到待匹配码元序列Q={q₁,q₂,…,q_G},其中G为待匹配码元个数且G≤Z,条纹码元子序列匹配关系为φ={( ${\bar{P}}_{1}$ , ${\bar{Q}}_{1}$ ),( ${\bar{P}}_{2}$ , ${\bar{Q}}_{2}$ ),…,( ${\bar{P}}_{I}$ , ${\bar{Q}}_{I}$ )},其中 ${\bar{P}}_{i}$ ⊆P, ${\bar{Q}}_{i}$ ⊆Q,I为子序列匹配的个数,子序列 ${\bar{P}}_{1}$ < ${\bar{P}}_{2}$ <…< ${\bar{P}}_{I}$ ,对于任意两个子序列 ${\bar{Q}}_{1}$ , ${\bar{Q}}_{2}$ ,…, ${\bar{Q}}_{I}$ 都不相同。为了匹配码元序列的最长子序列,定义码字梯度计量函数γ(x,y)=x(ε)-y(ε),ε=1,2,3,其中x(ε)和y(ε)分别为码元x和y归一化的RGB值。γ(p_t,p_t_-1)和γ(p_t₊₁,p_t)分别为编码码元p_t的左梯度值和右梯度值,γ(q_k,q_k_-1)和γ(q_k₊₁,q_k)分别为待匹配码元q_k的左梯度值和右梯度值。利用码字梯度计量函数求解编码码元和待匹配码元的左梯度值和右梯度值,对于任意码字p_e和q_h,如果满足γ(p_e,p_e_-1)=γ(q_h,q_h_-1)且γ(p_e₊₁,p_e)=γ(q_h₊₁,q_h)则称码字p_e和q_h为内核码字,寻找所有匹配序列的内核码字,构成内核码字集合Y={(p_e,q_h)},e≤Z,h≤G。求解组合优化问题的关键是构建损失函数,为了能够充分利用颜色码信息值,通过内核码字集合Y构建损失函数cost(p_i,q_j),条码码元序列特征的组合优化损失函数表达式为

ψ (ϕ) = \sum_{i, j \in I} cost (p_{i}, q_{j}) = \sum_{i, j \in I} \min {p_{i} (ε) - q_{j} (ε)}, ε = 1,2, 3, (13)

式中:(p_i,q_j)∈Y,ψ(ϕ)为匹配状态ϕ对应的目标函数值,p_e(ε)和q_h(ε)分别对应于内核码元p_e和q_h归一化的RGB值,利用ϕ^*=arg $\min_{ϕ}$ {ψ(ϕ)}求解条码码字匹配的最优解ϕ^*。采取动态规划思想,将问题细分为更小的子问题,然后求解各个子问题,最后组合成最优整体解ψ^*(p_i,q_j),具体表达式为

ψ^{*} (p_{i}, q_{j}) = \min {δ_{0} + ψ^{*} (p_{i - 1}, q_{j}), δ_{0} + ψ^{*} (p_{i}, q_{j - 1}), Δ (p_{i}, q_{j}) + ψ^{*} (p_{i - 1}, q_{j - 1})}, (14)

式中:δ₀为惩罚值,Δ(p_i,q_j)为码元p_i与q_j间的差异程度。

通过动态求解条码码字匹配的最优解,反复迭代待匹配条纹码字的最长内核码集,通过基于序列特征的组合优化匹配方法,有效解决了非连续码字匹配问题。利用求解的匹配关系结合双目视觉原理以及事先标定的投影仪和相机的参数信息值,即可求解出调制条纹码字特征的三维信息值,从而获得待测自由曲面的三维信息值。

4 实验分析与讨论

开始进行待测物体三维重建之前,首先利用计算机生成设计的彩色编码结构光图案,通过投影仪将彩色编码结构光图案投射至待测物体表面。将待测物体与投影仪-相机系统的距离保持在1 m左右范围内,然后调整相机的参数以及相机与投影仪间的夹角(小于90°),使得投射的条纹图案能够清晰地呈现在相机视野范围内;接着固定投影仪和相机的位姿恒定不变,然后对投影仪和相机进行系统参数标定。实验过程涉及到的系统硬件结构相关参数信息如表1所示,本文相关算法采用MATLAB、OpenCV和C++等进行混合编程实现。

为了验证所提方法的有效性,将编码的彩色结构光条纹图案投射到图7中带纹理的非规则曲面上,得到待解码扭曲调制的彩色结构光图案,如图8所示。彩色结构光三维重建的关键是对调制的条纹图像进行高精度解码,为此,首先将调制的条纹图像转换到YC通道,利用一阶线性滤波差分对YC通道中的调制条纹码元进行处理,得到如图9(a)所示的波形分布图,接着对YC通道进行二阶滤波差分,得到如图9(b)所示的二阶线性滤波差分投影波形分布图。由于调制条纹图像的一阶滤波和二阶滤波差分投影具有波峰和波谷的流形结构,为此,利用流形结构分布获取如图10(a)所示的调制条纹二值化分割图像和如图10(b)所示的调制条纹中心特征图像。

表 2. 三维重建精度对比

Table 2. Comparison of 3D reconstruction accuracyunit: mm

Method	Maximum error		Standard deviation		Average error
Method	u	v	u	v	u	v
In Ref.[16]	3.618	3.647	1.747	1.669	1.421	1.453
In Ref.[17]	2.633	3.281	1.643	1.581	1.138	1.179
Ours	2.511	2.502	1.343	1.327	1.043	1.147

查看所有表

表 1. 系统设置

Table 1. System setup

Parameter of projector	Parameter of camera	Parameter of computer
Lumens: 3000Standard resolution: 1024×768Contrast: 15000∶1Projection image size: 30″--300″	Resolution: 1920×1200Frame rate: 41 frame/sLight-sensitive components: CCDData interface: 1000 Mbit/s	Processor: Intel (R) core(TM)i7-6500U CPU @2.5 GHzSystem type: 64-bit operating systemOperating system: Windows 10

查看所有表

图 7. 待测自由曲面物体

Fig. 7. Curved object to be measured

下载图片查看所有图片

图 8. 采集的调制彩色结构光条纹

Fig. 8. Modulated color structured light stripe

下载图片查看所有图片

图 9. 部分调制条纹波形决策分析。(a)一阶滤波差分波形分布;(b)二阶滤波差分波形分布

Fig. 9. Decision analysis of partial modulation fringe waveform. (a) Distribution of first-order filtering difference waveform; (b) distribution of second-order filtering difference waveform

下载图片查看所有图片

图 10. 调制条纹的特征处理。(a)条纹二值化分割图像;(b)调制条纹中心特征

Fig. 10. Characteristic processing of modulation fringe. (a) Binarization of fringe segmentation image; (b) center feature of modulated fringe

下载图片查看所有图片

为了定量评估中心特征线提取方法的有效性,在相同的环境下,与文献[ 16]进行对比实验。利用文献[ 16]进行调制条纹中心线提取,如图11(a)所示,漏检率接近11%。利用本文所提方法进行调制条纹中心线提取,如图11(b)所示,漏检率仅接近0.6%。由图11可以看出,文献[ 16]存在较高的漏检断裂问题,待测物体三维重建效果呈现点云空洞,而本文所提方法能够精准地获取调制条纹的中心特征位置,有效降低了条纹中心特征提取的漏检率。

图 11. 调制条纹中心线提取的漏检对比。(a)文献[ 16]条纹中心线提取;(b)本方法条纹中心线提取

Fig. 11. Comparison of missed detection of center line extraction of modulation fringe. (a) Extraction of stripe centerline in Ref. [16]; (b) extraction of stripe centerline in this method

下载图片查看所有图片

调制条纹中心线提取完成以后,对调制条纹颜色码进行识别。文献[ 16]采取调制条纹中心特征对应的颜色信息直接进行码元赋值,得到的颜色码图如图12(a)所示;本研究利用基于聚类中心线的调制条纹颜色码识别方法,得到的颜色码图如图12(b)所示。由于待测物体的纹理以及待测环境的光波反射等因素的干扰,颜色信息值在测量过程中存在色彩损耗,所以本文方法相对于文献[ 16]能够有效提高彩色结构光颜色码识别正确率,进而提高待测曲面的三维深度值的精度。为了能够进一步验证本文方法解码的精准性,利用本文方法和文献[ 16-17]方法分别投射相应的编码图案到标准标定板上,并分别利用各自解码方法对标准标定板上角点的坐标进行三维值解算,最后将各自解算的三维信息值与实际测量值进行点对点计算并进行误差对比分析,如表2所示。由表2可看出,本文方法在横轴方向上平均误差为1.043 mm,在竖轴方向的平均误差为1.147 mm,相对于文献[ 16-17]方法的误差小。通过对具有凸表面和凹表面的不同实体模型进行三维重建实验,如图13所示,可知本方法重建的曲面质量高,局部细节信息明显,可以高精度还原出待测实体模型的本征空间拓扑结构。

图 12. 调制彩色结构光条纹颜色码识别。(a) 文献[ 16]的条纹颜色识别;(b)本文的条纹颜色码识别

Fig. 12. Recognition of color code for modulated color structured light stripes. (a) Stripe color recognition in Ref. [16]; (b) stripe color recognition in this paper

下载图片查看所有图片

图 13. 不同模型的三维重建效果

Fig. 13. 3D reconstruction effect of different models

下载图片查看所有图片

5 结论

在单幅彩色编码结构的光解码过程中,调制条纹中心特征的提取极易受到待测自由曲面的纹理、光波反射等因素的干扰,解码精度较低,为此提出了基于彩色结构光的自由曲面三维重建方法。首先,利用滤波差分进行波形决策分析,精确提取调制条纹中心特征信息值;接着,利用基于聚类中心线的调制条纹颜色码识别方法,解决彩色编码条纹的光线反射和光能量吸收等问题,有效提高了调制条纹颜色码识别的正确率;最后,利用基于序列特征的组合优化匹配方法,解决了调制条纹中非连续码字序列特征的匹配问题。通过对比实验可以看出,本文方法在解码过程降低了条纹漏检率,提高了条纹颜色码识别正确率以及待测曲面的三维重建精度。

参考文献

[1] Vo M, Narasimhan S G, Sheikh Y. Separating texture and illumination for single-shot structured light reconstruction[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2015, 38(2): 1-15.

[2] 周京博, 李玥华, 秦志英, 等. 基于参考靶标的线结构光传感器标定[J]. 光学学报, 2019, 39(4): 0412005.

Zhou J B, Li Y H, Qin Z Y, et al. Calibration of line structured light sensor based on reference target[J]. Acta Optica Sinica, 2019, 39(4): 0412005.

[3] Li F, Sekkati H, Deglint J, et al. Simultaneous projector-camera self-calibration for three-dimensional reconstruction and projection mapping[J]. IEEE Transactions on Computational Imaging, 2017, 3(1): 74-83.

[4] 丁超, 唐力伟, 曹立军, 等. 基于结构光的深孔内表面凹槽深度测量[J]. 仪器仪表学报, 2018, 39(3): 54-61.

Ding C, Tang L W, Cao L J, et al. Groove depth measurement on deep hole inner surface based on structured light[J]. Chinese Journal of Scientific Instrument, 2018, 39(3): 54-61.

[5] 邓吉, 李健, 封皓, 等. 编码条纹投影技术的阶次校正算法[J]. 仪器仪表学报, 2018, 39(8): 250-258.

Deng J, Li J, Feng H, et al. Fringe order correction algorithm for code-based fringe projection profilometry[J]. Chinese Journal of Scientific Instrument, 2018, 39(8): 250-258.

[6] 陈松林, 赵吉宾, 夏仁波. 多频外差原理相位解包裹方法的改进[J]. 光学学报, 2016, 36(4): 0412004.

Chen S L, Zhao J B, Xia R B. Improvement of the phase unwrapping method based on multi-frequency heterodyne principle[J]. Acta Optica Sinica, 2016, 36(4): 0412004.

[7] 刘飞, 何春桥, 申爱民, 等. 结构光饱和区域分区投射优化补偿方法[J]. 光学学报, 2018, 38(6): 0612001.

Liu F, He C Q, Shen A M, et al. Optimized compensation method of divisional projection for saturated region of structured light[J]. Acta Optica Sinica, 2018, 38(6): 0612001.

[8] Tan Q M, Lu N G, Lou X P, et al. Color-encoded structured light for one-shot shape acquisition[J]. Proceedings of SPIE, 2011, 7997: 79971W.

[9] ZhangL, CurlessB, Seitz SM. Rapid shape acquisition using color structured light and multi-pass dynamic programming[C]∥Proceedings of First International Symposium on 3D Data Processing Visualization and Transmission, June 19-21, 2002, Padova, Italy.New York: IEEE Press, 2002: 24- 36.

[10] 李华, 杨帆, 杨华民, 等. 条纹颜色分离与聚类[J]. 光学精密工程, 2016, 24(5): 1206-1214.

Li H, Yang F, Yang H M, et al. Separating and clustering of structured light stripe color[J]. Optics and Precision Engineering, 2016, 24(5): 1206-1214.

[11] 张宗华, 连晓洁, 高楠. 彩色复合条纹投影测量系统串扰消除方法[J]. 光学学报, 2018, 38(8): 0815005.

Zhang Z H, Lian X J, Gao N. Crosstalk elimination method for color composite fringe projection measuring systems[J]. Acta Optica Sinica, 2018, 38(8): 0815005.

[12] Zhang X, Li Y F, Zhu L M. Discontinuity-preserving decoding of one-shot shape acquisition using regularized color[J]. Optics and Lasers in Engineering, 2012, 50(10): 1416-1422.

[13] 唐苏明, 张旭, 屠大维. 彩色伪随机编码结构光解码方法研究[J]. 光电子·激光, 2015, 26(3): 548-558.

Tang S M, Zhang X, Tu D W. Research on the decoding method for color pseudo-random coding structured light[J]. Journal of Optoelectronics·Laser, 2015, 26(3): 548-558.

[14] 邢承滨, 邓兴升, 徐康. 基于置信区间估计理论的改进型移动曲面算法[J]. 光学学报, 2020, 40(3): 0328001.

Xing C B, Deng X S, Xu K. Improved moving surface algorithm based on confidence interval estimation theory[J]. Acta Optica Sinica, 2020, 40(3): 0328001.

[15] Yeh W C, Lai C M, Chang K H. A novel hybrid clustering approach based on K-harmonic means using robust design[J]. Neurocomputing, 2016, 173: 1720-1732.

[16] Zhang X, Zhu L M. Determination of edge correspondence using color codes for one-shot shape acquisition[J]. Optics and Lasers in Engineering, 2011, 49(1): 97-103.

[17] Wang Z Z, Yang Y M. Single-shot three-dimensional reconstruction based on structured light line pattern[J]. Optics and Lasers in Engineering, 2018, 106: 10-16.

1 引言

2 基于De Bruijn的彩色结构光编码图案设计

3 彩色编码结构光的解码方法

3.1 基于滤波差分投影的调制条纹边缘提取

3.2 调制彩色结构光条纹中心特征线提取

3.3 基于聚类中心线的调制条纹颜色码识别

3.4 基于序列特征的组合优化匹配方法

4 实验分析与讨论

5 结论

杨帆, 丁晓剑, 曹杰. 基于彩色结构光的自由曲面三维重建方法[J]. 光学学报, 2021, 41(2): 0212001. Fan Yang, Xiaojian Ding, Jie Cao. 3D Reconstruction of Free-Form Surface Based on Color Structured Light[J]. Acta Optica Sinica, 2021, 41(2): 0212001.

基于彩色结构光的自由曲面三维重建方法 下载： 1184次

1 引言

2 基于De Bruijn的彩色结构光编码图案设计

3 彩色编码结构光的解码方法

图 1. De Bruijn彩色编码结构光图案

Fig. 1. De Bruijn color coded structured light pattern

图 2. 基于彩色结构光的三维重建系统流程图

Fig. 2. Flow chart of 3D reconstruction system based on color structured light

3.1 基于滤波差分投影的调制条纹边缘提取

图 3. YC通道中条纹的波形分布

Fig. 3. Waveform distribution of fringes in YC channel

图 4. 一阶线性滤波差分投影的波形分布

Fig. 4. Waveform distribution of first-order linear filter differential projection

图 5. 二阶线性滤波差分投影的波形分布

Fig. 5. Waveform distribution of second-order linear filter differential projection

3.2 调制彩色结构光条纹中心特征线提取

3.3 基于聚类中心线的调制条纹颜色码识别

图 6. 颜色码元在RGB空间中的点簇中的分布。(a)干扰情况下的点簇空间分布;(b)理想情况下的点簇空间分布

Fig. 6. Distribution of color symbols in point clusters in RGB space. (a) Point cluster space distribution in the case of interference; (b) point cluster space distribution in the ideal case

3.4 基于序列特征的组合优化匹配方法

4 实验分析与讨论

表 2. 三维重建精度对比

Table 2. Comparison of 3D reconstruction accuracyunit: mm

表 1. 系统设置

Table 1. System setup

图 7. 待测自由曲面物体

Fig. 7. Curved object to be measured

图 8. 采集的调制彩色结构光条纹

Fig. 8. Modulated color structured light stripe

图 9. 部分调制条纹波形决策分析。(a)一阶滤波差分波形分布;(b)二阶滤波差分波形分布

Fig. 9. Decision analysis of partial modulation fringe waveform. (a) Distribution of first-order filtering difference waveform; (b) distribution of second-order filtering difference waveform

图 10. 调制条纹的特征处理。(a)条纹二值化分割图像;(b)调制条纹中心特征

Fig. 10. Characteristic processing of modulation fringe. (a) Binarization of fringe segmentation image; (b) center feature of modulated fringe

图 11. 调制条纹中心线提取的漏检对比。(a)文献[ 16]条纹中心线提取;(b)本方法条纹中心线提取

Fig. 11. Comparison of missed detection of center line extraction of modulation fringe. (a) Extraction of stripe centerline in Ref. [16]; (b) extraction of stripe centerline in this method

图 12. 调制彩色结构光条纹颜色码识别。(a) 文献[ 16]的条纹颜色识别;(b)本文的条纹颜色码识别

Fig. 12. Recognition of color code for modulated color structured light stripes. (a) Stripe color recognition in Ref. [16]; (b) stripe color recognition in this paper

图 13. 不同模型的三维重建效果

Fig. 13. 3D reconstruction effect of different models

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于彩色结构光的自由曲面三维重建方法下载： 1184次