一种基于色彩迁移技术的DeBruijn彩色结构光解码算法

白宏运; 许宏丽; 黄华

doi:doi:10.3788/LOP55.011013

激光与光电子学进展, 2018, 55 (1): 011013, 网络出版: 2018-09-10

一种基于色彩迁移技术的DeBruijn彩色结构光解码算法下载： 1075次

A DeBruijn Color Structured Light Decoding Algorithm Based on Color Transfer Technique

论文大纲

白宏运许宏丽 ^*黄华

作者单位

北京交通大学计算机与信息计算学院, 北京 100044

图像处理色彩迁移结构光解码条纹中心点提取 DeBruijn序列 image processing color transfer structured light decoding stripe center point extraction DeBruijn sequence

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

高精度解码是DeBruijn彩色结构光三维测量技术的关键问题。针对光照和物体表面纹理等因素导致解码精度不高的问题,提出一种基于色彩迁移技术的DeBruijn彩色结构光解码算法。首先,以结构光编码图像的颜色分布为先验知识,利用色彩迁移的方式对相机捕获的结构光投影图像进行增强和去光照处理,还原结构光投影图像条纹的颜色信息;然后,基于提出的两步精确定位的彩色结构光投影图像条纹中心点亚像素提取算法,准确提取条纹的中心坐标;最后,基于动态规划算法完成特征点匹配。实验结果表明,在光照和被测物体表面纹理导致结构光投影图像质量下降的情况下,提出的解码算法依然能够有效提高解码精度,具有较强的稳健性。

Abstract

High-precision decoding is a key problem of DeBruijn color structured light three-dimensional measurement. We proposed a DeBruijn color structured light decoding algorithm based on color transfer technology. Firstly, the color information of the structured light-coded image is used as priori knowledge, and the color structured light projection image is enhanced and de-illuminated by the color transfer method to restore its stripe color information. Secondly, the central coordinates of fringe are extracted accurately based on the proposed dual-step sub-pixel extraction algorithm for stripe center point positioning of color structured light projection image . Finally, the matching of feature points is performed based on the dynamic programming algorithm. The experimental results show that the proposed algorithm can effectively improve the decoding accuracy, and has strong robustness under the condition that the texture of the illumination and the surface texture of the measured object lead to the degradation of the structure light projection image quality.

1 引言

结构光三维重构作为一种非接触式主动视觉测量技术,具有速度快、实时性强等优点,在工业形貌测量、逆向工程等领域得到了广泛应用^[1-2]。DeBruijn彩色结构光是主动视觉测量技术之一,其结构光编码属于空间编码,结构光投影图像的条纹中心点颜色识别和中心点坐标的准确提取是影响解码精度的关键因素^[3]。结构光投影图像在获取时容易受到拍摄环境、光照条件、被测物体表面材料特性、表面纹理,以及拍摄方式等因素的综合影响而引起图像质量下降,降低了条纹中心点颜色识别和中心点坐标提取的精度,导致解码精度降低^[4]。因此,条纹中心点坐标提取和颜色识别是提高系统解码精度的关键,也是提高系统测量精度的前提。

在条纹中心点提取方面:Yang等^[5]结合零交叉检测算法和Steger检测器提出一种灰度结构光图像条纹中心点提取算法,对灰度编码结构光图像的条纹中心点能实现较高的提取精度;蔡怀宇等^[6]提出一种基于主成分分析的结构光条纹中心提取方法,首先利用大津阈值法提取图像的感兴趣区域,再经2次高斯卷积得到条纹的梯度分布,确定条纹中心的初始位置,利用主成分分析确定法线方向,从而得到条纹的精确位置;刘振等^[7]提出一种互相关中心条纹提取方法,将赋予不同权值的互相关系数与相对应的光条纹灰度值进行互相关运算,以互相关极大值对应的条纹作为初始光条纹中心,通过曲线拟合的方法对条纹中心进行精确定位。以上中心点提取算法对单条纹灰度图像中心点提取精度较高,但这些算法均以图像的灰度分布为基础,而彩色条纹图像灰度化的过程中容易出现灰度分布非对称退化,图像彩色条纹种类越多,非对称退化的问题越严重,因此,这些算法对于多条纹彩色图像中心点坐标提取的精度并不高。

在条纹颜色识别方面:Fechteler等^[8]提出了一种在RGB颜色空间对条纹颜色进行自适应颜色分类的方法;范静涛等^[9]通过在RGB空间直接对捕获的结构光图像进行颜色聚类和分类处理来识别特征点的颜色;陆军等^[10]在CIELab颜色空间中,通过L值的线性二次差分滤波实现对高低强度条纹的分割,利用主成分分析和K均值聚类思想设计一种自适应颜色聚类方法,实现了对高低强度颜色的识别。上述方法在结构光投影图像质量较好的条件下能实现较高的识别精度,但未考虑光照和物体表面纹理导致结构光投影图像质量不高时的颜色识别问题。

在彩色图像处理方面, Retinex理论^[11]模拟人类大脑视觉皮层的成像原理,建立了简化的图像形成模型,采用多次迭代的方法消除目标本身的反射,达到图像增强的效果;Reinhard等^[12]提出一种全局图像色彩迁移算法,将一幅图像的颜色特征迁移到另一幅图像中,使目标图像具有与源图像相似的颜色信息;在前述算法基础上:Pitie等^[13]提出一种全新的色彩迁移思路,利用直方图规定化和N维概率密度函数转移的方式实现色彩迁移;Welsh等^[14]将色彩迁移技术用于灰度图像着色,即将彩色图像的特征传递给灰度图像完成着色,该方法在影视制作、信息可视化和医学等领域已有大量应用^[15]。

由于结构光投影图像在捕获过程中容易受到光照和物体表面纹理的影响,导致结构光投影图像质量不高,而上述的条纹中心点提取算法和条纹颜色识别算法均未考虑图像质量对解码精度的影响。鉴于此,本文提出一种基于色彩迁移技术的彩色结构光解码算法。首先,以结构光编码图像的颜色分布为先验知识,利用色彩迁移方式对捕获的结构光投影图像进行增强和去光照处理,还原结构光投影图像条纹中心点的颜色信息,从而完成条纹中心点的颜色识别;然后,将色彩迁移处理后的图像转换到RGB空间,通过2次精确定位条纹中心点的方式实现中心点的精确提取,从而实现高精度的彩色结构光解码。

2 基于色彩迁移技术的DeBruijn彩色结构光解码算法

在结构光三维重构测量技术中,结构光解码是完成结构光编码图像和结构光投影图像之间特征点的匹配^[16]。针对光照和物体表面纹理等因素导致解码精度不高的问题,本文提出一种基于色彩迁移技术的DeBruijn彩色结构光解码算法。算法流程如图1所示:首先,以彩色结构光编码图像的颜色分布信息为先验知识,利用基于色彩迁移技术的结构光投影图像增强算法,对输入的结构光投影图像进行增强处理,达到增强条纹中心点颜色信息的目的,完成颜色识别;然后,利用基于色彩迁移技术的条纹中心点亚像素提取算法,对增强后的结构光投影图像提取条纹中心点,从而准确获得条纹中心点的位置信息和颜色信息;最后,利用Zhang等^[17]提出的动态规划算法完成特征点匹配。

图 1. 基于色彩迁移技术的DeBruijn彩色结构光解码算法流程图

Fig. 1. Flow chart of DeBruijn color structured light decoding algorithm based on color transfer technique

下载图片查看所有图片

2.1 基于色彩迁移技术的结构光投影图像增强方法

颜色迁移可以表示为数学变换H,即t(x,y)=H $\begin{matrix} [r (x, y)] \end{matrix}$ ,式中r(x,y)是源图像,t(x,y)是处理后的图像^[18]。在色彩迁移的过程中,将结构光编码图像作为色彩迁移的目标图像,相机捕获的结构光投影图像作为源图像,以结构光编码图像的颜色分布作为先验知识,利用色彩迁移方法将结构光编码图像的颜色分布迁移到结构光投影图像上,实现结构光投影图像条纹颜色还原,以消除测量目标材质和环境光照的影响。条纹形变特征是被测物体表面几何特征对投影到其表面的结构光编码图像调制的结果,反映了被测物体表面的三维信息,而条纹的颜色特征是解码阶段进行特征点提取和特征点匹配的重要依据;因此,结构光投影图像条纹颜色增强处理在还原结构光编码颜色的同时,必须保证条纹形变特征的稳定不变。

在色彩迁移过程中,需要将目标图像各个颜色通道的颜色分布迁移到源图像上,因此颜色空间的选择对算法的处理结果具有很大的影响。通常,工业相机捕获到的彩色图像多为RGB空间图像,由于各通道之间存在相关性,因此色彩迁移通常在lαβ颜色空间中进行。在lαβ颜色空间中,l代表非彩色通道的亮度通道,α表示彩色的红绿通道信息,β表示彩色的黄蓝通道信息。lαβ空间更适合人类的视觉系统,而且像素点各个分量之间近似正交,能最大限度地减少改变其中一个分量对其他2个分量的影响,因此可以在不同通道之间独立地进行统计信息的迁移。

设R和T分别表示结构光投影图像和结构光编码图像,图像的分辨率均为U×V,则结构光投影图像和结构光编码图像在l、α和β通道的均值和标准差分别为

\begin{matrix} \begin{matrix} m_{R}^{K} = \frac{\overset{U}{\sum_{i = 1}} \overset{V}{\sum_{j = 1}} R {(i, j)}_{K}}{UV}, (1) \\ m_{T}^{K} = \frac{\overset{U}{\sum_{i = 1}} \overset{V}{\sum_{j = 1}} T {(i, j)}_{K}}{UV}, (2) \\ σ_{R}^{K} = {\{\overset{U}{\sum_{i = 1}} \overset{V}{\sum_{j = 1}} [R {(i, j)}_{K} - m_{R}^{K}]\}}^{\frac{1}{2}}, (3) \\ σ_{T}^{K} = {\{\overset{U}{\sum_{i = 1}} \overset{V}{\sum_{j = 1}} [T {(i, j)}_{K} - m_{T}^{K}]\}}^{\frac{1}{2}}, (4) \end{matrix} \end{matrix}

式中K∈{l,α,β}, $\begin{matrix} m_{R}^{l} \end{matrix}$ 、 $\begin{matrix} m_{R}^{α} \end{matrix}$ 和 $\begin{matrix} m_{R}^{β} \end{matrix}$ 表示结构光投影图像的通道均值, $\begin{matrix} m_{T}^{l} \end{matrix}$ 、 $\begin{matrix} m_{T}^{α} \end{matrix}$ 和 $\begin{matrix} m_{T}^{β} \end{matrix}$ 表示结构光编码图像的通道均值, $\begin{matrix} σ_{R}^{l} \end{matrix}$ 、 $\begin{matrix} σ_{R}^{α} \end{matrix}$ 和 $\begin{matrix} σ_{R}^{β} \end{matrix}$ 表示结构光投影图像的通道标准差, $\begin{matrix} σ_{T}^{l} \end{matrix}$ 、 $\begin{matrix} σ_{T}^{α} \end{matrix}$ 和 $\begin{matrix} σ_{T}^{β} \end{matrix}$ 表示结构光编码图像的通道标准差,R(i,j)_K和T(i,j)_K分别表示图像R和T在像素点(i,j)的K通道像素值。

颜色通道的均值和标准差描述了结构光投影图像和结构光编码图像的颜色分布,从而,提出基于结构光编码图像各颜色通道均值和方差的结构光投影图像色彩迁移变换模型:

\begin{matrix} \begin{matrix} R {(i, j)}_{l}^{*} = \frac{σ_{T}^{l}}{σ_{R}^{l}} \cdot R (i, j)'_{l} + m_{T}^{l}, (5) \\ R {(i, j)}_{α}^{*} = \frac{σ_{T}^{α}}{σ_{R}^{α}} \cdot R (i, j)'_{α} + m_{T}^{α}, (6) \\ R {(i, j)}_{β}^{*} = \frac{σ_{T}^{β}}{σ_{R}^{β}} \cdot R (i, j)'_{β} + m_{T}^{β}, (7) \end{matrix} \end{matrix}

式中R $\begin{matrix} {(i, j)}_{K}^{*} \end{matrix}$ 表示色彩迁移变换后图像R在像素点(i,j)的K通道像素值,R(i,j)'_K表示图像R在K通道均值上的变化,K∈{l,α,β},计算公式如下:

\begin{matrix} \begin{matrix} R (i, j)'_{l} = R {(i, j)}_{l} - m_{R}^{l}, (8) \\ R (i, j)'_{α} = R {(i, j)}_{α} - m_{R}^{α}, (9) \\ R (i, j)'_{β} = R {(i, j)}_{β} - m_{R}^{β} 。 (10) \end{matrix} \end{matrix}

考虑到结构光投影图像捕获过程中还受光照的影响,因此,需要在增强处理的基础上再进行去光照处理。首先将色彩迁移处理后的结构光投影图像定义为F,并将其变换到RGB颜色空间。从结构光编码图像的颜色分布可知,每个像素点的三通道最小像素值为0,但由于光照对结构光投影图像的影响,导致其最小像素值通常不为0。为此,将结构光投影图像F中每个像素点的三通道最小像素值定义为光照模型λ,去光照处理后的结构光投影图像定义为I,则光照计算模型为

\begin{matrix} \begin{matrix} λ (i, j) = \min [F {(i, j)}_{K}], (11) \\ I {(i, j)}_{K} = F {(i, j)}_{K} - λ (i, j), (12) \end{matrix} \end{matrix}

式中F(i,j)_K和I(i,j)_K分别表示图像F和I在像素点(i,j)的K通道像素值,λ(i,j)表示图像F在像素点(i,j)的光照,K∈{R,G,B}。

2.2 基于色彩迁移技术的彩色条纹中心点亚像素提取方法

色彩迁移技术的图像增强方法能够消除物体表面纹理、环境光照和相机畸变等因素对结构光投影图像的干扰,使结构光投影图像具有与结构光编码图像相似的颜色分布。基于本文算法,提出一种两步定位法,实现条纹中心点亚像素提取。首先,在RGB颜色空间对结构光投影图像每一行的最大像素值序列求一阶导数和二阶导数,根据二阶导数确定条纹边界点序列,再根据最大像素值序列实现条纹中心点的粗定位;然后,基于Hession矩阵确定粗条纹中心点的法线方向,在法线方向上利用泰勒展开实现条纹中心的精确定位,从而实现条纹中心的亚像素提取。

假设色彩迁移处理后的结构光投影图像为I,图像的分辨率为U×V,如图2所示,实线框内的圆点序列为其中一行的条纹中心点位置。DeBruijn结构光解码方向垂直于条纹的方向,因此在提取中心坐标时,遍历图像I的每一行,依次确定每行的条纹中心坐标。假设结构光投影图像I第i行上像素点j的三通道最大像素值为

\begin{matrix} M_{i} (j) = \max [I {(i, j)}_{K}], (13) \end{matrix}

式中K∈{R,G,B},i=1,…,U,j=1,…,V。以图2所示的花瓶结构光投影图像为例,第i行的M_i分布曲线如图3所示。可以看出,由于彩色条纹受2边黑色背景的影响,颜色从黑色渐变到最亮的彩色后又渐变到黑色,因此M_i的曲线分布符合高斯分布。理想情况下,条纹的中心点为M_i分布曲线的极大值点。对于离散函数M_i,可通过有限差值的方法近似求解二阶导数来确定极大点,从而确定彩色条纹的中心点坐标。但在捕获结构光投影图像时,由于外界因素对M_i分布曲线的影响,M_i曲线在一个彩色条纹区间内会出现多个局部极大值点,如图3所示。因此,通过二阶导数确定的极大值点并不能直接得到真实的条纹中心点坐标。鉴于此,首先根据M_i的二阶导数确定条纹间的边界点,再根据M_i的一阶导数确定2个边界点之间的条纹粗中心点坐标,然后基于粗中心点的法线方向进行泰勒展开,精确定位中心点,从而实现条纹中心点的亚像素提取。

为确定条纹间的边界点,首先根据M_i二阶导数循环判断当前像素点j是否为零点位置,并定义零点亚像素位置为j+Δj,得到零点亚像素位置序列:

\begin{matrix} \begin{matrix} Δj = \frac{d S_{i} (j - 1)}{d S_{i} (j - 1) - d S_{i} (j)} - 1, (14) \\ d M_{i} (j) = \frac{M_{i} (j + 1) - M_{i} (j - 1)}{2}, (15) \\ S_{i} (j) = d M_{i} (j) \times d M_{i} (j), (16) \\ d S_{i} (j) = \frac{S_{i} (j + 1) - S_{i} (j - 1)}{2}, (17) \end{matrix} \end{matrix}

式中dM_i(j)为M_i(j)的一阶中心差分导数,S_i(j)为dM_i(j)的平方值,dS_i(j)为S_i(j)的一阶中心差分导数,j=2,…,V。如果当前像素点j的dS_i(j)值为0,则j即为零点位置,Δj=0;如果当前像素点j的dS_i(j)和前一个像素点j-1的dS_i(j-1)值都不为0,且符号相反,则零点位置介于j-1和j之间,其亚像素位置Δj如(14)式所示。

图 2. 结构光投影图像彩色条纹亚像素中心位置

Fig. 2. Sub-pixel center position of structure light projection image stripe

下载图片查看所有图片

图 3. M_i分布曲线

Fig. 3. Distribution curve of M_i

下载图片查看所有图片

然后,根据零点亚像素位置序列确定条纹边界点位置序列。如果当前零点位置k的一阶导数值dS_i(k)大于0,而且下一个零点位置k+1的一阶导数值dS_i(k+1)小于0,则当前零点位置k为条纹边界点位置,反之则不是边界点。通过以上定义得到条纹边界点亚像素位置序列。

最后,根据条纹边界点位置序列确定边界点之间的粗条纹中心位置。假定当前边界点位置为q,下一个边界点位置为q+1。因为在解码过程中只需要确定彩色条纹的中心位置,因此,在确定中心位置之前要确定q与q+1之间是黑色条纹还是彩色条纹。假设q与q+1之间的条纹像素点个数为n,令这n个像素点的M_i向量为D,即D(c)=M_i(m),c=1,…,n,m=in(q),…,in(q+1),其中in(q)表示的是边界点q的纵坐标,然后分别统计向量t的递增点个数和递减点个数,即当D(c)>D(c+1),则递减点个数加1,如果D(c)(c+1),则递增点个数加1。因为黑色背景是从彩色渐变到黑色,所以递减点个数小于递增点个数,而对于彩色条纹,是从黑色渐变到彩色,所以递减点个数大于递增点个数;因此,可通过统计D的递增点个数和递减点个数判别条纹是黑色背景条纹还是彩色条纹,若是彩色条纹,则根据下式确定粗中心点的纵坐标坐标:

\begin{matrix} j = in (q) + \frac{D \cdot I^{- T}}{n} - 0.5, (18) \end{matrix}

式中I为D的索引向量,即I(r)=r,r=1,…,n。最后得到当前彩色条纹粗中心点坐标(x,y)=(i,j)。

得到条纹粗中心点位置序列之后,基于每个粗中心点的法线方向进行泰勒展开,得到精确的中心点坐标。假设当前的粗中心点的坐标为(x,y),该点的法线方向就是图像I(x,y)中二阶方向导数绝对值取极大值的方向,该方向可以通过计算Hession矩阵的特征值和特征向量来确定,Hession矩阵为

\begin{matrix} \begin{matrix} H (x, y) = [\begin{matrix} \frac{\partial g (x, y)}{\partial x^{2}} & \frac{\partial g (x, y)}{\partial x \partial y} \\ \frac{\partial g (x, y)}{\partial x \partial y} & \frac{\partial g (x, y)}{\partial y^{2}} \end{matrix}] \otimes \\ I (x, y) = (\begin{matrix} r_{xx} & r_{xy} \\ r_{xy} & r_{yy} \end{matrix}), (19) \end{matrix} \end{matrix}

式中g(x,y)为二维高斯函数,粗中心点坐标(x,y)的法线方向与图像I(x,y)在该点的Hession矩阵最大特征值的绝对值对应的特征向量相同。假设点(x,y)的法线向量的单位向量n=(n_x,n_y),以粗中心点坐标(x,y)为基点,对该基点的像素分布函数沿(n_x,n_y)方向进行二阶泰勒展开,则精确中心点的像素值为

\begin{matrix} \begin{matrix} I (x + t n_{x}, y + t n_{y}) = \\ I (x, y) + tn \cdot (r_{x}, r_{y})^{T} + \\ \frac{t^{2}}{2!} \cdot n^{T} \cdot H (x, y) \cdot n, (20) \end{matrix} \end{matrix}

式中(r_x,r_y)由图像I(x,y)与高斯卷积核得到:

\begin{matrix} \begin{matrix} r_{x} = [\frac{\partial g (x, y)}{\partial x}] \otimes I (x, y), (21) \\ r_{y} = [\frac{\partial g (x, y)}{\partial y}] \otimes I (x, y) 。 (22) \end{matrix} \end{matrix}

令∂I/∂t=0,结合(20)式得到:

\begin{matrix} t = \frac{n_{x} r_{x} + n_{y} r_{y}}{n_{x}^{2} \cdot r_{xx} + 2 n_{x} n_{y} r_{xy} + n_{y}^{2} r_{yy}}, (23) \end{matrix}

则条纹精确中心点坐标为(x+tn_x,y+tn_y)。

根据以上原理,基于色彩迁移技术的条纹中心点亚像素提取算法流程如下。

输入:相机捕获的结构光投影图像。

输出:结构光投影图像的彩色条纹中心点亚像素坐标。

1) 根据(13)式获取当前行所有坐标点的RGB最大值序列M_i。

2) 根据(15)式计算M_i的一阶导数dM_i,再根据(17)式计算S_i的一阶导数dS_i。

3) 根据(14)式确定dS_i的亚像素零点位置序列,再根据零点位置序列确定条纹边界点位置序列。

4) 循环判断两个条纹边界点之间是彩色条纹还是黑色条纹,如果是彩色条纹则根据(18)式确定这两个条纹边界点之间的粗中心位置。

5) 根据(19)式计算粗中心点坐标的法线方向,然后基于(20)式对粗中心点坐标进行泰勒展开,最后根据(23)式得到条纹的精确中心点坐标。

3 实验结果
实验设备采用DLP4500数字投影仪和POINTGREY的CM3-U3-13Y3C-CS工业相机,分辨率分别为912 pixel×1140 pixel和1280 pixel×1024 pixel。为了验证算法的有效性,结合主观视觉评价和均方误差(MSE)、峰值信噪比(PSNR)、特征点匹配精度评价本文的结构光投影图像增强方法和条纹中心点提取方法。其中:MSE反映结构光投影图像颜色恢复后与结构光编码图像之间的误差,值越小,说明结构光投影图像增强效果越好;PSNR是信号最大可能功率和影响它精度的破坏性噪声功率的比值,值越大,说明结构光投影图像增强效果越好^[19]。
分别以钢轨金属材质、彩色花瓶材质、人的手部和石膏头像为检测对象进行实验,其材质和形状各具代表性,能充分验证本文增强算法对不同材质的结构光投影图像增强效果的稳健性,以及条纹中心点亚像素提取算法对表面形状变化剧烈的结构光投影图像中心点提取结果的适用性。
受物体表面材质纹理和不均匀光照等因素的影响,将DeBruijn结构光编码图像投影到各种材质物体表面时都发生了色彩扭曲,加大了颜色识别的难度。图4所示为本文增强算法和Retinex算法对结构光投影图像增强后的结果,其中具有金属光泽的轮轨表面、浅绿色的花瓶材质和人手皮肤颜色的结构光投影图像能充分验证本文算法的稳健性。从视觉效果的对比可以看出,本文增强算法明显改善了结构光投影图像的质量,有效提高了颜色识别的精度。表1中MSE和PSNR的对比结果亦说明本文增强算法的处理效果明显优于Retines算法。
表 1. 结构光投影图像增强结果对比
Table 1. Comparison of structured light projection image enhancement
Algorithm Experiment object MSE PSNR Feature point matchingaccuracy /%
Retinex Rail metal 109.1 27.7565 89.1
Proposed Rail metal 101.4 28.0718 95.3
Retinex Color vase 107.4 27.8214 92.6
Proposed Color vase 99.3 28.1628 96.1
Retinex Hand 121.9 27.2709 90.3
Proposed Hand 70.5 29.6479 96.2
Retinex Plaster portrait 129.6 27.0034 88.9
Proposed Plaster portrait 101.0 28.0854 94.3
查看所有表
表 2. 条纹中心点提取结果对比
Table 2. Comparison of extraction results of fringe center points
Algorithm Experimentobject Number of extractcenter points Number of falseextract center points Errorrate /%
Ref. [5] Rail metal 21763 1914 8.8
Proposed Rail metal 25742 1021 3.9
Ref. [5] Color vase 11524 1311 11.3
Proposed Color vase 16284 1024 6.3
Ref. [5] Hand 9811 945 9.6
Proposed Hand 15864 951 5.9
Ref. [5] Plaster portrait 7785 668 8.5
Proposed Plaster portrait 10294 426 4.1
查看所有表
为了提高解码的精度,对增强算法处理后的结构光投影图像提出两步精确定位的条纹中心点亚提取算法。利用本文算法和Yang等^[5]算法分别对图4中的结构光投影图像进行条纹中心点提取,结果如图5所示。主观视觉对比可以得出,Yang等^[5]算法会出现部分漏检和错检,主要原因在于多条纹彩色图像在灰度化过程中容易出现灰度化非对称的现象,而本文算法首先在RGB空间完成条纹中心点的粗定位,然后再基于粗中心点的法线方向进行泰勒展开以精确定位,避免了图像灰度化的过程,实现了高精度的条纹中心点提取。对于目标表面形状变化比较剧烈的石膏头像,本文算法也能取得较好的提取效果。另外,分别统计两种算法对同一组结构光投影图像提取的中心点数、错检中心点数以及错误率,错检中心点为漏检和多检的情况,如图6所示为局部放大的错检结果,当条纹局部颜色不均时,两种算法都会发生一定的错检情况。从表2的统计结果可以看出,Yang等^[5]方法检测到的条纹中心点总数明显少于本文算法提取的总数,检测错误率也明显高于本文算法。
图 4. 相机捕获的结构光投影图像和增强处理后的结果对比
Fig. 4. Comparison of captured structured light projection images and enhanced processing results
下载图片查看所有图片
图 5. 结构光投影图像条纹中心点提取结果
Fig. 5. Extraction results of fringe centers in structured light projection images
下载图片查看所有图片
图 6. 错误中心点检测
Fig. 6. Error center point detection
下载图片查看所有图片
4 结论
针对光照和被测物体表面纹理等因素,导致结构光投影图像解码精度不高的问题,提出一种基于色彩迁移技术的结构光解码算法。首先,以结构光编码图像为先验知识,采用色彩迁移的方式,将编码图像的颜色分布迁移到相机捕获的结构光投影图像上,提高条纹中心点颜色识别的精度;然后,在RGB颜色空间提出两步精确定位的彩色条纹中心点亚像素提取算法,有效提高了条纹中心点提取的精度。实验结果表明,本文算法有效提高了结构光测量系统的解码精度。

参考文献
[1] 韦争亮, 钟约先, 袁朝龙. 色栅线动态三维测量中自适应相关匹配技术[J]. 光学学报, 2009, 29(4): 949-954.
    Wei Z L, Zhong Y X, Yuan C L. Matching technique of self-adaptation correlation in dynamic three-dimensional measurement by color grating[J]. Acta Optica Sinica, 2009, 29(4): 949-954.
[2] 苏显渝, 张启灿, 陈文静. 结构光三维成像技术[J]. 中国激光, 2014, 41(2): 0209001.
    Su X Y, Zhang Q C, Chen W J. Three-dimensional imaging based on structured illumination[J]. Chinese Journal of Lasers, 2014, 41(2): 0209001.
[3] Lim J, Ryu M. Optimized projection patterns for stereo systems[J]. Image and Vision Computing, 2015, 39: 10-22.
[4] Jordi S, Salvi J, Collewet C, et al. Optimised De Bruijn patterns for one-shot shape acquisition[J]. Image and Vision Computing, 2005, 23(8): 707-720.
[5] Yang R, Cheng S, Yang W, et al. Robust and accurate surface measurement using structured light[J]. IEEE Transactions on Instrumentation and Measurement, 2008, 57(6): 1275-1280.
[6] 蔡怀宇, 冯召东, 黄战华. 基于主成分分析的结构光条纹中心提取方法[J]. 中国激光, 2015, 42(3): 0308006.
    Cai H Y, Feng Z D, Huang Z H. Extraction method of structured light stripe center based on principal component analysis[J]. Chinese Journal of Lasers, 2015, 42(3): 0308006.
[7] 刘振, 李声, 冯常. 基于互相关算法的激光条纹中心提取[J]. 中国激光, 2013, 40(5): 0508004.
    Liu Z, Li S, Feng C. Laser stripe center extraction based on cross-correlation algorithm[J]. Chinese Journal of Lasers, 2013, 40(5): 0508004.
[8] Fechteler P, Eisert P. Adaptive colour classification for structured light systems[J]. IET Computer Vision, 2009, 3(2): 49-59.
[9] 范静涛, 韩成, 张超, 等. 一种新的De Bruijn彩色结构光解码技术研究[J]. 电子学报, 2012, 40(3): 483-488.
    Fan J T, Han C, Zhang C, et al. Study of a new decoding technology for De Bruijn structured light[J]. Acta Electronica Sinca, 2012, 40(3): 483-488.
[10] 陆军, 张鑫, 高乐, 等. 基于De Bruijn序列的彩色结构光编解码方法研究[J]. 光电子·激光, 2014, 25(1): 147-155.
    Lu J, Zhang X, Gao L, et al. Research on color structured light coding and decoding method based on DeBruijn sequences[J]. Journal of Optoelectronics·Lasers, 2014, 25(1): 147-155.
[11] LimJ, deHarakB. On Edwin H. Land's Retinex theory: developing a classroom demonstration for color vision[C]. John Wesley Powell Student Research Conference, 2012.
[12] Reinhard E, Ashikhmin M, Gooch B, et al. Color transfer between images[J]. IEEE Computer Graphics & Applications, 2002, 21(5): 34-41.
[13] PitieF, Kokaram AC, DahyotR. N-dimensional probability density function transfer and its application to colour transfer[C]// Proceedings of the Tenth IEEE International Conference on Computer Vision, 2005: 1434- 1439.
[14] WelshT, AshikhminM, MuellerK. Transferring color to greyscale images[C]. Conference on Computer Graphics and Interactive Techniques, ACM, 2002: 277- 280.
[15] Faridul HS, PouliT, ChamaretC, et al. A survey of color mapping and its applications[C]. Eurographics (State of the Art Reports), 2014: 43- 67.
[16] PagesJ, SalviJ, ForestJ. A new optimised De Bruijn coding strategy for structured light patterns[C]// International Conference on Pattern Recognition, IEEE, 2004: 284- 287.
[17] ZhangL, CurlessB, Seitz SM. Rapid shape acquisition using color structured light and multi-pass dynamic programming[C]// International Symposium on 3D Data Processing Visualization and Transmission, 2002: 24- 36.
[18] GroganM, Dahyot R. Robust registration of Gaussian mixtures for colour transfer[J]. arXiv preprint arXiv: 1705. 06091, 2017.
[19] 王灿进, 孙涛, 陈娟. 基于方向滤波器组的激光主动成像图像复原[J]. 中国激光, 2014, 41(8): 0802011.
    Wang C J, Sun T, Chen J. Image restoration in laser active imaging based on directional filters[J]. Chinese Journal of Lasers, 2014, 41(8): 0802011.
Article Outline
1 引言
2 基于色彩迁移技术的DeBruijn彩色结构光解码算法
2.1 基于色彩迁移技术的结构光投影图像增强方法
2.2 基于色彩迁移技术的彩色条纹中心点亚像素提取方法
3 实验结果
4 结论
白宏运, 许宏丽, 黄华. 一种基于色彩迁移技术的DeBruijn彩色结构光解码算法[J]. 激光与光电子学进展, 2018, 55(1): 011013. Bai Hongyun, Xu Hongli, Huang Hua. A DeBruijn Color Structured Light Decoding Algorithm Based on Color Transfer Technique[J]. Laser & Optoelectronics Progress, 2018, 55(1): 011013.

一种基于色彩迁移技术的DeBruijn彩色结构光解码算法下载： 1075次

1 引言

2 基于色彩迁移技术的DeBruijn彩色结构光解码算法

图 1. 基于色彩迁移技术的DeBruijn彩色结构光解码算法流程图

Fig. 1. Flow chart of DeBruijn color structured light decoding algorithm based on color transfer technique

2.1 基于色彩迁移技术的结构光投影图像增强方法

2.2 基于色彩迁移技术的彩色条纹中心点亚像素提取方法

图 2. 结构光投影图像彩色条纹亚像素中心位置

Fig. 2. Sub-pixel center position of structure light projection image stripe

图 3. M_i分布曲线

Fig. 3. Distribution curve of M_i

3 实验结果

表 1. 结构光投影图像增强结果对比

Table 1. Comparison of structured light projection image enhancement

表 2. 条纹中心点提取结果对比

Table 2. Comparison of extraction results of fringe center points

图 4. 相机捕获的结构光投影图像和增强处理后的结果对比

Fig. 4. Comparison of captured structured light projection images and enhanced processing results

图 5. 结构光投影图像条纹中心点提取结果

Fig. 5. Extraction results of fringe centers in structured light projection images

图 6. 错误中心点检测

Fig. 6. Error center point detection

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

一种基于色彩迁移技术的DeBruijn彩色结构光解码算法 下载： 1075次

1 引言

2 基于色彩迁移技术的DeBruijn彩色结构光解码算法

图 1. 基于色彩迁移技术的DeBruijn彩色结构光解码算法流程图

Fig. 1. Flow chart of DeBruijn color structured light decoding algorithm based on color transfer technique

2.1 基于色彩迁移技术的结构光投影图像增强方法

2.2 基于色彩迁移技术的彩色条纹中心点亚像素提取方法

图 2. 结构光投影图像彩色条纹亚像素中心位置

Fig. 2. Sub-pixel center position of structure light projection image stripe

图 3. Mi分布曲线

Fig. 3. Distribution curve of Mi

3 实验结果

表 1. 结构光投影图像增强结果对比

Table 1. Comparison of structured light projection image enhancement

表 2. 条纹中心点提取结果对比

Table 2. Comparison of extraction results of fringe center points

图 4. 相机捕获的结构光投影图像和增强处理后的结果对比

Fig. 4. Comparison of captured structured light projection images and enhanced processing results

图 5. 结构光投影图像条纹中心点提取结果

Fig. 5. Extraction results of fringe centers in structured light projection images

图 6. 错误中心点检测

Fig. 6. Error center point detection

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

一种基于色彩迁移技术的DeBruijn彩色结构光解码算法下载： 1075次

图 3. M_i分布曲线

Fig. 3. Distribution curve of M_i