条纹投影相位高度转换映射模型及其标定方法

陆鹏; 孙长库; 王鹏

doi:doi:10.3788/AOS201838.0212004

光学学报, 2018, 38 (2): 0212004, 网络出版: 2018-08-30

条纹投影相位高度转换映射模型及其标定方法下载： 1313次

Fringe Projection Phase-to-Height Mapping Model and Its Calibration Method

论文大纲

陆鹏孙长库王鹏 ^*

作者单位

天津大学精密测试技术及仪器国家重点实验室, 天津 300072

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了提高条纹投影三维(3D)测量系统的测量速度和准确度,提出了一种改进的相位高度转换映射模型。通过建立虚拟相机坐标系以及分析条纹信息在投射器坐标系与相机坐标系之间的转换关系,在相机坐标系中建立了从相位到高度的一一映射模型,并在映射模型中校正了相机镜头的畸变。该模型结构简单,便于结合查表(LUT)法使用。应用查表法后,模型算法复杂度极低,可以应用在高速测量中。同时,提出了一种针对映射模型的标定方法,并在相机标定过程中利用逆向投影优化过程对相机的参数进行迭代优化。标定方法简单高效,不需要参考平面,且对系统中的相机和投射器的相对位姿没有严格的要求。实验结果表明所提映射模型及标定方法可以实现快速准确的三维测量。

Abstract

In order to improve the measurement speed and accuracy of fringe projection three-dimensional (3D) measurement system, an approved phase-to-height mapping model is proposed. By building a virtual camera coordinate system and analyzing the conversion relation of fringe patterns between projector coordinate system and camera coordinate system, a one-to-one mapping relationship from phase to height in the camera corrected system is built and the lens distortion of the camera is included in the mapping model. Due to its simple expression, this model is suited for combining with look-up-table (LUT) method. With LUT method, this model can be used in high speed measurement because of its low algorithm complexity. Meanwhile, a calibration method for this model is proposed, and back-projection process is used to optimize the parameters of the camera in calibration process. The calibration method is easy to operate and no reference plane is needed. Also, the relative postures of the camera and the projector in fringe projection system can be arbitrarily arranged. Experimental results indicate that the proposed mapping model and its calibration method can achieve 3D measurement rapidly and accurately.

1 引言

条纹投影轮廓术具有信息处理容易、测量准确度高、速度快以及像素级的分辨率等优点,因此得到广泛的应用^[1-6]。典型的条纹投影三维(3D)测量系统包括一台投射器和一台相机,前者用于投射一系列正弦条纹,后者用于拍摄被条纹照射的被测物的图像,然后利用一系列算法处理这些图像以实现三维测量。条纹投影轮廓术的关键技术包括两部分:相位解包裹算法^[7-11]和标定技术^[12-21],其中后者对于条纹投影三维测量系统的准确度、速度和系统组成有很大的影响,所以受到了很多研究人员的关注。现有的标定技术可以分为两种:基于立体视觉的标定技术和相位高度转换技术。

受双目视觉系统启发,许多研究人员研究并改进了基于立体视觉的标定技术。为了实现三维测量,标定时投射器和相机的内部参数以及二者之间的旋转矩阵、平移向量均需要被标定计算出来。Zhang等^[12]提出了一种标定方法,其中投射器可以像相机一样“拍摄”图像,这种方法通过投射一系列的水平和竖直条纹来标定投射器并建立投射器和相机的空间关系。Li等^[13]利用预畸变投射条纹的方法消除了投射器镜头畸变造成的影响。为了进一步提高测量准确度,Li等^[14]提出了一种算法估计投射器的最佳投射角。最近,Chen等^[15]提出一种自标定方法实现了条纹投影测量系统的在线标定。由于需要投射各种图案以标定投射器并计算投射器和相机的空间关系,基于立体视觉的标定技术仅适用于投射器是液晶显示器(LCD)或者数字微透镜阵列(DMD)的情况。然而,在某些情况下,如莫尔条纹投影系统^[4]、光纤干涉投影系统^[5]和扫描频闪条纹投影系统^[6],这种技术不再适用,因为这些系统中的投射器不能被看作“反向”的相机。

另一个分支是相位高度转换标定技术。这种技术不考虑标定投射器,而是通过数学模型直接建立相位和高度的关系,因此不受投射器种类的约束。受插值法的启发,Léandry等^[16]提出了一种多项式映射的模型建立相位和高度映射关系。为了达到较高的测量准确度,多项式的次数需要不小于4,因此该测量过程费时,不适合用于高速测量系统中。Lu等^[17]提出了一种基于条纹几何约束的相位高度转换方法,这种方法具有高测量准确度和强稳健性,但是同样存在计算量大的问题。Du等^[18]利用相机针孔模型结合光线追迹理论建立了相位和高度的映射关系,Huang等^[19]通过考虑相机镜头的畸变提高了这种模型的准确度。对应的标定方法需要不同高度的量块和参考面,因此限制了它们的应用范围。此外,文献[ 19]中的模型参数有34个,计算量大。Tavares等^[20]利用实验经验提出了相位差和高度的映射关系。Zhang等^[21]通过多项式映射的方法建立世界坐标和相位差的一对一映射公式。文献[ 20-21]中的方法本质上是用查表法(LUT)的像素级标定方法。这些方法依赖于相位图中每个像素精确的相位值,为了保证每个点标定结果的准确度,需要标定板移动足够的位置,因此标定过程费时。另外,这两种模型都需要参考平面来计算相位差,会产生误差累积。

本文通过建立虚拟相机坐标系(CCS)以及分析条纹信息在相机坐标系和投射器坐标系(PCS)之间的转换关系,提出了一种针对条纹投影三维测量系统的改进的相位高度转换映射模型及标定方法,它们具有以下特点:1)在标定模型中校正了相机镜头畸变,减少了误差累积,提高了测量准确度;2)模型结构简单,适用于结合LUT法使用,使用LUT法后,算法复杂度极低,可以实现高速测量;3)标定过程操作容易、效率高;4)适用于所有条纹投影三维测量系统,对投射器和相机的空间相对位姿没有严格要求。

2 测量系统标定模型

2.1 相机透视成像模型及逆向投影优化过程(BPP)

根据小孔成像原理^[22],相机透视成像模型公式为:

\begin{matrix} \begin{matrix} \{\begin{matrix} {[\begin{matrix} X_{C} & Y_{C} & Z_{C} \end{matrix}]}^{T} = R_{C} {[\begin{matrix} X_{W} & Y_{W} & Z_{W} \end{matrix}]}^{T} + T_{C} \\ λ_{C} {[\begin{matrix} u & v & 1 \end{matrix}]}^{T} = K_{C} {[\begin{matrix} X_{C} / Z_{C} & Y_{C} / Z_{C} & 1 \end{matrix}]}^{T} \end{matrix}, \\ K_{C} = [\begin{matrix} f_{u} & s f_{u} & u_{o} \\ 0 & f_{v} & v_{o} \\ 0 & 0 & 1 \end{matrix}], (1) \end{matrix} \end{matrix}

式中[ $\begin{matrix} \begin{matrix} X_{C} & Y_{C} & Z_{C} \end{matrix} \end{matrix}$ ]^T表示相机坐标系中的坐标,[ $\begin{matrix} \begin{matrix} X_{W} & Y_{W} & Z_{W} \end{matrix} \end{matrix}$ ]^T表示世界坐标系(WCS)的坐标;R_C和T_C分别是世界坐标系到相机坐标系的旋转矩阵和平移向量;[ $\begin{matrix} \begin{matrix} f_{u} & f_{v} \end{matrix} \end{matrix}$ ]^T代表镜头的焦距,[ $\begin{matrix} \begin{matrix} u_{o} & v_{o} \end{matrix} \end{matrix}$ ]^T是图像中心坐标;s是图像坐标轴的扭曲系数,λ_C为尺度因子。

实际中必须考虑镜头畸变的影响,为了在相位高度转换过程中校正畸变,采用畸变校正模型:

\begin{matrix} \{\begin{matrix} u_{un} = u (1 + e_{1} r^{2} + e_{2} r^{4} + e_{3} r^{6}) + [2 g_{1} uv + g_{2} (r^{2} + 2 u^{2})] \\ v_{un} = v (1 + e_{1} r^{2} + e_{2} r^{4} + e_{3} r^{6}) + [g_{1} (r^{2} + 2 v^{2}) + 2 g_{2} uv] \\ r^{2} = u^{2} + v^{2} \end{matrix}, (2) \end{matrix}

式中[ $\begin{matrix} \begin{matrix} u & v \end{matrix} \end{matrix}$ ]^T代表未经畸变校正的图像坐标,[ $\begin{matrix} \begin{matrix} u_{un} & v_{un} \end{matrix} \end{matrix}$ ]^T代表校正后的图像坐标;e₁,e₂和e₃代表径向畸变参数,g₁和g₂代表切向畸变参数,r= $\begin{matrix} \sqrt[]{u^{2} + v^{2}} \end{matrix}$ 表示图像坐标点和中心点的距离。

相机参数优化过程通常分为两种:BPP^[23]和正向成像优化过程(FIP)^[24]。相比于后者,前者更适用于三维测量,尤其针对畸变较大和图像噪声等级较高的相机^[23]。基于BPP的这些优点,本研究在标定过程中采用BPP对相机参数进行优化。

2.2 三维测量模型

如图1所示,建立一个投射器坐标系O_P-X_PY_PZ_P,其中O_P代表发光点,X_P轴平行于相位变化的方向,Y_P轴垂直于相位变化的方向,Z_P轴垂直于相平面。因此,在投射器坐标系中任意一点的坐标可以表示为[ $\begin{matrix} \begin{matrix} X_{P} & Y_{P} & Z_{P} \end{matrix} \end{matrix}$ ]^T。

图 1. 投射器坐标系和绝对相位图的空间关系

Fig. 1. Spatial relation between PCS and absolute phase map

下载图片查看所有图片

由图1可知,在投射器坐标系中,同一条光线上的空间点相位相同,均为ϕ。在同一高度Z_P上,相位值从ϕ₀变化到ϕ₁,对应的X_P变化范围是[X_P(ϕ₀),X_P(ϕ₁)]。对于从O_P发出的任意光线,可得:

\begin{matrix} \vec{X_{P} (ϕ_{0}) X_{P}} = F (‖ O_{P} Z_{P} ‖) \vec{ϕ_{0} ϕ}, F (‖ O_{P} Z_{P} ‖) = w ‖ O_{P} Z_{P} ‖ = w Z_{P}, (3) \end{matrix}

式中w是尺度因子。由(3)式可推导出:

\begin{matrix} X_{P} = w Z_{P} (ϕ - ϕ_{0}) + X_{P} (ϕ_{0}) 。 (4) \end{matrix}

相机坐标系到投射器坐标系的坐标变换公式为:

\begin{matrix} {[\begin{matrix} X_{P} & Y_{P} & Z_{P} \end{matrix}]}^{T} = T_{P} + R_{P} {[\begin{matrix} X_{C} & Y_{C} & Z_{C} \end{matrix}]}^{T}, (5) \end{matrix}

式中R_P是旋转矩阵,T_P是平移向量,两者可表示为:

\begin{matrix} R_{P} = [\begin{matrix} r_{11} & r_{12} & r_{13} \\ r_{21} & r_{22} & r_{23} \\ r_{31} & r_{32} & r_{33} \end{matrix}], T_{P} = {[\begin{matrix} t_{X} & t_{Y} & t_{Z} \end{matrix}]}^{T} 。 (6) \end{matrix}

这里,定义一个虚拟相机坐标系(CCS'),使其与投射器坐标系具有相同的姿态,与相机坐标系具有相同的位置,如图2(b)所示,为:

图 2. 坐标转换关系。(a)条纹投影三维测量系统;(b)具体的坐标系变换过程

Fig. 2. Coordinate transformation relation. (a) Fringe projection 3D measurement system; (b) detailed coordinate transformation process

下载图片查看所有图片

\begin{matrix} \begin{matrix} {[\begin{matrix} X_{P} & Y_{P} & Z_{P} \end{matrix}]}^{T} = T_{P} + {[\begin{matrix} X_{C'} & Y_{C'} & Z_{C'} \end{matrix}]}^{T}, \\ {[\begin{matrix} X_{C'} & Y_{C'} & Z_{C'} \end{matrix}]}^{T} = R_{P} {[\begin{matrix} X_{C} & Y_{C} & Z_{C} \end{matrix}]}^{T} 。 (7) \end{matrix} \end{matrix}

将(7)式代入(4)式,可得:

\begin{matrix} \begin{matrix} X_{C'} + t_{X} = w (Z_{C'} + t_{Z}) (ϕ - ϕ_{0}) + X_{P} (ϕ_{0}) 。 (8) \end{matrix} \end{matrix}

通过(1)式可得虚拟相机坐标系中图像坐标(u',v')和物点坐标的关系为

\begin{matrix} \frac{X_{C'}}{Z_{C'}} = \frac{u' - u_{o}}{f_{u}} - s \frac{v' - v_{o}}{f_{v}}, \frac{Y_{C'}}{Z_{C'}} = \frac{v' - v_{o}}{f_{v}} 。 (9) \end{matrix}

将(9)式代入(8)式,可得:

\begin{matrix} Z_{C'} = \frac{b_{0} + ϕ}{b_{1} + b_{2} ϕ + b_{3} u' + b_{4} v'}, (10) \end{matrix}

式中b₀=-ϕ₀- $\begin{matrix} \frac{t_{X}}{w t_{Z}} \end{matrix}$ + $\begin{matrix} \frac{X_{P} (ϕ_{0})}{w t_{Z}} \end{matrix}$ ,b₁=- $\begin{matrix} \frac{u_{o}}{f_{u} w t_{Z}} \end{matrix}$ + $\begin{matrix} \frac{s v_{o}}{f_{v} w t_{Z}} \end{matrix}$ + $\begin{matrix} \frac{ϕ_{0}}{t_{Z}} \end{matrix}$ ,b₂=- $\begin{matrix} \frac{1}{t_{Z}} \end{matrix}$ ,b₃= $\begin{matrix} \frac{1}{f_{u} w t_{Z}} \end{matrix}$ ,b₄=- $\begin{matrix} \frac{s}{f_{v} w t_{Z}} \end{matrix}$ 。

展开(7)式并且令X_C'和Y_C'分别除以Z_C'得:

\begin{matrix} \{\begin{matrix} \frac{X_{C'}}{Z_{C'}} = \frac{r_{11} X_{C} / Z_{C} + r_{12} Y_{C} / Z_{C} + r_{13}}{r_{31} X_{C} / Z_{C} + r_{32} Y_{C} / Z_{C} + r_{33}} \\ \frac{Y_{C'}}{Z_{C'}} = \frac{r_{21} X_{C} / Z_{C} + r_{22} Y_{C} / Z_{C} + r_{23}}{r_{31} X_{C} / Z_{C} + r_{32} Y_{C} / Z_{C} + r_{33}} \end{matrix} 。 (11) \end{matrix}

和(9)式的变换相似,可以从(11)式推导得出:

\begin{matrix} \{\begin{matrix} u' = u_{o} + f_{u} \frac{m_{11} (u - u_{o}) + m_{12} (v - v_{o}) + m_{13}}{m_{31} (u - u_{o}) + m_{32} (v - v_{o}) + m_{33}} \\ v' = v_{o} + f_{v} \frac{m_{21} (u - u_{o}) + m_{22} (v - v_{o}) + m_{23}}{m_{31} (u - u_{o}) + m_{32} (v - v_{o}) + m_{33}} \end{matrix}, (12) \end{matrix}

式中m₁₁= $\begin{matrix} \frac{r_{11} + s r_{21}}{f_{u}} \end{matrix}$ ,m₁₂= $\begin{matrix} \frac{(r_{12} - s r_{11}) + s (r_{22} - s r_{21})}{f_{v}} \end{matrix}$ ,m₁₃=r₁₃+sr₂₃,m₂₁= $\begin{matrix} \frac{r_{21}}{f_{u}} \end{matrix}$ ,m₂₂= $\begin{matrix} \frac{r_{22} - s r_{21}}{f_{v}} \end{matrix}$ ,m₂₃=r₂₃,m₃₁= $\begin{matrix} \frac{r_{31}}{f_{u}} \end{matrix}$ ,m₃₂= $\begin{matrix} \frac{r_{32} - s r_{31}}{f_{v}} \end{matrix}$ ,m₃₃=r₃₃。

利用泰勒级数将(12)式展开:

\begin{matrix} \{\begin{matrix} u' = u_{o} + \frac{m_{11} (u - u_{o}) + m_{12} (v - v_{o}) + m_{13}}{m_{33}} \{1 - [\frac{m_{31}}{m_{33} f_{u}} (u - u_{o}) + \frac{m_{32}}{m_{33} f_{u}} (v - v_{o})] + \\ {[\frac{m_{31}}{m_{33} f_{u}} (u - u_{o}) + \frac{m_{32}}{m_{33} f_{u}} (v - v_{o})]}^{2} - \dots\} \\ v' = v_{o} + \frac{m_{21} (u - u_{o}) + m_{22} (v - v_{o}) + m_{23}}{m_{33}} \{1 - [\frac{m_{31}}{m_{33} f_{v}} (u - u_{o}) + \frac{m_{32}}{m_{33} f_{v}} (v - v_{o})] + \\ {[\frac{m_{31}}{m_{33} f_{v}} (u - u_{o}) + \frac{m_{32}}{m_{33} f_{v}} (v - v_{o})]}^{2} - \dots\} \end{matrix} 。 (13) \end{matrix}

对相机镜头的畸变进行校正,为了避免寻找图像中心坐标[ $\begin{matrix} \begin{matrix} u_{o} & v_{o} \end{matrix} \end{matrix}$ ]^T,展开(2)式和(13)式。(2)式和(13)式展开后的结果均可表示为:

\begin{matrix} \{\begin{matrix} u ″ = p_{00} + p_{10} u + p_{01} v + p_{20} u^{2} + p_{11} uv + p_{02} v^{2} + p_{30} u^{3} + \dots = \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} p_{ij} u^{i} v^{j} \\ v ″ = q_{00} + q_{10} u + q_{01} v + q_{20} u^{2} + q_{11} uv + q_{02} v^{2} + q_{30} u^{3} + \dots = \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} q_{ij} u^{i} v^{j} \end{matrix}, (14) \end{matrix}

式中[ $\begin{matrix} \begin{matrix} u ″ & v ″ \end{matrix} \end{matrix}$ ]^T是变换后的图像坐标,n是拟合阶数。 (14)式可以认为是相机坐标系中的图像坐标进行相机镜头畸变校正后转换到虚拟相机坐标系中的图像坐标的情况。将(14)式代入(10)式,相机坐标系中镜头畸变的高度值( $\begin{matrix} \begin{matrix} Z_{C}; & u & v & ϕ \end{matrix} \end{matrix}$ )可以表示为:

\begin{matrix} Z_{C} = \frac{b_{0} + ϕ}{b_{1} + b_{2} ϕ + \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} k_{ij} u^{i} v^{j}}, (15) \end{matrix}

式中k_ij=b₃p_ij+b₄q_ij,n是(13)式的拟合阶数。

(15)式中的参数为:

\begin{matrix} \min \overset{N}{\sum_{i = 0}} {|Z_{C}^{i} - {\dot{Z}}_{C} (b_{0}, b_{1}, b_{2}, k_{ij})|}^{2}, (16) \end{matrix}

式中N是从标定靶标中提取出的特征点的总数, $\begin{matrix} {\dot{Z}}_{C} \end{matrix}$ 是通过(14)式计算得到的Z_C的估计值。估计(16)式的最小值是一个非线性最优化过程,可以通过Levenberg-Marquardt算法计算。

为了获得(16)式的初始值,将(15)式中的非线性参数设为0,所以(15)式可化为:

\begin{matrix} [\begin{matrix} - 1 & Z_{C} & ϕ Z_{C} & u Z_{C} & v Z_{C} \end{matrix}] B = ϕ, (17) \end{matrix}

式中B=[ $\begin{matrix} \begin{matrix} b_{0} & b_{1} + k_{00} & b_{2} & k_{10} & k_{01} \end{matrix} \end{matrix}$ ]^T。

将N个特征点的信息( $\begin{matrix} \begin{matrix} {Z^{i}}_{C}; & u^{i} & v^{i} & ϕ^{i} \end{matrix} \end{matrix}$ )代入(17)式,可得:

\begin{matrix} MB = N, (18) \end{matrix}

式中M= $\begin{matrix} [\begin{matrix} - 1 & Z_{C}^{1} & ϕ^{1} Z_{C}^{1} & u^{1} Z_{C}^{1} & v^{1} Z_{C}^{1} \\ - 1 & Z_{C}^{2} & ϕ^{2} Z_{C}^{2} & u^{2} Z_{C}^{2} & v^{2} Z_{C}^{2} \\ ︙ & ︙ & ︙ & ︙ & ︙ \\ - 1 & {Z^{N}}_{C} & ϕ^{N} {Z^{N}}_{C} & u^{N} {Z^{N}}_{C} & v^{N} {Z^{N}}_{C} \end{matrix}] \end{matrix}$ ,N=[ $\begin{matrix} \begin{matrix} ϕ^{1} & ϕ^{2} & \dots & ϕ^{N} \end{matrix} \end{matrix}$ ]^T。

因此,(16)式中各参数的初始值可以表示为:

\begin{matrix} B = (M^{T} {M)}^{- 1} M^{T} N 。 (19) \end{matrix}

得出B后,即可进行最优化过程。当估计得出全部参数后,高度值Z_C就可以利用(15)式获得,而X_C和Y_C可以通过Z_C、(1)式和(2)式获得。

为了降低算法复杂度,实现高速测量,这里考虑LUT法,定义为

\begin{matrix} \begin{matrix} Z_{LUT} [u, v] = b_{1} + \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} k_{ij} u^{i} v^{j}, \\ Z_{C} = \frac{b_{0} + ϕ}{b_{2} ϕ + Z_{LUT} [u, v]} 。 (20) \end{matrix} \end{matrix}

预先计算出每个像素点的Z_LUT[u,v],测量时的计算量可以明显降低。同样,X和Y方向的测量也可以采用这种方式降低计算量,提高测量速度。

3 实验

3.1 系统组成及条纹投影算法

实验系统包括一台互补金属氧化物半导体(CMOS)黑白相机(Basler Monochrome GigE Camera,分辨率为1626 pixel×1236 pixel,镜头焦距为16 mm)和一台DMD投影仪(TI DLP Lightcrafer Pro4500 Series DMD projector,分辨率为912 pixel×1140 pixel),相机和投影仪的相对位姿没有严格要求。相机的工作距大约是600 mm,视场大小约为350 mm×260 mm。此外,利用一台商用电脑(Lenovo,主频3.4 GHz)处理数据,使用一个二维圆靶标进行标定。

系统使用四步相移结合差频解相位的算法^[7]获得被测物的绝对相位值,每次测量需要获取12幅图像计算绝对相位。

图 3. 实验系统组成

Fig. 3. Experimental setup

下载图片查看所有图片

3.2 标定实验步骤

在标定相机时使用文献[ 23]提出的BPP方法。与文献[ 24]所提出的方法相似,标定靶标需要被放置在几个不同的位置,并保证各个位置的靶标互相之间保持不同的姿态。具体的标定过程示意图如图4所示。

步骤1:将标定靶标放在相机视场和投影仪投影区域交界处的任意区域。首先,不需要投射任何条纹,拍摄靶标图像用于提取靶标上的特征点;然后,投射3.1节中提及的条纹并拍摄图像用于获取特征点的绝对相位。

图 4. 标定过程示意图

Fig. 4. Schematic diagram of calibration procedure

下载图片查看所有图片

步骤2:将靶标放置在另一个位置并保证它与之前的姿态不同,重复步骤1。

步骤3:重复步骤2直到采集到足够图像。实际上,只用两组图像就可以将所有的参数计算出来。尽管如此,通常至少需要5组图像以保证达到足够的准确度。

步骤4:提取特征点信息,并利用插值法计算对应特征点的绝对相位值。

步骤5:标定相机,将所有特征点的坐标值转换到相机坐标系下,并利用每个特征点的信息( $\begin{matrix} \begin{matrix} Z_{C}; & u & v & ϕ \end{matrix} \end{matrix}$ )计算(15)式中的参数。

在本标定实验中,靶标被放置在10个位置。图5为标定结果评价,表明在本系统中,(15)式的次数不少于3时可以准确地进行三维测量。在下面的实验中,(15)式的非线性参数次数被设置为4。

图 5. 标定评价。(a) n=3、(c) n=4时的特征点三维重建结果;(b) n=3、(d) n=4时的特征点误差分布

Fig. 5. Calibration evaluation. 3D reconstruction result of the feature points while (a) n=3, (c) n=4; error distribution of the feature points while (b) n=3, (d) n=4

下载图片查看所有图片

3.3 误差评价

利用标定靶标上4个圆的圆心检测系统测量准确度,如图6所示。左上角的圆心和右下角的圆心构成对角线1(线AD);右上角和左下角的圆心构成对角线2(线BC)。本节中利用所提模型、文献[ 16]中的4次多项式映射模型(4th-PMM)以及文献[ 19]中的经典相位高度转换映射 (CPHCM) 模型分别计算这两条线的长度,其中4th-PMM和CPHCM模型均作为参考组对比所提模型的测量准确度。4th-PMM基于多项式拟合原理,拟合次数为4次,可以达到较高的测量准确度。而CPHCM模型基于小孔成像原理结合径向畸变的低次项校正模型,在世界坐标系中建立相位高度转换关系。在实验中,两条线的长度被分别测量30次,测量误差如图7所示。图7表明所提模型测量误差的范围为-0.25~0.2 mm,相对误差小于0.1%。三种模型对比结果显示,所提模型和4th-PMM相比于CPHCM模型误差更小。

图 6. 标定靶标

Fig. 6. Calibration target

下载图片查看所有图片

图 7. 距离误差分布。(a)线AD;(b)线BC

Fig. 7. Distance error distribution. (a) Line AD; (b) line BC

下载图片查看所有图片

利用另一组实验进一步检测所提模型的测量准确度。将一个白色平板固定在精密平移台上,并保证其法线方向平行于平移台的移动方向。将平板移动到8个位置,步长为5 mm。在每个位置上,分别利用所提模型、4th-PMM和CPHCM模型对平板表面进行三维测量。然后,利用最小二乘法拟合所得点云,结果如图8所示。拟合平面的均方根(RMS)误差和相邻两平面间距离误差如表1所示。根据表1中的数据可见,三种方法都能比较准确地测量出平面间的距离,但是本模型的测量准确度比其他两种模型略微高一些。同时,本模型相比于4th-PMM和CPHCM模型平面拟合的RMS误差更小。

图 8. 拟合平面。(a)所提模型;(b) 4th-PMM;(c) CPHCM

Fig. 8. Fitting planes. (a) Proposed method; (b) 4th-PMM; (c) CPHCM

下载图片查看所有图片

3.4 复杂物体的三维测量

最后利用条纹投影测量系统对复杂物体进行三维测量。被测物包括雕塑和手,如图9所示。作为参考组,这里同样用4th-PMM和CPHCM模型对物体进行三维测量。图9(a)和(b)表示条纹图像,图9(c)和(d)表示绝对相位图,利用所提模型、4th-PMM以及CPHCM模型进行三维测量的结果分别如图9(e)~(j)所示。从视觉效果上看,三种方法都能较好地对雕塑和手进行测量。然而,本模型对两种物体测量需要的时间分别是10 ms和11 ms,明显少于4th-PMM的30 ms和55 ms以及CPHCM模型的25 ms和47 ms,因此本模型测量速度更快。

表 1. 拟合结果评价

Table 1. Fitting results evaluationmm

Position	Proposed method		4th-PMM		CPHCM
Position	RMS error	Distance error	RMS error	Distance error	RMS error	Distance error
1	0.027	0.032	0.032	-0.038	0.042	0.034
2	0.026	0.046	0.035	0.045	0.045	0.048
3	0.028	0.028	0.037	0.039	0.041	0.030
4	0.027	0.020	0.036	0.050	0.041	0.047
5	0.026	0.012	0.037	0.061	0.037	0.041
6	0.026	-0.001	0.038	0.011	0.036	0.005
7	0.026	-0.033	0.039	-0.053	0.043	0.055
8	0.025	-	0.035	-	0.035	-

查看所有表

图 9. 雕塑和手的三维测量结果。(a),(b)条纹图像;(c),(d)绝对相位图;(e),(f)利用所提模型得到的三维重建结果;(g),(h)利用4th-PMM模型得到的三维重建结果;(i),(j)利用CPHCM模型得到的三维重建结果

Fig. 9. 3D shape measurement results of a sculpture and a hand. (a),(b) Fringe patterns; (c),(d) absolute phase map; (e),(f) 3D reconstruction results obtained by proposed method; (g),(h) 3D reconstruction results obtained by 4th-PMM model; (i),(j) 3D reconstruction results obtained by CPHCM model

下载图片查看所有图片

4 分析与讨论

根据上面的原理和实验,所提出的针对条纹投影测量系统的相位高度转换映射模型及其标定方法具有以下优点:

1) 准确度高。本研究在相位高度转换过程中校正了镜头畸变,减少了误差累积,标定相机时所用的BPP方法相比于FIP方法更适用于三维测量。同时,由于本模型建立在相机坐标系中,应用绝对相位而非相位差计算高度值,也避免了一部分误差累积。从误差评价实验结果可知本模型的测量准确度比4th-PMM和CPHCM模型更高,这是因为本模型在经典的相位高度转换模型基础上将相机畸变考虑地更加全面,而4th-PMM基于拟合的思想,在拟合范围的边缘处测量准确度会略微受到影响,CPHCM模型只考虑了径向畸变的低次项,没有考虑径向畸变的高次项以及切向畸变。

2) 算法复杂度低。同4th-PMM、CPHCM模型相比,所提出的模型算法复杂度更低。由于本模型建立在相机坐标系中,同时由于投射器和相机之间的旋转关系以及相机畸变模型均用(14)式表示,因而(15)式表达简单,测量时只需要在内存中建立一个查找表即可,适合与LUT法结合。如(20)式所示,当和LUT法结合后,相位高度转换过程只需要一次乘法、两次加法和一次除法,非常适合应用在高速测量系统中。此外,利用图形处理器(GPU)加速,本模型可以实现超高速测量。

3) 操作简易。首先,标定过程不需要高精度量块和精密平移台的辅助,且不需要参考平面。其次,虽然利用LUT方法后,(20)式与文献[ 20]中的模型相似,但是后者的模型需要先标定相机,再标定系统参数,而本模型相应的标定方法可以实现相机和系统的同步标定。同时,如引言中所述,文献[ 20]中的标定方法是对每个像素单独进行标定,利用标定结果建立查找表,因而为了保证标定结果准确,必须将标定靶标移动足够多的位置。本模型虽然也应用了LUT的思想,但是却是先用(15)式计算系统参数,再用(20)式和标定结果计算查找表中每个像素对应的值。因此只需将一个二维靶标随意放置于几个位置(5~10个位置足够),相机和系统参数就可以被同时快速准确标定。总之,本模型具有和文献[ 20]中模型一样适合高速测量的特点,但是标定过程更简单高效。

4) 适用性强。本模型适用于所有条纹投影测量系统,包括莫尔条纹投影系统、光纤干涉投影系统以及扫描频闪条纹投影系统。这是因为该模型不是建立在基于立体视觉的模型上,不需要标定投射器的内部参数。同时,根据本模型推导过程可知,其对相机和投射器之间的空间相对位姿没有严格要求。所以,标定时只要投射器的投影区域在相机的视场内,它们就可以被随意放置,实验结果验证了这一原则。

5 结论

提出了一种针对条纹投影三维测量系统的改进的相位高度转换映射模型及其标定方法,通过建立虚拟相机坐标系以及分析条纹信息在相机坐标系和投射器坐标系之间的关系,在相机坐标系中建立了高度与条纹信息的一一映射关系。通过展开相机畸变校正模型和使用泰勒级数,在相位高度转换模型中用多项式校正了相机透镜畸变并实现了条纹信息从投射器坐标系到相机坐标系的旋转变换。阐述了模型中参数的求解方法:首先求解出模型的线性参数,再利用Levenberg-Marquardt算法求解出所有参数。结合LUT方法,降低了算法复杂度。利用BPP方法在标定过程中优化相机参数并提出了针对映射模型的简洁高效的标定方法。标定实验表明,模型中当参数n不小于3时可以达到比较高的测量准确度。利用标定靶标、高精度平移台、平板以及实际复杂物体(雕塑、手)进行测量效果检验,将本模型与4th-PMM、CPHCM模型进行对比,实验结果表明本模型测量准确度高,且测量所需时间更少。最后,对提出的相位高度映射模型及其标定方法进行了全面的分析和讨论,阐述了它们的优点。

参考文献

[1] Su X Y, Zhang Q C. Dynamic 3-D shape measurement method: a review[J]. Optics and Lasers in Engineering, 2010, 48(2): 191-204.

Su X Y, Zhang Q C. Dynamic 3-D shape measurement method: a review[J]. Optics and Lasers in Engineering, 2010, 48(2): 191-204.

[2] Zhang S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques[J]. Optics and Lasers in Engineering, 2010, 48(2): 149-158.

Zhang S. Recent progresses on real-time 3D shape measurement using digital fringe projection techniques[J]. Optics and Lasers in Engineering, 2010, 48(2): 149-158.

[3] 苏显渝, 张启灿, 陈文静. 结构光三维成像技术[J]. 中国激光, 2014, 41(2): 0209001.

苏显渝, 张启灿, 陈文静. 结构光三维成像技术[J]. 中国激光, 2014, 41(2): 0209001.

Su X Y, Zhang Q C, Chen W J. Three-dimensional imaging based on structured illumination[J]. Chinese Journal of Lasers, 2014, 41(2): 0209001.

[4] Yao J, Tang Y, Chen J B. Three-dimensional shape measurement with an arbitrarily arranged projection Moiré system[J]. Optics Letters, 2016, 41(2): 717-720.

Yao J, Tang Y, Chen J B. Three-dimensional shape measurement with an arbitrarily arranged projection Moiré system[J]. Optics Letters, 2016, 41(2): 717-720.

[5] Duan X J, Duan F J, Lv C R. Three-dimensional shape reconstruction system based on fiber-optic interference fringe imaging[J]. International Journal of Imaging Systems and Technology, 2012, 22(4): 9-14.

Duan X J, Duan F J, Lv C R. Three-dimensional shape reconstruction system based on fiber-optic interference fringe imaging[J]. International Journal of Imaging Systems and Technology, 2012, 22(4): 9-14.

[6] 杨国威, 孙长库, 王鹏. 频闪激光光栅条纹实时投射系统[J]. 光学学报, 2014, 34(11): 1112002.

杨国威, 孙长库, 王鹏. 频闪激光光栅条纹实时投射系统[J]. 光学学报, 2014, 34(11): 1112002.

Yang G W, Sun C K, Wang P. Real-time stroboscopic laser fringe-pattern projection system[J]. Acta Optica Sinica, 2014, 34(11): 1112002.

[7] 陈松林, 赵吉宾, 夏仁波. 多频外差原理相位解包裹方法的改进[J]. 光学学报, 2016, 36(4): 0412004.

陈松林, 赵吉宾, 夏仁波. 多频外差原理相位解包裹方法的改进[J]. 光学学报, 2016, 36(4): 0412004.

Chen S L, Zhao J B, Xia R B. Improvement of the phase unwrapping method based on multi-frequency heterodyne principle[J]. Acta Optica Sinica, 2016, 36(4): 0412004.

[8] Ding Y, Xi J T, Yu Y G, et al. Absolute phase recovery of three fringe patterns with selected spatial frequencies[J]. Optics and Lasers in Engineering, 2015, 70: 18-25.

Ding Y, Xi J T, Yu Y G, et al. Absolute phase recovery of three fringe patterns with selected spatial frequencies[J]. Optics and Lasers in Engineering, 2015, 70: 18-25.

[9] 雷志辉, 李健兵. 基于双频投影条纹的全自动相位解包裹方法[J]. 光学学报, 2006, 26(1): 39-42.

雷志辉, 李健兵. 基于双频投影条纹的全自动相位解包裹方法[J]. 光学学报, 2006, 26(1): 39-42.

Lei Z H, Li J B. Full automatic phase unwrapping method based on projected double spatial frequency fringes[J]. Acta Optica Sinica, 2006, 26(1): 39-42.

[10] An Y T, Hyun J S, Zhang S. Pixel-wise absolute phase unwrapping using geometric constraints of structured light system[J]. Optics Express, 2016, 24(16): 18445-18459.

An Y T, Hyun J S, Zhang S. Pixel-wise absolute phase unwrapping using geometric constraints of structured light system[J]. Optics Express, 2016, 24(16): 18445-18459.

[11] Sansoni G, Carocci M, Rodella R. Three-dimensional vision based on a combination of gray-code and phase-shift light projection: analysis and compensation of the systematic errors[J]. Applied Optics, 1999, 38(31): 6565-6573.

Sansoni G, Carocci M, Rodella R. Three-dimensional vision based on a combination of gray-code and phase-shift light projection: analysis and compensation of the systematic errors[J]. Applied Optics, 1999, 38(31): 6565-6573.

[12] Zhang S, Huang P S. Novel method for structured light system calibration[J]. Optical Engineering, 2006, 45(8): 083601.

Zhang S, Huang P S. Novel method for structured light system calibration[J]. Optical Engineering, 2006, 45(8): 083601.

[13] Li K, Bu J J, Zhang D S. Lens distortion elimination for improving measurement accuracy of fringe projection profilometry[J]. Optics and Lasers in Engineering, 2016, 85: 53-64.

Li K, Bu J J, Zhang D S. Lens distortion elimination for improving measurement accuracy of fringe projection profilometry[J]. Optics and Lasers in Engineering, 2016, 85: 53-64.

[14] Li B W, Zhang S. Structured light system calibration method with optimal fringe angle[J]. Applied Optics, 2014, 53(33): 7942-7950.

Li B W, Zhang S. Structured light system calibration method with optimal fringe angle[J]. Applied Optics, 2014, 53(33): 7942-7950.

[15] Chen R, Xu J, Zhang S, et al. A self-recalibration method based on scale-invariant registration for structured light measurement systems[J]. Optics and Lasers in Engineering, 2017, 88: 75-81.

Chen R, Xu J, Zhang S, et al. A self-recalibration method based on scale-invariant registration for structured light measurement systems[J]. Optics and Lasers in Engineering, 2017, 88: 75-81.

[16] Léandry I, Brèque C, Valle V. Calibration of a structured light projection system: development to large dimension objects[J]. Optics and Lasers in Engineering, 2012, 50(3): 373-379.

Léandry I, Brèque C, Valle V. Calibration of a structured light projection system: development to large dimension objects[J]. Optics and Lasers in Engineering, 2012, 50(3): 373-379.

[17] Lu P, Sun C K, Liu B, et al. Accurate and robust calibration method based on pattern geometric constraints for fringe projection profilometry[J]. Applied Optics, 2017, 56(4): 784-794.

Lu P, Sun C K, Liu B, et al. Accurate and robust calibration method based on pattern geometric constraints for fringe projection profilometry[J]. Applied Optics, 2017, 56(4): 784-794.

[18] Du H, Wang Z Y. Three-dimensional shape measurement with an arbitrarily arranged fringe projection profilometry system[J]. Optics Letters, 2007, 32(16): 2438-2440.

Du H, Wang Z Y. Three-dimensional shape measurement with an arbitrarily arranged fringe projection profilometry system[J]. Optics Letters, 2007, 32(16): 2438-2440.

[19] Huang L, Chua P, Asundi A. Least-squares calibration method for fringe projection profilometry considering camera lens distortion[J]. Applied Optics, 2010, 49(9): 1539-1548.

Huang L, Chua P, Asundi A. Least-squares calibration method for fringe projection profilometry considering camera lens distortion[J]. Applied Optics, 2010, 49(9): 1539-1548.

[20] Tavares P J, Vaz M A. Linear calibration procedure for the phase-to-height relationship in phase measurement profilometry[J]. Optics Communications, 2007, 274(2): 307-314.

Tavares P J, Vaz M A. Linear calibration procedure for the phase-to-height relationship in phase measurement profilometry[J]. Optics Communications, 2007, 274(2): 307-314.

[21] Zhang Z H, Ma H Y, Guo T, et al. Simple, flexible calibration of phase calculation based three-dimensional imaging system[J]. Optics Letters, 2011, 36(7): 1257-1259.

Zhang Z H, Ma H Y, Guo T, et al. Simple, flexible calibration of phase calculation based three-dimensional imaging system[J]. Optics Letters, 2011, 36(7): 1257-1259.

[22] 孙长库, 何明霞, 王鹏. 激光测量技术[M]. 天津: 天津大学出版社, 2008: 144- 149.

孙长库, 何明霞, 王鹏. 激光测量技术[M]. 天津: 天津大学出版社, 2008: 144- 149.

Sun CK, He MX, WangP. Laser measurement technology[M]. Tianjin: Tianjin University Press, 2008: 144- 149.

[23] Gu F F, Zhao H, Ma Y Y, et al. Camera calibration based on the back projection process[J]. Measurement Science and Technology, 2015, 26(12): 125004.

Gu F F, Zhao H, Ma Y Y, et al. Camera calibration based on the back projection process[J]. Measurement Science and Technology, 2015, 26(12): 125004.

[24] Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11): 1330-1334.

Zhang Z. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2000, 22(11): 1330-1334.

1 引言

2 测量系统标定模型

2.1 相机透视成像模型及逆向投影优化过程(BPP)

陆鹏, 孙长库, 王鹏. 条纹投影相位高度转换映射模型及其标定方法[J]. 光学学报, 2018, 38(2): 0212004. Peng Lu, Changku Sun, Peng Wang. Fringe Projection Phase-to-Height Mapping Model and Its Calibration Method[J]. Acta Optica Sinica, 2018, 38(2): 0212004.

条纹投影相位高度转换映射模型及其标定方法下载： 1313次

1 引言

2 测量系统标定模型

2.1 相机透视成像模型及逆向投影优化过程(BPP)

2.2 三维测量模型

图 1. 投射器坐标系和绝对相位图的空间关系

Fig. 1. Spatial relation between PCS and absolute phase map

图 2. 坐标转换关系。(a)条纹投影三维测量系统;(b)具体的坐标系变换过程

Fig. 2. Coordinate transformation relation. (a) Fringe projection 3D measurement system; (b) detailed coordinate transformation process

3 实验

3.1 系统组成及条纹投影算法

图 3. 实验系统组成

Fig. 3. Experimental setup

3.2 标定实验步骤

图 4. 标定过程示意图

Fig. 4. Schematic diagram of calibration procedure

图 5. 标定评价。(a) n=3、(c) n=4时的特征点三维重建结果;(b) n=3、(d) n=4时的特征点误差分布

Fig. 5. Calibration evaluation. 3D reconstruction result of the feature points while (a) n=3, (c) n=4; error distribution of the feature points while (b) n=3, (d) n=4

3.3 误差评价

图 6. 标定靶标

Fig. 6. Calibration target

图 7. 距离误差分布。(a)线AD;(b)线BC

Fig. 7. Distance error distribution. (a) Line AD; (b) line BC

图 8. 拟合平面。(a)所提模型;(b) 4th-PMM;(c) CPHCM

Fig. 8. Fitting planes. (a) Proposed method; (b) 4th-PMM; (c) CPHCM

3.4 复杂物体的三维测量

表 1. 拟合结果评价

Table 1. Fitting results evaluationmm

图 9. 雕塑和手的三维测量结果。(a),(b)条纹图像;(c),(d)绝对相位图;(e),(f)利用所提模型得到的三维重建结果;(g),(h)利用4th-PMM模型得到的三维重建结果;(i),(j)利用CPHCM模型得到的三维重建结果

Fig. 9. 3D shape measurement results of a sculpture and a hand. (a),(b) Fringe patterns; (c),(d) absolute phase map; (e),(f) 3D reconstruction results obtained by proposed method; (g),(h) 3D reconstruction results obtained by 4th-PMM model; (i),(j) 3D reconstruction results obtained by CPHCM model

4 分析与讨论

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

条纹投影相位高度转换映射模型及其标定方法 下载： 1313次

1 引言

2 测量系统标定模型

2.1 相机透视成像模型及逆向投影优化过程(BPP)

2.2 三维测量模型

图 1. 投射器坐标系和绝对相位图的空间关系

Fig. 1. Spatial relation between PCS and absolute phase map

图 2. 坐标转换关系。(a)条纹投影三维测量系统;(b)具体的坐标系变换过程

Fig. 2. Coordinate transformation relation. (a) Fringe projection 3D measurement system; (b) detailed coordinate transformation process

3 实验

3.1 系统组成及条纹投影算法

图 3. 实验系统组成

Fig. 3. Experimental setup

3.2 标定实验步骤

图 4. 标定过程示意图

Fig. 4. Schematic diagram of calibration procedure

图 5. 标定评价。(a) n=3、(c) n=4时的特征点三维重建结果;(b) n=3、(d) n=4时的特征点误差分布

Fig. 5. Calibration evaluation. 3D reconstruction result of the feature points while (a) n=3, (c) n=4; error distribution of the feature points while (b) n=3, (d) n=4

3.3 误差评价

图 6. 标定靶标

Fig. 6. Calibration target

图 7. 距离误差分布。(a)线AD;(b)线BC

Fig. 7. Distance error distribution. (a) Line AD; (b) line BC

图 8. 拟合平面。(a)所提模型;(b) 4th-PMM;(c) CPHCM

Fig. 8. Fitting planes. (a) Proposed method; (b) 4th-PMM; (c) CPHCM

3.4 复杂物体的三维测量

表 1. 拟合结果评价

Table 1. Fitting results evaluationmm

图 9. 雕塑和手的三维测量结果。(a),(b)条纹图像;(c),(d)绝对相位图;(e),(f)利用所提模型得到的三维重建结果;(g),(h)利用4th-PMM模型得到的三维重建结果;(i),(j)利用CPHCM模型得到的三维重建结果

Fig. 9. 3D shape measurement results of a sculpture and a hand. (a),(b) Fringe patterns; (c),(d) absolute phase map; (e),(f) 3D reconstruction results obtained by proposed method; (g),(h) 3D reconstruction results obtained by 4th-PMM model; (i),(j) 3D reconstruction results obtained by CPHCM model

4 分析与讨论

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

条纹投影相位高度转换映射模型及其标定方法下载： 1313次