基于柔性靶标定位实现图像拼接的多相机三维测量系统

王鹏; 张颖杰; 孙长库; 周舵

doi:doi:10.3788/AOS202040.0412003

光学学报, 2020, 40 (4): 0412003, 网络出版: 2020-02-11

基于柔性靶标定位实现图像拼接的多相机三维测量系统下载： 1325次

Multi-Camera Three-Dimensional Measurement System Using an Image Stitching Method Based on Flexible Calibration Target Positioning

论文大纲

王鹏 ^*张颖杰孙长库周舵

作者单位

天津大学精密测试技术与仪器国家重点实验室, 天津 300072

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

提出一种基于柔性靶标定位实现图像拼接的多相机三维测量系统,采用一个激光投影仪投影大幅条纹,多相机分布式采集的方法扩展视觉三维测量系统的测量范围。标定过程首先使用小型平面靶标标定基准相机二维图像坐标和相位值到三维世界坐标的映射关系,之后在相邻相机部分视场(FOV)重合的前提下,利用柔性靶标定位标定相邻相机图像坐标的转换关系,最后将各个相机的图像坐标全部转化到基准相机的图像坐标系下完成图像拼接,由基准相机图像坐标到世界坐标的映射完成全局三维测量。实验结果表明,使用图像拼接方法的测量精度略低于相机单视场测量的精度,但精度损失较小,满足工业在线测量的要求。该方法避免使用昂贵的辅助测量仪器和加工高精度大型靶标,为多相机视觉测量提供了成本低、使用方便的解决方案。

Abstract

A multi-camera three-dimensional (3D) measurement system using an image stitching method based on flexible calibration target positioning is proposed. In order to expand the measuring range of the 3D shape measurement system, a laser projector is used to project large fringe images, followed with distributed multiple cameras to grab images of each field of view (FOV). The first step of calibration process is to establish the mapping relationship from the image coordinates and absolute phase to the world coordinates by using the reference camera with a small planar calibration target. Then, with the FOV of adjacent cameras partially overlapping, the flexible calibration target positioning is applied to calibrate mapping relationships of the image coordinates from adjacent cameras. After that, the image coordinates of all the other cameras are converted to the image coordinates of the reference camera by the new image stitching method. Finally, the reference camera coordinates are transformed to the world coordinates. The experimental results show that the accuracy of this method is slightly lower than the local measuring method with a single camera. However, the accuracy loss is not so severe, meeting the requirement for industrial on-line measurement. This method does not require expensive auxiliary measuring instruments or manufacturing large calibration targets with high precision, thus offering a low-cost and easy alternative for multi-camera 3D shape measurement systems.

1 引言

条纹投影三维(3D)测量技术具有非接触、成本低、速度快和使用方便等优点^[1-2],广泛应用于逆向工程^[3]、工业在线检测^[4-5]、医学成像^[6]和文物保护^[7]等领域。该技术通过投影仪向被测物体投射编码条纹,相机采集被物体表面调制的条纹,标定调制的条纹相位变化与物体高度之间的关系即可完成物体表面三维形貌的测量。

传统的条纹投影三维测量技术通常由单投影仪和单相机组成,受相机分辨率和视场(FOV)范围限制,无法完成较大测量范围的高精度测量,因此常常需要增加相机数量以扩展视场范围。多相机测量时,每个相机分别进行局部标定,可以完成各自世界坐标系下的测量,但各个相机测量数据不具有统一性,不能对整个被测对象实现一致性描述,因此需要通过全局标定建立全局坐标系。

为了建立全局坐标系,Kawabata等^[8]使用了覆盖整个视场的大型靶标,通过靶标图案的几何配准完成各个相机坐标系的相互转换。该方法的标定过程要求精度较高,而精密大型靶标通常成本较高,灵活性差,加工困难。也可以通过辅助仪器建立全局坐标系:Lu等^[9]提出了使用双经纬仪测量系统实现全局标定的方法,利用双经纬仪测量靶标特征点的全局世界坐标,即可求解全局坐标系与局部坐标系的转换关系,该方法标定精度高,但需要借助精密辅助设备;Zhang等^[10]提出了将投影仪视作反向相机的标定方法,将条纹投影测量系统转化为立体视觉测量系统,随后汤明等^[11]扩展了该方法,通过矩阵链乘运算完成邻近相机或投影仪的坐标系转换,该方法可适用于多投影仪、多相机系统,并且使用方便,适应性强,应用范围较广。

本文提出了一种使用柔性靶标定位的方法,利用光栅条纹的相位值完成图像拼接标定,再利用小型平面靶标完成基准相机二维图像坐标到三维世界坐标的标定,从而实现全局标定。其中柔性靶标为具有任意表面特征的物体,其尺寸无需任何高精度加工,仅满足相邻相机匹配同名点的要求即可,因而柔性靶标具有成本低、选用灵活的特点。该全局标定方法无需借助精密大型靶标和辅助设备,具有成本低、结构简单、适应性强等优点。

2 原理

多相机条纹投影三维测量系统采用激光投影仪投射大幅条纹,4个相机分布式采集调制条纹图像。

2.1 相位轮廓术

条纹投影三维测量系统常用正弦相移条纹进行测量^[12],以四步相移为例,设I₁(u,v),I₂(u,v),I₃(u,v),I₄(u,v)分别为4幅相移条纹图的亮度值,相邻相移图的相位差为π/2,则可得折叠相位为

\begin{matrix} ϕ (u, v) = \arctan [\frac{I_{4} (u, v) - I_{2} (u, v)}{I_{1} (u, v) - I_{3} (u, v)}] 。 (1) \end{matrix}

ϕ(u,v)的取值范围为[0,2π),由于反正切函数的周期性,在视场中呈现周期性分布。为了在单个相机只能拍到部分视场的情况下获取整个视场的全局相位,需要进行相位展开。相位展开方法常使用差频法:对波长分别为λ₀和λ₁的条纹图像作差,可以获得波长为λ₀₁=λ₀λ₁/(λ₁-λ₀)的条纹图像,通过选取合适的波长,即可获得在整个视场中仅有1个周期的相位图像,即全局相位图像。由于λ₀₁/λ₀取值过大时会放大图像中的随机噪声,通常选择依次投射条纹数分别为N,N-1,N- $\begin{matrix} \sqrt[]{N} \end{matrix}$ 的条纹图像^[13],通过3次差频获得全局相位图像。

2.2 图像新型拼接算法

传统的图像拼接算法是将不同时刻、使用不同相机采集的同一场景图像,通过图像配准实现几何对齐,将多幅图像拼接为1幅图像^[14]。对于多相机的情况,各个相机的位置和姿态互不相同,待拼接的图像存在平移、旋转和尺寸伸缩等几何空间差异。常用的图像转换模型主要有刚体变换、仿射变换、投影变换和多项式变换等^[15],其中多项式变换既能实现各种线性变换,也能解决图像中存在的非线性问题,应用广泛^[16]。该变换可表示为

\begin{matrix} \{\begin{matrix} u_{1} = \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} a_{i, j} u_{2}^{i} v_{2}^{j} \\ v_{1} = \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} b_{i, j} u_{2}^{i} v_{2}^{j} \end{matrix}, (2) \end{matrix}

式中:(u₁,v₁)为目标相机的图像坐标;(u₂,v₂)为待转换相机的图像坐标;n为多项式次数;a_i_,_j,b_i_,_j为多项式系数。多项式拟合模型一般只适用于拍摄表面高度变化不大,近似平面的物体^[17]。在三维测量中,物体表面形貌是任意变化的,并且需要测量物体的z坐标,直接使用传统的多项式变换模型不能完成测量任务。

条纹投影三维测量系统中,物体的高度h与调制条纹的全局相位值φ存在一定的对应关系^[18],全局相位值的变化可以反映物体表面形貌高度的变化。考虑将全局相位值作为新变量引入多项式模型中,扩大模型的适用范围,使新多项式模型满足三维测量的要求。由于全局相位值可以有纵横2个方向φ_x和φ_y,新的模型至少需要引入其中1个,提出如下2个模型:

\begin{matrix} \begin{matrix} \{\begin{matrix} u_{1} = \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} \overset{n - i - j}{\sum_{k = 0}} a_{i, j, k} u_{2}^{i} v_{2}^{j} φ_{x}^{k} \\ v_{1} = \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} \overset{n - i - j}{\sum_{k = 0}} b_{i, j, k} u_{2}^{i} v_{2}^{j} φ_{x}^{k} \end{matrix}, (3) \\ \{\begin{matrix} u_{1} = \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} \overset{n - i - j}{\sum_{k = 0}} \overset{n - i - j - k}{\sum_{s = 0}} a_{i, j, k, s} u_{2}^{i} v_{2}^{j} φ_{x}^{k} φ_{y}^{s} \\ v_{1} = \overset{n}{\sum_{i = 0}} \overset{n - i}{\sum_{j = 0}} \overset{n - i - j}{\sum_{k = 0}} \overset{n - i - j - k}{\sum_{s = 0}} b_{i, j, k, s} u_{2}^{i} v_{2}^{j} φ_{x}^{k} φ_{y}^{s} \end{matrix}, (4) \end{matrix} \end{matrix}

式中:a_i_,_j_,_k,b_i_,_j_,_k,a_i_,_j_,_k_,_s,b_i_,_j_,_k_,_s为多项式系数。(3)式为(u,v,φ_x)构成的三元多项式模型,(4)式为(u,v,φ_x,φ_y)构成的四元多项式模型。

多项式次数较高时,高次项会显著放大图像噪声,因而多项式次数不应超过3次,同时相位与高度的模型不呈线性关系,多项式次数适合选取2次或3次。由此(3)式和(4)式共有三元二次、三元三次、四元二次、四元三次4个模型可选,利用两相机的重合视场中的同名点定位建立(u₁,v₁)和(u₂,v₂)两图像坐标的映射关系^[19]。

2.3 系统标定方法

相机畸变模型中含有图像坐标(u,v)的高次项,单独使用图像新型拼接算法完成标定不足以校正图像畸变,因此需要标定各个相机的畸变系数,对采集的图像进行畸变校正^[20]。典型的相机畸变模型如下:

\begin{matrix} \{\begin{matrix} u = u_{d} + u_{d} (k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) + [p_{1} (r^{2} + 2 u_{d}^{2}) + 2 p_{2} u_{d} v_{d}] \\ v = v_{d} + v_{d} (k_{1} r^{2} + k_{2} r^{4} + k_{3} r^{6}) + [p_{2} (r^{2} + 2 v_{d}^{2}) + 2 p_{1} u_{d} v_{d}] \end{matrix}, (5) \end{matrix}

式中:(u,v)为理想图像坐标;(u_d,v_d)为实际图像坐标;r= $\begin{matrix} \sqrt[]{u_{d}^{2} + v_{d}^{2}} \end{matrix}$ ;k₁,k₂,k₃为径向畸变系数;p₁,p₂为切向畸变系数。

完成畸变校正后,需要将所有相机的二维图像坐标转化到基准相机的二维图像坐标系中,为此需要完成图像拼接标定。图像拼接标定使用柔性靶标,其表面特征(如圆轮廓、角点或其他任何可以用图像处理方法提取的特征点)可以是任意的,仅用于同名点定位匹配,而且该靶标不需要物方世界坐标,其尺寸不需要任何精密加工。将柔性靶标在视场内摆放成多种形态,投影仪投射纵横多频相移条纹,完成相位展开后获得全局纵横相位值(φ_x,φ_y),两相机通过定位全局纵横相位值相同的同名点完成图像点匹配。

获得N组匹配点后,将其代入(3)式和(4)式,通过Levenberg-Marquardt算法进行优化求解^[21],计算匹配点的估算值( $\begin{matrix} {\underset{^}{u}}_{i} \end{matrix}$ , $\begin{matrix} {\underset{^}{v}}_{i} \end{matrix}$ )与真实值( $\begin{matrix} u_{i_{re}} \end{matrix}$ , $\begin{matrix} v_{i_{re}} \end{matrix}$ )的偏差平方和,从而建立最优化函数

\begin{matrix} F_{1} = \min \overset{N}{\sum_{i = 1}} [(u_{i_{re}} - {\underset{^}{u}}_{i})^{2} + (v_{i_{re}} - {\underset{^}{v}}_{i})^{2}], (6) \end{matrix}

求解多项式参数,即可完成图像拼接标定。

完成图像拼接后,所有相机的二维图像坐标都转化到基准相机的二维图像坐标系中,再使用小型平面靶标标定基准相机二维图像坐标和相位值到三维世界坐标的映射关系^[22],应用的多项式模型为

\begin{matrix} \{\begin{matrix} x = \overset{m}{\sum_{i = 0}} \overset{m - i}{\sum_{j = 0}} \overset{m - i - j}{\sum_{k = 0}} p_{i, j, k} u^{i} v^{j} φ_{x}^{k} \\ y = \overset{m}{\sum_{i = 0}} \overset{m - i}{\sum_{j = 0}} \overset{m - i - j}{\sum_{k = 0}} q_{i, j, k} u^{i} v^{j} φ_{x}^{k} \\ z = \overset{m}{\sum_{i = 0}} \overset{m - i}{\sum_{j = 0}} \overset{m - i - j}{\sum_{k = 0}} r_{i, j, k} u^{i} v^{j} φ_{x}^{k} \end{matrix}, (7) \end{matrix}

式中:(x,y,z)为三维世界坐标;m为多项式次数;p_i_,_j_,_k,q_i_,_j_,_k,r_i_,_j_,_k为多项式系数。此处m取3时有较好的结果^[23]。再次应用Levenberg-Marquardt算法,计算估算值( $\begin{matrix} {\underset{^}{x}}_{i} \end{matrix}$ , $\begin{matrix} {\underset{^}{y}}_{i} \end{matrix}$ , $\begin{matrix} {\underset{^}{z}}_{i} \end{matrix}$ )与真实值( $\begin{matrix} x_{i_{re}} \end{matrix}$ , $\begin{matrix} y_{i_{re}} \end{matrix}$ , $\begin{matrix} z_{i_{re}} \end{matrix}$ )的偏差平方和,建立最优化函数

\begin{matrix} F_{2} = \min \overset{N}{\sum_{i = 1}} [(x_{i_{re}} - {\underset{^}{x}}_{i})^{2} + (y_{i_{re}} - {\underset{^}{y}}_{i})^{2} + (z_{i_{re}} - {\underset{^}{z}}_{i})^{2}], (8) \end{matrix}

求解多项式参数,即可完成系统标定。

3 实验

根据上述系统模型和标定方法,构建多相机三维测量系统。测量系统实验装置如图1所示,其中激光投影仪选取BenQ LX833STD短焦激光投影仪,亮度为3200 lm,投射比为0.492∶1。4个相机选取Basler的acA2040-120 μm工业相机,分辨率为2048×1536,镜头选取焦距为8 mm的定焦镜头,相机工作距离为600 mm,相机固定在万向支架上方便角度调节。相邻相机重合视场范围约为单相机视场的1/2,4个相机的总测量范围约为800 mm×600 mm。测量时,以1号相机为基准相机,2号相机和3号相机与1号相机相邻,其图像坐标直接转化到1号相机的图像坐标系下,4号相机与1号相机呈现对角位置关系,重合视场较小,因此4号相机的图像坐标先转化到2号相机的图像坐标系下,再转化到1号相机的图像坐标系下。

图 1. 多相机条纹投影三维测量实验装置图

Fig. 1. Experimental setup for multi-camera three-dimensional shape measuring system using digital fringe projection techniques

下载图片查看所有图片

3.1 系统标定

标定过程中,各相机首先标定相机畸变系数,标定使用的方向性平面圆靶标图案如图2所示,图案尺寸为290 mm×290 mm。基准相机标定二维图像坐标和相位值到三维世界坐标的映射关系同样使用图2所示小型方向性平面圆靶标,将小靶标摆放多个位置,求解(7)式中的多项式系数。

图 2. 方向性平面圆靶标图案

Fig. 2. Directional circular pattern for planar calibration target

下载图片查看所有图片

随后进行图像拼接标定,使用一张打印了圆靶标的纸作为柔性靶标,如图1所示,靶标的大小能够覆盖大部分有效视场,靶标上的圆轮廓仅用于同名点定位,对尺寸等无任何要求。使纸张发生任意变形,各相机分别采集多次以获取多组同名点。图3为各相机采集的同一张柔性靶标图像及1号相机采集的不同形态的柔性靶标图像,可以观察到各个相机采集的柔性靶标图像均呈现曲面状态,每次采集均使得柔性靶标有不同的变形。投影仪投射条纹数为81,80,72的纵横四步相移条纹,共24幅条纹图,完成相位展开后获得全局纵横相位值(φ_x,φ_y),两相机通过定位全局纵横相位值相同的同名点完成图像拼接标定。

标定误差如图4所示,图中展示了2号相机转化到1号相机下的点与1号相机同名点图像坐标的误差分布,可以观察到大部分点的距离误差低于0.6 pixel,说明图像拼接标定具有较高的精度。

图 3. (a)~(d)不同相机采集的同一柔性靶标图像。(a) 1号相机;(b) 2号相机;(c) 3号相机;(d) 4号相机。(e)~(h) 1号相机采集的不同形态的柔性靶标图像。(e)形态1;(f)形态2;(g)形态3;(h)形态4

Fig. 3. (a)-(d) Images of the flexible calibration target grabbed by different cameras. (a) Camera 1; (b) camera 2; (c) camera 3; (d) camera 4. (e)-(h) Images grabbed by camera 1 of the flexible calibration target with different shapes. (e) Shape 1; (f) shape 2; (g) shape 3; (h) shape 4

下载图片查看所有图片

图 4. 2号相机到1号相机的四元二次模型标定误差图

Fig. 4. Calibration error diagram from camera 2 to camera 1 in quaternary quadratic model

下载图片查看所有图片

3.2 测量结果与分析

系统测量时同样投射条纹数为81,80,72的纵横四步相移条纹,展开相位为(φ_x,φ_y),除基准相机以外的其他相机将图像坐标代入(3)式或(4)式得到基准相机图像坐标系下的图像坐标,最后将计算得到的图像坐标代入(7)式得到三维世界坐标,生成三维点云数据。

实验中首先测量光学平台平面,对比(3)式和(4)式中的4种模型的测量结果并比较模型的稳定性。选用经过2次转换的4号相机,4种模型封装点云后的测量结果如图5所示。可以观察到三元二次和三元三次模型得到的结果明显偏离平面的形态,因此(3)式的三元模型不适用。四元二次模型得到了很好的测量结果;四元三次模型测得的平面有一定弯曲,推测原因是三次项系数受到噪声影响时,测量结果敏感性更强,因此适合选用(4)式中四元二次多项式模型完成图像拼接。

图 5. 4种多项式模型对比测量结果。(a)三元二次模型;(b)三元三次模型; (c)四元二次模型;(d)四元三次模型

Fig. 5. Measurement results of 4 different polynomial models. (a) Ternary quadratic model; (b) ternary cubic model; (c) quaternary quadratic model; (d) quaternary cubic model

下载图片查看所有图片

利用(4)式将四元二次模型展开,展开形式为

\begin{matrix} \{\begin{matrix} u_{1} = a_{1} u_{2}^{2} + a_{2} u_{2} v_{2} + a_{3} u_{2} φ_{x} + a_{4} u_{2} φ_{y} + a_{5} u_{2} + a_{6} v_{2}^{2} + a_{7} v_{2} φ_{x} + \\ a_{8} v_{2} φ_{y} + a_{9} v_{2} + a_{10} φ_{x}^{2} + a_{11} φ_{x} φ_{y} + a_{12} φ_{x} + a_{13} φ_{y}^{2} + a_{14} φ_{y} + a_{15} \\ v_{1} = b_{1} u_{2}^{2} + b_{2} u_{2} v_{2} + b_{3} u_{2} φ_{x} + b_{4} u_{2} φ_{y} + b_{5} u_{2} + b_{6} v_{2}^{2} + b_{7} v_{2} φ_{x} + \\ b_{8} v_{2} φ_{y} + b_{9} v_{2} + b_{10} φ_{x}^{2} + b_{11} φ_{x} φ_{y} + b_{12} φ_{x} + b_{13} φ_{y}^{2} + b_{14} φ_{y} + b_{15} \end{matrix}, (9) \end{matrix}

式中:a₁~a₁₅,b₁~b₁₅为模型需要求解的参数。

为了对比重合视场大小不同时的测量结果,再次测量光学平台平面。令1号相机作为基准相机保持不动,移动3号相机以产生不同大小的重合视场。测量结果如图6所示,各分图左侧为1号相机重建结果,右侧为3号相机重建结果。观察可知,1/2和1/3 视场重合时,3号相机得到了良好的平面重建结果;重合1/4视场时,3号相机重建平面的边缘出现了弯曲;重合1/6 视场时,则完全不能还原平面的形态。以上结果表明,重合视场很小时,同名点数量少,测量结果的准确性会显著降低,由于4号相机进行了2次转换,需要更多的重合视场,因此系统搭建时,相邻相机有1/2 视场重合。

图 6. 不同视场重合对比测量结果。(a) 1/2;(b) 1/3;(c) 1/4;(d) 1/6

Fig. 6. Measurement results of different FOV overlapping. (a) 1/2; (b)1/3; (c) 1/4; (d) 1/6

下载图片查看所有图片

为了直观观察使用图像拼接方法获得的三维点云测量效果,定性判断该方法的有效性,将多个被测物体摆放在视场中,测量整个视场的表面形貌,被测物照片如图7所示,各相机点云和合并点云的三维重建结果如图8所示。由图8可知三维重建结果很好地还原了被测物的形貌,视场重叠部分有良好过渡,没有出现形貌错位等情况。各相机三维重建结果合并后,由于4号相机经过2次图像坐标系转换,积累了较多随机噪声,在拟合合并数据的过程中产生了额外的边界,具体表现为三维重建结果合并图中与其他相机重合部分的噪声。2号相机和3号相机与1号相机的融合结果良好。

图 7. 多个被测物照片

Fig. 7. Image of multiple objects to be measured

下载图片查看所有图片

图 8. 三维重建结果。(a) 1号相机;(b) 2号相机;(c) 3号相机;(d) 4号相机;(e)合并

Fig. 8. 3D reconstruction images. (a) Camera 1; (b) camera 2; (c) camera 3; (d) camera 4; (e) merged image

下载图片查看所有图片

为了定量评估使用图像拼接方法获得的测量结果的准确度,首先使用阶梯状标准块作为被测物。该标准块如图9所示,其底面尺寸为100 mm×80 mm,其标称尺寸为阶梯平面到台阶顶部平面的距离,第1步为4.006 mm,第2步为6.016 mm,第3步为13.007 mm,第4步为13.982 mm。测量获取三维点云数据后,利用最小二乘法拟合阶梯面的点云数据来获得拟合平面,随后测量拟合平面间的距离。图10给出了2号相机使用不同方法的三维重建结果,其中方法1为2号相机通过方向性平面靶标标定后,独立完成单视场测量,方法2为本文提出的方法,即经过图像拼接后,由基准相机(即1号相机)解算完成测量。表1给出了方法1和方法2的对比测量数据,从中选择具有代表性的第2步和第3步阶梯的标称高度值完成测量。由于1号相机为基准相机,其方法1和方法2的测量结果相同,在此不再列出。将标准块在各个相机视场中,以任意姿态摆放多个位置,各相机分别按照方法1和方法2,完成高度测量。

图 9. 阶梯标准块与其尺寸

Fig. 9. Step standard block and its size

下载图片查看所有图片

图 10. 2号相机(a)方法1与(b)方法2的台阶三维重建结果

Fig. 10. 3D reconstruction image of the step standard block by camera 2 using (a) method 1 and (b) method 2

下载图片查看所有图片

表 1. 阶梯标准块测量结果

Table 1. Measurement results of the step standard block

Camera No.	Position No.	Step 2 distance /mm	Step 3 distance /mm
Camera No.	Position No.	Method 1		Method 2	Method 1	Method 2
	1	5.708	5.929	12.421	12.607
2	2	5.642	5.567	12.533	12.428
	3	5.723	5.501	12.635	12.781
	1	5.896	5.868	13.226	12.998
3	2	5.742	5.578	12.495	12.977
	3	5.636	5.745	12.718	12.589
	1	5.980	6.252	13.150	13.477
4	2	5.747	5.833	12.573	12.513
	3	6.271	6.379	13.059	13.584

查看所有表

由表1计算可得,方法1第2步和第3步的测量距离平均值分别为5.816 mm和12.757 mm,与真值的均方根误差(RMSE)分别为0.278 mm和0.383 mm。方法2第2步和第3步的测量平均值分别为5.850 mm和12.884 mm,与真值的均方根误差分别为0.330 mm和0.412 mm。方法2测量结果波动范围略大于方法1,经过图像拼接后的测量结果精度略低于相机单视场测量,但误差没有显著扩大,结合三维重建结果,可以认为方法2经过跨相机转换后,精度损失较小。

随后测量标准球的球心距,选用哑光陶瓷标准球如图11所示,标称直径为40.00 mm,圆度误差小于0.01 mm。光学平台分布有M5螺丝定位孔,定位孔间隔为25.0 mm,各定位孔的定位误差小于0.05 mm,大于条纹投影测量系统的测量精度,故可将标准球放置在定位孔上,将定位孔的距离作为标准球心距。

图 11. 标准球

Fig. 11. Standard ball

下载图片查看所有图片

考虑到相机纵横视场大小、各相机的相对位置及定位孔的位置,分别测量3组球心距。第1组将两个标准球分别置于1号相机和2号相机视场的定位孔中,使其间距为400.0 mm,第2组将两个标准球分别置于1号相机和3号相机视场的定位孔中,使其间距为600.0 mm,第3组将两个标准球分别置于1号相机和4号相机视场的定位孔中,使其间距为721.1 mm(即以400.0 mm和600.0 mm为直角边的直角三角形斜边长度)。获得合并点云后,拟合球冠点云数据,图12所示为600.0 mm球心距的拟合点云,左右两侧指出的部分即为球冠点云及拟合球,测量拟合球的球心距。更换定位孔多次,保持得到球心距始终为标称值,球心距测量数据如表2所示。

图 12. 根据球冠点云拟合的球

Fig. 12. Fitted spheres based on the spherical crown point cloud

下载图片查看所有图片

由表2计算可得,球心距的测量平均值与真值的偏差小于0.5 mm,与真值的均方根误差小于1.0 mm,说明不同视场合并测量的距离精度良好,图像拼接方法有效,符合工业在线测量的要求。

表 2. 球心距测量结果

Table 2. Measurement results of the sphere center distance

Nominal value /mm	Center distance /mm					Average /mm	RMSE /mm
400.0	401.42	398.84	399.11	400.57	399.66	400.37	0.98
	401.16	400.71	401.73	400.41	400.13
600.0	599.86	600.81	599.35	600.96	598.93	599.75	0.87
	598.82	600.70	598.86	600.33	598.92
721.1	722.16	721.27	720.63	722.86	721.21	721.53	0.92
	720.13	722.39	721.82	721.98	720.90

查看所有表

4 结论

提出了一种基于柔性靶标定位实现图像拼接的多相机三维测量系统,在相邻相机部分视场重合的前提下,利用柔性靶标定位建立相邻相机二维图像坐标的一一映射,由基准相机图像坐标到世界坐标的映射完成全局三维测量。根据实验结果对比,图像拼接方法适合选用四元二次多项式模型,相邻相机至少需要1/3重合视场。该测量方法能够同时测量大视场中多个物体,其测量精度略低于相机单视场测量的精度,但精度损失较小,满足工业在线测量的要求。由于柔性靶标为任意表面特征的物体,其尺寸无需任何高精度加工,仅满足相邻相机定位匹配同名点的要求即可,避免了使用昂贵的辅助测量仪器和加工高精度大型靶标,实现了成本低、结构简单、适应性强、精度高的多相机条纹投影测量系统全局标定。

未来基于图像拼接方法的多相机条纹投影三维测量系统的研究方向,主要是如何在较小重合视场的情况下,保证测量系统的鲁棒性和测量结果的准确性,进一步扩展系统的应用范围。

参考文献

[1] Gorthi S S, Rastogi P. Fringe projection techniques: whither we are?[J]. Optics and Lasers in Engineering, 2010, 48(2): 133-140.

[2] 陆鹏, 孙长库, 王鹏. 条纹投影相位高度转换映射模型及其标定方法[J]. 光学学报, 2018, 38(2): 0212004.

Lu P, Sun C K, Wang P. Fringe projection phase-to-height mapping model and its calibration method[J]. Acta Optica Sinica, 2018, 38(2): 0212004.

[3] Park S C, Chang M. Reverse engineering with a structured light system[J]. Computers & Industrial Engineering, 2009, 57(4): 1377-1384.

[4] Song L M, Qu X H, Yang Y G, et al. Application of structured lighting sensor for online measurement[J]. Optics and Lasers in Engineering, 2005, 43(10): 1118-1126.

[5] 彭旷, 曹益平, 武迎春. 一种无需滤波的复合光栅投影的在线三维测量方法[J]. 光学学报, 2018, 38(11): 1112003.

Peng K, Cao Y P, Wu Y C. An on-line three-dimensional measurement method of composite grating projection without filtering[J]. Acta Optica Sinica, 2018, 38(11): 1112003.

[6] Xue J P, Zhang Q C, Li C H, et al. 3D face profilometry based on galvanometer scanner with infrared fringe projection in high speed[J]. Applied Sciences, 2019, 9(7): 1458.

[7] 任卿, 刁常宇, 鲁东明, 等. 基于结构光的文物三维重建[J]. 敦煌研究, 2005( 5): 102- 106.

RenQ, Diao CY, Lu DM, et al. Three-dimensional reconstruction of cultural relics based on structural light[J]. Dunhuang Research, 2005( 5): 102- 106.

[8] KawabataS, KawaiY. Plane based multi camera calibration under unknown correspondence using ICP-like approach[C]//Proceedings of the 21st International Conference on Pattern Recognition (ICPR2012), November 11-15, 2012, Tsukuba, Japan. New York: IEEE, 2012: 13325367.

[9] Lu R S, Li Y F. A global calibration method for large-scale multi-sensor visual measurement systems[J]. Sensors and Actuators A: Physical, 2004, 116(3): 384-393.

[10] Zhang S, Huang P S. Novel method for structured light system calibration[J]. Optical Engineering, 2006, 45(8): 083601.

[11] 汤明, 达飞鹏, 盖绍彦. 基于光栅投影的多摄像机标定方法[J]. 仪器仪表学报, 2016, 37(9): 2149-2155.

Tang M, Da F P, Gai S Y. Multi-cameras calibration approach based on fringe projection[J]. Chinese Journal of Scientific Instrument, 2016, 37(9): 2149-2155.

[12] Liu X R, Kofman J. Background and amplitude encoded fringe patterns for 3D surface-shape measurement[J]. Optics and Lasers in Engineering, 2017, 94: 63-69.

[13] Towers C E, Towers D P. Jones J D C. Absolute fringe order calculation using optimised multi-frequency selection in full-field profilometry[J]. Optics and Lasers in Engineering, 2005, 43(7): 788-800.

[14] Zitová B, Flusser J. Image registration methods: a survey[J]. Image and Vision Computing, 2003, 21(11): 977-1000.

[15] 何援军. 图形变换的几何化表示: 论图形变换和投影的若干问题之一[J]. 计算机辅助设计与图形学学报, 2005, 17(4): 723-728.

He Y J. Geometric representation of graphics transformation[J]. Journal of Computer Aided Design & Computer Graphics, 2005, 17(4): 723-728.

[16] 李卫国, 高飞, 陈文玲. 基于QuickBird卫星遥感影像的几何纠正方法对比[J]. 合肥工业大学学报(自然科学版), 2012, 35(2): 238-241.

Li W G, Gao F, Chen W L. Comparison of geometric rectification methods based on QuickBird satellite remote sensing image[J]. Journal of Hefei University of Technology(Natural Science), 2012, 35(2): 238-241.

[17] Huang F R, Hu Z Y. A note on polynomials based image registration[J]. Acta Automatic Sinica, 2005, 31(2): 188-194.

[18] Yue H M, Zhao B Y, Wu Y X, et al. Flexible global calibration technique for an arbitrarily arranged fringe projection profilometry system[J]. Optical Engineering, 2016, 55(6): 064113.

[19] 吴泽鹏, 郭玲玲, 朱明超, 等. 结合图像信息熵和特征点的图像配准方法[J]. 红外与激光工程, 2013, 42(10): 2846-2852.

Wu Z P, Guo L L, Zhu M C, et al. Improved image registration using feature points combined with image entropy[J]. Infrared and Laser Engineering, 2013, 42(10): 2846-2852.

[20] Tang Z W, von Gioi R G, Monasse P, et al. A precision analysis of camera distortion models[J]. IEEE Transactions on Image Processing, 2017, 26(6): 2694-2704.

[21] 伏燕军, 杨坤涛, 邹文栋, 等. 基于Levenberg-Marquardt算法的图像拼接[J]. 激光杂志, 2007, 28(5): 46-48.

Fu Y J, Yang K T, Zou W D, et al. Image mosaic based on Levenberg-Marquardt algorithm[J]. Laser Journal, 2007, 28(5): 46-48.

[22] 王涛, 孙长库, 石永强, 等. 基于辅助参考线的光栅投影轮廓测量系统及标定方法[J]. 光学学报, 2011, 31(1): 0115002.

Wang T, Sun C K, Shi Y Q, et al. Novel grating projection system based on assistant line and its calibration method[J]. Acta Optica Sinica, 2011, 31(1): 0115002.

[23] Chen L C, Liao C C. Calibration of 3D surface profilometry using digital fringe projection[J]. Measurement Science and Technology, 2005, 16(8): 1554-1566.

王鹏, 张颖杰, 孙长库, 周舵. 基于柔性靶标定位实现图像拼接的多相机三维测量系统[J]. 光学学报, 2020, 40(4): 0412003. Peng Wang, Yingjie Zhang, Changku Sun, Duo Zhou. Multi-Camera Three-Dimensional Measurement System Using an Image Stitching Method Based on Flexible Calibration Target Positioning[J]. Acta Optica Sinica, 2020, 40(4): 0412003.

基于柔性靶标定位实现图像拼接的多相机三维测量系统 下载： 1325次

1 引言

2 原理

2.1 相位轮廓术

2.2 图像新型拼接算法

2.3 系统标定方法

3 实验

图 1. 多相机条纹投影三维测量实验装置图

Fig. 1. Experimental setup for multi-camera three-dimensional shape measuring system using digital fringe projection techniques

3.1 系统标定

图 2. 方向性平面圆靶标图案

Fig. 2. Directional circular pattern for planar calibration target

图 3. (a)~(d)不同相机采集的同一柔性靶标图像。(a) 1号相机;(b) 2号相机;(c) 3号相机;(d) 4号相机。(e)~(h) 1号相机采集的不同形态的柔性靶标图像。(e)形态1;(f)形态2;(g)形态3;(h)形态4

Fig. 3. (a)-(d) Images of the flexible calibration target grabbed by different cameras. (a) Camera 1; (b) camera 2; (c) camera 3; (d) camera 4. (e)-(h) Images grabbed by camera 1 of the flexible calibration target with different shapes. (e) Shape 1; (f) shape 2; (g) shape 3; (h) shape 4

图 4. 2号相机到1号相机的四元二次模型标定误差图

Fig. 4. Calibration error diagram from camera 2 to camera 1 in quaternary quadratic model

3.2 测量结果与分析

图 5. 4种多项式模型对比测量结果。(a)三元二次模型;(b)三元三次模型; (c)四元二次模型;(d)四元三次模型

Fig. 5. Measurement results of 4 different polynomial models. (a) Ternary quadratic model; (b) ternary cubic model; (c) quaternary quadratic model; (d) quaternary cubic model

图 6. 不同视场重合对比测量结果。(a) 1/2;(b) 1/3;(c) 1/4;(d) 1/6

Fig. 6. Measurement results of different FOV overlapping. (a) 1/2; (b)1/3; (c) 1/4; (d) 1/6

图 7. 多个被测物照片

Fig. 7. Image of multiple objects to be measured

图 8. 三维重建结果。(a) 1号相机;(b) 2号相机;(c) 3号相机;(d) 4号相机;(e)合并

Fig. 8. 3D reconstruction images. (a) Camera 1; (b) camera 2; (c) camera 3; (d) camera 4; (e) merged image

图 9. 阶梯标准块与其尺寸

Fig. 9. Step standard block and its size

图 10. 2号相机(a)方法1与(b)方法2的台阶三维重建结果

Fig. 10. 3D reconstruction image of the step standard block by camera 2 using (a) method 1 and (b) method 2

表 1. 阶梯标准块测量结果

Table 1. Measurement results of the step standard block

图 11. 标准球

Fig. 11. Standard ball

图 12. 根据球冠点云拟合的球

Fig. 12. Fitted spheres based on the spherical crown point cloud

表 2. 球心距测量结果

Table 2. Measurement results of the sphere center distance

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于柔性靶标定位实现图像拼接的多相机三维测量系统下载： 1325次