激光与光电子学进展, 2020, 57 (1): 011202, 网络出版: 2020-01-03   

光栅投影三维测量系统中标定技术的研究 下载: 1260次

Calibration of Fringe Projection Three-Dimensional Measurement System
作者单位
浙江大学机械工程学院, 浙江 杭州 310027
摘要
相机和投影仪的标定精度决定光栅投影三维系统的测量精度。提出一种改进的标定方法。该方法在逆向相机模型的基础上对投影仪进行标定,利用相位编码法进行绝对相位展开,避免相机标定误差的引入,在标定过程中减少投影仪投射图案的数量,使标定操作更加简单、快速。在系统的标定过程中,利用投影仪投射的垂直、水平两组光栅图像,建立其与相机图像的对应关系,进而求得标志点圆心在投影仪图像上的像素坐标;然后利用带有径向畸变的相机模型对投影仪进行标定;最后进行系统的立体标定,确定相机和投影仪间的相对位置关系。实验结果表明所提方法切实可行。
Abstract
The measurement accuracy of the fringe projection three-dimensional system is mainly determined by the calibration accuracy of a camera and a projector. This study proposes an improved calibration method. Further, the projector is calibrated based on the inverse camera model. The phase coding method is employed to obtain the unwrapped phase, avoids the introduction of the camera calibration error, reduces the number of images projected by the projector, and simplifies and accelerates the calibration operation. Using two sets of fringe patterns, both horizontal and vertical, the projection by the projector corresponds with the camera image in case of system calibration. Thus, the pixel coordinate of the circular mark points in a projector image can be obtained. Subsequently, a radial distortion camera model is utilized for calibrating the projector. In addition, stereo calibration is the final step used to obtain a geometric relation between the camera and the projector. Furthermore, the experimental results demonstrate that the proposed calibration method is feasible.

1 引言

近年来,基于数字光栅投影的三维体廓测量技术被广泛应用在各种领域,如逆向工程、工业质量检测[1]、机器人导航[2]、增强现实等。同其他技术相比,光栅投影体廓测量法(FPP)具有成本低、测量速度快、视场大和分辨率高等优势[3-4],因此受到市场的青睐。光栅投影测量系统主要由相机和投影仪组成。投影仪向待测物投射一组编码图案,根据待测物表面高度变化,对编码图案进行调制,由相机捕获调制后的编码图案;然后通过解码获得待测物表面上各点在投影仪图像坐标系下的像素坐标;最后根据三角测量原理计算出待测物表面各点在世界坐标系下的三维坐标。相机和投影仪的标定精度决定了测量系统的测量精度。现有的标定方法可分为4类,即三角几何法、多项式法、逆向相机模型法[5]、虚拟相机法。三角几何法[6-7]利用投影仪和相机之间的几何约束计算深度信息,但在实际操作中相机光心与投影中心连线平行于参考平面的理想情况很难实现,导致测量系统空间位置调整、校正过程繁琐,标定时间较长,可操作性差[8]。多项式法[9]的高精度标定需要四阶或五阶多项式,包含60多个待求参数,求解过程繁琐,且需要使用高精度、高成本的标定设备。

逆向相机模型法因标定参数少、标定板成本低等优点被广泛应用。根据是否使用相机标定结果可将投影仪标定分为两类:一是以文献[ 5,10]为代表,在投影仪标定过程中没有引入相机标定参数,因此标定精度较高,但投射图片过多;二是以文献[ 11]为代表,利用相机标定参数标定投影仪,引入了相机标定的误差,影响了标定精度。为提高标定精度、简化标定操作、缩短标定时长,很多学者对此展开了研究。文献[ 12]利用交比不变性实现投影仪的标定,避免了相机标定误差的引入,理论上具有很高的精度,但多次利用交比不变性进行三维坐标反求会加大误差,造成标定点越多、标定精度越低的状况。文献[ 5,13-15]在解相位时,没有对测量系统的伽马非线性所引起的相位误差进行补偿,从而降低了投影仪的标定精度,进而影响整个测量系统的精度。文献[ 16]采用多频外差法进行解相,从6个不同方向采集数据,至少要投射144幅光栅图,投射图片过多。本文在上述方法的基础上,介绍相机和投影仪的数学模型,阐述投影仪标定和三维测量系统立体标定的原理,利用自制标定板,对相机和投影仪进行标定;在光栅图像相位求解过程中进行相位误差补偿,并利用相位编码法求解绝对相位,减少投影仪标定过程中投射光栅图的数量,提高了投影仪标定的精度;最后通过标定实验对本文方法进行验证,实验结果表明,本文标定方法操作简单、耗时短、精度较高。

2 数学模型

相机模型是光学成像几何的简化,针孔模型是一种理想模型,如图1所示。通常用带有镜头畸变的针孔模型作为相机和投影仪的数学模型。

图 1. 针孔相机模型

Fig. 1. Pinhole camera model

下载图片 查看所有图片

在针孔相机模型中,世界坐标系下的物点Pw通过镜头的光学中心oc投影至成像平面上的像点p

世界坐标系(xw,yw,zw)下物体的三维坐标与成像平面坐标系下的二维像素坐标之间的转换关系为[17]

suv1=A[RT]xwywzw1,(1)

式中:(u,v)为无镜头畸变下的理想像素坐标;s为任意比例因子;A为相机的内参矩阵;R为世界坐标系到相机坐标系的正交旋转矩阵;T为平移向量。

镜头畸变的存在,使得三维空间点的理想像素坐标与实际像素坐标之间会存在偏差。对于大多数镜头而言,径向畸变造成的影响最大,所以对一般的测量系统,可以只考虑径向畸变。本文考虑了三阶径向畸变,其数学模型为[18]

u'=(1+k0r2+k1r4+k2r6)u,(2)v'=(1+k0r2+k1r4+k2r6)v,(3)r2=u2+v2,(4)

式中:(u',v')为镜头畸变下的实际像素坐标;(k0,k1,k2)为镜头的径向畸变系数;r为像素点到镜头光心oc的径向距离。

投影仪的光学结构和相机的光学结构相似,不同之处在于DLP(digital light processing)数字投影仪通过DMD(digital micromirror device)芯片向外反射光线,而相机通过感光元件接收光线。因此,可以将投影仪视作逆向的相机,从而可以利用上述小孔成像模型和镜头畸变模型对其进行标定。

3 投影仪和传感器标定

投影仪标定是为了获取投影仪的内参和外参,传感器的标定主要是为了获取相机和投影仪之间的几何关系。单相机和投影仪组成的三维测量传感器的结构简图如图2所示,测量时DLP投影仪所投射的正弦图像如图3所示。传感器标定完成后,测量系统即可对物体进行三维扫描,获取空间物体的表面信息。

图 2. 光栅投影三维测量系统结构示意图

Fig. 2. Schematic of fringe projection 3D measurement system

下载图片 查看所有图片

图 3. 光栅投影测量系统中使用的光栅图像

Fig. 3. Fringe patterns used in fringe projection measurement system

下载图片 查看所有图片

3.1 投影仪标定

投影仪标定的前提是获取标定板上圆形标志点圆心的三维坐标和其在投影仪图像平面上相对应的二维像素坐标。标志点圆心的三维坐标通过相机获取。投影仪图像平面上二维像素坐标通过相移法获取。本文采用三步相移法,通过精确移动投影光栅,使光栅条纹图像的相位场移相,得到3幅条纹图像。各图像可表示为[8]

Ii(m,n)=I'(m,n)+I(m,n)cos[θ(m,n)+αi],(5)

式中:i为第i次相移,i=1,2,3;Ii(m,n)为第i幅相移图上(m,n)点处的灰度值;I'(m,n)为背景灰度值;I″(m,n)为调制的幅值;θ(m,n)为待求相位;αi为第i幅相移图的相移值。

令相移分别为α1=-π/3,α2=0,α3=π/3,由(5)式求得相位主值ϕ(m,n)为

ϕ(m,n)=arctan3(I1-I3)2I2-I1-I3(6)

为获得高精度标定,可以使用更多的相移图像,但是当投射的图案数量明显增多,标定流程的时间则随之增加。为保证标定的精度,同时避免投射过多的相移图案,可以对三步相移法获取的相对相位进行误差补偿,经过误差补偿的三步相移法在解相的精度上与四步相移法相当。

相位编码法中各光栅图像可表示为[19]

Isi(m,n)=I'(m,n)+I(m,n)cos[ϕs(m,n)+αi],7ϕs(m,n)=-π+Floor(m/T)×2πN,(8)

式中: Iis(m,n)为第i幅相移图上(m,n)点处的灰度值;ϕs(m,n)为经相位编码调制的阶梯相位;Floor为向下取整函数;T为光栅图像的像素周期长度;N为光栅投射图像包含的周期个数。

同三步相移法,令α1=-π/3,α2=0,α3=π/3,解算 ( 7 )式便可求得相对相位ϕs(m,n)。这样,求解三步相移绝对相位所需的光栅次序k(m,n)为

k(m,n)=Round[N(ϕs+π)/(2π)],(9)

式中:Round为就近取整函数。

至此,便可进行三步相移法的绝对相位展开,完整的相位θ(m,n)为

θ(m,n)=ϕ(m,n)+2k(m,n)π(10)

利用相机捕获两组水平和垂直的相移光栅图案,通过已求解的绝对相位获取标志点圆心处的相位值,然后利用绝对相位值获取投影仪图像平面上的二维像素坐标,从而进行投影仪标定。需要注意的是,投影仪的标定过程没有使用相机的内参和外参,因此避免了二次误差的引入;并且采用相位编码法进行绝对相位展开,减少了标定过程中投影仪投射图案的数量。

3.2 传感器的立体标定

完成相机和投影仪内参、外参标定后,还需求取相机和投影仪之间的相对位置关系。相机与投影仪间的几何关系Mpc可表示为[20]

Mpc=Rpctpc01,(11)

式中:Rpc为相机与投影仪之间3×3的旋转矩阵;tpc= tpc1tpc2tpc3T为相机与投影仪之间的平移向量,tpc1tpc2tpc3分别为相机与投影仪在x轴、y轴、z轴方向上的平移分量。

对于参考点P,其在相机坐标系下的坐标Pc和投影仪坐标系下的坐标Pp之间的转换关系为

Pp=Rpc(Pc-tpc)(12)

PcPp满足的约束条件为

(Pc-tpc)T(tpc×Pc)=0(13)

又因 RpcT= Rpc-1,Pc-tpc= RpcTPp,(13)式可转换为

(RTpcPp)T(tpc×Pc)=0(14)

将(14)式中的向量叉乘改写为

tpc×Pc=SpcPc,(15)

式中:Spc= 0-tpc3tpc2tpc30-tpc1-tpc2tpc10

将 (15)式代入(14)式,有

PpTRpcSpcPc=0(16)

经过相机标定和投影仪标定,相机的内参矩阵Ac和投影仪的内参矩阵Ap为已知量,相机成像平面上的像素坐标向量pc满足pc=AcPc,投影仪DMD芯片上的像素坐标向量pp满足pc=AcPc。(16)式可转换为

qpTApTRpcSpcAcqc=0,ppTApTRpcSpcAcpc=0,(17)

式中:RpcSpc可通过随机采样一致性算法(RANSAC)求得,这样就可以得到相机和投影仪之间的相对位置关系。

4 实验与讨论

本文使用图4所示的光栅投影测量系统对本文标定算法进行验证。该系统由分辨率为1280 pixel×720 pixel的数字投影仪(DLP3010EVM-LC)和分辨率为1296 pixel×966 pixel的CCD相机(Basler acA1300-30gm)组成。相机和投影仪被固定在铝板上。

图 4. 光栅投影测量系统

Fig. 4. Fringe projection measurement system

下载图片 查看所有图片

采用自制标定板对相机和投影仪同时进行标定,如图5所示。该标定图案由9×11个圆形标志点组成,由普通打印机打印并附在硬质纸板上。

图 5. 圆点标定板

Fig. 5. Dot calibration plate

下载图片 查看所有图片

表 2. 两种方法标定的畸变系数

Table 2. Distortion coefficients calibrated by two methods

MethodDeviceRadial distortion coefficient
Proposed methodCamera-0.11060.17976-0.0720
Projector0.1260-0.366800.2629
Method in Ref. [10]Camera-0.15420.21620-0.2499
Projector0.1377-0.401400.2716

查看所有表

表 1. 两种方法获得的三维测量系统的内参矩阵

Table 1. Intrinsic parameter matrice of 3D measurement system obtained by two methods

MethodCameraProjector
Proposed method2146.4720654.36002146.472483.2640011515.9650512.26401515.965717.806001
Method in Ref. [10]2165.9590648.97302165.959489.0120011512.7330512.57801512.733713.046001

查看所有表

标定步骤如下:

1)将标定板放置在不同的位置和方向,对每个位置和方向,拍摄一张标定板图像,然后向标定板分别投射一组水平和垂直的光栅图像并进行拍摄;

2)利用拍摄的无投影图像,提取圆形标志点的亚像素圆心坐标(xci,yci),其中ci表示相机成像平面坐标系,i表示提取的第i个圆形标志点;

3)计算相机的内参和外参矩阵;

4)利用拍摄的光栅图像,采用三步相移法加相位编码法分别计算出水平和垂直光栅图像的绝对相位值,在求绝对相位值时,对相位误差进行补偿[21];

5)利用双线性插值得到标志点圆心对应的绝对相位值,根据绝对相位在投影仪中的分布,求取投影仪DMD芯片上的像素坐标x,y;

6)计算投影仪的内参和外参;

7)计算投影仪和相机之间的相对位置。

按照上述步骤从6个不同方位采集图像,实验中投影仪共投射72幅图像。本文利用OpenCV对三维测量系统进行标定。相机标定的重投影误差为0.079 pixel,投影仪标定的重投影误差为0.293 pixel。为了验证标定数据的准确性,采用文献[ 10]提出的高精度投影仪-相机标定方法作为对照组方法对该三维测量系统进行标定,该方法采用棋盘格标定板,利用十阶互补格雷码标定投影仪。对照组实验中,从6个不同方位采集数据,共投射240幅图像。相机标定的重投影误差为0.119 pixel,投影仪标定的重投影误差为0.309 pixel。本文方法的相机标定精度和投影仪标定精度均高于文献[ 10]方法标定的精度。其中,相机和投影仪的内参矩阵见表1,畸变系数见表2。本文标定方法获得的相机和投影仪之间的相对位置关系为Rpc= 0.99990.00800.0119-0.00740.9987-0.0509-0.01240.05080.9986,tpc= 5.52159.451.4;文献[ 10]方法获得的相机和投影仪之间的相对位置关系为Rpc= 0.99990.00800.0107-0.00680.9978-0.0562-0.01180.05610.9978,tpc= 5.73158.752.1

图 6. 阶梯试块的三维测量。(a)本文方法测量结果;(b)文献[ 10]方法测量结果

Fig. 6. 3D measurement of step block. (a) Measurement result of proposed method; (b) measurement result of Ref. [10]

下载图片 查看所有图片

图 7. 复杂物体三维形状测量实例。(a)相移光栅图中的一幅;(b)相位编码图中的一幅;(c)三维形状重建图

Fig. 7. Example of 3D shape measurement of complex object. (a) One of phase-shifted fringe patterns; (b) one of phase-encoded patterns; (c) 3D reconstructed shape

下载图片 查看所有图片

三维测量系统标定完成后,对四阶梯试块进行对比测量,测量距离为562 mm,测量结果如图6所示。本文方法测得各级阶梯面拟合平面的标准差分别为0.103,0.101,0.099,0.097 mm,测量系统的相对精度约为1∶ 5600;文献[ 10]测得各级阶梯面拟合平面的标准差分别为0.245,0.131,0.128,0.124 mm,测量系统的相对精度约为1∶3580。可见本文方法测量精度高于文献[ 10]。

此外,本文对长为195 mm、宽为140 mm、高为136 mm的大卫石膏像进行了扫描,如图7所示。可以看出,三维重建效果良好,再次验证本文标定方法的可行性。

5 结论

提出一种操作简单、速度快、精度较高的标定方法。在投影仪的标定过程中,采用逆向相机模型法,没有引入相机标定参数。与现有的同类型方法相比,在保证标定精度的情况下,本文方法有效减少了投影仪投射图案的数量,缩短了标定时间。

参考文献

[1] 马龙, 徐泓悦, 胡艳敏, 等. 基于投影条纹级次识别的发动机叶片三维测量方法[J]. 激光与光电子学进展, 2018, 55(4): 041201.

    Ma L, Xu H Y, Hu Y M, et al. Three-dimensional measurement method of aero-engine blades based on projected fringe order identification[J]. Laser & Optoelectronics Progress, 2018, 55(4): 041201.

[2] 刘丽, 马国庆, 高艺, 等. 三维形貌测量机器人的轨迹规划技术[J]. 中国激光, 2019, 46(2): 0204005.

    Liu L, Ma G Q, Gao Y, et al. Trajectory planning technology of three-dimensional shape measurement robots[J]. Chinese Journal of Lasers, 2019, 46(2): 0204005.

[3] Nguyen H, Nguyen D, Wang Z Y, et al. Real-time, high-accuracy 3D imaging and shape measurement[J]. Applied Optics, 2015, 54(1): A9-A17.

[4] Zhang Y Y, Xiong Z W, Wu F. Unambiguous 3D measurement from speckle-embedded fringe[J]. Applied Optics, 2013, 52(32): 7797-7805.

[5] Zhang S, Huang P S. Novel method for structured light system calibration[J]. Optical Engineering, 2006, 45(8): 083601.

[6] Jia X J, Zhang Z J, Cao F, et al. Model and error analysis for coded structured light measurement system[J]. Optical Engineering, 2010, 49(12): 123603.

[7] Zhang Z, Zhang D, Peng X. Performance analysis of a 3D full-field sensor based on fringe projection[J]. Optics and Lasers in Engineering, 2004, 42(3): 341-353.

[8] 达飞鹏, 盖绍彦. 光栅投影三维精密测量[M]. 北京: 科学出版社, 2011: 132- 133.

    Da FP, Gai SY. Fringe projection 3D precision measurement[M]. Beijing: Science Press, 2011: 132- 133.

[9] Léandry I, Brèque C, Valle V. Calibration of a structured-light projection system: development to large dimension objects[J]. Optics and Lasers in Engineering, 2012, 50(3): 373-379.

[10] MorenoD, TaubinG. Simple, accurate, and robust projector-camera calibration[C]∥2012 Second International Conference on 3D Imaging, Modeling, Processing, Visualization & Transmission, October 13-15, 2012, Zurich, Switzerland. New York: IEEE, 2012: 464- 471.

[11] Gao W. Flexible method for structured light system calibration[J]. Optical Engineering, 2008, 47(8): 083602.

[12] 韦争亮, 钟约先, 袁朝龙. 结构光三维测量系统中投影仪标定技术研究[J]. 光学技术, 2009, 35(2): 256-260, 264.

    Wei Z L, Zhong Y X, Yuan C L. Research on the calibration technique of projector in structured light 3D measurement system[J]. Optical Technique, 2009, 35(2): 256-260, 264.

[13] 戴小林, 钟约先, 袁朝龙, 等. 单摄像机结构光扫描系统中投影仪标定技术[J]. 机械设计与制造, 2008( 8): 194- 196.

    Dai XL, Zhong YX, Yuan CL, et al. Research on projector calibration in one-camera 3-D measurement systems[J]. Machinery Design & Manufacture, 2008( 8): 194- 196.

[14] 陆鹏, 孙长库, 王鹏. 条纹投影相位高度转换映射模型及其标定方法[J]. 光学学报, 2018, 38(2): 0212004.

    Lu P, Sun C K, Wang P. Fringe projection phase-to-height mapping model and its calibration method[J]. Acta Optica Sinica, 2018, 38(2): 0212004.

[15] 吴庆阳, 曾增, 张佰春, 等. 一种新的360°三维测量系统及标定技术[J]. 中国激光, 2017, 44(4): 0404002.

    Wu Q Y, Zeng Z, Zhang B C, et al. A 360° three-dimensional measurement system and its calibration[J]. Chinese Journal of Lasers, 2017, 44(4): 0404002.

[16] 李中伟, 史玉升, 钟凯, 等. 结构光测量技术中的投影仪标定算法[J]. 光学学报, 2009, 29(11): 3061-3065.

    Li Z W, Shi Y S, Zhong K, et al. Projector calibration algorithm for the structured light measurement technique[J]. Acta Optica Sinica, 2009, 29(11): 3061-3065.

[17] 高宏伟. 计算机双目立体视觉[M]. 北京: 电子工业出版社, 2012: 20- 21.

    Gao HW. Computer based binocular vision[M]. Beijing: Publishing House of Electronics Industry, 2012: 20- 21.

[18] KaehlerA, BradskiG. 学习OpenCV3[M]. 刘昌祥, 吴雨培, 王成龙, 等, 译. 北京: 清华大学出版社, 2018: 559- 561.

    KaehlerA, BradskiG. Learning OpenCV3[M]. Liu C X, Wu Y P, Wang C L, et al., Transl. Beijing: Tsinghua University Press, 2018: 559- 561.

[19] Zheng D L, Da F P. Phase coding method for absolute phase retrieval with a large number of codewords[J]. Optics Express, 2012, 20(22): 24139-24150.

[20] Chen R, Xu J, Chen H P, et al. Accurate calibration method for camera and projector in fringe patterns measurement system[J]. Applied Optics, 2016, 55(16): 4293-4300.

[21] Bing P, Qian K M, Lei H, et al. Phase error analysis and compensation for nonsinusoidal waveforms in phase-shifting digital fringe projection profilometry[J]. Optics Letters, 2009, 34(4): 416-418.

徐念, 武建伟, 魏小保. 光栅投影三维测量系统中标定技术的研究[J]. 激光与光电子学进展, 2020, 57(1): 011202. Nian Xu, Jianwei Wu, Xiaobao Wei. Calibration of Fringe Projection Three-Dimensional Measurement System[J]. Laser & Optoelectronics Progress, 2020, 57(1): 011202.

本文已被 1 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!