激光与光电子学进展, 2019, 56 (22): 221101, 网络出版: 2019-11-02   

一种新的线结构光标定方法 下载: 2161次

Calibration Method for Line-Structured Light
作者单位
天津大学微电子学院, 天津, 300072
摘要
针对现有的测量系统中线结构光标定方法存在的局限性,设计了一种新的标定方法。该方法通过避免光条与靶标参照物上的棋盘相交,提高了特征点的提取精度,并通过增加用于拟合光平面的特征点数量来提高标定的精度。连接光条中心任意特征点与相机中心以形成一条直线;联立直线方程与靶标参照物平面方程,求解特征点在相机坐标系下的坐标,继而求解2条及以上的光条中心点在相机坐标系下的坐标;基于最小二乘法,利用所有光条中心特征点计算光平面在相机坐标系下的方程。实验结果表明,该方法的准确性和鲁棒性均优于现有的标定方法。
Abstract
A new calibration method is proposed to address the limitations of the line-structured light calibration method in the existing measurement systems. The proposed method improves the extraction accuracy of feature points by avoiding intersection between the light stripe and chessboard on the target reference,and improves the calibration accuracy by increasing the number of feature points for light plane fitting. The coordinates of feature points in the camera coordinate system are computed by combining the equation of rays which is formed by the connection of arbitrary feature points at the center of the light strip and the camera center and the plane equation of the target reference, then the coordinates of the center points of two and more strips in the camera coordinate system are solved. Finally, based on the least square method, the equation of the light plane in the camera coordinate system is obtained based on coordinates of all center feature points of the stripes. Experimental results show that the accuracy and robustness of the proposed method are superior to those of existing calibration methods.

1 引言

随着现代化工业技术的发展,检测技术已经成为管控产品质量的关键。其中线结构光测量系统因其结构简单、稳定度高、效率高、量程大、非接触等优势,在三维模型重建[1-3]以及物体表面轮廓三维检测[4-7]等领域具有广泛的研究与应用前景。线结构光测量系统由计算机、电荷耦合器件(CCD)相机和线结构光光源组成。其测量原理为:线结构光光源将结构光投射到物体表面形成光条,其受物体表面的调制而发生形变。通过CCD相机获取该光条图像,提取其中心特征点,进而通过坐标转换和数据拟合求得被测物体的三维形貌数据。

在线结构光测量系统中,测量的精度取决于系统标定的精度,而线结构光的标定是系统标定中的关键部分。近年来,线结构光标定技术[8-9]得到了广泛的研究。常用的技术主要包括Huynh等[10-11]提出的利用交比不变性原理获取光平面标定点的标定方法和刘震等[12]提出的联立光平面上光条的Plüker矩阵求解光平面方程的标定方法,二者所需的靶标参照物通常为棋盘靶标,具有成本低、精度高的优点。然而,基于交比不变性的标定方法是利用交比不变性求解盘靶标上的3个共线点(一般为棋盘角点)所在直线的交点坐标,继而获得光平面上较高精度的标定点,其过程简单,多用于现场标定。但是该方法需要线结构光投射的光条与棋盘靶标上的棋盘相交,不利于提取棋盘角点和光条中心点,且提取的特征点较少,对线结构光的标定具有一定的局限性。而求解光平面Plüker矩阵的标定方法需要联立3个平面方程来计算光平面上多个光条的Plüker矩阵,其计算过程较为复杂。

针对上述线结构光标定方法的局限性,本文提出一种新的线结构光标定方法。该方法采用较多的光平面特征点进行光平面的拟合,在提高光条中心点和棋盘角点提取精度的同时,也提高了光平面的标定精度。具体标定操作:1)采用高精度棋盘标定板作为靶标参照物,将线结构光投射在棋盘靶标空白部分以保证光条不与棋盘相交,提取光条中心的特征点,通过该特征点在归一化图像平面的投影点计算出特征点所在直线(过相机光心、特征点)在相机坐标系下的方程;2)根据棋盘靶标的特点计算出该靶标平面在相机坐标系下的方程,联立上述直线方程和该平面方程,即可获得特征点在相机坐标系下的坐标值;3)计算出光条中心所有特征点的坐标值。棋盘靶标的单一位置和位姿只能获取光平面上同一条直线的特征点,这将影响光平面的拟合精度,因此需要在标定过程中对棋盘靶标的位姿进行至少1次的改变,进而获取更多的非共线光条特征点来进行光平面的拟合。此外,本文设计了一种评估方法,对所提的标定方法与基于交比不变性的方法的标定结果进行评估。结果表明,与基于交比不变性的方法相比,本文所提的标定方法鲁棒性较强、精度较高、原理和操作都较为简单。

2 标定原理

2.1 特征点直线方程

图 1. 相机透视投影模型

Fig. 1. Camera perspective projection model

下载图片 查看所有图片

相机透视投影模型如图1所示,Pl为光源投射出光平面,Ll为其在靶标平面形成的光条,OwXwYwZw为世界坐标系,位于靶标平面Pcb上;OcXcYcZc为相机坐标系,Oc为相机光心,ouv为像素坐标系,位于像平面Pi上;焦距fOcPi的距离。

光条上任意特征点Q与其在图像平面上的投影点Q'的转换关系可表示为

x'cy'cz'c=zcM-1uv1,(1)

式中:(xc,yc,zc)TQ在相机坐标系下的坐标;(u,v,1)TQ'在像素坐标系下的齐次坐标;(x'c,y'c,z'c)TQ'在相机坐标系下的坐标;M为相机内参矩阵,可采取经典的张正友标定方法获得[13],即

M=fx0cx0fycy001,(2)

式中:fxfy表示焦距的参数;cxcy表示相机光轴在图像坐标系中的偏移量,则(1)式可表示为

x'cy'cz'c=z'c1fx0-cxfx01fy-cyfy001uv1=z'cufx-cxz'cfxz'cvfy-cyz'cfyz'c(3)

由(3)式可知,已知像素坐标值和相机内参矩阵,Q'在相机坐标系下的坐标值与z'c呈线性关系。为了简化计算,在距离光心Oc单位距离处(z'c=1)建立归一化图像坐标系OnXnYnZn,XnOnYn位于归一化图像平面Pn,且OnXnYnZnOcXcYcZc之间的旋转矩阵Rcn为单位矩阵,即XnOnYn面与XcOcYc面平行,平移向量Tcn=(0,0,1)T。设QPn平面上的投影点为Q″,则Q″在相机坐标系下的坐标可表示为

xcyczc=ufx-cxfxvfy-cyfy1(4)

则过OcQ″的直线方程为

xc-xcxc=yc-ycyc=zc-1(5)

2.2 棋盘靶标平面方程

设(xw,yw,zw)T为棋盘靶标平面任意点在世界坐标系下的坐标,则棋盘靶标平面Pcb在世界坐标系下的方程为

axw+byw+czw+d=0(6)

相机坐标系OcXcYcZc与世界坐标系OwXwYwZw之间的转换关系可由旋转矩阵Rcw和平移向量Tcw表示为[14-15]

xwywzw1=RcwTcw0T1-1xcyczc1(7)

(7)式中的RcwTcw可通过相机外参获得,则靶标平面Pcb在相机坐标系下的方程为

abcdRcwTcw0T1-1xcyczc1=0(8)

由于所采用的方法是将世界坐标系建立在棋盘靶标平面上,则(6)式可退化为zw=0,即a=b=d=0,进而可得(8)式中的系数为

0010RcwTcw0T1-1(9)

为了简化计算,将系数设为 a'b'c'd',则棋盘靶标平面在相机坐标系下的方程可表示为

a'xc+b'yc+c'zc+d'=0(10)

2.3 光条特征点在相机坐标系下的坐标

由于直线与平面相交有且只有一个公共点,联立(5)式和(10)式,可获得光条特征点Q在相机坐标系下的坐标为

xc=-d'xca'xc+b'yc+c'yc=-d'yca'xc+b'yc+c'zc=-d'a'xc+b'yc+c'(11)

选取光条中心上其他任意特征点,重复上述过程,即可获得该光条中心上所有特征点在相机坐标系下的坐标。由于一条直线无法确定一个平面,获取光平面在相机坐标系下的方程至少需要该平面上的2条光条。保持光平面不变,通过改变棋盘靶标位姿,获得光平面上至少2条不重合的直线上的特征点在相机坐标系下的坐标,采用最小二乘法[16]拟合出的相机坐标系下的线结构光平面的方程为

alxc+blyc+clzc+dl=0(12)

2.4 标定精度评估方法

设计一种评估方法用于定量评估光平面参数的准确性,并将所提的标定方法与基于交比不变性的标定方法的标定结果进行比较。在相机坐标系下,通过拟合获得光平面Pl的方程后,联立棋盘靶标Pcb的方程可获得光条Ll的方程。利用RcnTcn计算出光条Ll投影到归一化图像平面的直线Ln方程。通过相机拍摄换一个角度后的与标定位姿不同的棋盘靶标图像,获得组成光条的特征点在像素坐标系下的坐标。采取第2.1节的方法计算出这些特征点在归一化图像坐标系下的坐标,最终计算出特征点偏离直线Ln的距离,该距离越小表示平面的拟合程度越高。

3 实验系统及测量结果

3.1 实验系统

实验系统如图2所示,CCD相机采用的是维视MV-EM200C相机,并配有日本Computar光学镜头,焦距为12 mm。相机的图像分辨率为1600 pixel×1200 pixel,像元尺寸为4.4 μm×4.4 μm。由于噪声小、无激光散斑、发热少、发光效率高、能耗低和使用寿命长等优势,且被广泛应用于机器视觉领域[17-18],发光二极管(LED)器件可作为线结构光光源,在此采用的是Ai-SL191 Structured Pattern Generator。棋盘靶标采用9×12棋盘平面靶标,标定点(角点)的数量为8×11,精度为0.05 mm。

图 2. 线结构光传感器示意图

Fig. 2. Diagram of line-structured light sensor

下载图片 查看所有图片

采用张正友标定法对相机线结构光进行标定,以获取相机的内、外参,其流程如图3所示。标定的关键为:首先,利用灰度重心法提取图像上光条中心的特征点,利用获取的直线方程与平面方程计算光条中心的特征点在相机坐标系下的坐标;然后,根据特征点拟合光条的方程;最后,基于最小二乘法,通过光条拟合光平面。

3.2 实验数据

通过CCD相机拍摄棋盘靶标更换10次位姿的图像,提取靶标定点在像素坐标系下的坐标后,使用张正友标定方法对相机线结构光进行标定。打开光源使其照射在棋盘靶标平面空白处上,改变棋盘平面靶标6次,从而得到6张光平面标定拍摄图像,如图4所示。

图 3. 线结构光标定流程图

Fig. 3. Flow chart of calibration for line-structured light

下载图片 查看所有图片

图 4. 光平面标定拍摄图像

Fig. 4. Images taken by light plane calibration

下载图片 查看所有图片

经过相机标定得到的相机内参矩阵M

M=3236.70807.93602970.1527.062001(11)

畸变系数D=[-0.799576 14.5161 -0.00253136 0.0185057 0.00]。表1显示的是使用所提标定方法和基于交比不变性的标定方法的光平面标定结果。

表 1. 两种标定方法的标定结果

Table 1. Calibration results of two calibration methods

Method of calibrationNumber of feature pointsEquation of light plane
Invariance of cross-ratio80.999438X-0.0333133Y-0.00363374Z+68.6157=0
Our methodAll feature points on the light stripe0.999414X-0.0340966Y+0.00295146Z+65.1016=0

查看所有表

保持光平面不变,使用第2.4节所述的评估方法获取特征点到直线Ln的距离和,从而评估两种标定方法的标定结果,其评估结果如表2所示。

表 2. 两种标定方法的标定结果的评估结果

Table 2. Evaluation results of calibration results of two calibration methods

Method ofcalibrationNumber offeature pointsSum of thedistances /mm
Invariance ofcross-ratioAll feature points32.74879
Out methodAll feature points31.73931

查看所有表

采用所提的方法完成对测量系统[19]的线结构光的标定,然后测量某型号的柴油机缸盖(图5),该缸盖包括4个气道,其中A是离进气面气道较远的圆孔,B是靠近进气面气道圆孔,C是进气方孔,1,2,3,4分别对应4个气道。从测量数据中提取各个气道对应进气口的中心坐标,并将该坐标与标准数据进行比对,如表3所示,基于所提的标定方法的气缸盖测量结果获得了较高的测量精度。

为了更好地评估所提的标定方法和基于交比不变性的标定方法,利用交比不变性的标定方法完成测量系统的线结构光标定,并从测量数据中提取各个气道对应进气口的中心坐标,如表4所示。由表3表4可知,使用基于光平面标定方法进行标定的测量系统获得的中心坐标值的X坐标平均绝对误差为0.065833 mm;Y坐标平均绝对误差为0.072500 mm;Z坐标平均绝对误差为0.267500 mm。而基于交比不变性的测量系统获得的X坐标平均绝对误差为0.230000 mm;Y坐标平均绝对误差为0.222500 mm;Z坐标平均绝对误差为0.525000 mm。对比发现,所提的光平面标定方法的X坐标平均绝对误差降低了0.164167 mm;Y坐标平均绝对误差降低了0.150000 mm;Z坐标平均绝对误差降低了0.257500 mm。

为了更加直观地验证所提的线结构光标定的效果,利用逆向工程软件Geomagic Studio 10.0对测量系统获取的点云数据进行处理,封装后的柴油机缸盖三维点云俯视图和前视图如图6(a)、(b)所示。

图 5. 柴油机缸盖实物图

Fig. 5. Picture of engine cylinder head

下载图片 查看所有图片

表 3. 基于所提的标定方法的气缸盖测量结果

Table 3. Measurement results of cylinder head based on proposed method

GascavityX directionY directionZ direction
Stand-ard /mmMeas-ured /mmAbsoluteerror /mmRelativeerror /%Stand-ard /mmMeas-ured /mmAbsoluteerror /mmRelativeerror /%Stand-ard /mmMeas-ured /mmAbsoluteerror /mmRelativeerror /%
A1261.12261.210.090.03447.3047.210.090.190////
B1261.12261.090.030.0110.000.100.10/////
C1274.82274.900.080.029131.65131.690.040.03052.3052.640.340.650
A2130.56130.500.060.04547.3047.250.050.105////
B2130.56130.630.070.0530.000.090.09/////
C2144.26144.350.090.062131.65131.600.050.03752.3052.560.260.497
A300.080.08/47.3047.400.100.211////
B3000/00.090.09/////
C313.7013.750.050.360131.65131.700.050.03752.3052.650.350.669
A4130.56130.620.060.04547.3047.400.100.211////
B4130.56130.480.080.0610.000.060.06/////
C4116.86116.960.100.085131.65131.600.050.03752.3052.450.150.287

查看所有表

表 4. 基于交比不变性的标定方法的气缸盖测量结果

Table 4. Measurement results of cylinder head obtained by cross ratio invariance based calibration method

GascavityX directionY directionZ direction
Stand-ard /mmMeas-ured /mmAbsoluteerror /mmRelativeerror /%Stand-ard /mmMeas-ured /mmAbsoluteerror /mmRelativeerror /%Stand-ard /mmMeas-ured /mmAbsoluteerror /mmRelativeerror /%
A1261.12261.210.090.03447.3047.210.090.190////
B1261.12261.090.030.0110.000.110.11/////
C1274.82274.900.080.029131.65131.970.320.24352.3052.990.691.319
A2130.56131.200.640.49047.3047.160.140.295////
B2130.56130.160.400.3060.000.380.38/////
C2144.26144.880.620.429131.65131.970.320.24352.3053.210.911.739
A30-0.080.08/47.3047.450.150.317////
B3000/000/////
C313.7013.750.050.360131.65131.970.320.24352.3052.640.340.650
A4130.56130.330.230.17647.3046.930.370.782////
B4130.56130.380.180.1370.000.150.15/////
C4116.86117.220.360.308131.65131.970.320.24352.3052.460.160.305

查看所有表

图 6. 封装后三维点云图。(a)俯视图;(b)前视图

Fig. 6. Three-dimensional point clouds after encapsulation. (a) Top view; (b) front view

下载图片 查看所有图片

4 结论

为了提高线结构光标定的准确性和鲁棒性,提出了一种新的线结构光标定方法。该方法避免了光条与棋盘靶标上的棋盘格相交(在基于交比不变性的标定方法中,二者必须相交),继而在提高特征点提取精度的同时,增加了用于拟合光平面的特征点数量。设计了一种评估方法将所提的方法与基于交比不变性的标定方法进行对比。结果表明,与基于交比不变性的标定方法相比,所提方法具有较高的可行性和准确性,以及较低的靶标参照物要求和成本。

参考文献

[1] 王鹏. 线结构光三维自动扫描系统关键技术的研究[D]. 天津: 天津大学, 2008.

    WangP. Study on key techniques for automatic 3D structured-light scanning system[D]. Tianjin: Tianjin University, 2008.

[2] Geary GM, Cowley DC. The implementation of automated vision inspection systems in a modern manufacturing plant and their effect on efficiency[C]∥Proceedings of the IEEE International Conference on Industrial Technology (ICIT'96), December 2-6, 1996, Shanghai, China. New York: IEEE, 1996: 669- 673.

[3] 张启灿, 苏显渝, 邹小平. 多个线结构光传感器三维测量系统的校准[J]. 激光技术, 2005, 29(3): 225-227, 232.

    Zhang Q C, Su X Y, Zou X P. Calibration of 3-D measurement system using multi-sensor with line structured-illuminated laser[J]. Laser Technology, 2005, 29(3): 225-227, 232.

[4] Xie Z X, Zhu W T, Zhang Z W, et al. A novel approach for the field calibration of line structured-light sensors[J]. Measurement, 2010, 43(2): 190-196.

[5] Zhang R F, Zhang X M, Qin G X, et al. Novel three-dimensional data conversion technique and profile measurement system for engine cylinder head blank[J]. Optics & Laser Technology, 2013, 45: 697-701.

[6] 张翰, 包国琦, 刘凯. 一种结构光三维成像系统的简易标定方法[J]. 激光与光电子学进展, 2019, 56(14): 141102.

    Zhang H, Bao G Q, Liu K. A simple calibration method for structured light three-dimensional imaging system[J]. Laser & Optoelectronics Progress, 2019, 56(14): 141102.

[7] 李涛涛, 杨峰, 许献磊. 基于多视觉线结构光传感器的大尺度测量方法[J]. 中国激光, 2017, 44(11): 1104003.

    Li T T, Yang F, Xu X L. Method of large-scale measurement based on multi-vision line structured light sensor[J]. Chinese Journal of Lasers, 2017, 44(11): 1104003.

[8] 张曦, 张健. 线结构光标定方法综述[J]. 激光与光电子学进展, 2018, 55(2): 020001.

    Zhang X, Zhang J. Summary on calibration method of line-structured light[J]. Laser & Optoelectronics Progress, 2018, 55(2): 020001.

[9] 周京博, 李玥华, 秦志英, 等. 基于参考靶标的线结构光传感器标定[J]. 光学学报, 2019, 39(4): 0412005.

    Zhou J B, Li Y H, Qin Z Y, et al. Calibration of line structured light sensor based on reference target[J]. Acta Optica Sinica, 2019, 39(4): 0412005.

[10] Huynh D Q, Owens R A, Hartmann P E. Calibrating a structured light stripe system: a novel approach[J]. International Journal of Computer Vision, 1999, 33(1): 73-86.

[11] 徐光祐, 刘立峰, 曾建超, 等. 一种新的基于结构光的三维视觉系统标定方法[J]. 计算机学报, 1995, 18(6): 450-456.

    Xu G Y, Liu L F, Zeng J C, et al. A new method of calibration in 3D vision system based on structure-light[J]. Chinese Journal of Computers, 1995, 18(6): 450-456.

[12] 刘震, 张广军, 魏振忠, 等. 一种高精度线结构光视觉传感器现场标定方法[J]. 光学学报, 2009, 29(11): 3124-3128.

    Liu Z, Zhang G J, Wei Z Z, et al. An accurate calibration method for line structured light vision sensor[J]. Acta Optica Sinica, 2009, 29(11): 3124-3128.

[13] Zhang Z Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334.

[14] 周富强, 张广军, 江洁. 线结构光视觉传感器的现场标定方法[J]. 机械工程学报, 2004, 40(6): 169-173.

    Zhou F Q, Zhang G J, Jiang J. Field calibration method for line structured light vision sensor[J]. Chinese Journal of Mechanical Engineering, 2004, 40(6): 169-173.

[15] 张广军. 机器视觉[M]. 北京: 科学出版社, 2005: 27- 33.

    Zhang GJ. Machine vision[M]. Beijing: Science Press, 2005: 27- 33.

[16] Hoppe H. DeRose T, Duchamp T, et al. Surface reconstruction from unorganized points[J]. ACM SIGGRAPH Computer Graphics, 1992, 26(2): 71-78.

[17] 叶钊, 王超, 曹启鹏, 等. LED阵列用作定标光源的照明均匀性研究[J]. 中国激光, 2014, 41(s1): s116007.

    Ye Z, Wang C, Cao Q P, et al. Study of illumination uniformity of LED arrays for radiation calibration[J]. Chinese Journal of Lasers, 2014, 41(s1): s116007.

[18] 阙笑语, 吴国华. 用于机器视觉测量曲面照明的LED阵列优化算法设计[J]. 激光与光电子学进展, 2018, 55(7): 072201.

    Que X Y, Wu G H. Designing LED array for uniform illumination distribution on curved surface object in machine vision measurement by optimization algorithm[J]. Laser & Optoelectronics Progress, 2018, 55(7): 072201.

[19] 林志强, 王天友, 南刚雷, 等. 基于线结构光的柴油机缸盖三维形貌测量[J]. 光电工程, 2014, 41(5): 46-51.

    Lin Z Q, Wang T Y, Nan G L, et al. Three-dimensional data measurement of engine cylinder head blank based on line structured light[J]. Opto-Electronic Engineering, 2014, 41(5): 46-51.

张瑞峰, 舒子芸, 南刚雷. 一种新的线结构光标定方法[J]. 激光与光电子学进展, 2019, 56(22): 221101. Ruifeng Zhang, Ziyun Shu, Ganglei Nan. Calibration Method for Line-Structured Light[J]. Laser & Optoelectronics Progress, 2019, 56(22): 221101.

本文已被 10 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!