1 引言

随着现代制造业的发展,为提高产品的质量,工业生产对大尺寸工业产品(如汽车覆盖件、火车车体壳件、铸件表面等)的现场以及高精度、快速测量提出了更高的要求。在可行的工业现场工件检测方法中,线结构光三维测量方法因具有测量范围大、精度高、非接触以及抗干扰能力强等特点得到了广泛应用^[1-3]。现有的线结构光测量系统测量范围主要集中在中小视场内,对大尺寸工件的扫描效率较低、抗干扰能力较弱。本文针对该问题,建立了一种超大尺度线结构光测量系统,并研究了该系统的工业现场标定方法。

线结构光传感器主要由CCD相机和激光投射器组成,其利用激光三角法原理工作,直接获得光平面内被测物体表面的二维数据。而要实现三维测量必须得到光平面在摄像机坐标系下的方程以及传感器坐标系与机械坐标系之间的转换关系,前者确定结构光传感器内参数,后者确定结构光传感器外参数。

线结构光传感器的内、外参数标定是两个分开的过程,两者分别在不同条件下使用不同方法完成^[4],标定外参数时内参数被当作固定值参与计算。由于传感器在实际使用过程中容易受到温度等外界因素的干扰,传感器参数在使用一段时间之后会发生变化。为解决该问题,国内外学者研究了一系列线结构光的内外参数同时标定的方法。标定过程所使用的靶标形式有三维靶标^[5-8]和二维平面靶标^[9-10],两者均通过将激光光条投射在靶标之上形成标定点进行内外参数的计算。针对超大尺度线结构光传感器的标定,加工大尺寸的靶标难以保证靶标精度,且现场标定时操作不便,虽然有学者提出过使用准一维靶标^[11]和一维靶标^[12]的标定方法,但标定过程相对复杂,且存在误差传递问题。目前,还未见到对超大尺度线结构光传感器内外参数同时进行标定的方法的研究。

本文提出一种结构光内外参数同时标定的方法。该方法采用由三行共线编码点构成的准一维靶标进行标定,两轴导轨带动结构光传感器做多次平移运动,摄像机在此过程中拍摄多幅靶标与激光光条图像,根据靶标编码点圆心和激光光条的位置关系,即可同时标定传感器的内外参数。采用该方法时,内外参数标定过程互不影响,对提高测量系统精度有重要意义。

2 系统结构与工作原理

超大尺度线结构光传感器三维测量系统主要针对大型壳体工件的表面进行扫描测量,如汽车覆盖件、钣金类铸件等,其由超大尺度线结构光传感器、运动装置及其电气控制系统组成,如图1(a)所示。线结构光传感器由CCD相机与激光投射器构成,两者固定在水平支架上,间距L₀=660 mm,摄相机光轴与激光光面夹角θ=45°。运动机构由X、Y轴平移导轨及其电气控制系统组成。

图 1. 超大尺度线结构光三维测量系统。(a)实物图; (b)结构示意图

Fig. 1. Ultra-large scale line structured-light sensor 3D measurement system. (a) Real products; (b) structural representation

下载图片 查看所有图片

系统工作时,被测工件置于系统测量范围内且保持不动,使激光投射在物体表面形成可以被相机拍摄到的光条,如图1(b)所示。将线结构光传感器固定在平移导轨Y轴上并保持Y轴不动,控制运动机构带动线结构光传感器沿X轴进行平移运动,实现对物体的扫描。初始位置下,控制摄像机拍摄激光光条图像,根据标定计算出的光平面方程和提取到的激光光条中心点坐标,可以得到当前位置下光平面内被测物体的三维坐标。控制导轨带动线结构光传感器运动,根据标定得到的结构光传感器外参数,将不同位置下光条的三维坐标统一到导轨的初始位置坐标系下,即可得到被测物体全部的点云信息,进而实现测量系统对被测工件表面的扫描测量,因此,标定结果的好坏直接决定着系统的测量精度。

3 线结构光传感器内外参数模型

3.1 结构光内参数模型

线结构光内参数模型如图2所示,激光器将激光投射到被测物体表面形成光条,根据摄像机成像原理,光条上某点P在相面中的投影p唯一对应空间射线o_cP。处理光条图像可以获得p点在像素坐标系下的坐标,进而可得直线o_cP在摄像机坐标系下的空间方程,P点在摄像机坐标系下的三维坐标可以通过射线o_cP和光平面的交点来确定。

图 2. 线结构光内参数模型

Fig. 2. Intrinsic parameters model of line structured-light

下载图片 查看所有图片

设激光平面π_s在摄像机坐标系下的表达式为a₁x_c+a₂y_c+a₃z_c+a₄=0,则对于线结构光传感器,有

ρuv1=fNx0u00fNyv0001xcyczca1xc+a2yc+a3zc+a4=0,(1)

式中ρ表示摄像机透视投影比例系数,(u,v)表示空间点P在图像坐标系下的坐标,(u₀,v₀)表示摄像机成像模型中的主点坐标,f表示安装镜头后摄像机的焦距值,N_x、N_y分别表示摄像机相面上x、y方向单位长度对应的像素个数,(x_c,y_c,z_c)表示空间点P在摄像机坐标系下的坐标。

若已知点p在像素坐标系下的坐标,根据该模型即可求得点P在摄像机坐标系下的三维坐标。其中,a₁、a₂、a₃、a₄为待求解的线结构光传感器的光平面参数。

3.2 结构光外参数模型

平移扫描的线结构光传感器三维测量系统,可以标定出扫描轴移动时线结构光传感器在摄像机坐标系下的运动方向^[13]。根据当前的位置信息,将不同线结构光传感器位置下得到的三维激光点沿扫描方向平移至初始位置的摄像机坐标系下,可以得到被测物体的完整三维形貌。

根据上述测量原理得到外参数表达式为

xciycizci=xcyczc+dicosθxcosθycosθz,(2)

式中x_ci、y_ci、z_ci分别为第i次测量结果的最终三维坐标值,x_c、y_c、z_c分别为光条上的点在当前摄像机坐标系下的三维坐标值,d_i为线结构光传感器位于第i个测量位置时传感器相距初始测量的移动距离,cos θ_x、cos θ_y、cos θ_z分别为扫描轴的运动方向与摄像机坐标系的三坐标轴之间夹角的余弦值,即结构光传感器的外参数。

4 线结构光内外参数同时标定

为了满足超大尺度线结构光传感器内外参数同时现场标定的需求,采用如图3所示的准一维靶标同时标定结构光内外参数,靶标上的编码点共3行15列,且每行、每列相互平行。按文献[ 14]中的方法提取编码点的圆心坐标,将其作为特征点进行标定计算。

图 3. 准一维靶标实物

Fig. 3. Quasi-one-dimensional target

下载图片 查看所有图片

标定时,将靶标置于系统测量范围内且保持不动,将激光投射在靶标的白色区域,拍摄图像,如图4所示,获取图像中45个编码点圆心的图像坐标,并拟合得到激光光条方程。控制运动机构带动传感器运动,连续拍摄多幅带有靶标编码点和靶标一侧激光光条的图像。更换靶标位姿,重复上述步骤,获取不同位姿下多幅靶标与激光光条的图像。共拍摄m个不同靶标位姿下的图像,每个靶标位姿下拍摄n幅图像,结构光内外参数可以根据采集图像中编码点圆心的坐标值和激光光条方程计算得到。

图 4. 标定过程

Fig. 4. Calibration process

下载图片 查看所有图片

4.1 结构光内参数计算

由消隐点的性质可知,三维空间中的平行直线经过透视投影之后相交于一点,即消隐点。消隐点与摄像机光心的连线与平行直线相互平行,该连线可以用来表示平行直线的方向。

当靶标保持位姿不变,导轨带动结构光传感器运动时,激光平面与靶标平面的交线(即激光光条直线)为一组平行直线。从n幅图像中提取的激光光条方程可以确定该组平行直线消隐点在图像坐标系下的坐标值。理论上,提取的激光光条互相平行,但实际过程中,由于噪声、硬件条件等因素影响,平行直线并不相交于同一点^[15],因此,以消隐点到所有直线的距离之和最小作为约束对其进行优化,优化的目标函数为

F(uvp,vvp)=min∑i=1nAiuvp-vvp+CiAi2+1,(3)

式中(u_vp,v_vp)为消隐点在像素坐标系下的坐标,A_i、C_i分别为第i条激光直线在像素坐标系下的直线方程A_iu-v+C_i=0中的对应系数。

按照上述方法,提取靶标位姿发生变化后另一组平行直线的消隐点图像坐标。设v₁、v₂分别为两组平行直线的方向向量,由于两者在同一光平面内,其叉乘可以表示光平面的法向量V,即光平面方程中的a₁~a₃。此时有

V=(a1,a2,a3)=v1×v2。(4)

再对光平面方程中的a₄进行计算。如图5所示,黑色圆点表示靶标编码点的圆心,红色虚线表示投射在靶标白色区域的激光直线,每行三个共线编码点圆心所连直线与激光直线的交点即为计算a₄所需的标记点。标记点的图像坐标可以通过求解编码点圆心直线与激光直线的交点得到。

图 5. a4求解模型

Fig. 5. Solving model of a4

下载图片 查看所有图片

根据交比不变原理^[16],可以得到方程

d0d2d1d2/d0dcd1dc=D0D2D1D2/D0DcD1Dc,(5)

进而求解出标记点的世界坐标。在已知标记点世界坐标的情况下,根据文献[ 17]中的方法计算得到摄像机内、外参数中的旋转矩阵R_D和平移矩阵T_D。由摄像机成像模型可知,标记点D_c在摄像机坐标系下的坐标可以表示为

xcDycDzcD=RDxwDywDzwD+TD。(6)

由于标记点位于激光平面内,在a₁、a₂、a₃已知的情况下,将(6)式计算得到的结果坐标代入(1)式即可得到光平面参数a₄。

4.2 结构光外参数计算

在靶标位姿保持不变的情况下,线结构光传感器在运动机构带动下沿扫描方向做平移运动,相当于保持传感器不动,靶标沿扫描方向的反方向移动^[18]。如图6所示,D₁、D₂、D₃表示靶标上三个共线编码点的圆心位置;a₁,a₂,a₃、b₁,b₂,b₃分别表示导轨移动前后靶标同一编码点在相面上的成像位置。位于不同位置的空间三维点做平移运动形成的各条空间直线之间互相平行,因此摄像机坐标系下直线a₁b₁、a₂b₂、a₃b₃相互平行。

图 6. 线结构光外参数标定示意图

Fig. 6. Calibrating extrinsic parameters of line structured-light

下载图片 查看所有图片

设(x_ai,y_ai,z_ai)、(x_bi,y_bi,z_bi)分别为初始位置和传感器随导轨移动后第i个编码点在摄像机坐标系下的坐标,则结构光传感器平移方向的方向向量p可以表示为

p=(xbi-xai,ybi-yai,zbi-zai),(7)

对p进行归一化处理后取反,便可得到(2)式中cos θ_x、cos θ_y、cos θ_z的对应值,即结构光传感器的外参数。为了减少少数点的随机误差对标定结果产生的影响,以m个不同位姿下获得的平移直线方向向量相互平行为约束,对外参数求解结果进行Levenberg-Marquardt优化^[19],优化的目标函数为

F(cosθx,cosθy,cosθz)=min∑i=1m(cosθxcosθxi+cosθycosθyi+cosθzcosθzi)2,(8)

式中cos θ_x、cos θ_y、cos θ_z为外参数标定结果,cos θ_xi、cos θ_yi、cos θ_zi为第i个位姿下求解得到的结构光传感器平移方向向量的对应值。外参数优化过程迭代计算的约束条件为cos θx2+cos θy2+cos θz2=1。

5 实验设计与结果分析

扫描测量系统运动机构采用深圳菲格斯(FIGUNES)机电设备有限公司生产制造的电动运动机构,其中X轴最大行程为1350 mm,定位精度为±0.01 mm,Y轴最大行程为1050 mm,定位精度为±0.01 mm;超大尺度线结构光传感器的摄像机使用加拿大Point Gray Research公司生产的GRAS-20S4M-C工业相机,最大分辨率为1624 pixel×1224 pixel,CCD阵列上单位像素尺寸为4.4 μm×4.4 μm;镜头采用日本兴和株式会社(KOWA公司)生产的工业镜头,镜头焦距标称值f=12 mm,光圈量值F=1.8;激光投射器采用深圳远大激光科技有限公司生产制造的一字线激光器,波长为650 nm。

5.1 系统标定实验

5.1.1 摄像机标定

采用文献[ 17]中的摄像机标定方法,使用图7所示的140个环状编码标记点组成的二维靶标标定摄像机参数。

图 7. 摄像机标定靶标实物图

Fig. 7. Target image of camera calibration

下载图片 查看所有图片

标定结果为:焦距f=12.511328;主点u₀=815.666314;v₀=605.665618;一阶、二阶径向畸变系数k₁=-0.031444,k₂=0.088491;一阶、二阶切向畸变系数p₁=-0.000720,p₂=-0.002070。为验证所求摄像机参数的准确性,求取每幅图像中编码点圆心的投影误差,结果的最大误差为0.389454 pixel,平均误差为0.114173 pixel,该结果满足系统测量要求。

5.1.2 结构光传感器内外参数同时标定

标定出摄像机内参数后,采用所提出的线结构光传感器内外参数同时标定方法进行标定。固定靶标位置和姿态,打开激光器,将激光光条投射在如图3所示的准一维靶标右侧的白色区域,控制导轨沿X轴方向进行匀速平移运动,摄像机抓取20幅包含靶标和激光光条的图像,将此做为一组图像;变化靶标位姿,重复上述拍摄过程,在系统测量范围内选取18个不同位置获取多组图像;通过提取靶标编码点圆心坐标和激光光条方程,即可同时计算得到线结构光传感器的内外参数。标定结果如下:1)结构光传感器内参数标定结果a₁=-0.003834,a₂=1.619402,a₃=-1,a₄=1228.734102;2)结构光传感器X轴方向外参数标定结果cos θ_x=0.003206,cos θ_y=-0.842006,cos θ_z=0.539459;3)控制导轨沿Y轴方向移动,标定得到传感器Y轴方向的外参数标定结果cos θ_x=-0.999865,cos θ_y=-0.013807,cos θ_z=0.008895。

5.2 标定结果精度测试实验

5.2.1 内参数标定精度实验

为了验证内参数标定结果的精度和稳定性,设计内参数精度测试实验。保持传感器位置固定,将标准球放在激光平面内15个不同位置,光平面与球面相交于一条圆弧,利用最小二乘法对其进行拟合,然后进行误差分析。

实验结果如表1所示,其中第1列为测量次数;第2列为拟合圆的半径R;第3列为最大误差D;第4列为相对误差值;第5列为摄像机坐标系下圆心的位置。由表1可知,根据内参数标定结果计算得到的圆弧上的点到拟合圆的法向最大距离在0.2 mm以内,相对误差在0.7%以内,可见系统内参数标定结果精度较高。而圆弧上点的法向距离是由图像噪声、标准球喷漆不均匀等情况造成的,可视作随机误差,由图8可知,最大误差大多集中于0.1~0.2 mm内,说明测量结果较稳定,标定结果可靠。

图 8. 多位置圆弧拟合误差

Fig. 8. Fitting error result of circulararc of multi positions

下载图片 查看所有图片

5.2.2 系统扫描精度实验

在内参数精度已知的情况下,设计多位置下的系统精度测量实验,其精度反映外参数的精度。采用如图9所示的三球标准件,选取三个标准球A、B、C的半径以及任意两球之间的球心距作为参考标准。将标准件分别置于系统400 mm×1350 mm长方形测量范围的4个顶点以及中心位置,如图10所示。控制导轨移动并对标准件进行扫描,处理扫描得到的点云数据,与真实值进行对比即可得到系统的测量误差。

图 9. 三球标准件图

Fig. 9. Three standard balls

下载图片 查看所有图片

图 10. 多位置扫描实验示意图

Fig. 10. Scanning experiment of multi positions

下载图片 查看所有图片

利用Imageware软件打开点云数据,得到如图11(a)所示的结果;选取标准件中的一个球的点云数据进行拟合,拟合结果如图11(b)所示。根据拟合得到的球心坐标进一步求解球心距,得到不同位置下单球的拟合误差和球心距误差。

图 11. 三球标准件。(a)点云图; (b)单球拟合结果

Fig. 11. Three standard balls. (a) Scatter points; (b) fitting result of single ball

下载图片 查看所有图片

实验结果如表2所示,其中d₁为拟合球的半径;d₂为拟合球点云正法向的最大偏差;d₃为拟合球点云负法向的最大偏差;d₄为点云两球心之间距离。

三球标准件A、B、C的半径和球心距已由三坐标测量机测得,测得半径:R_A=30.200 mm,R_B=30.186 mm,R_C=30.186 mm;球心距:D_AB=151.763 mm,D_AC=220.079 mm,D_BC=221.490 mm。对三球拟合半径误差、正反法向最大误差以及球心距误差进行作图分析,结果如图12所示。由图12(a)可知,系统扫描得到的点云拟合球体得到的半径与标准半径的差值小于0.15 mm,说明扫描标准球的测量结果精度较高;由图12(b)可知,点云拟合球体正负法向偏差均小于0.3 mm,且分布均匀,说明测量得到的球的形状符合标准球;正负法向最大误差相较于内参数标定精度实验中对圆弧进行测量得到的最大距离略有增加,可以视作结构光外参数标定结果带来的系统误差;由图12(c)可知,球心距最大偏差小于0.6 mm,可见在不同测量位置下,相同三球标准件球心距的测量误差变化较小,说明系统测量结果具有较高的稳定性。

实验结果表明,本文标定方法计算得到的结构光内外参数满足超大尺度线结构光扫描系统的设计精度要求。

5.3 标定方法比较实验

采用文献[ 11]中的方法对该系统的内外参数进行分步标定,选取能够更好反映系统测量结果空间精度的球心距作为标准。将被测件置于与5.2节中相同的5个位置,使用分步标定结果进行扫描测量,扫描结果得到的球心距如表3所示。计算并比较同时标定方法(方法一)和分步标定方法(方法二)的球心距误差,得到的结果如图13所示。

图 12. 标准件扫描误差结果。(a)拟合半径误差; (b)正反法向最大误差; (c)球心距误差

Fig. 12. Scanning error results of standard balls. (a) Errors between the fitted and standard radius; (b) maximum error of positive and negative phase; (c) errors between standard spherical centers’ and measured distance

下载图片 查看所有图片

图 13. 球心距误差比较

Fig. 13. Comparison of the spherical centers’ distance errors between method 1 and 2

下载图片 查看所有图片

由图13可知,使用方法一的标定结果进行测量,得到的测量结果的球心距误差相对更小;根据不同位置下相同球心距误差的分布情况可知,使用方法一的标定结果进行测量的结果稳定性更高,说明本文提出的内外参数同时标定方法具有更高的可行性和可靠性。

6 结论

设计了一种超大尺度线结构光三维测量系统,并针对该系统的结构光传感器内外参数标定过程提出了一种参数同时标定的方法。该标定过程使用准一维靶标,操作简单,计算过程相对简便,实现了结构光传感器内外参数计算过程互不影响。实验结果表明,使用该方法的标定结果进行测量的系统,其测量精度更高,测量结果稳定性更好,说明该方法更适用于该系统的工业现场标定。