1 引言

二维测量具有广泛的应用需求,如材料力学中对试样应变的测量、加工工件的外部尺寸测量以及常见的几何量(角度、距离、形状等)测量。传统测量需要用引伸计、卡尺、螺旋测微器等工具进行人工操作。随着计算机及图像处理技术的快速发展,视觉测量因其非接触性、自动化程度高、系统柔性好等特性,已成为目前工程应用中最具发展前途的测量方法之一^[1-3]。二维视觉测量技术以空间平面到摄像机成像平面的映射关系为基础^[4]建立测量模型,进行空间平面特征尺寸到成像平面特征尺寸的变换,根据图像特征点坐标计算空间平面真实特征点坐标,完成待测参数的计算。

二维视觉测量装置结构简单(仅需一台标定内参的摄像机,以及必要的图像采集设备和处理软件),目前已在工业现场应用广泛。然而,现有的二维视觉测量方法在测量过程中通常将平面标定与特征测量分步进行,即首先采用标定靶标确定待测二维平面,然后取下标定靶标,再将待测物约束在该平面上,依据面内特征的交比不变性进行比例换算。这类方法容易引起离面位移,影响测量精度。目前针对离面位移的解决方式主要有三种:1)忽略标定平面与测量平面产生的离面位移^[5],这种方式测量精度较低,尤其是当待测物较厚时;2)采用相应的误差补偿机制人为对测量结果进行修正^[6],这种方式一般针对已知的离面位移,离面位移的测量往往比较困难,而本身也存在测量误差;3)利用特殊的约束机制^[7]使标定平面与测量平面重合,这种方式适用于待测物位置固定的情况,灵活性较差。

为抑制离面位移并简化测量过程,将点结构光测量思想^[8]引入到二维视觉测量过程,提出了即时平面标定的二维视觉测量方法。测量前仅需用三个经过标定的激光点投射在待测物表面进行平面标定,即可计算平面内的任何几何尺寸及特征。由于点结构光可以进行深度测量,将三个点结构光直接投射到待测物表面,测量平面与标定平面不重合引起的离面位移就可被消除,避免了传统方法中的机械约束或误差校正等工作。对于已标定系统参数的装置,每次测量前不必采用标定靶标进行平面标定,仅需根据三个激光点坐标进行待测平面空间方程的计算。为验证该方法的可行性及观察其实际测量中的表现,分析了影响测量精度的因素,设计了对比试验,结果显示所提方法的测量精度高于传统二维视觉测量方法,可以达到传统方法经过离面位移误差校正后的精度。

2 测量原理

即时平面标定的二维视觉测量方法利用点结构光在摄像机光轴方向的精密测距能力,计算投射在待测物平面光点的三维坐标,三个光点即可确定一个平面,无需采用靶标就可以完成待测平面方程的计算。测量前的准备工作主要包括系统参数标定及平面标定,在不改变传感器结构的同时,系统参数仅需标定一次;若待测物在光轴方向出现位移,就需要重新进行平面标定,以消除离面位移。

2.1 系统参数标定

点结构光测量方法基于计算机图像二维坐标和空间被测点三维坐标的转换关系,由摄像机透视变换模型^[9]和点结构光测量模型两部分组成^[10]。点结构光测量的数学模型如图1所示。以摄像机成像焦点为原点,主光轴为Z轴建立摄像机坐标系O_c-X_cY_cZ_c;以标定靶标平面任一点为原点,过这一点的平面法线为Z轴建立三维世界坐标系O_w-X_wY_wZ_w。与摄像机相对位置固定的激光器投射光线与标定平面交点为P,它在摄像机成像平面坐标系o-uv中的投影点为p=(u,v),在归一化摄像机成像平面o-xy的对应点为p_n=(x_n,y_n)。

图 1. 点结构光测量模型

Fig. 1. Dot structural light measurement model

下载图片 查看所有图片

设定世界坐标系O_w-X_wY_wZ_w转换到摄像机坐标系O_c-X_cY_cZ_c的3×3旋转矩阵和3×1平移向量分别为R和T,点P在世界坐标系下的坐标为P_w= (xw,yw,zw)T,齐次坐标表示为 P~w,在摄像机坐标系下的坐标为P_c= (xc,yc,zc)T,根据不同坐标系下的坐标转换可知

Pc=RPw+T=R,TP~w。(1)

在摄像机坐标系下,令A为摄像机投影矩阵,根据摄像机透视投影模型可以得出点P在摄像机坐标系下三维坐标与其投影点二维图像坐标的关系:

sp~=APc=A[R,T]P~w,(2)

式中:s为摄像机透视投影比例因子;投影矩阵A的参数包括摄像机在X_c和Y_c方向上的有效焦距f_x和f_y;主点坐标(u₀,u₀)以及世界坐标系到摄像机坐标系的转换关系[R,T]均可以采用张氏标定法^[11]获得;A= fx0u00fyv0001。投射在标定靶标上的激光点世界坐标,可以由其周围的4个靶标特征点坐标根据交比不变性来确定,其投影点的图像坐标可以根据亚像素提取方法获得。这样,结合已标定完成的投影矩阵A和转换关系(R,T],就可以获得激光点在摄像机坐标系下的三维坐标P_c以及在二维图像坐标系下的坐标p。然后调整靶标姿态,重复以上步骤,如图2所示。

图 2. 点结构光标定模型

Fig. 2. Dot structural light calibration model

下载图片 查看所有图片

在标定结构光系统参数时,摄像机和激光器的空间位置均不能变化^[12]。这样将多次摆放的空间点P_ci(i=1,2,3,…)及图像点p_i(i=1,2,3,…)测量结果采用Levenberg-Marquardt方法^[13]进行拟合,可以得到该激光光线在摄像机坐标系下的空间方程,即点结构光系统参数:

l∶(Xc-a)/A=(Yc-b)/B=(Zc-c)/C,(3)

式中:l为直线;a、b、c、A、B、C为直线l方程的待定系数。

经过标定,光线l在摄像机坐标系下的方程已知,光线投射在不同的待测物上,形成图像采集点,如P_cn(n=1,2,3,…)等,这些点成像点的坐标p_n(n=1,2,3,…)可以通过亚像素提取获得,根据采用张氏标定法获得的摄像机部内参数可以获得成像系统的焦距f,这样就可以根据像点坐标和焦点坐标计算成像直线l_n的方程,计算直线l和l_n的交点即可得出空间点在摄像机坐标系下的坐标P_cn。在实际操作过程中,因误差问题会导致空间两线不相交,此时可以通过计算两条直线共同垂线段的中点来确定。

2.2 即时平面标定及测量

根据点结构光可以计算单点的空间三维坐标,而空间任一平面方程可以由面内不共线的三点唯一确定,根据该思想,设计了由三个激光器及一台CCD相机组成的二维视觉测量传感器,其结构如图3所示。

图 3. 即时平面标定的二维视觉测量方法示意图

Fig. 3. Diagram of 2D vision measurement method with immediate plane calibration

下载图片 查看所有图片

激光器i(i=1,2,3)投射在待测物平面上的激光点在摄像机坐标系下的坐标为M_ci(X_ci,Y_ci,Z_ci),三个光点在成像平面的投影坐标为m_i(x_i,y_i),M_cl(X_cl,Y_cl,Z_cl)及M_cu(X_cu,Y_cu,Z_cu)为待测物上两个待测特征点,m_l(x_l,y_l)及m_u(x_u,y_u)为两个待测特征点在成像平面的投影坐标。根据2.1节中阐述的点结构光标定模型,确定三条激光光线在摄像机坐标系下的直线方程,表示为

li:(Xci-ai)/Ai=(Yci-bi)/Bi=(Zci-ci)/Ci,i=1,2,3。(4)

在摄像机坐标下激光点的三维坐标M_ci= (Xci,Yci,Zci)T,其投影在归一化平面上的坐标为p=(x_i,y_i)= (Xci/Zci,Yci/Zci)T,投影至图像平面上点坐标表示为p_i=(u_i,v_i),根据图像坐标归一化原理^[9],得到空间三维坐标投影在成像平面的二维坐标关系:

pi=(ui,vi)T=(fx·Xci/Zci+u0,fy·Yci/Zci+v0)T。(5)

结合(4)式和(5)式,可以得出关于(X_ci,Y_ci,Z_ci)的4个等式,从而可以利用最小二乘法求解出空间激光点M_ci的坐标。这样对三个激光点分别进行该计算过程,就可进一步确定待测平面的空间方程。由于待测特征点位于该测量平面内,故而可以根据m_i与m_u、m_l两个待测特征点的交比不变性,确定M_cu、M_cl在摄像机坐标系下的空间三维坐标。

3 系统误差分析

根据对整个测量模型及测量过程的分析可知,测量误差来源有以下几方面:成像畸变误差^[14]、光斑中心亚像素提取误差^[15]、待测物平整度以及标定建模误差等^[16]。其中,主要因素为成像畸变误差及亚像素提取误差。

3.1 成像畸变误差

成像畸变主要包括径向畸变和切向畸变,一般情况下,在摄像机内部参数标定过程中会对径向畸变进行2级校正,切向畸变则忽略。如图4(a)所示,空间点P投影到成像平面为畸变点p_d(u_d,v_d),其理想的非畸变投影点坐标为p(u,v),镜头畸变中心为O_d(u₀,v₀),畸变点和非畸变点到畸变中心的距离分别为r和r_d。若同时考虑径向畸变和切向畸变,则校正方法为

u=ud+Δud(k1rd2+k2rd4)+p13ud2+vd2)+2p2ΔudΔvdv=vd+Δvd(k1rd2+k2rd4)+p23vd2+ud2)+2p1ΔudΔvd,(6)

式中:Δu_d=u_d-u₀;Δv_d=v_d-v₀; rd2=Δ ud2+Δ vd2;k₁和k₂为1级和2级径向畸变系数;p₁和p₂为切向畸变系数。在测量精度要求较高时,需要对图像提取的特征坐标进行畸变校正,再代入测量模型进行计算。

图4(b)是根据畸变模型计算得到的仿真畸变校正示意图:图像大小为400 pixel×400 pixel,畸变中心为(200 pixel, 200 pixel),径向畸变系数k₁和k₂分别为1.0×10^-6 pixel^-2和4.6×10^-6 pixel^-2,切向畸变系数p₁=p₂=3.6×10^-8 pixel^-2。

图 4. (a)摄像机镜头成像畸变模型; (b)图像畸变分布图

Fig. 4. (a) Lens distortion model in imaging processing; (b) diagram of distortion distribution

下载图片 查看所有图片

3.2 亚像素提取误差

除了建模方面的成像畸变误差,另一个主要的误差源为激光光点中心坐标的亚像素定位^[17]。摄像机光电信号转换的不稳定性、激光光点本身的发散特性、外部环境振动等不可控因素,导致在摄像机和激光器均固定时,对不同时间摄取的图像进行光斑中心坐标提取的结果不固定,在一定范围内浮动,导致结构光空间坐标的计算存在误差,由三点确定的平面同样也存在误差。为检验亚像素提取精度,固定激光器、摄像机和待测物,固定待测平面垂直于光轴,确保激光器打在空间物体上的光点在摄像机视场及测量范围内,连续拍摄500张图像进行存储,采用高斯曲面拟合方法^[18]计算光斑中心图像坐标,结果如图5所示(R为圆的半径)。其中,最大绝对误差为0.15 pixel,平均绝对误差为0.047 pixel。在实际应用中,对连续采集图像的亚像素光斑中心进行一定数量的均值滤波处理,可以有效避免粗大误差。

由于测量平面与光轴夹角对光斑的形状有一定影响,而光斑的形状会对亚像素提取精度产生影响。为检验测量平面与光轴夹角对亚像素提取精度的影响,固定三个激光器及摄像机,采用与摄像机光轴垂直的平板接收从不同方向投射的3束激光,连续采集100张图像;调整平板倾角15°,采集100张;再次调整15°,采集100张。每组100张图像总共300个特征点,对不同平面倾角下采集的光斑进行高斯拟合处理,计算光斑中心,并绘出每组300个特征点的亚像素中心分布图,原图像及处理结果如图6所示。由光斑分布图可以看出,三组分布图的最大误差均在0.1~0.15 pixel之间,通过对平均绝对误差的计算可知三组分布依次为0.049,0.048,0.046 pixel,待测平面与光轴夹角的变化对亚像素中心提取精度存在一定影响。总体来说,待测平面与光轴垂直,一定程度上可以降低亚像素提取误差。

图 5. 采用高斯拟合的亚像素光斑中心分布图

Fig. 5. Sub-pixel light spot center distribution image using Gaussian fitting

下载图片 查看所有图片

图 6. 不同角度的(a~c)激光光斑图片及(d~f)亚像素光斑中心分布

Fig. 6. (a-c) Images of laser points from three directions and (d-f) of sub-pixel light spot center distribution

下载图片 查看所有图片

4 测量实验

为验证即时平面标定二维测量方法的可行性及其在实际测量中的表现,设计对比测量实验,针对材料应力应变测量中对试样上特征点轴向位移跟踪的应用场景,采用所提方法对轴向移动状态下的金属试样特征点进行位移测量。同时采用基于局部平面映射的二维视觉测量方法^[19]、精密机械式测量方法进行测量,以验证所提方法的测量精度。实验所装置如图7所示。

实验采用的摄像机型号为IMPERX-IGV-B1601M,帧频为15 frame/s,分辨率为1624 pixel×1236 pixel,CCD靶面尺寸为2/3″,镜头焦距为8.5 mm。实验之前需要进行必要的准备工作:1)采用张氏标定法标定摄像机内部参数;2)采用2.1节阐述的点结构光标定方法标定结构参数,内部参数及结构参数标定结果如表1所示;3)将标定靶标固定在夹具上,采用文献[ 19]中的方法进行平面标定,将后续测量数据作为比较对象;4)把涂有4个标记点的金属薄片试样固定在试验机夹具上;5)将三束激光投射在试样表面,并按照2.2节阐述的方法确定试样平面方程。然后启动试验机匀速轴向拉动试样,并利用图像采集软件每3 s采集一帧试样图像,共采集试样图像8张,如图8所示。

图 7. 测量实验装置

Fig. 7. Devise used for measurement experiment

下载图片 查看所有图片

图 8. 实验过程中采集的试样图像

Fig. 8. Specimen images captured in the experiment processing

下载图片 查看所有图片

设定第一张图像的相对位移为0 mm,依次采用即时平面标定法(IPC)、不经过畸变矫正的即时平面标定测量法(UIPC)、局部平面映射法(LPM)^[19]、含离面误差矫正的局部平面映射法(CLPM)^[6]、试验机本身显示的测量(PMM)数据计算4个标记点相对于第一张图像的相对位移量。为了避免单个标记点测量的偶然性及摄像机本身的噪声,标记点中心提取均采用椭圆拟合的方式,并且计算每种方法测量的4个标记点位移的平均值进行对比,对比结果如表2所示。

为了更直观清晰地对比5组测量数据,绘制了采用每种方法测量的时间-位移曲线,结果如图9所示,由于试验机为机械式测量,利用数控步进电机及螺旋测微原理,测量精度可达0.0001 mm,远高于视觉测量手段。所以在数据对比中,将试验机测量(PMM)数据作为真实值。

图 9. 不同方法测得的位移-时间曲线

Fig. 9. Displacement-time curves measured by different methods

下载图片 查看所有图片

通过表2数据及图9曲线可以看出:不经离面误差校正的传统测量方法LPM与真实值之间的误差较大,平均误差为0.006 mm,而且随着位移量增加呈增大的趋势;提出的IPC则与试验机测量数据吻合较好,平均误差为0.00087 mm;作为对比,经过离面误差校正的传统测量方法的测量精度可以提升到0.0012 mm;不经过畸变校正的即时平面标定测量法UIPC与不经离面误差校正的传统测量方法LPM的测量结果相近,均与真实值之间存在较大误差,平均误差为0.006 mm。这两组不经畸变校正的测量结果说明了图像畸变对二维视觉测量结果的影响及进行畸变校正的必要性。

5 结论

将点结构光思想引入到二维视觉测量过程,作为抑制离面位移的手段,提出了一种即时平面标定的二维视觉测量方法。利用待测平面上的三个光点确定待测平面空间方程,再根据测量模型进行面内坐标提取计算。与传统测量方法相比,从操作过程端抑制了离面位移误差,避免了传统方法中采用机械约束或者误差校正等工作,简化了测量过程。在测量精度方面,通过对比实验可以看出,即时平面标定的二维视觉测量方法的测量精度高于传统局部映射法。

该方法的主要优势:对于标定好系统参数的传感器,仅需根据三个激光点进行待测平面方程计算,简化操作的同时抑制了传统二维视觉测量过程中出现的离面误差。该方法的主要缺点:仅能测量散射效果良好的平面待测物,不适合用于测量曲面或表面不平整的待测物,如坑洼裂痕等,以及对于表面具有强反射特性的待测物。