1 引言

线结构光测量是一种通过向物体表面投射线激光平面,从而获取该平面与待测物体表面交线处三维点坐标的技术。若增加第三轴运动信息将交线轮廓拼接,能够检测复杂物体表面的精准三维曲面轮廓。作为典型三维形貌测量技术^[1]的一种,线结构光测量以其高速、高精度、抗干扰性强等优点得到了越来越广泛的应用,例如表面贴装技术(SMT)封装电路板的在线检测^[2]、车门涂装瑕疵检测^[3]以及鞋楦涂胶轮廓提取等^[4]。

当前对线结构光测量技术的研究主要包括测量模型、光条中心提取和传感器标定。

测量模型的建立是传感器标定的基础。早期主要基于几何推导,模型中包含诸如基线长度、光平面夹角、光心位置等参数^[5-7],对于模型的推导通常需要复杂的几何建模过程,这阻碍了技术的传播,同时几何推导中的近似过程还会引入累积误差,影响系统参数的高精度标定。后期发展出了利用单相机透视投影模型与光平面方程联立组成的线结构光传感器模型,简化了模型的表达,成为目前应用最广泛^[8-10]的模型。另外,除了上述基于物理建模的“模型法”表达外,还发展了基于黑盒模型作为近似的“直接法”表达。如熊会元等^[11-12]分别利用二元五次多项式和线性插值的方法拟合标定模型;Dipanda等^[13]通过遗传算法来拟合标定模型;Feng等^[14]应用反向传播(BP)神经网络进行模型拟合;Xie等^[15]混合应用线性标定与BP神经网络算法进行模型标定。直接法具有模型简单,标定精度高等优点,适合小范围、高精度测量。

光条中心提取是影响传感器标定精度的另一重要因素,如何在不同照明光源、不同环境噪声及不同被测物表面的条件下实时稳定地提取光条中心是当前研究的重点。除了光条中心提取的稳定性和抗干扰性,高精度亚像素中心提取^[16]的研究也是传感器精度研究的关键因素。杨建华等^[17-18]归纳总结了目前线结构光光条中心的提取方法。

对于传感器标定,主要包括单相机透视模型标定和光平面方程标定两部分。目前,对于单相机透视模型的标定方法相对成熟^[19],如Zhang^[20]的方法解决了单相机的现场标定;张曦等^[21]提出的基于虚拟立体靶标的标定方法提高了相机大视场高精度标定的性能。因此,传感器标定主要集中在光平面标定上,如何获取高精度控制点来拟合光平面成为线结构光传感器标定的关键问题。从20世纪80年代开始国内外学者对线结构光标定方法进行了深入的研究。如Dewar^[22]提出的拉丝法和段发阶等^[23]提出的齿型法利用精密机械机构的运动解决了控制点提取和光平面标定问题;Hyunh^[24-25]利用三维靶标提出交比不变的标定方法来解决光平面标定。随着对标定方法进一步研究,发展了利用自由移动的平面靶标的标定方法^[26]。此外,基于一维靶标^[27]的标定方法进一步简化了标定过程,降低了标定成本。

近年来,线结构光传感器标定通过综合运用相机透视理论和标定靶物的几何约束,不断发展出新的方法,这些方法对标定过程中各个环节进行优化,提高了标定精度。如陈天飞等^[28]提出了基于机器人的自标定方法,无需特制标定靶物,利用机器人自身的高精度运动构建附加约束,完成光平面标定;Liu等^[29]提出的球型靶标,利用空间圆锥和空间球交会的方法进行光平面标定;而Wei等^[30]提出的平行线靶标,利用已知等距平行线求取平面消隐线的原理完成光平面标定。

随着线结构光光平面标定方法多元化发展,国内外虽总结了传感器的性能指标^[31],却缺乏对各种标定方法的系统性归纳和总结。鉴于标定方法在线结构光三维测量系统研究中的重大意义,本文对现有标定方法进行系统的归纳,系统概括了当前国内外光平面标定方法的研究现状和进展。首先总结了现有标定靶物,分别介绍了加工工艺、表面质量、标定特点等特性;其次,将现有光平面标定方法按照标定靶物与传感器的相对运动关系划分为三类,并进行了分析与比较;同时对现有标定精度的评定方法进行了归纳;最后,指出了线结构光传感器的发展趋势。

2 标定靶物

在线结构光传感器标定过程中,标定靶物的特点在很大程度上影响了标定方法的选用。首先,不同标定靶物外形提供的几何约束确定了不同的控制点提取方法;其次,标定靶物自身的制造精度和表面反光特性也直接影响传感器的标定精度。针对上述情况,参考国内外相关文献,归纳了常用线结构光传感器标定靶物的种类。如表1所示,第一列为序号,第二、三列包含了标定靶物名称及其对应缩略图,第四列列出标定靶物的类型,第五列总结了标定靶物的加工工艺,第六列介绍了标定靶物的标定特点。

由表1可知,目前标定靶物主要分为三维靶标、二维靶标以及一维靶标。对于三维靶标,通常利用高精度运动装置或者借助靶标自身提供的三维约束,在单幅视图下完成光平面标定。但由于三维标定靶标的高精度制造相对困难,应用受到一定限制。二维靶标和一维靶标通常可以在自由移动情况下完成传感器标定,操作简便,适合现场标定。需要强调的是,表1所列的标定靶物中,棋盘格靶标易于获取,操作方便,是目前使用最广泛的标定靶物;华南理工大学的邝泳聪等^[35]提出的线纹尺靶标是小视场范围内标定精度最高的靶标;北京航空航天大学的周富强等^[27]提出的一维靶标可以实现线结构光传感器的高精度大视场现场在线标定。

除了标定靶物自身的特点外,标定靶物的加工工艺也是影响系统标定精度的重要因素。当前标定靶物的加工工艺主要包含机加工、光刻、打印和研磨4类。其中,常规的机加工精度约为0.02 mm,确保制造精度相对困难;光刻技术制造精度可达1 μm,是目前高精度视觉标定板常用的加工工艺;打印精度的衡量指标通常由分辨率DPI表示,选用高分辨率的打印机也可获得高精度的标定板;研磨技术通常用于制造各类量具,制造精度较高。

另外,靶物表面的反光特性也是影响标定精度的重要因素。漫反射表面对激光条的成像质量好。反之,高反光表面将给成像引入噪声,影响光条的高精度提取。常用的标定靶物制造材料为金属、玻璃和陶瓷。金属和玻璃属于高反光材质,通常在表面涂上一层显影剂来提高漫反射特性。由于磨砂材质的陶瓷本身具有漫反射特性,因此陶瓷也是常用的标定靶物材质。

3 光平面标定方法

光平面标定是结合标定靶物的几何约束和摄像机透视原理,获取线结构光模型中光平面方程参数的过程。图1归纳了当前光平面标定的主要方法,按照标定过程中靶物与传感器之间相对位置关系可分为:1) 靶物与传感器位置关系固定不动的标定方法;2) 靶物与传感器之间存在可控运动的标定方法;3) 靶物与传感器之间可自由移动的标定方法。

3.1 靶物与传感器位置关系固定不动的标定方法

靶物与传感器位置关系固定不动的标定方法标定过程简便,标定时利用靶物提供的三维约束,仅采集一次靶物图像,即可获得光平面拟合所需的若干非共线点。

图 1. 光平面标定的主要方法

Fig. 1. Main calibration method of light plane

下载图片 查看所有图片

Hyunh^[24]和魏振忠等^[25]分别于1999年和2005年提出了基于垂直平面靶标的标定方法。该方法将测量坐标系(MCS)建立在立体靶标上,因此根据交比不变原理^[24]直接计算出控制点在靶标坐标系下的坐标。此外,由于该靶标的特殊外形,光条分别投射在两个互相垂直的平面上,使控制点满足光平面中的非共线点,从而采集一幅图像便可完成光平面方程的标定。该标定方法原理简单、易于实现,但由于高精度三维靶标制造难度高和光条投射存在遮挡等问题,该方法标定能力有限。魏振忠等^[25]利用该方法获得的测量精度为0.145 mm。

为了避免高精度三维靶标的制造困难,2015年Liu^[29]等提出利用球型靶标进行标定。由于标准球通常属于标准件,获得高精度低成本的球型靶标相对容易。在标定算法上分为两步:1) 将光条在球体表面投射的轮廓拟合为椭圆轮廓,根据文献[ 36],结合相机中心,获得空间圆锥方程的显式方程Q_t;2) 通过球的边缘轮廓拟合椭圆,根据空间几何关系获得空间球面的方程B。最后,将空间圆锥和空间球面联立成方程组,如下式所示,获取若干非共线控制点坐标完成光平面的标定,该方法获得的最终标定精度为0.04 mm。

XTBX=0XTQtX=0,(1)

式中X是控制点坐标的齐次表达[x y z 1],B是在摄像机坐标系(CCS)下空间球面表达式,Q_t是在CCS下通过投影光条和相机中心的空间圆锥表达式。

3.2 靶物与传感器之间存在可控运动的标定方法

与利用高精度三维靶标的标定方法不同,标定靶物与传感器之间存在可控运动的标定方法利用高精度导轨或工业机器人来辅助提高传感器标定精度。根据可控运动的对象,可以分为基于靶物可控运动的标定和基于传感器可控运动的标定两种。

对于靶物可控运动的标定方法,主要利用高精度运动平台使标定靶物产生可控运动来简化控制点的提取难度,从而完成标定。该类方法中常见的靶物有锯齿块^[11,23]、拉丝法^[22]、线纹尺^[32]等。2000年,段发阶等^[23]提出利用锯齿块标定是此类标定方法中的典型代表。如图2所示,O_c-x_cy_cz_c是靶物坐标系,控制运动平台沿靶物基准面法向z_c轴运动,建立测量坐标系的O_Lx_L轴,平行于基面方向建立O_Ly_L轴,初始位置时光平面与棱线交点的x_L坐标值为0,因此建立了测量坐标系O_L-x_Ly_Lz_L。根据MCS的定义,结合导轨沿深度方向的运动位置和靶物的几何信息,可以获取控制点的坐标。模型方程可由下式给出,最后通过直接线性变换法(DLT)计算单应性矩阵H,完成标定。利用该方法,段发阶等^[23]根据该标定方法获得的标定精度为0.048 mm。

sx=HxL,(2)

式中s为比例系数,x为图像坐标的齐次表达 [uv1]T,H为3×3单应性矩阵,由于在光平面中,z_L=0,故控制点在测量坐标系的其次坐标x_L可简化为 [xLyL1]T。

图 2. 锯齿块标定示意图

Fig. 2. Schematic of zigzag piece calibration

下载图片 查看所有图片

尽管基于靶物可控运动的标定方法操作简单,但仍需要一个实际靶物进行标定。基于传感器可控运动的标定方法可以降低标定靶物的制造成本。典型算法是陈天飞等^[28]在2012年提出的自标定方法,该方法利用工业机器人使传感器沿特定方向运动构建一个虚拟靶标,从而节省了加工靶物的成本。同时,由于该方法在标定过程中借助机器人运动,有利于传感器的大视场标定。该方法借助运动相对性,使传感器位于不同位置处拍摄的图像,产生等效于传感器在同一位置拍摄一个虚拟靶标的图像,通过虚拟靶标的建立来进行光平面的标定。另外,由于现代工业机器人技术的成熟发展,利用此类方法构件的虚拟靶标可以保证尺寸的稳定性和高精度。最终,利用这种方法获得的标定精度为0.0154 mm。

3.3 靶物与传感器之间可自由移动的标定方法

总体上来说,上述标定靶物与传感器相对位置关系固定或者存在可控运动的标定方法存在两个潜在问题:需要高精度运动机构或者需要高精度三维靶标。由于这两大限制,标定方法的可操作性降低。而标定靶物和传感器可自由移动的标定方法能够改善这一缺陷。在这类方法中,通常利用高精度打印或者光刻技术制成平面靶标或者一维靶标进行标定。与传统的机加工技术相比,打印或光刻技术可以获得精度更高更稳定的标定靶物。此外,该类方法在标定过程中将标定靶物自由移动,利用不同位置的多幅视图即可完成标定,适合现场标定。

3.3.1 基于平面靶标的标定

平面靶标易于制造,便于特征提取。基于平面靶标的标定方法着重使用的一种或多种透视投影性质相结合的形式完成标定。常用的透视投影原理有交比不变、光线交会、消隐点以及消隐线等。

Zhou等^[26]和杨凯等^[32]分别于2005年和2016年提出了基于交比不变性的平面靶标标定方法。在这类方法中,可以根据交比不变原理^[20]获得控制点在靶标坐标系下的局部坐标。然而,仅仅一幅图像中获得的控制点坐标均位于同一直线上的共线点,无法满足光平面拟合的要求。因此,通过多次移动平面靶标获取多组非共线的控制点,最后利用刚体变换将局部坐标系下的控制点坐标统一到摄像机坐标系中,完成光平面标定。利用该方法,Zhou等^[26]获得的均方根(RMS)误差为0.085 mm,杨凯等^[32]获得的测量精度为0.09 mm。

除了交比不变,毕德学等^[37]在2009年提出了基于物方光线会交原理的标定方法。该方法将每个控制点看作由相机中心出发过该控制点的射线与平面靶标平面方程的交点。首先,根据Zhang^[20]的方法求出平面靶标平面在CCS下的方程;其次,利用图像点与相机中心的位置关系,可求出相机中心与控制点的射线方程;最后联立两式,获得控制点在CCS下的三维坐标。根据实验结果可知,毕德学等利用该方法获得光平面方程参数的平均误差小于5%。

消隐点是相机投影理论中特殊却很有用处的性质。Wei等^[30]于2014年提出基于消隐线原理的方法进行光平面标定。如图3所示,在该方法中标定靶物被设计为三条等距平行线组成的平面靶标。该标定算法主要分为两个阶段。

第一阶段,获得光平面方程的方向矢量(a,b,c)。根据透视投影原理^[36],可得三条等间距平行线l₀、l₁、l₂所在平面的消隐线由三条直线在像平面内的投影线计算得出,即:

l=(l'0×l'2)T(l'1×l'2)l1+2(l'0×l'1)T(l'2×l'1)l'2,(3)

式中l₀、l₁、l₂表示靶物上平行线的表达式,l'₀、l'₁、l'₂为l₀、l₁、l₂在相平面的表达式,l为消靶标平面的在相平面中消隐线的表达式。

在标定过程中,v₁为平行直线l₀、l₁、l₂在图像中的消影点。光条的投影图像交靶标平面的消隐线于v₂点。移动靶标,获得第二个消隐点v₃。v₂和v₃分别代表两条光平面与靶标平面交线的方向。将两方向矢量通过叉积运算可获得光平面方向矢量(a,b,c)。

第二阶段,标定光平面的距离参数d。由文献[ 36]可知,平行线l₀、l₁、l₂与光条线l_s夹角φ可以根据图像中各自的方向矢量v₁和v₂解出。再结合距离约束式可得;

‖A-B‖=hsinφ,(4)

最后联立(4)式,由夹角φ,光平面方程以及(a,b,c)的结果,可得控制A、B的坐标。根据该方法,在500 mm×500 mm的范围下获得的RMS误差为0.134 mm。

图 3. 平行线约束标定方法的原理图。(a)平面靶标图;(b)投影图像

Fig. 3. Diagram of calibration method based on parallel straight line constraint. (a) Planar target; (b) projected image

下载图片 查看所有图片

3.3.2 基于一维靶标的标定

基于一维靶标的标定方法是在平面靶标标定方法的基础上发展而来。通常,平面靶标加工尺寸受限于光刻机或打印机的加工范围,而一维靶标可以利用常规尺寸光刻机或打印机配合高精度一维运动平台获得,降低了制造难度。因此利用一维靶标的标定方法有利于大视场高精度的标定。

韩建栋等^[38]在2009年提出了一种基于三点透视原理(P3P)的标定方法。如图4所示,靶物上设置三个等距的共线点。光平面与平面特征线交于P点。透视平面如图4(b)所示。根据相机透视投影原理,可计算出l₁、l₂、l₄的夹角。由于A、B、C三点间距离已知,根据平面几何关系,可得出‖OP‖的长度,控制点P在CCS下的三维坐标为

XP=‖OP‖·OP‖OP‖。(7)

同理,移动靶标置若干位置,获得若干控制点,完成光平面标定。该方法的RMS低于0.24 mm。

与上述基于P3P的标定方法不同,周富强等^[27]于2010年提出了利用消隐点原理标定方法。该方法中一维靶标为一维等距排布的八个圆形特征点。该方法首先根据消隐点原理,计算了一维靶标直线在相机坐标系CCS中的方向矢量n_v;然后,结合靶标上特征点的距离约束以及方向约束获得约束方程,即:

Xn0=(xc0/zc0,yc0/zc0)TXni=(xci/zci,yci/zci)T‖Xc0-Xci=L0i(Xc0-Xci)×nv=0,(8)

式中X_c0=(x_c0,y_c0,z_c0)^T为初始点在相机坐标系下的坐标,X_ci=(x_ci,y_ci,z_ci)^T为第i个点距离初始点在相机下的坐标,X_n0、X_ni为物点投影至归一化平面下的坐标,L_0i为初始点和第i个点之间的距离,n_v为靶标直线的方向矢量。

图 4. P3P示意图。(a)光平面标定示意图;(b)标定点的平面几何模型

Fig. 4. Diagram of P3P. (a) Schematic of light plane calibration; (b) plane geometric model of point

下载图片 查看所有图片

结合靶标直线的方向矢量和初始点坐标,得到一维靶标在相机坐标系下的方程空间直线方程为

Xci=Xc0+L0inv。(9)

最后,利用一维射影变换将光条投影线与一维直线投影线交点与初始点的像素距离,映射得到空间距离,作为L_0i代入(9)式,求得控制点在摄像机坐标系下的三维坐标。经过多次摆放不同位置,可得到若干控制点的坐标,完成光平面的标定。该方法获得的RMS 为0.102 mm。

4 标定精度评定方法

标定精度的评定方法是检验标定方法有效性和准确性的重要手段。与传统机械加工中采用检具、量具或三坐标测量机等测量评定方法不同,线结构光测量技术属于非接触式测量方法,无法直接应用传统测量方法进行标定精度的评定。目前线结构光测量尚无相应的国际标准^[39],事实上各科研机构、企业单位多采用各自内部的评价方法来进行标定精度的研究。针对上述情况,参考现有国内外有关文献,系统总结了现有线结构光三维测量中常用的标定精度评定方法。

表2列出了目前标定精度的主要评定方法,第一列为序号,第二列列出评价指标,第三列指出对应的评价对象,第四列归纳了评价方法。目前主要的标定精度评价指标包括平面拟合精度、重复性精度、光平面内复合精度、光平面内分离精度以及曲面重建精度。平面拟合精度是光平面标定的直接评价指标,其他4种指标主要针对重建后的尺寸测量结果进行评价,是标定精度的集中体现。系统的重复性由重复性精度表示;而光平面复合精度表明在测量过程中传感器在任意方向上的综合精度;而光平面分离精度是沿坐标轴方向测得的尺寸精度。由于沿坐标轴方向测量有利于误差分离,是大多数商业系统常用的精度指标;曲面重建精度代表了传感器重建物体完整表面的精度,除传感器自身的标定精度外,还包括了运动机构的定位精度,曲面重建精度在实际应用中是用户关注的重点指标。

在实际标定精度验证中,与下面的分论述不符。所举例多使用单一标定指标。例如,Yang等^[43]采用了光平面内分离精度和曲面重建精度;Depiero等^[44]主要采用光平面分离精度作为标定精度的评价指标来进行;Lavrinov等^[45]利用了重复性精度来进行评定;Yang等^[46]采用光平面内复合精度来进行评价;Wei等^[47]采用光平面内符合精度来进行评价;Huang等^[48]采用重复性精度来进行评价的。

综上所述,建立统一的标定精度评定方法有利于线结构光传感器标定方法精度的评定和不同标定方法性能的比较。鉴于目前尚无相应的国际标准,未来关于标定精度评定方法的标准化研究将会是线结构光传感器的一个发展方向。

5 线结构光传感器的技术发展方向

5.1 自扫描机构的应用

随着线结构光技术的成熟,线结构光技术的集成应用逐渐成为焦点。近年来,在激光光路上增加震镜机构的自扫描式线结构光扫描仪得到发展。区别与传统线结构光扫描系统,自扫描式线结构光自身增加了震镜机构,增加了系统自身的运动能力,扩展了系统的测量范围。解则晓等^[49]针对自扫描式线结构光标定方法进行了研究,着重对震镜坐标系与相机坐标系的对应关系进行了研究。此外,解则晓等^[50]还将其运用到工业机器人视觉引导的定位系统中,利用自扫描线结构光的静态扫描能力,完成目标物体三维姿态的定位。未来针对静态三维扫描仪的场景,自扫描式线结构光还将有更加广阔的应用前景。

5.2 线结构光扫描仪的水下标定

近年来,随着一些水下特殊测量需求的产生,比如核电站铀燃料棒的非接触式检测,深海河床的高精度扫描等,线结构光的水下标定逐渐成为研究热点。水密度产生的折射率差异,水对于光线的吸光特性等均对线结构光的标定精度产生影响,这些问题的解决是线结构光扫描仪未来的发展方向。

此外,线结构光标定参数的全局优化^[41,51]及标定精度评定方法的标准化等使传感器性能更稳定、精度更高的传统研究,仍是值得研究的领域。

6 结论

经过几十年的发展,线结构光标定方法得到了广泛的应用并取得了很多成果,但目前对不同的标定方法间仍缺乏统一归纳。针对线结构光标定方法的综述,重点分析了标定方法中标定靶物、光平面标定方法以及标定精度评定方法。通过对标定靶物的总结,为标定靶物的选型和标定方法的选用提供参考;对现有光平面方法按照标定时靶物与传感器之间的相对运动关系进行了系统的划分,为目前光平面方法的分类提供依据;总结了标定精度的评定方法及特点,最后指出对自扫描机构的运用、水下标定是线结构光传感器的发展新趋势。