线扫描视觉检测系统机械—成像综合误差建模
0 引 言
线扫描视觉检测是机器视觉检测系统的一种常见形式,其以单行成像的感光器件作为数据源,通过感光器件与被测物体的相对运动以及感光器件的连续成像,逐行扫描并拼合成被测物体的图像,具有高扫描速率、高分辨率、高实时性等优势,常用于大幅面检测与精密检测场合[1-4]。检测精度是线扫描视觉检测系统的关键性能指标之一,系统误差对输出图像质量以及检测结果影响巨大。由于线扫描视觉检测系统包含了较为复杂的机械结构以及成像单元,系统误差的产生来源较多,并在误差传递过程中相互耦合作用,难以准确界定影响系统检测精度的直接误差源,从而增加了获取更高系统检测精度的难度。因此阐明线扫描视觉检测系统的误差产生来源及传递机制,对于指导系统的设计和装配、保证系统的检测精度具有重要意义。
目前,对于线扫描视觉检测误差缺少系统性的研究和分析,更多的是关注成像误差的标定与补偿[5-7]。Horaud等[8]证明了传统面阵相机误差分析与标定的方法不能完全适用于线阵传感器,因此提出了一种线阵CCD标定与校准的方法,并通过实例证明了方法的有效性;Li等[9]针对一种多相机协同的线扫描视觉检测系统,简要分析了其主要误差来源并提出了一种简单有效的误差补偿方法,该方法可将系统成像误差控制在0.2%以内;Luna等[10]提出了一种能有效减小误差影响的线阵相机标定方法,实验结果表明该方法能将系统误差降低至亚像素级;王国珲[11]总结了线扫描成像系统常见的数学模型以及常用的标定方法,为成像过程中精度的提升提供了理论依据。
然而,在线扫描视觉检测系统实际使用过程中,除成像系统误差外,机械系统的制造和装配误差也会显著影响设备的成像和检测精度。由于线扫描视觉检测系统由多单元组成,难以应用传统的几何法、误差矩阵法等方法建立准确有效的系统误差模型。基于多体运动学与齐次坐标变换理论的误差建模分析方法是分析复杂系统最为有效的方法之一,常被用于对多轴机床等复杂机械系统的运动学或动力学分析及系统误差模型的构建。该方法由Denavit等[12]在机构运动学基础上提出,通过矩阵计算表征机械运动副中各部分间的关系。Ferreira等[13]将该方法应用于三轴机械加工中心的误差模型分析,为加工中心误差的分析与补偿提供了基础。Zhong等[14]应用该方法建立了大型五轴加工中心的几何误差模型,并提出了一种基于递归计算的软件补偿方法。刘又午等[15]以该方法为基础,建立了三轴加工中心的误差补偿模型,并通过误差的辨识验证了模型的有效性。赵壮等[16]在应用该方法建立三轴机床几何误差补偿模型的基础上,基于阿贝原则对模型进行了优化,进一步改善了误差补偿效果。此外,也有部分学者将该方法应用到其他机械结构的分析中,王文攀等[17]以该方法为基础,建立并分析了大型光电望远镜的空间误差指向模型,为误差标定补偿提供了理论依据;童鹏飞等[18]对三轴转台的误差模型进行了分析与实验验证,从而指导仪器的设计与搭建;李慧等[19]建立了运动平移台光轴指向偏差修正模型,并提出了误差补偿方案,成功提高了平移台光轴俯仰方向的指向精度。
目前,基于多体运动学与齐次坐标变换理论的误差建模分析方法在多轴机床等机械加工设备误差建模与补偿中的应用较为广泛,但尚未有研究者将其应用于线扫描视觉检测系统等复杂检测系统的误差分析。文中针对线扫描视觉检测系统,应用多体运动学与齐次坐标变换理论建立机械结构中的误差传递模型,并将其与线阵相机成像模型相结合构建系统误差综合模型,通过系统输出图像中特定点的理想与实际坐标之差表征系统综合误差。在此基础上,利用多元函数全微分方法对各误差源进行灵敏度分析,确定各误差源对系统输出图像影响程度的大小。通过对搭建的实际检测系统进行误差源验证实验,验证系统误差综合模型的误差源识别与灵敏度预测效果。
1 线扫描视觉检测系统构成与误差源分析
线扫描视觉检测系统通过驱动被测物匀速运动,线阵传感器进行线图像采集、拼合后实现被测物完整图像的获取。对获取到的图像进行处理后,实现对被测物的尺寸、表面缺陷等特征的检测。根据线扫描视觉检测原理,该系统可被抽象为六个部分,分别为基座、运动模块(导轨)、被测物安装模块、被测物、成像系统固定模块(龙门或悬臂结构)和线扫描成像模块,各模块间为刚性连接,如图1所示。
由图1及系统的工作原理可知,线扫描视觉检测系统的机械误差主要来源于运动模块的导轨动态运动误差和各模块间连接处的静态装配误差。前者是运动模块运动过程中导轨滑块实时方向、位置与理想状态的偏差,例如导轨定位误差或振动等,与导轨实时状态相关;后者是在安装过程中,系统相邻各部分间连接处的装配误差。在这些误差作用下成像系统与被测物间的位置、姿态关系发生偏差,进而影响线阵传感器成像质量,造成检测精度下降。
2 线扫描视觉检测系统误差综合模型的建立
线扫描视觉检测系统中的机械系统误差经过机械结构中的逐级传递后会导致线阵相机与被测物间出现相对位置与姿态的偏差,从而对系统成像质量造成影响。因此线扫描视觉检测系统的误差综合建模应先建立相机与被测物几何关系误差模型,再基于线阵相机成像特点分析机械系统误差对输出图像的影响。
2.1 机械系统误差模型
根据多体系统拓扑结构理论,建立线扫描视觉检测系统机械结构拓扑图及各典型体的参考坐标系,如图2所示。其中B1~B4体参考坐标系原点设置在上表面中心点位置,B5体原点在下表面中心点位置,B6体原点在线阵传感器成像面中心位置。
线扫描视觉检测系统的机械误差源在相邻典型体间产生,包括因装配造成的位置误差和因相邻体间运动造成的运动误差。每对相邻体间的位置或运动误差源可分解为x、y、z三个方向的线误差和绕x(A)、绕y(B)、绕z(C)三个方向的回转误差。线扫描视觉检测系统机械误差源如表1所示。其中a-b position表示a体和b体间的位置误差,a-b motion表示a体和b体间的运动误差。
表 1. 线扫描视觉检测系统机械误差源
Table 1. Mechanical error sources in the line scan vision detection system
|
基于线扫描视觉检测系统各典型体间位置、运动关系,可以建立相邻体间的齐次变换特征矩阵,包括位置特征矩阵
根据各典型体间的拓扑关系,线扫描视觉检测系统可分为两个分支:基座—被测物分支和基座—成像系统分支。基座—被测物分支中基座与被测物坐标系的转换由基座、运动模块、被测物安装模块、被测物路径推导获得;基座—成像系统分支中基座与成像系统坐标系的转换由基座、成像系统固定模块、线扫描成像模块路径推导获得。
基座—被测物间的理想坐标转换矩阵可表示为:
如果考虑误差项,基座—被测物间实际坐标转换矩阵可表示为:
同理,基座—成像系统间的理想与实际坐标转换矩阵可分别表示为:
由公式(1)~(4),可构建得到成像系统坐标系—被测物坐标系间的理想转化矩阵:
实际转化矩阵为:
设被测物上一点P(x, y, 0)(在被测物坐标系中),其对应坐标矢量
式中:xs为导轨运动距离;zab表示相邻体a、b坐标系原点的z方向间距。
公式(7)和公式(8)分别表示被测物坐标系内矢量
2.2 机械系统误差对成像的影响
线扫描视觉检测系统通过扫描的方式获取被测物的图像,不同帧图像的成像质量由对应的机械系统误差所决定。为探究机械系统误差对图像的具体影响,文中将成像模型与机械系统误差模型(公式(7)、(8))相结合,建立线扫描视觉检测系统误差综合模型。
针孔成像模型是最常用的相机成像模型,它是在假定光学系统内物点、投影中心和像点在同一条直线的基础上建立的图像传感器成像模型。对于线阵相机而言,感光元件仅有一行,单帧成像获取的图像数据仅有一个维度,可以看作是面阵相机的一个特殊情况,理想共线条件在线阵相机成像过程中仍然成立,因此针孔成像理论仍然适用于线阵相机的成像模型。线阵相机的针孔成像示意图如图3所示。
对于初始时刻相机坐标系内被测物上一点Pc(xc, yc, zc),其在被测物与相机相对运动xc距离后进入相机视野并成像,在图像坐标系的对应像点(xiideal, yiideal)体现为:
式中:f为针孔成像模型焦距,即模型中孔与成像平面的距离。
公式(9)即为理想状况下的线阵相机成像模型,对于图像坐标系内某一像点,其x方向坐标与物点在相机坐标系中的坐标一致,y方向坐标由物点在相机坐标系y、z方向的坐标决定。
然而,由于镜头曲面误差、装配误差等原因,实际成像系统中存在畸变现象,也会对成像点位置产生影响,因此有必要在成像模型中考虑畸变因素。畸变主要分为径向畸变、离心畸变和薄棱镜畸变,在实际线阵成像系统中,径向畸变是成像系统畸变的主要来源,可以通过径向畸变表征线阵成像系统的畸变[11, 20]:
式中:k1为成像系统的畸变系数,由镜头的光学结构等因素决定,可通过对成像系统的标定得到。
考虑畸变的线阵相机成像模型可表示为:
在线扫描视觉检测系统中,图像坐标系x方向与运动方向一致,y方向与线阵传感器方向一致。线扫描视觉检测系统图像坐标系中的误差可表示为:
式中:xiideal、yiideal为图像坐标系中的理想坐标值,可由相机坐标系中的理想坐标通过成像模型转换而来;xifact、yifact为图像坐标系中的实际坐标值,可由相机坐标系中的实际坐标通过成像模型转换而来。
将相机坐标系中的坐标矢量公式(7)、(8)以及成像模型公式(11)代入误差公式(12),可以计算得到被测物坐标系内点P(x, y, 0)在图像坐标系内像点的理想与实际坐标误差。
x方向的坐标误差可表示为:
y方向的坐标误差可表示为:
其中:
公式(13)、(14)为通过理论计算得到的由各误差源引起的系统x、y方向成像误差,即线扫描视觉检测系统误差综合模型。
3 误差源灵敏度分析
为进一步明确各误差源对系统误差的影响,文中基于上述系统误差综合模型分析各误差源变化对于系统成像误差的影响显著性。定义误差源灵敏度S为系统仅有该误差源发生单位变化时,系统输出变化的大小。根据多元函数全微分理论,若系统输出误差与各误差源间满足函数关系:
其全微分形式可表示为:
式中:θi为系统第i项误差源;n为误差源数量。
忽略高阶无穷小项,则第i项误差源的灵敏度Si可表示为:
由公式(13)和公式(17),计算线扫描视觉检测系统中影响图像坐标系x方向误差的各误差源θi及其灵敏度Si,忽略其二次误差项后在表2中列出。
表 2. 影响图像x方向误差的误差源及灵敏度
Table 2. Error sources that affect x -direction image errors and their sensitivity
|
由表2可知,图像坐标系中x方向误差主要由17项误差源决定,其中包括6项线误差源以及11项回转误差源。线误差源的灵敏度数值均为1或−1,这表明线误差对图像坐标系x方向误差的影响方式可以看作误差值的线性累加。回转误差源中,各典型体间绕y轴的回转误差会对图像坐标系x方向的误差产生影响,其程度与误差产生位置和被测物间的距离相关。各典型体间绕z轴的回转误差也会影响图像坐标系x方向的误差,其对被测点不同位置的影响程度不同,对靠近y方向边缘的位置影响程度更高。
由公式(14)和公式(17),计算线扫描视觉检测系统中影响图像坐标系y方向误差的各误差源θi及其灵敏度Si,得到的结果如表3所示。其中D(y)为表征机械误差源灵敏度受成像系统畸变影响的项,表示为:
表 3. 影响图像y方向误差的误差源及灵敏度
Table 3. Error sources that affect y -direction image errors and their sensitivity
|
由表3可知,图像坐标系下y方向误差主要由22项误差源决定,其中包括12项线误差源以及10项回转误差源。线误差源中各y方向的线误差源对图像坐标系y方向误差的影响程度相同;各z方向的线误差源对图像坐标系y方向误差的影响程度均与被测点位置相关,对靠近y方向边缘的位置影响程度更高。回转误差源对图像坐标系y方向误差的影响机制较为复杂:被测物安装模块与被测物间绕z方向位置误差(ε34z)以及运动模块与被测物安装模块间绕z方向运动误差(ε23sz)的灵敏度主要受被测点x方向位置影响;被测物安装模块与被测物间绕y方向位置误差(ε34y)以及运动模块与被测物安装模块间绕y方向运动误差(ε23sy)的灵敏度同时受被测点x和y方向位置影响;各典型体间绕x方向误差源的灵敏度均受被测物y方向位置影响,并与多项系统参数相关。此外,各误差源灵敏度均受到成像系统误差的影响,在靠近y方向边缘的位置影响程度更高。
4 实验验证
为验证基于多体运动学与齐次坐标变换理论建立的线扫描视觉检测系统误差综合模型及其误差灵敏度,应用该误差综合模型对实际检测系统进行分析,通过计算和比较各误差源的理论灵敏度识别出系统关键误差源,并对关键误差源的实际灵敏度进行测定。
4.1 线扫描视觉检测系统实例分析
图4是该研究实际设计并搭建的线扫描视觉检测系统,同时给出了该系统的主要参数。
将表4中的参数代入表2和表3中各误差源θi的灵敏度表达式Si中,可计算出在该线扫描视觉检测系统内,各误差源对系统输出图像x、y方向误差的灵敏度。将灵敏度进行比较,即可识别对系统误差影响较大的关键误差源。为便于对比,用各误差源灵敏度最大值表征其对系统输出的影响程度,并根据归一化方法分别计算各线误差源和回转误差源的灵敏度最大值占比,如图5所示。
表 4. 线扫描视觉检测系统参数表
Table 4. Parameters of the line scan vision detection system
|
由图5可知,影响图像x方向误差的六项线误差源灵敏度相同,回转误差源中ε15y与ε56y的灵敏度占比分别为31.0%和26.2%,显著高于其他回转误差源。因此,为了确保检测系统在x方向上获得更好的检测效果,需要在系统设计和装配时对各典型体间x方向的线误差以及基座—成像系统分支中绕y轴方向的回转误差予以重点控制;影响图像y方向误差的线误差源中,各典型体间y方向的线误差源灵敏度高于z方向,回转误差源中ε15x与ε56x的灵敏度占比分别为37.6%和32.2%,显著高于其他回转误差源。因此为确保检测系统在y方向上获得更好的检测效果,需要对各典型体间y方向的线误差以及基座—成像系统分支中绕x轴方向的回转误差予以重点控制。
综合分析各误差源对系统的影响,线误差源中x方向线误差源对系统输出图像x方向误差的影响较大,y方向线误差源对图像y方向误差的影响较大,可理解为两个方向的线误差源分别叠加造成了成像模块与被测物间x和y方向的相对位置变化,从而造成成像位置有所偏移;回转误差源中基座—成像系统分支绕x和绕y方向的回转误差源对图像的影响非常显著,基座、成像系统固定模块与线扫描成像模块之间的回转误差会对相机朝向与相机位置造成影响,其中对相机朝向的影响会使视平面位置有较大的偏移,从而对成像造成巨大影响。
因此,为保证系统检测精度,在该线扫描视觉检测系统设计与装配的过程中,应重点对各典型体间x、y方向的线误差和基座—成像系统分支中绕x、y方向的回转误差进行控制,并尽量减小各线误差源以及回转误差源ε15x、ε56x、ε15y与ε56y对系统的影响。
4.2 误差源灵敏度的实验验证
为验证系统误差综合模型与灵敏度分析的正确性,阐明关键误差源对系统输出图像的具体影响程度,利用该研究设计搭建的线扫描视觉检测系统进行了关键误差源验证实验。选取对系统x、y方向误差影响程度占比较大的误差源ε15y、ε56y、ε15x以及ε56x,分别对各误差源的实际灵敏度进行测定,与通过灵敏度模型计算得到的理论灵敏度进行对比,从而对模型进行验证。在保证系统各误差源误差较小的前提下,显著增加某一关键误差源的误差值并进行测量,观察误差增加前后图像采集结果中各点坐标的变化情况。通过对多组误差值与被测物一点对应的坐标变化进行拟合运算得到误差源在该点处的实际灵敏度值。
设实验中误差源的误差值分别为e1,e2···en,对应图像中被测物一点的坐标像素值分别为p1,p2···pn,则该点处实际灵敏度值可通过最小二乘法计算得出:
式中:sp为相机像元尺寸;μ为成像系统在对应方向的放大倍率。
在验证ε15y、ε56y对系统图像x方向误差影响的实验中,使用300 mm×300 mm棋盘格光学标定板作为被测物,在不影响其他误差源的情况下分别设置ε15y、ε56y的回转误差值为−1°、−0.5°、0、0.5°、1°,同时进行图像采集,并在被测物上选取(0, −100 mm)、(0, −50 mm)、(0, 0)、(0, 50 mm)、(0, 100 mm)五个关键点作为灵敏度的测量位置,记录不同误差下关键点在图像中的坐标位置。将上述过程重复三次并将关键点的坐标平均值代入公式(19)计算ε15y、ε56y的实际灵敏度,与通过表2计算的理论灵敏度进行比较。ε15y、ε56y的理论与实际灵敏度随被测物y方向位置的变化情况如图6所示。
图 6. ε 15y 与ε 56y 灵敏度随y 变化实测数据与理论图线
Fig. 6. Measured sensitivity and theoretical plot of ε 15y and ε 56y as a function of y
在验证ε15x、ε56x对系统图像y方向影响的实验中,在被测物上选取(−100 mm, 0)、(−50 mm, 0)、(0, 0)、(50 mm, 0)、(100 mm, 0)五个关键点,其他设置与上述实验相同,通过公式(19)计算ε15x、ε56x的实际灵敏度,并与通过表3计算的理论灵敏度进行比较。ε15x、ε56x的理论与实际灵敏度随被测物x方向位置变化情况如图7所示。
图 7. ε 15x 与ε 56x 灵敏度随x 变化实测数据与理论图线
Fig. 7. Measured sensitivity and theoretical plot of ε 15x and ε 56x as a function of x
观察图6和图7中的实验数据可知,对于影响系统输出图像x方向误差的回转误差源ε15y和ε56y,通过系统误差综合模型计算得到的理论灵敏度与实际测得值最大偏差分别为1.71%和1.84%,且均不受关键点y坐标影响;对于影响系统输出图像y方向误差的回转误差源ε15x和ε56x,通过系统误差综合模型计算得到的理论灵敏度与实际测得值最大偏差分别为2.38%和0.94%,且灵敏度随关键点x坐标的变化趋势与实际灵敏度的测量结果相符。因此,在误差允许的范围内,线扫描视觉检测系统误差综合模型对于关键误差源在不同位置的灵敏度数值与变化趋势预测均与实际相符,这表明该模型能够实现系统关键误差源的识别及其灵敏度预测。
5 结 论
为阐明线扫描视觉检测系统中机械误差对输出图像的具体影响机制,从而指导系统开发并提高检测精度,文中在分析系统机械误差产生来源及传递机制的基础上,应用多体运动学与齐次坐标变换理论并结合线阵相机成像特点建立了线扫描视觉检测系统误差综合模型,明确了系统输出图像误差与各机械误差间的对应关系,并推导了各误差源的灵敏度计算公式以识别系统的关键误差源。应用系统误差综合模型对实际线扫描视觉检测系统进行的误差与灵敏度分析结果表明,系统各体间x、y方向线误差源与基座—成像系统分支中绕x、绕y方向回转误差源的灵敏度均高于其他误差源,属于对系统输出图像误差影响严重的关键误差源,需要在系统设计、装配过程中予以重点关注。文中推导的灵敏度计算公式对于关键误差源在不同位置的灵敏度数值预测与实际偏差不超过2.38%,实现了对线扫描视觉检测系统关键误差源的识别及灵敏度的准确预测。文中所建立的线扫描视觉检测系统误差综合模型有利于指导系统设计和装配的过程,实现检测精度的提升。
[1] Hu Liang, Duan Fajie, Ding Keqin, , et al. Study on in-line surface defect detection system for steel strip based on linear CCD sensor[J]. Acta Metrologica Sinica, 2005, 26(3): 200-203.
[8] Horaud R, Mohr R, Lorecki B. On single-scanline camera calibration[J]. IEEE Transactions on Robotics and Automation, 1993, 9(1): 71-75.
[9] Li Y S, Young T Y, Huang C C. Noncontact measurement using line-scan cameras: Analysis of positioning error[J]. IEEE Transactions on Industrial Electronics, 1989, 36(4): 545-551.
[10] Luna C A, Mazo M, Lázaro J L, , et al. Calibration of line-scan cameras[J]. IEEE Transactions on Instrumentation and Measurement, 2009, 59(8): 2185-2190.
[11] Wang Guohui, Qian Kemao. Review on line-scan camera calibration methods[J]. Acta Optica Sinaca, 2020, 40(1): 0111011.
[12] Denavit J, Hartenberg R S. A kinematic notation for lower-pair mechanisms based on matrices[J]. Journal of Applied Mechanics, 1955, 22(2): 215-221.
[13] Ferreira P M, Liu C R, Merchant E. A contribution to the analysis and compensation of the geometric error of a machining center[J]. CIRP Annals, 1986, 35(1): 259-262.
[14] Zhong G, Wang C, Yang S, , et al. Position geometric error modeling, identification and compensation for large 5-axis machining center prototype[J]. International Journal of Machine Tools and Manufacture, 2015, 89: 142-150.
[15] Liu Youwu, Zhao Libing, Zhao Xiaosong, , et al. Investigation of error compensation technology for NC machine tool[J]. China Mechanical Engineering, 1998, 9(12): 4852-4852.
[18] Tong Pengfei, Yue Yi, Wei Baochen, , et al. Geometric error modelling of three-axis turntable and sensitivity analysis based on multi-system theory[J]. Machine Design & Research, 2020, 36(4): 108-112,117.
[20] Fang S, Xia X, Xiao Y. A calibration method of lens distortion for line scan cameras[J]. Optik, 2013, 124(24): 6749-6751.
Article Outline
陈宇轩, 仇中军, 汤骏杰. 线扫描视觉检测系统机械—成像综合误差建模[J]. 红外与激光工程, 2022, 51(12): 20220282. Yuxuan Chen, Zhongjun Qiu, Junjie Tang. Mechanical-imaging comprehensive error modeling in line scan vision detection systems[J]. Infrared and Laser Engineering, 2022, 51(12): 20220282.