1 引言

随着机器视觉技术的发展,单目视觉图像测量方法越来越多地应用于精确地确定两个物体之间的三维位姿关系中,例如将动态测量获得的无人机降落时相对跑道的姿态用于精确控制着陆轨迹,将快速准确测量获得的机械手相对物体的姿态用于完成自动抓取操作等。

单目视觉测量方法是一种利用一台成像装置采集图像,完成对目标的外形结构尺寸、位姿等测量的方法^[1]。在确定对象的位姿视觉测量系统设计中,采用合作目标可以显著减少测量计算的工作量,实时获得较高的测量精度,是广泛采用的一种视觉测量方式^[2-3]。如何设计合作目标是研究位姿视觉测量系统首要解决的问题。在大多数的单目视觉位姿测量系统中,最常用的是采用由空间几何元素和其视觉图像上对应点来计算相机外参数的PnP(perspective n-points)问题求解方法^[4-5]。由于PnP问题解算中必须有4个共面特征点才能获得唯一的姿态角,故在单目视觉位姿测量系统设计中,经常求解平面合作目标上4个特征点空间关系的P4P问题,来获得被测对象的位姿参数。

聂烜等^[6]设计了三级白色正方形嵌套、中间黑色分割、各级矩形边长比值为固定值的合作目标,该方案能够在不同测量距离和复杂环境下准确、可靠地提取其中一个白色正方形顶角的4个特征点,但缺少对图形制作加工精度影响的深入分析,对合作目标的图形设计缺乏指导性。霍炬等^[7]研究了椭圆化问题与测量准确度的关系,指出圆点标靶随着转台转动会使特征点存在不同程度上的椭圆化问题,使得提取特征点中心坐标值时存在偏差,影响对刚体位姿的测量解算;定性分析了通过减小特征圆点半径来减小特征点椭圆化程度,但未考虑测量相机与合作目标的距离、偏心距离及倾斜的问题。杨天阳等^[8]提出一种基于合作目标的精确跟踪算法及其在图像识别中的应用方法,设计了一种由圆形标志组成的新型合作目标,但未分析在透视条件下的圆提取的偏心误差。胡鹏等^[9]提出一种无人机精确自主着陆合作标志的设计方法,基于发光二极管(LED)点阵的合作目标进行位姿测量,但其应用背景的精度需求低于本文背景的精度需求。杨险峰等^[10]提出一种基于亚像素边缘的椭圆中心检测方法,该方法对椭圆图像边缘梯度特征信息进行高斯拟合,获取精确的亚像素边缘点后再进行最小二乘拟合,得到精确的椭圆中心位置,但未分析圆心在透视变换后与椭圆中心的偏差。魏振忠等^[11]提出一种在视觉检测中椭圆中心成像畸变的误差模型,并对该模型进行了详细分析,但未给出相关参数的显性函数关系,也未进行实际用例量化分析。

许多研究直接将圆心作为仿射不变点,以简化测量算法^[12-13]。但圆心仿射不变量只适合平行投影下的物体,并不适合单目成像的透视投影场合^[14-16]。当圆形直径远远小于合作目标到相机的距离时,尽管可用仿射不变量来近似描述圆心位置,但不满足高精度测量需要。

2 合作目标设计原则

信息奠基人Shannon认为,“信息是用来消除随机不确定性的东西”。按照信息论的观点,视觉测量中的合作目标实际上是按照确定方式布列的、具有某种确定含义的图符信息载体,可用来清晰解析不确定的相对位置和空间关系。

因此,合作目标的形状和图案设计应包含可解析出被测对象位姿参数的确切信息,满足复杂使用环境下高测量精度的要求,并具有一定的信息冗余和抗光照变化、抗污染干扰能力,确保测量系统的鲁棒性。其特征可归纳为

1) 良好的可检测性和易于识别的特性,图形中包含确定的、显著区别于背景的图形特征点;

2) 特征点应具有中心投射下的透视不变性,以适应动态测量环境,满足高精度测量需求;

3) 图形的结构尺寸既满足测量精度要求,又满足测量动态范围要求;

4) 满足复杂光照环境下高精度测量要求;

5) 具有抗污染、遮挡的信息冗余;

6) 易于制作,加工精度满足工程化要求。

3 合作目标图形选择与精度影响分析

3.1 图形特征点透视变换影响分析

单目视觉P4P问题求解中,通常以平面合作目标图形的4个角点或圆心作为特征点。但不同图形成像后的特征点的提取精度存在差异,直接影响P4P问题位姿求解精度^[17]。因此,应根据测量精度、测量系统和测量对象所处环境合理选择合作目标图形^[18]。

单目视觉测量是典型的中心透视投影成像方法^[19]。在高精度测量场合中,合作目标特征点应具有中心投射下的透视不变性,以确保根据图像上特征点解算出的合作目标特征点位置与实际位置的一致性,即不随测量系统的外参变化而与真值发生偏离。

对方形和圆形合作目标的特征点坐标提取精度进行对比分析,设计示意图如图1所示。

图 1. 合作目标图例

Fig. 1. Legend of cooperative targets

下载图片 查看所有图片

1) 方形合作目标

根据透视变换性质,在射影空间内以相机为中心,利用中心投射的透视变换,空间点和直线具有同素性,空间共点直线的交点具有透视不变性。

图2为方形合作目标的透视投影,对应关系满足笛沙格定理。显然,测量对象平面ω_d上方形合作目标外边缘4个角点在与像平面平行的ω_c上的投影点是透视不变点,即用像平面上4个角点来识别方形合作目标空间关系的结果与相机的视点S位置无关,可保证识别出的4个角点位置不偏离真值,不影响位姿解算精度。

图 2. 方形目标中心投射透视图

Fig. 2. Center projection perspective view of square target

下载图片 查看所有图片

在提取方形合作目标角点位置坐标时,由于直接处理角点区域局部图像的方法对噪声比较敏感,像平面定位精度只能达到0.5 pixel左右。实际使用中,利用整个方形合作目标信息,先拟合4条外边缘直线,再求解4个直线交点坐标,可获得至少高出一个数量级的亚像素级精度,而且因充分利用了方形合作目标的全部信息,算法的抗干扰能力更强。

显然,利用方形合作目标角点的透视不变性,并采用直线拟合获得特征点坐标,可满足单目视觉高精度位姿测量需求。

2) 圆形合作目标

根据PnP问题求解特性,合作目标至少由4个圆形构成,并将圆心作为特征点。但在中心投射下,圆形在透视变换后将呈椭圆化,作为特征点的对称中心不具备透视不变性,即在透视变换后的圆心位置与透视变换后椭圆对称中心不重合。此时,将采用椭圆图像处理算法提取的椭圆中心作为位姿估计的输入会引入偏差。文献[ 20]推导了空间圆的图像椭圆曲线方程,给出了图像二次曲线中心偏移的计算公式,但未引入合作目标图形偏离垂直中心距离的变量。

为此,按照实际测量环境,以合作目标中的单个圆形为例,给出圆形中心投射的透视关系,如图3所示,其中坐标系o_c-x_cy_c与像平面平行。鉴于不同位置的圆形在像平面的投影具有中心辐射各向同性的特点,在分析中,将坐标系的y_c轴建立在通过圆心的方向。

图 3. 圆形目标中心投射透视图

Fig. 3. Center projection perspective view of circular target

下载图片 查看所有图片

图3中,成像高度为H,圆形半径为R,圆心位于o_M点,偏离垂直中心距离为A。当沿y_c轴方向存在倾角θ时,在o_c-x_cy_c平面上,圆形合作目标产生的透视投影为一个椭圆,如图3虚线所示。其沿x_c方向的图像中心不变,y_c方向的长度D_c可以表示为

Dc=2(Asinθ+Hcosθ)1-RH2sin2θ×RH。(1)

椭圆中心点o_F偏离实际圆心o_M的距离Δd为

Δd=Asinθ+Hcosθ1-RH2sin2θ×RH2sinθ。(2)

在单目视觉测量系统中,通常R≪H,(2)式可近似为

Δd≈(Asinθ+Hcosθ)RH2sinθ。(3)

从(3)式可以看出,当存在倾角θ时,椭圆中心偏离实际合作目标圆心的距离与圆半径、成像高度、偏离垂直中心距离有关。当H、A相对固定时,Δd与R²呈正比。因此,在像平面内按照椭圆拟合求图像中心的方法得到的特征点圆心位置将会产生Δd的偏差。

以A=100 mm,H分别取500 mm、2800 mm为例,表1和表2给出了θ=10°、30°时,选取不同半径圆形得到的椭圆中心偏离圆心的距离。

由此可见,单目视觉测量系统在相对固定的位置测量合作目标的姿态变化时,作为特征点的圆形R越大,椭圆中心偏离圆心的距离越大。特别是在近距离测量场合,要尽可能地减小半径才能满足高精度测量需求,但在实际应用场合中,较小的圆形又容易受到环境干扰。

综上所述,在单目视觉测量中,方形合作目标的特征点具有透视不变性,相比圆形合作目标,更适合于高精度测量场合。

3.2 阴影干扰下测量精度分析与处理

在实际户外应用中,自然光强度不仅随时间变化,而且常常会因光线遮挡产生阴影,从而在合作目标上带来额外的局部光强变化,影响合作目标特征点的提取精度。因此,在合作目标图形设计中,还应充分考虑抗光强变化的能力。

根据CCD相机的基本工作原理可知,像素的灰度值与它的感光面上光强的分布及变化相关。当光线被部分遮挡时,光照强度发生变化,使得局部图像的像素灰度变化。当光照强度过大时,CCD器件像元的像素灰度趋于饱和,提取到的物体边缘将向尺寸减小的方向变化;如果光照强度变小,提取到的边缘位置将向尺寸增大的方向变化。

在高精度测量场合中,4个圆形合作目标存在透视变换影响问题,但通常单个圆形尺寸小,分别处于不同光照强度下不同圆形的圆心坐标变化小。而大尺寸的方形合作目标不受透视变换影响,但却容易受到光线变化的影响。

图4为方形合作目标的直线边缘受光线遮挡影响情况。消除图像阴影是图像处理技术的重要研究内容之一。在大部分视觉位姿测量系统设计中,通常会构建良好的光照环境来避免阴影,有关阴影对测量精度影响的文献较少^[21]。因此,针对户外应用中存在太阳光局部遮挡的阴影干扰情况,提出一种方形合作目标设计中减少阴影干扰的方法,以实现高精度位姿测量。

从图4可以看出,处于阴影中的框线膨胀变宽,强光下的框线缩小变窄。因此,在满足图像处理的前提下,利用框线的内外边缘同步变化的特点,将方形合作目标设计为框线宽度尽可能窄的图形。采用以外边缘为测量框、内边缘为修正框的修正算法来减小阴影对特征点坐标解算精度的影响。

首先,采用直方图均衡、高斯同态滤波等算法对有阴影的图像进行预处理^[22-23],增加图像的全局对比度,对图像的照明更加均匀。但阴影预处理后的图像仍会存在浓淡变化,甚至还会出现图像细节的畸变,直接用于高精度测量计算将不可避免地带来误差。

图 4. 方框边缘受光线遮挡影响实例。(a)原始图像;(b)梯度图像

Fig. 4. Examples of box edges affected by light occlusion. (a) Original image; (b) gradient image

下载图片 查看所有图片

然后,通过修正算法减少阴影对测量精度的干扰,具体算法如下。

根据预处理图像,拟合后的框线的4条外边缘直线方程为

y=kOnx+bOn,n=1,2,3,4。(4)

4条内边缘直线方程为

y=kInx+bIn,(5)

式中:O表示外边缘;I表示内边缘;k_n表示直线斜率;b_n表示直线截距。

将外边缘直线作为测量基准,内边缘直线斜率 knI作为修正因子,修正后的测量基准直线斜率为

k-On=φ(kOn,kIn),(6)

式中:φ表示修正函数的一般形式,应根据合作目标大小、垂直距离、偏心距离等参数合理选择。用修正后的方框测量基准直线,求解4个角点,并在保证图像提取质量前提下,尽可能减小框线宽度,可显著减小局部光强变化对直线提取精度的影响。

另外,还可将框线中心线交点作为特征点,采用求框线中心线的方法来修正光线部分遮挡的影响。但也应尽可能减小框线宽度,减少类似的圆心透视变换偏差情况,同时框线宽度还应大于光衍射宽度,以满足户外复杂光照条件下图像提取的需要。

3.3 图形尺寸和精度需求分析

1) 图形几何尺寸设计

由于单目视觉系统测量平面位姿固有的特性,方位角测量精度高,而俯仰角和倾斜角测量误差大致是方位角误差的H/L倍(L为矩形合作目标长度的一半)。文献[ 1]推导了单目视觉测量系统参数与位姿测量精度之间的关系。当存在俯仰角θ时,方位角误差σ_ψ、俯仰角误差σ_θ与像点提取误差σ_p之间的关系为

σψ≈a2f×HL×1cosθ×σp,(7)σθ≈a2f×HL2×cosθ×σp,(8)

式中:a表示像元尺寸;f表示焦距。

当测量相机与合作目标的空间距离H相对固定,且相机a、f内部参数基本确定时,合作目标的几何尺寸L直接影响测量精度。

因此,在设计单目视觉测量系统时,必须根据测量精度要求和测量环境条件,在合理选择相机的内部参数后,应尽可能增大合作目标尺寸,增加特征点之间的距离,以提高测量精度。

2) 图形尺寸精度需求分析

在P4P问题求解中,4个特征点的坐标还与方形合作目标的制作精度有关,直接影响位姿解算结果。

根据透视投影,建立边长为L_D=2L的合作目标的成像关系,如图5所示。已知方形合作目标角点的亚像素点提取误差σ_p,记L_D两端在像平面上成像的亚像素点数量分别为P₁和P₂,建立函数关系:

LD=Hf(aP1+aP2)。(9)

对(9)式求导,得到函数增量的全微分表达式为

dLD=aHfdP1+aHfdP2。(10)

图 5. 合作目标的成像关系

Fig. 5. Imaging relationship of cooperative target

下载图片 查看所有图片

通常合作目标边长制作误差σ_LD和角点的亚像素点提取误差σ_p服从正态分布,根据随机误差传递理论,则(9)式又可表示为

σLD=aHf2+aHf2σp=2aHfσp。(11)

从(11)式可以看出,在完成单目视觉测量系统参数设计后,σ_LD和σ_p之间存在直接的线性关系。因此,提高合作目标制作精度也是确保提取特征点坐标精度的重要环节。

4 设计实例和验证

根据某现场实时高精度监测需求,亚像元提取精度应不低于0.05 pixel,单目成像测量装置与被测物体空间距离H为500 mm,焦距f为8 mm,像元尺寸a为5.5 μm/pixel。设计的合作目标方框外边缘尺寸为180 mm×180 mm,作为测量基准;内边缘尺寸为160 mm×160 mm,作为修正基准。当合作目标的边长制作误差σ_LD不超过0.024 mm时,满足设计实例中提出的高精度测量需求。

实验中,合作目标中心偏离光轴距离A为100 mm,合作目标的方位角、俯仰角、倾斜角分别设为-8.3°、-13.4°、-0.5°,并对合作目标施加动态光干扰,如图6所示。首先,对合作目标图像进行预处理后,采用求边缘梯度质心的方法提取框线边缘亚像素点坐标,用最小二乘法对边缘进行直线拟合,剔除超出3倍均方差(3σ准则)的边缘点,再次拟合得到框线的外边缘和内边缘直线;然后,以框线外边缘为测量基准,内边缘斜率为修正因子,得到4个角点坐标;最后,采用P4P法计算合作目标的位姿数据。

图 6. 施加光干扰的方形合作目标图像

Fig. 6. Square cooperative target image under optical interference condition

下载图片 查看所有图片

对1000组实验数据进行统计,得到的实验结果如下。

1)方形合作目标外边缘4个角点坐标的均方差为(x:0.0245 pixel,y:0.0474 pixel),如图7所示。

2)在无光干扰时,方位角、俯仰角、倾斜角的均方差分别为0.0019°、0.0104°、0.0122°,如图8(a)所示。

3)在有光干扰时,方位角、俯仰角、倾斜角的均方差分别为0.0036°、0.0174°、0.0215°,如图8(b)所示。

4)在有光干扰时,内边缘修正后的方位角、俯仰角、倾斜角的均方差分别为0.0021°、0.0122°、0.0128°,如图8(c)所示。

图 7. 方形合作目标角点坐标

Fig. 7. Corner point coordinates of square cooperative target

下载图片 查看所有图片

图 8. 方形合作目标的位姿数据。(a)无光干扰;(b)光干扰;(c)光干扰修正

Fig. 8. Pose data of square cooperative target. (a) Without optical interference; (b) with optical interference; (c) optical interference correction

下载图片 查看所有图片

实验结果表明,方形合作目标角点提取精度高,能够满足某现场实时高精度监测位姿变化的测量需求。针对光阴影干扰,采取修正后的角点提取补偿算法,使姿态测量算法具有较强的复杂光环境适应能力。经统计,实际测量的俯仰角、倾斜角均方差为方位角的5.5~6.4倍,这与理论值基本一致,也进一步证明了文献[ 1]中误差理论模型的正确性。

5 结论

针对单目视觉高精度位姿测量需求,提出了合作目标设计的基本原则,分析了在透视投影下方形合作目标角点和圆形合作目标圆心特征点的提取精度,给出了合作目标设计方法和要求,即方形合作目标角点具有透视投影不变性,且结构简单、易于制作,适合高精度测量场合;在保证图像提取质量的前提下,将方形合作目标设计为框线宽度尽可能窄的图形,并将其外边缘作为测量基准,内边缘斜率作为修正因子,减小户外光线遮挡的影响;合作目标的尺寸和制作精度直接影响测量精度,应根据外部实际测量环境和精度要求,设计合作目标的几何尺寸,明确制作精度要求。