1 引言

圆环编码标志点因具有定位精度高、易于识别、稳定性好等特点,在计算机视觉领域有广泛的应用,尤其在相机标定^[1-3]和三维测量^[4-6]中,多个编码标志点构成的平面标靶有很高的实用性。编码标志点中心的提取精度直接影响了相机标定精度以及整体测量精度,目前圆环编码标志点中心,主要通过标志点最内圆进行提取,如基于图像边缘的椭圆拟合法^[7]、Hough变换法^[8]以及基于图像灰度的灰度质心法^[9]。

灰度质心法需综合标志点区域内所有像素的灰度值,容易受噪声影响,因此一般使用基于边缘的中心提取方法。但标志点平面和成像平面有一定夹角时,圆形标志点成像为椭圆,且椭圆圆心与真实圆心不重合^[10],因此该方法在标志点平面与成像平面有较大夹角时误差较大。针对圆形标志点中心提取的问题,国内外学者进行了深入的研究。邾继贵等^[11]通过分析相机成像过程中的离散化采样误差对标志点中心位置进行补偿,对质心法和拟合法都适用,但不同相机和算法需要标定不同的补偿参数;Ahn等^[12]推导出投影变换后的椭圆偏心误差数学模型,但形式复杂,需要测量的参数过多,不适于实际测量;He等^[13]利用同心圆环标志点对Ahn的模型做近似线性求解,只需实际圆环的半径和成像后内外椭圆的圆心就能实现中心偏差的校正;吴建霖等^[14]对Ahn的模型直接求解,提高了模型精度,但需要有三个同心圆,且标志点结构复杂;陈天飞等^[15]采用迭代法计算出接近理想值的投影变换矩阵,再将规则圆的圆心坐标逆映射到原图像中获得圆心,但该方法只适用于平面标靶且迭代时间较长;刑德奎等^[16]根据射影变换中交比不变性质提出了一种使用同心圆确定圆心真实投影点的方法,能有效补偿镜头畸变,但需要先确定内外椭圆圆心,且椭圆圆心的偏差对最终结果产生的影响较大;解则晓^[17]基于对偶二次曲线的几何特性,利用两个标记点的对偶矩阵求出穿过两个投影圆心的向量,但需要平面内有三个非共线圆形标记才可获得标记点中心。

上述方法都只利用了编码点的圆形特征,而实际中圆环编码标志点有丰富的编码环带信息。本文基于射影变换后直线交点不变特性,提出了一种新型圆环编码标志点中心提取方法,利用编码环带径向直线上的点求取标志点中心。仿真生成不同条件下的图像,对比本方法和椭圆拟合方法的提取精度,证明了本方法的正确性;制作了测试标靶,验证了本方法在实际中的有效性;最后用平面标靶进行相机标定,结果表明本方法相比椭圆拟合法在一定程度上提升了相机的标定精度。

2 基本原理

多节点三维测量网络采用立体标靶进行标定,对每个标志点进行编号,为保证解码的稳定性和中心提取的精度,采用12位Schneider编码方案。如图1(a)所示,以标志点中心为圆心,将包围中心圆的编码环带等角度分成n等份,每一份看作一个二进制编码位,白色为1,黑色为0,顺时针遍历编码环带获得一组二进制数组,取二进制最小值为编码值。由射影映射点在直线上的性质,即两直线交点在射影变换后仍然是变换后两直线的交点(如图1(b)所示),可求取标志点的中心。

图 1. 投影变换前后的Schneider编码标志点。(a)物平面的标志点;(b)像平面的标志点

Fig. 1. Schneider coding mark before and after projection transformation. (a) Marked point of object plane; (b) marked point of image plane

下载图片 查看所有图片

本方法的流程:

1) 分割出直线边缘

为了在成像偏角较大或标识点图像过小的情况下准确分割出直线边缘,先提取最内椭圆的质心,用一条直线连接椭圆质心和编码环带连通域的质心,如图2(a)中的直线AB;计算连通域上的所有边缘点到直线的距离,设定距离阈值,统计小于距离阈值的点个数;将直线绕圆心向直线两侧方向以固定步长旋转180°,并统计每次旋转时小于距离阈值的点个数,选出每个方向数量最多的一次,则该时刻小于阈值的点在边缘上的连续轮廓即为直线边缘,如图2(b)所示;最后对编码环带上的每个连通域进行相同的操作获得所有直线边缘。

图 2. 分割直线边缘原理图。(a)分割原理;(b)分割结果

Fig. 2. Principle diagram of line edge segmentation. (a) Principle of segmentation; (b) result of segmentation

下载图片 查看所有图片

2) 亚像素边缘定位

直线边缘点的定位精度直接影响了标志点中心的提取精度,因此要对提取的直线边缘点进行亚像素边缘定位,经仿真实验验证,选取抗噪性和定位精度较好的高斯拟合方法进行亚像素边缘定位。在图像边缘的梯度方向上,灰度分布的一阶导数近似为高斯分布,且高斯分布的中心就是边缘点精确度最高的位置。

y=k12πσ2exp-(x-μ)22σ2,(1)

式中,x为边缘梯度方向上的坐标点,y为灰度值的一阶导数,μ为高斯函数的均值,σ为高斯函数的标准差,k为高斯函数的幅值,获取位置参数μ即可得到边缘的亚像素位置。因此,先对每条边缘进行直线拟合,用直线边缘的法线方向表示直线边缘的梯度方向,再沿法线方向取点计算灰度差值拟合高斯模型,从而得到亚像素边缘位置。

3) 求中心坐标

先将提取的边缘拟合成直线,再求多条直线的交点,会累积拟合直线过程中的误差,从而影响中心定位的精度,因此提出了一种基于Hough变换思想以及随机采样一致性(RANSAC)算法求中心坐标的方法。首先将得到的亚像素边缘点映射到参数空间;然后求出每条直线上的点对应映射曲线的所有交点,这些交点对应的是原始空间中的点两两拟合成的直线,因为原始空间的多数直线都通过标志点中心,因此可通过在参数空间拟合这些交点实现标志点中心的提取;最后为了减少噪声点和误提取点对结果的影响,在参数空间利用RANSAC算法对交点进行拟合,曲线映射到原始空间即为中心坐标。由于该方法没有利用多点拟合直线,而是直接利用所有直线的边缘点来计算中心,因此没有累积误差,提取精度更高。RANSAC算法通过迭代能在一组包含“局外点”的数据集中估计“局内点”的模型参数,迭代次数

m=log(1-p)log(1-wn),(2)

式中,n为估计模型需要的内点个数,w为提取内点的概率,p为迭代过程中抽取的点全为内点的概率。通过设置迭代次数m,可以使p接近1。

3 仿真分析

3.1 亚像素边缘检测方法的对比

要得到边缘点的精确位置,需先选取合适的亚像素边缘定位方法。常用的亚像素边缘定位方法有插值法、拟合法以及矩的方法,实验选取三次样条插值法、灰度矩法、高斯拟合法分别进行亚像素边缘定位。

镜头成像时,由于像差和衍射效应,一个理想的光点会退化成光斑,该过程可用高斯模糊函数来近似^[18]。光学图像数字化过程中会进行离散采样,该过程可用一个下采样函数来近似。因此先仿真生成大小为1600 pixel×1600 pixel的直线边缘图像,直线两侧的灰度值分别为230和20。然后采用大小为255×255,方差为7.5的高斯卷积核模糊图像,对模糊处理后的图像进行8倍下采样,得到如图3所示的仿真图像。分别对图3(a)的图像添加σ为0,0.02,0.04的高斯噪声,提取图像第80~130列的直线边缘,分别利用三种方法进行亚像素边缘定位。下采样图像中的测量边缘位置与理论边缘位置的均方根误差如表1所示。

图 3. 仿真直线边缘图像。(a)仿真直线图像;(b)局部放大图像

Fig. 3. Simulated straight line edge. (a) Simulated line image; (b) local enlarged image

下载图片 查看所有图片

从表1可以看出,三次样条插值法的精度最低,灰度矩法在没有噪声的情况下具有很高的定位精度,但受噪声影响较大,不适用于实际测量。而高斯拟合法边缘定位精度高,且抗噪性能较好,因此实验采用高斯拟合法定位亚像素边缘。

3.2 编码标志点的仿真分析

为验证上述方法的精确性和鲁棒性,对仿真生成投影变换后的编码标志点中心进行提取。根据三维空间点的透视投影模型,设P_w=[X_w,Y_w,Z_w,1]^T为一点在世界坐标系下的齐次坐标,[u,v,1]^T为对应点在像素坐标系下的齐次坐标,二者之间的转换关系可表示为

Zc×uv1=f/dx0u00f/dyv0001×RT×XwYwZw13

式中,f为相机焦距,d_x、d_y分别为单个像素在x、y轴方向上的物理尺寸,u₀、v₀分别为图像坐标系中心的横纵坐标值,R,T分别为相机坐标系相对世界坐标系的旋转矩阵和平移向量,其中R为3行3列的矩阵,T为3行1列的矩阵。Z_c为物点在相机坐标系下物点的z轴坐标。

设物平面坐标原点为编码标志点中心,标志点的半径分别为60、120、180 mm。物平面与成像平面的位置关系:物平面绕x轴旋转的角度为0.8 rad,绕y轴旋转的角度为0.5 rad,绕z轴旋转的角度为0.5 rad,平移向量T= 0,0,800T;内参矩阵中的参数:f/d_x=f/d_y=800,u₀=400,v₀=400。

直线边缘的定位精度不仅受亚像素定位精度的影响,也受直线生成精度的影响,而图像的分辨率决定了直线边缘的生成精度。基于上述参数,先仿真生成大小为6400 pixel×6400 pixel的图像,然后采用大小为511×511,方差为7.5的高斯卷积核模糊图像,对模糊处理后的图像进行8倍下采样,得到的仿真图像如图4所示。分别用椭圆拟合法和本方法提取仿真图像的中心点,椭圆拟合方法是基于Hali r~的形式参照截图等^[19]提出的一种直接最小二乘拟合法。中心提取对比如图4(b)所示,“•”为仿真标志点的实际中心,“+”为本方法提取得到的中心,“×”为椭圆拟合方法得到的中心。可以看出,椭圆拟合方法得到的中心误差较大,而本方法提取的中心和实际中心基本重合,提取精度较高。

为分析本方法在不同情况下的鲁棒性和准确性,分别仿真了编码环带圆环的半径大小、编段个数、噪声对中心提取精度的影响,并对比了角度变化、半径同比例变化下本方法和椭圆拟合方法的中心提取精度。生成图像的大小、高斯模糊、降采样参数、内参矩阵均与上文一致。由于采用了RANSAC拟合,每次中心提取重复20次,取误差最大值。

图 4. 仿真图像的中心提取方法对比。(a)仿真图;(b)局部放大图

Fig. 4. Comparison of center extraction methods for the simulation image. (a) Simulation image; (b) local enlarged image

下载图片 查看所有图片

3.3 环带半径比例对本方法的影响

设物平面绕y轴旋转0.5 rad,平移向量T= 0,0,800T,标志点在物空间的内圆半径为20 mm,环带内圆为40 mm,环带外圆变化范围在60~160 mm,步长为10 mm。图5为半径比例对本方法提取仿真图像中心精度的影响,可以看出,环带半径比例对本方法基本无影响,随编码环带半径比例的变化,中心提取精度始终在0.05 pixel内,考虑到标志点的大小,最终设计圆环编码标志点的内圆半径、环带内圆半径与环带外圆半径比例为1∶2∶4。

图 5. 半径比例对提取中心精度的影响

Fig. 5. Effect of radius ratio on accuracy of extraction center

下载图片 查看所有图片

3.4 编码环带连通域个数对本方法的影响

对于12位的Schneider编码标志点,编码环带最多有6个连通域、12条径向直线。为分析直线数目对中心结果提取的影响,仿真了6个编码标志点,编码环带的连通域个数范围为1~6,标志点编码值分别为1、5、21、85、341、1365。设物平面绕y轴旋转0.5 rad,平移向量T= 0,0,800T,

图 6. 连通域个数对提取中心精度的影响

Fig. 6. Effect of the number of code segments on the accuracy of the extraction center

下载图片 查看所有图片

标志点在物空间的内圆半径为25 mm,环带内圆半径为50 mm,环带外圆半径为100 mm。图6为连通域个数对本方法提取仿真图像中心精度的影响,可以看出,除了只有1个连通域的情况,其他连通域个数对仿真图像中心提取精度都在0.05 pixel内,由于单个连通域的情况只对应1种码值的标志点,对整体编码容量基本无影响,所以实际使用中可以去除编码环带只有单个连通域的编码点。

3.5 噪声对本方法的影响

设物平面绕y轴旋转0.5 rad,平移向量T= 0,0,800T。标志点在物空间的内圆半径为20 mm,环带内圆半径为40 mm,环带外圆半径为80 mm。对9张图像分别添加标准差为0~0.05的高斯噪声,步长为0.005,图7为噪声对本方法提取中心精度的影响。可以看出,随噪声程度的增加,中心提取精度也逐渐增大,但在标准差为0.05的高斯噪声下,中心提取精度仍在0.1 pixel内,对噪声影响有较好的鲁棒性。

图 7. 高斯噪声标准差对提取中心精度的影响

Fig. 7. Effect of Gaussian noise standard deviation on the accuracy of extraction center

下载图片 查看所有图片

3.6 物平面旋转角度对两种方法的影响

如图8所示,θ为物平面绕y轴旋转角度,Oxy和Ox'y分别为旋转前后的物平面,θ的变化范围为0~1.2 rad,步长为0.1 rad,平移向量T= 0,0,800T,标志点在物空间的内圆半径为20 mm,环带内圆半径为40 mm,环带外圆半径为80 mm。图9为本方法和椭圆拟合法对仿真图像提取的中心精度。可以看出,椭圆拟合方法误差较大,且随着拍摄角度的增大而增加,本方法则不受拍摄角度的影响,中心提取误差始终在0.05 pixel以内。

图 8. 物平面绕y轴旋转示意图

Fig. 8. Schematic diagram of object plane rotation around y axis

下载图片 查看所有图片

图 9. 旋转角度变化对中心提取误差的影响

Fig. 9. Effect of rotation angle change on center extraction error

下载图片 查看所有图片

3.7 半径同比例变化对两种方法的影响

图 10. 半径同比例变化对中心提取误差的影响

Fig. 10. Effect of radius proportional change on center extraction error

下载图片 查看所有图片

设物平面绕y轴旋转0.5 rad,平移向量T= 0,0,800T、标志点在物空间的最内圆半径为10~60 mm,步长为5 mm,编码环带半径初始值分别为20 mm和40 mm,与最内圆同比例增大。图10为本方法和椭圆拟合方法的提取精度对比图,可以看出,椭圆拟合方法的中心提取误差随半径增大而增加,本方法在最内圆半径为10 mm时,定位误差接近0.1 pixel,其余情况下误差始终在0.05 pixel以内。

4 实验验证

为验证本方法的实际效果,采用德国SVS公司生产的ECO655CVGE型号的相机进行实验,其分辨率为2448 pixel×2050 pixel,镜头调焦的范围为12~36 mm。

首先制作图11(a)所示的测试标靶,其中,每个编码标志点的内圆半径、环带内圆半径与环带外圆半径比例均为1∶2∶4,标志点的最内圆半径为15 mm,最外圆半径为60 mm,标靶平面和相机成像平面间的夹角约为40°。对相机拍摄的图像进行畸变校正后,分别用本方法和椭圆拟合方法提取中心,结果如图11(b)所示,其中“*”为椭圆拟合方法提取的中心,“+”为本文方法提取的中心,可以看出,椭圆拟合方法提取中心的误差大于4 pixel,而本方法的误差则在1 pixel内,更接近于真实中心。

制作如图12所示的编码标志点数目为6×9的平面标靶,编码标志点半径分别为2.5 mm、5 mm、10 mm,标志点之间的间距为25 mm。由于普通相机的畸变程度较小,在标识点的局部区域可以忽略不计。CCD相机拍摄不同角度位置标靶的20张图像,分别用本方法和椭圆拟合方法提取标志点中心,并使用Zhang^[20]的方法进行相机标定。标定得到的重投影误差如图13所示,标定参数如表2所示。

由标定结果可知,本方法相对椭圆拟合方法重投影误差减少了20%,标定参数更接近真实参数,这表明相比椭圆拟合法,本方法的中心定位精度更高,可以提高相机标定的精度和系统测量的精度。

图 11. 测试标靶和中心提取对比。(a)测试标靶图像;(b)中心提取结果对对比图

Fig. 11. Comparison of center extraction on test target. (a) Test target image; (b) comparison of center extraction

下载图片 查看所有图片

图 12. 相机标定的标靶实物图

Fig. 12. Target object figure of camera calibration

下载图片 查看所有图片

图 13. 相机标定的重投影误差。(a)椭圆拟合方法;(b)本方法

Fig. 13. Reprojection errors of camera calibration. (a) Ellipse fitting method; (b) our proposed method

下载图片 查看所有图片

4 结论

基于圆环编码标志点,根据射影变换后直线交点不变的思想,利用Hough变换、RANSAC拟合等方法,设计了一种编码环带径向直线提取标记点中心的方法。首先仿真生成编码标志点图像,并分析了标志点半径比例、编码环带连通域个数、噪声对本方法的影响,对比了本方法和椭圆拟合法在不同成像角度、不同标志点大小下的中心提取精度。结果表明,本方法在标识点成像角度和半径均较大的情况下仍能保持中心提取的稳定性,误差始终小于0.05 pixel。拍摄测试标靶,利用本方法提取畸变校正后的图像标志点中心,在成像角度和标志点半径均较大的情况下,中心提取误差稳定在1 pixel内,远小于椭圆拟合的方法。最后用本方法提取出的编码标志点中心进行相机标定,相比椭圆拟合法,本方法标定的重投影误差减少了20%。仿真和实验的结果均证明了本方法的有效性,能够在一定程度上提升相机标定的精度。