1 引言

摄像机标定是机器视觉的关键性技术,被广泛应用于工业检测、机器人导航、地形勘探、医学诊断等领域^[1-3]。通过标定获取摄像机参数,可以实现图像的三维重建。在众多标定方法中,应用最广泛的是由Zhang^[4]提出的棋盘格标定法,相对于Tsai两步法和自标定方法,其优势在于操作方便,精度较高且鲁棒性较好。棋盘格标定法是将棋盘格角点的图像坐标提取出来,结合其空间坐标进行优化求解,最终计算出摄像机参数。在整个标定过程中,棋盘格角点检测尤为重要,即使是半个像素的误差也会对标定参数造成重大偏差^[5]。因此,棋盘格角点的精确检测是摄像机高精度标定的关键。

在众多棋盘格角点检测方法中,应用最广泛的是一种人机交互方法^[6],需要手动选取棋盘格最外围的四个角点,计算机根据其信息检测出其余角点,手动选取外围角点易出现偏差,造成角点定位不准确,且该方法难以实现自动化。棋盘格角点检测常用Hessian、Harris、SUSAN(Small Univalue Segment Assimilating Nucleus)等角点检测算子实现自动化^[7-9]。洪磊等^[10]利用交比不变原理求出消失点,有效地解决了Hessian算子在局部区域角点检测失败的问题,但较差的光照条件会导致候选极点过多而失败。王晓辉等^[11]结合Harris算子和Hessian矩阵提出一种自适应检测算法,克服了传统方法依赖于阈值的不足,极大地提高了角点检测的适应性和稳定性,在图像背景复杂的情况下,仍会因反复循环判定保留少量的伪角点。杨幸芳等^[12]提出基于两个环形模板的灰度跳变次数的算法,而刘俊杰等^[13]提出基于灰度跳频阈值选择的算法,这两种算法解决了SUSAN算子的弊端,可以有效区分棋盘格边缘和角点,但在亚像素定位上稍有不足。储珺等^[14]利用冗余角点的对称性与环形模板卷积,解决了曝光过度导致棋盘格角点分离的问题,有效地消除了冗余角点,但质心法在提取精度上稍有不足。屠大维等^[15]利用圆形检测器进行初步提取,再利用局部对称性消除错误角点,但采用灰度强特征进行筛选,会因边缘模糊而引起角点定位的偏差。李海等^[16]利用直线检测(LSD)算法,极大地提高了自动化程度,此方法在复杂背景和格子数量不足的情况下会出现误检。王海涛等^[17]利用角点的对称性和区域的边缘匹配进行检测,该方法适用于由显示屏绘制的棋盘格网格,但在较差的光照条件下,其精度会降低。吴敏杨等^[18]提出基于旋转不变性的角点检测方法,在模糊环境下减少了噪点干扰,提高了检测准确率。刘飞飞等^[19]提出的角点检测方法融合了BW(Black-White)算子和环形模板,在原来的两种算法上作进一步改进,弱化了复杂环境的约束,大幅减少了角点的冗余检测。

现有的棋盘格角点检测算法存在以下问题:角点定位精度有待提高,角点的误检与漏检仍有可能出现,这将会导致摄像机标定精度大幅下降。为了避免角点的误检和漏检,本文结合Hough变换和棋盘格直线分布特征,剔除冗余的直线,保留有效直线用于构建棋盘格角点,实现角点的粗略定位;再使用圆形模板在粗略定位的角点周围移动,搜寻相关点,利用其图像坐标与对应的观测距离,对角点进行精确定位。

2 棋盘格成像分析

当摄像机光轴垂直于棋盘格时,在成像平面上形成的图像中,每个格子的内角依然是直角。在标定过程中,往往需要光轴与棋盘格垂直方向形成一定的角度。当摄像机光轴不再垂直于棋盘格时,图像中的棋盘格的内角会发生变化。如图1所示,O_C是摄像机光心, OCZC→是光轴,I是成像平面, OWXW→和 OWYW→是空间中垂直的两个方向,而 OWZW→是棋盘格平面法向量,三个向量相交于O_W。

图 1. 棋盘格投影成像模型

Fig. 1. Checkerboard projection imaging model

下载图片 查看所有图片

根据透镜成像原理, OWXW→和 OWYW→方向的成像可以分成两个过程,即先沿着到光心O_C的直线传播,投影到一个过O_W且平行于平面I的平面上形成两个向量,再利用相似三角形原理,将两个向量按比例缩小,投影到成像平面上,如图2所示。

图 2. 成像平面上的棋盘格

Fig. 2. Checkerboard on imaging plane

下载图片 查看所有图片

由于第二个过程中,只改变了向量的模,不改变向量的方向,因此对于夹角的计算,只需要考虑第一个过程。在第一个过程中,I平面垂直于光轴Z_C,故平行于I的平面也会垂直于Z_C,Z_C垂直于这个平面的任意直线,即垂直于形成夹角β的O_WX_I和O_WY_I。当光轴 OCZC→与棋盘格平面法向量 OWZW→形成夹角α,且 OCZC→在棋盘格平面上的投影与棋盘格直线不平行时,图像中的棋盘格内角β不再是直角。因此,在粗略定位时可以利用棋盘格直线分布特征,而在精确定位时须考虑棋盘格内角的大小。

3 角点检测方法

3.1 基于Hough变换与直线分离的角点粗略定位

根据上述内容,可知棋盘格内角变化的原因是在投影的过程中,直线的方向发生了改变。因此,先利用直线检测计算出棋盘格每个内角对应的角度,同时对角点进行初步定位。直线检测方法中Hough变换^[20]的应用最为广泛,其鲁棒性好,抗噪能力强。Hough变换的主要思想是,利用图像域的像素点与参数平面上离散点的映射关系,求解出对应的直线方程。直角坐标系中的参数是斜率和截距,由于垂直于横坐标系的直线斜率趋向于无穷大,其参数无法求解,故易忽略这些直线的存在。为避免这种情况发生,直线检测的过程往往转换到极坐标系中进行参数求解。极坐标系中直线方程可表示为

ρ=xcosθ+ysinθ。(1)

如图3所示,作原点到直线的垂线,ρ为垂线的长度,θ为垂线与x正半轴的夹角。ρ,θ为定值时,对应一条直线。满足此方程的所有坐标点(x,y)构成一条直线。理论上,ρ恒为正值,θ取值范围为[-π,π]。为了方便直线筛选,当θ为负值时,ρ取相反数,θ为原值加上π。此时,ρ可为负值,θ取值范围为[0,π],直线上的所有坐标(x,y)依然满足方程(1)式。

图 3. Hough变换原理图

Fig. 3. Hough transform schematic

下载图片 查看所有图片

棋盘格由两组相互平行的直线形成,且每组直线的数量是已知的。因此,先将与θ值相近的直线进行归类分组,将分类后数量不足的直线组剔除;由于每组平行线是等距的,故其ρ值应近似为等差数列,进一步将不满足该条件的直线组剔除;最终剩下满足上述两个条件的直线组。将棋盘格直线从复杂背景中分离出来,如图4所示。

图 4. Hough变换下棋盘格直线分离结果。(a)原图像;(b)直线分离后的图像

Fig. 4. Results of checkerboard straight line separation under Hough transform. (a) Original image; (b) image after straight line separation

下载图片 查看所有图片

最后,将两组相交直线对应的方程组进行联立求解,计算出对应的角点像素坐标,完成角点的粗略定位。同时,两组直线的θ值之差为两组直线的夹角,即棋盘格内角φ;将直线按照ρ值的大小顺序进行排序,便于后续依序检测。若此时直接对角点进行标定,其标定误差在0.5个像素以上,标定参数会出现严重偏差^[5]。因此,角点还需进行精确定位,而棋盘格角点周围灰度特征变化明显,使用圆形模板利于在角点周围进行区域检测。同时,将变换中获取的直线特征进行统计与判定,粗略定位棋盘格角点,锁定棋盘格区域,可为圆形模板区域检测减小运算量。

3.2 基于圆形模板区域检测的相关点获取

首先,进行圆形模板的USAN区域判定。本文采用SUSAN算子^[8]中的USAN区域判定方法,基于类似圆形的模板遍历整个图像, 其模板内部所有像素点都会与其中心像素点进行对比,即求取两个灰度差值的绝对值,若这个绝对值不超过某个特定值, 则判定该点与中心点的灰度相同,反之则灰度不相同。与中心点灰度相同的区域则称为USAN区域,其余则为非USAN区域。USAN区域判别函数可表示为

c(w,w0)=1,I(w)-I(w0)≤t0,I(w)-I(w0)>t,(2)

式中:w₀为模板中心点,简称为模板核;w为模板内部点;t为灰度差阈值;I(w)为像素点w对应的原灰度值;c为判别后像素点的灰度值。在USAN判别过程中,已经实现二值化,USAN区域灰度取1(白色),非USAN区域灰度取0(黑色)。

SUSAN采用非极大值抑制选取USAN区域最小的点为角点,无须考虑模板大小。与之不同的是,本文方法仅利用其USAN区域判别函数,根据非USAN区域分布特征在对应的角点周围寻找适量的相关点,同时又不能影响其他的角点。为满足上述要求,需设计一个容量合适的圆形模板。如图5所示,此模板近似圆形,由497个像素组成,共有25行像素,各行的像素个数上下对称,其中1至8行分别含有9、11、15、17、19、21、21、23个像素,9至13行含有25个像素。此模板不用遍历整个图像,只需在距离粗略定位角点小于8个像素的范围内移动,其目的是减少USAN判别过程的计算量,且保证角点大概率落于圆形模板内。

图 5. 圆形模板USAN区域判别。(a)角点附近的圆形模板;(b)模板对应USAN区域分布

Fig. 5. Discrimination of the USAN area of the circular template. (a) Circular template near the corner point; (b) distribution of the USAN area corresponding to the template

下载图片 查看所有图片

如图5所示,当角点像素位于圆形模板内时,非USAN区域会形成两块,当模板核恰好位于棋盘格内角平分线上时,两块非USAN区域占用的像素量相等。对模板内的非USAN区域进行四邻域连通处理,再将分开的两块非USAN区域像素量进行比较,若相等,则获取当前模板核的图像坐标(x,y)与非USAN区域像素量S,当前的模板核就是相关点。基于圆形模板区域检测相关点坐标(x,y)与对应的S,为后续角点进一步精确定位做好准备。

3.3 角点的精确定位

当圆形模板检测的相关点位于棋盘格内角平分线上时,圆形模板内部USAN区域的像素量可以简化成一个数学模型。如图6所示,d为圆形模板核到角点的距离,φ为棋盘格内角,r为圆形模板半径,S为非USAN区域像素量。4个变量关系可表示为

S=πr2-sinφd2-φr2。(3)

图 6. 圆形模板USAN区域的数学模型

Fig. 6. Mathematical model of the circular template USAN region

下载图片 查看所有图片

又由于圆形模板没有实际的半径,而整个圆形模板的像素量R是个定值,其对应 (3) 式中的πr²。棋盘格内角φ已在直线检测时计算出来,此处为已知值。因此,可基于S的值计算核坐标到角点坐标的观测距离d,即

d=R(π-φ)πsinφ-Ssinφ。(4)

直线相交形成两个互补角,而棋盘格内角φ是其中的一个角,需要根据此时圆形模板核的图像坐标(x,y)进行判定。假设两相交直线方程对应(ρ₁,θ₁)和(ρ₂,θ₂),定义判定参数j₁、j₂、h₁和h₂:

j1=xcosθ1+ysinθ1-ρ1,j2=xcosθ2+ysinθ2-ρ2,(5)h1=θ1-π2,h2=θ2-π2。(6)

最终得到角φ的计算公式为

φ=θ1-θ2,j1·j2·h1·h2<0π-θ1-θ2,j1·j2·h1·h2>0。(7)

圆形模板在粗略定位的角点周围移动,当圆形模板中分开的两块非USAN区域像素量相等时,获取当前模板核的图像坐标(x_I,y_I)与非USAN区域像素量S_I,再利用 (4) 式计算d_I值,通过其观测距离与实际距离的差进行最小化求解,得到精确定位的角点(x,y),表达式为

argminx,y∑i[(xi-x)2+(yi-y)2-di]2。(8)

如图6所示,以棋盘格中某一个角点为例,提取16个满足条件的模板核坐标(x_I,y_I)以及相应的d_I值,在最靠近直线交点的那几个核坐标围成的区域中,见图7(b):以0.1 pixel为步长进行搜索,得出差值最小的点坐标;在这个点附近更小的区域中,以0.01 pixel为步长进行搜索,得出差值最小的点坐标;通过这样重复缩小步长,缩小区域搜索,最终以亚像素精度实现角点更精确的定位。值得注意的是:重复搜索过程中不能使 (8) 式计算的差值增大;其次,步长缩小会增大计算量,需根据实际精度需求选择合适的步长。

图 7. 角点精确定位。(a)模板核坐标获取;(b)角点搜索区域;(c)最小化准则定位

Fig. 7. Corner precise positioning. (a) Template kernel coordinate extraction; (b) corner search area; (c) minimization criterion positioning

下载图片 查看所有图片

4 实验结果与分析

本文实验所采用的图像采集设备为华睿科技大华工业摄像机A513MU210,其分辨率是1280 pixel×1024 pixel,像元尺寸为4.8 μm×4.8 μm,镜头焦距为5~50 mm。摄像机通过脉冲触发线和数据传输线与工控机连接,工控机控制摄像机采集和临时存储图像,最终通过网线传输给工作站主机进行图像处理。定制2块棋盘格标定板, 其规格均为7×7,小型标定板单格尺寸为20 mm×20 mm, 大型标定板尺寸为32 mm×32 mm。对无频闪光源作稳定的亮度补偿。实验现场及设备见图8。

图 8. 实验现场及设备

Fig. 8. Experimental site and equipment

下载图片 查看所有图片

4.1 精度对比实验

在摄像机标定过程中,角点检测精度至关重要,直接影响标定结果的精度。因此,需对本文方法的角点检测精度进行检验,同时与文献[ 10]、[16]和[17]中提出的三种方法的检测精度进行对比实验。

在距离摄像机约1.8 m的范围内,在合适的光照条件下,使用大型标定板以8个不同的位姿进行图像采集,其目的是进行标定。本文方法的角点检测结果如图9所示,每幅图像上都有36个角点被检测出来,没有出现漏检和冗余角点,角点识别精度较高。

图 9. 本文方法的角点检测结果

Fig. 9. Corner detection results of the method in this paper

下载图片 查看所有图片

将获取的角点图像坐标通过Zhang标定方法^[4]进行标定,通过最小化重投影误差,求解摄像机标定参数。重投影误差的散点分布如图10所示,图中共有288个散点,对应参与标定的8幅图,每幅图上有36个角点。计算检测得到的角点坐标与标定参数求解的角点坐标间的差值,x、y方向的差值分别为δ_x与δ_y,散点(δ_x,δ_y)坐标越接近(0,0),总体误差越小。

摄像机标定结果如表1所示,f₁和f₂表示x, y方向的等效焦距。因像元尺寸为4.8 μm,实际焦距约25 mm,均在摄像机焦距可调范围内,故标定参数可靠;u₀和v₀是图像的主点坐标,即光轴与成像平面的交点,理论上其数值应为行列像素的一半,即(640,512),因镜头畸变,实际存在微小偏差;k₁和k₂为径向畸变系数,可用于三维点坐标计算;误差δ是所有角点重投影误差的均方根值,误差越小,表明标定结果精度越高。

图 10. 重投影误差的散点分布。(a)本文方法;(b)文献[ 10]方法;(c)文献[ 16]方法;(d)文献[ 17]方法

Fig. 10. Scattered point distributions of reprojection error. (a) Method of this paper; (b) method of Ref. [10]; (c) method of Ref. [16]; (d) method of Ref. [17]

下载图片 查看所有图片

文献[ 10]、 [16]和[17]中的三种方法的误差在0.1402 pixel以上,文献[ 18]与[19]提出了精度更高的角点检测方法,其误差分别为0.10 pixel和0.1005 pixel,而本文方法的误差为0.0726 pixel,精度得到显著提升。

4.2 光照条件实验

在棋盘格角点提取的过程中,图像的成像质量尤为重要,而影响成像质量最主要的因素就是光照。在很多复杂的测量环境中,光照往往达不到理想的条件,或者无法进行适当的调节。因此,需验证本文棋盘格角点检测方法的光照鲁棒性。

图 11. 不同光照条件下棋盘格角点检测结果。(a)偏暗光照(g=25.9);(b)中等光照(g=76.5);(c)偏亮光照(g=165.8)

Fig. 11. Results of checkerboard corner detection under different lighting conditions. (a) Dimmed light (g=25.9); (b) medium light (g=76.5); (c) bright light (g=165.8)

下载图片 查看所有图片

设置3组实验,手持小型标定板以不同的位姿进行图像采集,每组采集8幅图像。第1组实验,环境中光线偏暗,在不提供额外光源的条件下进行图像采集;第2组实验,开启光源,光源的光照强度调整到最大值的50%;第3组实验,将光源的光照强度调至最大值。应用本文方法对采集的图像进行角点检测,结果如图11所示,g是图像灰度均值,作为光照强度的参照值。不同强度的光照条件下,基于本文方法仍然识别出每幅图像中的36个角点,不存在漏检和误检。将检测到的角点进行标定,标定后的角点检测误差δ见表2,其中最大误差不超过0.0741 pixel,角点检测结果稳定,由此说明本文方法的光照鲁棒性好,可以在不同的光照条件下实现高精度标定。

5 结论

针对现有棋盘格角点检测算法精度仍有待提高的问题,提出一种基于Hough变换和圆形模板的棋盘格角点检测方法。首先,基于Hough变换检测棋盘格直线,利用投影成像过程中棋盘格直线分布具有平行、等距的特征,对直线进行分类,并将冗余直线进行剔除,保留有效直线,构建粗略角点,有效地避免了角点的误检和漏检;然后,构建了由497个像素组成的圆形模板,利用其非USAN区域像素面积分布特征,获取相关点,即棋盘格内角平分线上的点,基于得到的相关点提出判定角点的距离最小化准则;同时,基于区域搜索求解满足距离最小化准则的角点,并逐步缩小搜索区域与搜索步长,将角点位置精度提高至亚像素级,最终实现了棋盘格角点的高精度自动检测。本文方法具有Hough变换鲁棒性好,检测直线效率高,以及构建的圆形模板容量丰富的特点。实验结果表明,本文提出的棋盘格角点检测方法,其标定误差达到0.0726 pixel,与现有其他文献中的方法对比发现,误差明显减少,角点检测精度显著提高,同时,在不同光照条件下,本文的方法仍然能实现精确检测,误差值几乎不变。该方法为实际摄像机高精度标定提供了理论支撑。