1 引言

摄像机标定是视觉测量中的一项首要任务^[1-3],依据使用标定物的维度可以将摄像机标定分为三维(3D)标定、二维(2D)标定、一维(1D)标定和零维(0D)标定。1D标定方法被文献[ 4]提出后,由于大尺寸的1D标定物制作简单且无自身遮挡等优点而受到国内外研究者的关注^[5-12]。关于这些方法的总结可参考文献[ 13],在此不再赘述。

在前期研究中,针对绕固定点运动的1D标定问题,假设世界坐标系的X轴与1D标定物重合,从单幅视图定义了一种由三维空间到图像空间映射的1D单应矩阵,从数学推导上得到了绕固定点运动1D标定的基本约束方程,给出了一种新的摄像机1D标定方法^[13],提高了绕固定点运动1D标定方法的精度。但对1D标定的几何解释还不是很清晰,尤其是既然1D单应是由共线点约束建立的数学模型,那么其与众所周知的共线4点交比不变性存在什么联系。另外,针对更一般的1D平面运动标定问题,是否也可以用1D单应矩阵求解。围绕这些问题,本文继续对1D单应矩阵的性质和应用进行深入研究,由1D单应矩阵给出关于摄像机1D标定的几何解释;并说明1D标定点与其投影图像点之间重要的交比不变特性与1D单应矩阵之间的关系;进而将1D单应矩阵应用于平面运动1D标定中,提出一种将平面运动转化为绕固定点运动的新方法。与现有虚拟平移方法相比,本文方法无需计算对噪点敏感的消隐点和消隐线,提高了标定结果的稳健性和标定精度。

2 背景知识

2.1 1D单应矩阵的定义^[13]

在摄像机的小孔成像模型下,若1D标定物位于世界坐标系的X轴上,则有:

sm~=HM~withH=K[r1t],(1)

式中s为尺度因子(等于点M的投影深度), m~=[u,v,1]^T为投影点m的齐次图像坐标, M~=[x,1]^T,x为M到世界坐标系原点的有向距离,K为摄像机的内参数矩阵,r₁为旋转矩阵R的第一列向量,t为平移向量;矩阵H即为3D空间中1D标定点到2D图像上的单应矩阵,定义为1D单应矩阵。

若H的最后一个元素为1,则有如下关于内参数K的约束方程成立:

tz2hT1K-TK-1h1=1,(2)

式中t_z为平移矢量t(世界坐标系的原点在摄像机坐标系下的3D坐标)的最后一个元素,h₁为H的第一列向量。若绕固定点旋转,则t_z为定值,加上内参数的5个未知量,6个约束方程就可以完成摄像机的标定。这是采用1D单应矩阵标定摄像机内参数的基本原理。

2.2 平面运动的1D标定

Wu等^[6]最早将绕固定点运动的1D标定扩展到平面运动中,其假设1D标定物包含A、B、C三个点,如图1(a)所示。采集共面运动1D标定物的两幅图像,序号记为i和j。a_i、b_i、c_i和a_j、b_j、c_j为运动前后A、B、C的投影图像点,如图1(b)所示。通过虚拟平移将A_iB_i移动到 AitBit,使点 Ait与点A_j重合。因此,如果 Bit和 Cit的投影图像点 bit和 cit已知,则平面运动的1D标定可以转化为绕固定点运动的1D标定问题。 bit和 cit的计算方法如下:

1)根据投影的交比不变性,计算直线A_iB_i和A_jB_j的消隐点v_i和v_j,v_iv_j是运动平面的消隐线。

2)计算直线v_iv_j和a_ja_i的交点v_t,则v_t是空间平行直线A_iAit∥B_iBit∥C_iCit的消隐点。

3)计算直线a_jv_i和b_iv_t的交点,即为 bit,同理,可得到a_jv_i和c_iv_t交点 cit。

图 1. 文献[ 6]方法将平面运动转化为绕固定点运动。(a) 3D空间运动平面;(b)图像平面

Fig. 1. A motion rotating around a fixed point which converts from planar motion by Ref.[6] method. (a) 3D space motion plane; (b) image plane

下载图片 查看所有图片

3 1D单应矩阵

3.1 几何解释

容易得到与1D标定物重合的空间直线即世界坐标系的X轴,在摄像机坐标系下的几何方程为

r3-rT3txcyczcwT=0,xoyplaner2-rT2txcyczcwT=0,xozplane,(3)

式中r₂、r₃分别为旋转矩阵R的第二列和第三列向量,w=1表示该直线上的有穷点,w=0表示该直线上的无穷远点。由旋转矩阵的列向量的正交性容易验证 [r1,0]T是该直线与无穷远平面的交点。该点在图像平面上的投影为

x∞=Kr1=tzh1,(4)

由(2)式可得:

xT∞K-TK-1x∞=1。(5)

由此得到1D标定的几何解释:1D标定物的消隐点到摄像机绝对二次曲线投影(K^-TK^-1)的代数距离为1。

这里需要说明的是,在文献[ 5]中,由直线上两个有限点的齐次坐标差值得到无穷远点,推导出与本文类似的结论,只是其代数距离是L²(L为1D标定物首尾端的长度)。因为在齐次坐标系下,每一个点的表示方式可以在相差一个尺度因子的条件下成立,即 x∞与Lx∞都是1D标定物的消隐点。从摄像机小孔成像模型上解释:摄像机焦距的改变与物距的改变具有等价性。

3.2 交比不变

交比是投影几何中的基本不变量^[14],文献[ 15]将两条直线上的对应投影点用2×2的单应矩阵联系起来,代入交比的定义式中可以证明交比不变性。本文的1D单应矩阵建立了由空间1D共线点到2D图像投影点的对应关系,由1D单应给出交比不变性的证明。

如图2所示,O为摄像机的投影中心,空间直线上的四点M₁、M₂、M₃、M₄在图像平面uov的投影图像点分别为m₁、m₂、m₃、m₄,v₁、v₂、v₃、v₄分别为m₁、m₂、m₃、m₄的v坐标分量,则直线ou∥m₁v₁∥m₂v₂∥m₃v₃∥m₄v₄,由交比定义得:

Cross(m1,m2,m3,m4)=Cross(v1、v2、v3、v4)。(6)

令矩阵T= 010001,将(1)式左右两边乘以T,可以得到:

sv1=H2×2M~withH2×2=hT2hT3,(7)

式中 h2T和 h3T分别为1D单应矩阵H的第2、3行向量。若det(H_2×2)≠0,则由交比的定义和(6)式得:

Cross(M1,M2,M3,M4)=Cross(v1、v2、v3、v4)=Cross(m1,m2,m3,m4)。(8)

由(1)式和(7)式可知,当且仅当t=λr₁时,det(H_2×2)=0。在几何上表示为1D标定物与平移矢量t共线,此时1D标定物所在直线经过投影中心,1D标定物上在图像平面上的投影由直线退化为点。

图 2. 1D单应下的交比不变性

Fig. 2. Cross ratio invariant of 1D homograph

下载图片 查看所有图片

文献[ 4]指出,因为存在交比不变性,所以当1D标定物上多于3个标定点时,并不能对内参数提供多余的约束。由(1)式得1组点对应可以得到关于H的2个独立约束方程,而H在相差1个尺度因子的条件下,具有5个未知量,因此计算H最少需要3组对应点。当大于3组对应点时,由于数据冗余,可以提高H的估计精度,但是只能得到一个独立的约束方程(2)式。这也从另一个角度反映了1D单应矩阵中隐含的交比不变性。

4 基于单应矩阵的1D平面运动标定

如图3所示,与文献[ 6]的空间虚拟平移方法不同,本文方法直接延长空间线段A_iB_i和A_jB_j。由于直线A_iB_i和A_jB_j共面且不平行,因此相交于空间中的一点O_s,如图3(a)所示。在图像平面上,这两条直线对应的投影直线a_ib_i和a_jb_j相交于点o_m,如图3(b)所示。显然,点o_m是空间点O_s的投影点。假设A_iO_s的距离已知,那么以O_s为原点,O_sB_i为世界坐标系的X轴,计算1D标定物点与其投影点之间的1D单应矩阵H⁽ⁱ⁾,由(2)式可得:

zO2h1(i)TK-TK-1h1i=1,(9)

式中z_O为点O_s的投影深度, h1i为H⁽ⁱ⁾的第一列向量。同理,若假设A_jO_s的距离已知,则有:

zO2h1(j)TK-TK-1h1j=1,(10)

式中 h1j为H^(j)的第一列向量,H^(j)为以O_s为原点,O_sB_j为世界坐标系的X轴计算得到的1D单应矩阵。联立(9)式和(10)式可得两个共面1D标定物关于摄像机内参数的基本约束方程:

h1(i)TK-TK-1h1i-h1(j)TK-TK-1h1j=0。(11)

由摄像机的标定理论可知,一个平面中不论包含多少个1D标定物,都只能提供两个独立的约束方程,因此,最少需要三个平面才能完成摄像机的标定。

图 3. 基于单应矩阵的1D平面运动标定。(a) 3D空间运动平面;(b)图像平面

Fig. 3. 1D calibration with planar motion based on homography. (a) 3D space motion plane; (b) image plane

下载图片 查看所有图片

由以上分析可知,现在解决问题的核心转化为计算A_iO_s和A_jO_s的距离。以A_i为原点,A_iB_i为X轴建立世界坐标系,由3组对应点可计算1D单应矩阵 Holdi。因为O_s与o_m是一对对应点,由(1)式得:

so~m=HoldiO~s,(12)

式中 o~m为图像点o_m的齐次坐标, O~s为3D空间点O_s的齐次坐标。令A_iO_s的距离为d_AiOs,求解(12)式可得:

O~s=(Hold(i)THoldi)-1Hold(i)To~mdAiOs=O~s(1)/O~s2,(13)

式中 O~s(k)(k=1,2)为向量 O~s的第k个元素。同理,可计算得到A_jO_s的距离d_AjOs。由此,可通过建立以点O_s为原点的世界坐标系,重新计算得到H⁽ⁱ⁾与H^(j),获得内参数的约束方程(11)式,完成1D平面运动的摄像机标定。

d_AiOs和d_AjOs也可以由交比不变性计算得到,但是当标定点的个数为N(N>3)时,交比不变性给出了关于d_AiOs(d_AjOs)互不独立的 CN3个约束方程,其求解较复杂,且互不独立,所以抗噪性能较差。而1D单应矩阵可以很容易地解决该问题,即只需在估算1D单应矩阵时增加点对应约束即可。因此,虽然1D单应矩阵与交比不变具有等价性,但在实际计算中,1D单应矩阵比交比不变性的应用更加灵活,其可计算性也更强。

5 仿真与实验

5.1 合成数据仿真

仿真时设置摄像机的内参数为

K=150001000015001000001。(14)

镜头畸变参数为0,摄像机分辨率为2000 pixel×2000 pixel。1D标定物的长度为90 cm。在1D标定物上分布着用于标定的3个等距标记点。仿真数据通过如下步骤产生。

1) 选取6个仿真平面,其Rodriguez旋转矢量分别为

r₁= π600T,

r₂= 0π60T,

r₃= π12-π/120T,

r₄= π120-π/12T,

r₅= 0-π/6-π/12T,

r₆= π12π6-π/6T;

平移矢量

t₁=t₂=t₃=t₄=t₅=t₆= -50-50200T。

2) 在每个平面上,1D标定物的运动次数定义为J。J个1D标定物的方向由[0.2π, 0.6π]的均匀分布生成。平移矢量t_2D在[10,100] cm×[10,100] cm的范围内随机生成。

3) 将以上生成的3D点投影到图像平面上,生成与1D标定点对应的图像点。

5.1.1 噪声水平对标定精度的影响

每一个平面中1D标定物的运动次数J=15。在生成的图像点上添加均值为0,方差δ的高斯噪声。以δ=0.1 pixel为步长,由0变化到2 pixel。已有文献的实验结果表明^[6,7,12],线性估计结果是评价方法优劣的最有力手段,因此,在仿真标定实验中,仅评估算法的线性求解结果。针对每一个固定的方差δ,线性计算的标定结果为250次计算后平均值,标定结果如图4(a)所示,其中f_u、f_v分别为摄像机x方向和y方向的等效焦距,(u₀,v₀)为主点坐标,γ为倾斜因子。为便于比较,将相同的仿真数据应用于文献[ 6]方法求解摄像机参数,其标定结果如图4(b)所示。由图4可知,在相同噪声水平下,本文方法的标定精度明显优于文献[ 6]方法。

5.1.2 运动次数J对标定精度的影响

实验中,噪声的方差δ=0.5 pixel。运动次数J由3变化到20。对每一个J,采用线性方法求解摄像机内参数,标定结果为250次独立实验的平均结果,采用本文方法和文献[ 6]方法标定结果如图5所示。对比图5(a)和图5(b)可知,当J由3增长到5时,本文方法的相对误差比文献[ 6]方法下降得更快。本文方法在J>5时基本趋于稳定,而文献[ 6]方法,在J>8 时才趋于稳定,且波动幅度较大。

图 4. 噪声水平对线性标定精度的影响。(a)本文算法;(b)文献[ 6]方法

Fig. 4. Effect of noise level on linear calibration precision. (a) Proposed method; (b) Ref.[6] method

下载图片 查看所有图片

图 5. 运动次数对标定精度的影响。(a)本文方法;(b)文献[ 6]方法

Fig. 5. Effect of motion number on calibration precision. (a) Proposed method; (b) Ref.[6] method

下载图片 查看所有图片

以上两个实验的结果表明,本文方法在标定精度和标定稳定性方面明显优于文献[ 6]方法,其主要原因是文献[ 6]方法的关键步骤是通过消隐点确定运动平面的消隐线,但是由于消隐点的计算对噪声比较敏感,所以随着噪声的增加,计算得到的消隐线方程误差会显著增大。虽然增加J的数量,可以增加计算消隐线的消隐点数量,从而提高消隐线的估计精度,但是由于消隐点的噪声敏感性导致计算结果的稳定性较差。

5.2 真实实验

实验采用分辨率为1224 pixel×1024 pixel的黑白相机。打印了12条包含3个圆环标记点的1D标定纸粘贴在平板上。相邻标记点的距离为10 cm。移动摄像机获取6幅平板图像。其中一幅图像如图6所示,采用文献[ 16]方法提取图像中的圆环标记点。标定结果如表1所示,表1中的第一行数据是采用常规的2D棋盘^[17-18]在Matlab标定工具箱^[19]下获得的标定结果,作为摄像机内参数的真值。由实验数据可以看出,本文方法的标定精度比文献[ 6]方法高,与仿真实验结果一致。

图 6. 1D平面运动标定图像样张

Fig. 6. Calibration image with 1D planar motion

下载图片 查看所有图片

6 结论

在1D单应矩阵解决绕固定点运动1D标定问题的基础上,对1D单应矩阵的性质和应用进行了深入研究。由1D标定物与世界坐标系X轴重合的特点,结合1D单应矩阵标定的约束方程,给出了1D标定的几何解释。并在小孔成像模型下对投影几何中的交比不变性给出了简短的证明,分别从理论和实验两个方面说明了1D单应矩阵与投影交比的等价性,但1D单应矩阵比交比不变性在计算上更加方便和灵活。最后,针对1D平面运动的标定问题,提出了一种简单的延长线相交法,采用1D单应矩阵确定交点的位置,将平面运动转化为绕固定点运动,与传统的虚拟平移转换方法相比,本文方法无须计算消隐点和消隐线,标定精度和稳定性得到了显著提高。