1 引言

在三维智能感知领域,投影仪-摄像机系统框架作为双目立体视觉的一个特殊分支,仿人眼方式理解感知物体的深度信息,在智能自主投影、三维重建、光学测量等领域得到快速发展^[1-2]。尤其是在智能感知投影展示技术中,为了使投影仪投射图像在非规则曲面上符合人眼视觉感知的一致性,投影仪需能“感知”到非规则曲面的深度信息,使得投影图像在不同的深度区域内映射对应的纹理图像信息。然而在利用投影仪-摄像机系统框架进行高精度感知的过程中,首先需要解决的就是系统参数标定问题,即获取投影仪和摄像机的内参数,以及两者之间的外参数。由于投影仪无法像摄像机一样“理解”图像特征信息,因此,目前标定方式普遍采用投影仪投射模式特征图像至标定靶上,通过摄像机拍摄调制的模式特征信息建立投影仪和摄像机之间的映射关系,然后利用映射关系使得投影仪能够感知匹配标定靶上的特征信息和模式特征图像上的特征信息^[3-4]。在建立上述匹配关系时,投影仪参数标定问题就转换到摄像机标定模式中。虽然上述过程简单、高效,但是极易受到摄像机标定精度和外界环境因素的干扰。为解决上述问题,对智能感知投影系统中涉及的投影仪-摄像机参数标定问题开展研究。

摄像机标定问题是求解摄像机内外参数的关键过程。随着计算机视觉技术的快速发展,摄像机标定的方式也从二维过渡到一维模式中^[5-6],然而摄像机一维标定模式不适用于投影仪-摄像机联合标定过程。在摄像机二维标定模式研究中:文献[ 7]提出了一种通过预校正的矩阵相机获取小型标定靶标图案特征点分布信息的方法;文献[ 8]针对摄像机标定过程中如何选择摄像机模型的问题进行分析,通过比较,提出3个性能指标,服务于不同摄像机畸变问题的合理选择;文献[ 9]提出一种相移法代替傅里叶变换提取相位的方法,该方法能够有效避免点阵边缘模糊现象,然而普适性受到一定的限制。在投影仪-摄像机的标定研究中:文献[ 10]为了建立靶标和投影特征之间的关系,采用两步法结合动态投影匹配特征点进行系统参数的标定,该方法在一定程度上提高了系统参数的精度,然而整体算法过程较复杂;文献[ 11]通过分析成像畸变产生的规律,提出利用同心圆环进行多区域标定的方法;文献[ 12-13]对投影仪-摄像机系统的成像结构进行分析探讨,提出一种投影仪和摄像机共轴的结构模式,较传统结构模式标定精度高,然而在进行共轴环境搭建过程时不具备通用性;文献[ 14-15]采用结构光相位匹配技术对投影仪-摄像机系统进行参数标定,然而该模式易受到环境因素的干扰,导致相位识别率降低。基于此,本文对投影校正系统的参数标定方法进行研究。首先,对投影仪-摄像机三维感知数学模型进行分析;然后,对系统的颜色耦合性问题进行信号建模,由于系统的标定精度关键在于角点识别的精度,为此,利用设计的新型彩色模式特征图像,结合角点亚像素检测算法以及彩色信息引导进行角点匹配;最后,利用射影成像反馈式成像标定法进行系统参数标定。

2 智能感知系统深度数学模型

在计算机视觉中,为了使得计算机能够像人一样感知、理解物体在三维空间中的深度拓扑分布,通常采用仿人眼模式的双目立体视差模型,即利用双目针孔透视成像原理对物体深度信息进行定位^[16]。由于投影仪-摄像机系统类似于双目立体成像模型,因此,本文凭借该模型对投影仪-摄像机的智能感知进行分析,其中,智能深度感知成像原理如图1所示。

设智能感知系统观察空间中任意一点在空间全局坐标系下为A_G=(X_G,Y_G,Z_G),齐次坐标表示为 A˙G,在投影仪和摄像机成像坐标系的坐标值分别为a_p=(u_p,v_p)、a_c=(u_c,v_c),相对应的齐次坐标分别为 a~p、 a~c,根据透视投影成像原理,空间中的三维点和投影仪、摄像机成像平面之间的对应关系为

sca~c=KC[VC TC]A˙G,spa~p=KP[VP TP]A˙G,(1)

式中s_c、s_p为尺度因子,K_c、K_p、[V_cT_c]、[V_pT_p]分别为投影仪和摄像机的内、外参数矩阵。将(1)式中空间全局坐标系下的 A˙G进行消除变换,得到投影仪和摄像机成像感知对应关系模型:

sca~c=KC[VC TC]sp{KP[VP TP]}-1a~p。(2)

可以看出,对摄像机标定完成后,利用两者之间的成像像素点匹配,即可标定投影仪的参数。

3 系统参数标定

3.1 颜色通道耦合性建模分析

在智能感知投影系统中,投影机投射色彩图像,而摄像机进行图像的采集。在这一过程中,由于投

图 1. 智能感知系统深度成像模型

Fig. 1. Depth imaging model of intelligent perception system

下载图片 查看所有图片

影机的颜色通道和摄像机的颜色通道之间会存在颜色光谱曲线重叠干扰,造成通道内的色彩光子信号能量叠加干扰损耗。颜色通道的耦合性问题,会导致摄像机采集的颜色光谱信号和原始投影色彩信号光谱不一致;因此,在智能感知投影系统中,当投影模式特征图像为彩色模式图案时,会存在色彩信息损耗问题,使得模式特征点的匹配存在丢失、误匹配现象。为此,本文首先对系统颜色通道的光谱耦合进行建模分析。

摄像机将捕捉到的色彩光谱信号聚焦在镜头的CCD上累积,而本文摄像机拍摄的光束信号是从投影仪投射的光束信号,因此图像的色彩像素信息经投影仪显色机处理后,通过显色表面的反射被摄像机呈色物理器件传输至感应面上。该过程中信号处理模型为

IRCIGCIBC=mrrmrgmrbmgrmggmgbmbrmbgmbbkr000kg000kbFIRPIRPIRP+IRoIGoIBo,(3)

简化形式为I_C=M_crossKF{I_P}+A_o,其中I_C、I_P表示摄像机和投影仪中的像素信息值,M_cross表示系统的光线传输串扰矩阵,K为物体表面反射矩阵,F{I_P}为非线性变换矩阵,A_o为环境光信息值。

系统颜色耦合性问题转换为(3)式中的参数求解问题。为了便于求解,首先设定标定模块的反射系数为1,接着利用摄像机拍摄标定模板在自然环境下求解A_o,接着利用投影仪分别投射单通道纯色标准色,通过摄像机分别拍摄对应图像,利用(3)式结合最小二乘法优化求解,即可获取上述参数信息值。利用求得的参数值构建校正矩阵,即可修正颜色串扰现象。

3.2 彩色模式特征图像生成

系统参数标定过程中,模式特征图像的角点位置信息直接决定了系统的标定精度。为了能够快速、高精度地定位角点,设计了一种彩色化模式特征图像。为了充分利用彩色信息,彩色化模式特征图像采用方形色彩块模式进行组合构建,称方形色彩块为色彩方元,其中色彩方元的颜色信息分别为红色、绿色、蓝色、青色、品红色、黄色、黑色、白色。为了避免颜色通道之间的干扰,对这些颜色进行模式特征化组合,即划分组合方元——(品红色,绿色)、(青色,红色)、(黄色,蓝色),如图2(a)所示,其中组合方元中的第一个元素称为低值色彩,第二个元素称为高值色彩。将上述3类组合模式进行相邻区域连接,组合类别之间采用黑色方元进行分割。

将黑色方元作为生成彩色模式特征图像的起始位置,将其放置于待生成图像的中心位置,紧接着对该黑色方元的8邻域进行色彩化处理,即将白色方元放置于黑色方元的4邻域处,将组合方元中的品红色放置于黑色方元的D邻域处,从而构成如图2(b)所示的3×3色彩区域。对黑色方元D邻域处的每个品红色方元的4邻域中没有色彩化的邻域放置白色方元,对每个品红色方元的D邻域中没有色彩化的邻域放置绿色方元。紧接着对每个绿色方元的4邻域中没有色彩化的邻域放置白色方元,对每个绿色方元的D邻域中没有色彩化的邻域放置黑色方元,从而构成如图2(c)所示的色彩化结构区域。

对组合方元中(青色,红色)进行色彩化结构处理,即对色彩化结构区域中的每个黑色方元的4邻域中没有色彩化的邻域放置白色方元,对每个黑色方元的D邻域中没有色彩化的邻域放置低值色彩

图 2. 彩色模式特征图像生成过程

Fig. 2. Generation of color pattern feature image

下载图片 查看所有图片

方元,同时对每个低值色彩方元的4邻域中没有色彩化的邻域放置白色方元,对每个低值色彩方元的D邻域中没有色彩化的邻域放置高值色彩方元,构成另一个色彩化结构区域。对组合方元中(黄色,蓝色)同理按照组合方元(青色,红色)的方式进行色彩化结构处理,从而构成如图2(d)所示的彩色模式特征图像。可以看出,所设计的彩色模式特征图像由3个色彩化结构区域构成一个整体的色彩拓扑结构,因此在角点提取时,具有较强的抗干扰性。

3.3 角点亚像素检测算法

利用投影仪投射上述彩色模式特征图像。由于摄像机采集图像存在透视问题,导致方形色彩块之间存在角点畸变,加之投影仪的摆放姿态会导致角点产生离散化效应,使得提取的角点位置不精确。观

察设计的彩色模式特征图像可知,角点是由不同的色块区域相交构成,据此提出一种角点亚像素检测算法。为了能够快速地检测到角点,定义待检测图片中的某一像素点为X_i=(p_i,q_i),对应的色彩值为C_i=(a_i,b_i,c_i),以像素点X_i为中心、长度为2L+1构成平滑移动检测窗口,其中检测窗口要小于彩色模式特征图像中色块长度的1/2,具体值可根据实际需要设定,定义为W_i(X_i,L)={X_jXj-X_i|≤L},由于角点邻域的色彩信息值具有变化不连续性,为此将图像中的像素从所在的二维空间转换到一维空间中,即将平滑移动检测窗口进行长度缩放,得到逐像素离散分层D_m(X_i,M),其中D_m(X_i,M)={X_d|X_d∈W_i(X_i,M)-W_i(X_i,M-1),1≤M≤L},如图3所示。

图 3. 彩色信息引导离散分层效果图

Fig. 3. Color information guided discrete hierarchical

下载图片 查看所有图片

结合上述概念,同时利用彩色像素信息进行角点亚像素检测,算法步骤如下:

1) 利用平滑移动窗口对待检测图像进行逐像素搜索。由于本文设计的彩色模式特征图像的角点,其邻域是由不同颜色块相交而成,因此当平滑移动窗口在某一点X_i=(p_i,q_i)进行任意方向微小偏移(u,v)时,会导致像素强度发生剧烈改变,移动窗口的强度变化量为

I(pi,qi)=∑fWi(pi,qi)·[Xj(pi+u,qi+v)-Xi(pi,qi)]2=∑fWi(pi,qi)·[u2pi2+v2qi2+2uvpiqi],(4)

式中 fWi(p_i,q_i)为移动窗口函数。对(4)式进行矩阵变换,得到:

I(pi,qi)=(u,v)ψuv,(5)

式中ψ=fWi(p_i,q_i) pi2piqipiqiqi2。利用矩阵ψ中的特征值,判断该点是否为候选种子角点,如果是候选种子角点,则执行2)进一步处理。

2) 由于在模式特征图角点的邻域周围内存在很多候选种子角点,为此需对角点进行亚像素识别定位。利用前述的逐像素离散分层,得到由像素点构成的一维分层集合{D₁(X_i,M),D₂(X_i,M),…,D_L(X_i,M)},用直方图统计移动窗口中像素点的色彩信息值分布(除去纯白色),得到2个RGB颜色空间的归类集{ Ik1, Ik2},接着利用下式计算每层中像素点的色差值归属差异性,也就是像素点到RGB颜色空间归类集的距离:

dis=(ai-Rs)2+(bi-Gs)2+(ci-Bs)2,(6)

式中的(R_s,G_s,B_s)为归类集{ Ik1, Ik2}中的第s个类别颜色值。

3) 设定一个阈值φ。如果 dis≥φ,说明该像素点和所有归类集的差异性较大,赋值为纯白色;如果 dis≤φ,将该像素点的色彩值赋值为min( dis)中所属类别的颜色值。阈值φ可根据实际环境条件设定。通过该方式即可对分层集合{D₁(X_i,M),D₂(X_i,M),…,D_L(X_i,M)}中每个像素点的色彩信息值进行设定。

4) 针对D_t(X_i,M)={P₁,P₂,…,P_num}层中的每个像素点(num表示该层共包含的像素点个数),利用S_t求解该层的微分和:

St=∑r=1numPr+1-Pr+Pnum-P1。(7)

设定一个概率阈值ρ,如果存在至少ρ×L层满足S_t=4,则说明该候选种子角点为模式特征图像的亚像素角点。为便于角点匹配,对识别的角点进行色彩线索化,即(X_i, Ik1, Ik2)。

在进行投影仪-摄像机标定过程中,利用摄像机采集投影仪投射的彩色模式特征图像,通过上述过程能够快速提取彩色模式特征图像的角点信息及色彩线索信息,利用色彩线索信息对投影仪原始彩色特征图像的角点进行匹配,能够有效提高角点匹配正确率。该方式不仅快速便捷,而且检测识别匹配正确率也较传统方式高。

3.4 射影几何约束优化标定算法

因各种因素干扰,投影仪投射的特征点和摄像机反馈的信息常无法匹配,使得投影仪标定出的参数误差值较大。考虑到投影仪-摄像机具有对极几何约束关系,为此,设计一种成像反馈式的射影几何约束优化方法,具体算法如下。

1) 以标准棋盘格特征图像作为靶标,将其放置于投影仪和摄像机的共同视野区域下,利用相机采集特征成像二维值( uicam, vicam),设特征点在世界坐标系下坐标值为(X_i,Y_i,Z_i),则由针孔成像模型可得:

λ(uicam,vicam,1)T=Kcam[VcamtargetTcamtarget](Xi,Yi,Zi,1)T= Hcamtarget(Xi,Yi,Zi,1)T,(8)

式中 Hcamtarget为相机相对于特征图像的单应性矩阵。

2) 投影仪和摄像机成像过程是一个互逆的过程。为了建立投影仪和摄像机之间的单应性关系,将本文设计的彩色特征图像特征投射到靶标上,通过摄像机采集投影特征图像,同时利用3.3节提出的角点亚像素检测算法,获取角点特征坐标值为 Micam=( aicam, bicam),以及该角点的色彩线索信息值,从而匹配对应的投影特征坐标值为 Nipro=( a~ipro, b~ipro)。由于部分投影特征值和相机采集的特征值匹配误差较大,不利于投影仪参数的标定,因此通过对极几何原理进行约束。首先,利用匹配的投影特征值求解投影仪-摄像机的基础矩阵 Fpcnum,最优的特征匹配点对到其对应特征点的极线距离误差值最小,为此通过下式对特征点对进行几何误差的判断:

ϕd(i)=d(Micam,FpcnumNipro)2+d(Nipro,FpcnumTMicam)2= (MicamTFpcnumNipro)2(Vi)12+(Vi)22+(MicamTFpcnumNipro)2(Wi)12+(Wi)22,(9)

式中(V_i)_j、(W_i)_j(j=1,2)分别表示 FpcnumNipro向量和 FpcnumTMicam向量的第j个元素值。

3) 为了降低误差较大的特征点对对投影仪标定产生的影响,剔除max{ϕ_d(i)}中最大值,再将剩下的特征匹配点对重新执行步骤2),直到下式达到最小值:

H˙campro=argminHcamproMicam-HcamproNipro2。(10)

记录下最优特征匹配点对。由于镜头畸变等因素影响,因此存在一定的误差。为了提高标定精度,采用光束法平差优化投影仪各个参数。通过光束法平差思想对误差方程进行优化求解,从而降低投影特征点对标定参数产生的影响,进一步提高投影仪的标定精度:

Ll=[Al Bl]ϑxlϑtl-a~lpro-a-lprob~lpro-b-lpro,(11)

式中A_l=∂a~lpro∂h11 ∂a~lpro∂h12 … ∂a~lpro∂h33∂b~lpro∂h11 ∂b~lpro∂h12 … ∂b~lpro∂h33,B_l=∂a~lpro∂Xlpro ∂a~lpro∂Ylpro ∂a~lpro∂Zlpro∂b~lpro∂Xlpro ∂b~lpro∂Ylpro ∂b~lpro∂Zlpro, ϑ_xl=Δh11Δh12︙Δh33,ϑ_tl=ΔXlproΔYlproΔZlpro。

4 实验分析比较

本文搭建的智能感知投影系统将摄像机拍摄视野包含于投影仪投射视野范围内,然后利用摄像机采集投影仪投射的特征信息,通过图像采集卡对摄像机采集的信息传递给计算机进行处理。系统采用的摄像机为大恒CCD镜头,分辨率为2048 pixel×1536 pixel,投影机采用view Sonic PJD6353,分辨率为1024 pixel×768 pixel。在系统标定过程中,将投影仪投射的彩色模式特征图像投射到标定靶标上,为了获取高精度系统参数,需将标定靶标分别放置于不同视角范围内,使得系统能够感知标定靶标中特征信息在空间中的分布状况。整个系统框架,采用C++、OpenCV、MATLAB等开发语言和工具进行组合实验测试分析。

4.1 系统耦合性校正分析

如图4所示,投影仪分别投射纯蓝色、纯红色、纯绿色的条纹,摄像机捕捉拍摄得到的图像进行系统耦合性分析。图4(a)表示3组纯色图片分别在不同通道内的耦合现象,图4(b)为二维显示效果图。从第二行图片能够明显观察到不同颜色通道之间的耦合性:当投影仪投射纯蓝色条纹时,可发现绿色通道较红色通道对蓝色通道的干扰更严重;当投影仪投射纯绿色条纹时,可发现蓝色通道较红色通道对绿色通道的干扰较明显;当投影仪投射纯红色条纹时,可发现蓝色通道较绿色通道对红色通道的干扰比较突显。

图 4. 系统单通道耦合信号

Fig. 4. Coupling signal for single-channel of system

下载图片 查看所有图片

为了更好地突显不同颜色通道之间的耦合性,投影仪投射纯红、纯绿、纯蓝条纹进行交替的一副图像,如图5所示,可发现三通道之间互相干扰。因此,当投影仪投射一幅图像时,摄像机完成采集后会发现,所采集的图像色彩信息明显较原始投影图像色彩偏暗,如图6(a)所示。利用本文方法进行颜色耦合校正以后,可以明显提高各个色彩信息的纯度,如图6(b)所示,降低了摄像机采集到的色彩信号损耗度。

图 5. 系统多通道耦合信号

Fig. 5. Coupling signal for multi-channel of system

下载图片 查看所有图片

图 6. 系统耦合性校正

Fig. 6. System coupling correction

下载图片 查看所有图片

4.2 标定精度分析

投影仪-摄像机系统标定的关键环节之一便是对投影仪投射特征图像进行特征点识别提取,特征点识别的精度越高,则系统标定精度也相对提高。为了验证本文设计的彩色模式特征图像的角点识别正确率,通过投影仪将彩色模式特征图像投射到表

面结构比较复杂的物体上,利用摄像机采集调制的彩色模式特征图像,可发现,调制的彩色模式特征图像的角点离散度较大,如图7(a)所示,利用传统检测算法极易导致角点信息漏检,而利用本文方法对调制的彩色模式特征图像进行识别,调制的彩色模式特征图像的角点信息均可被识别检测,如图7(b)所示。

图 7. 角点检测识别

Fig. 7. Detection and recognition of corners

下载图片 查看所有图片

为了进一步验证本文方法的抗噪性,通过投影仪投射彩色模式特征图像到平面标定靶标中,摄像机采集到投影仪投射的彩色特征图像,经过系统耦合性校正,得到一幅校正的彩色模式特征图像,对该彩色模式特征图像进行加噪处理,分别利用本文方法、文献[ 10]方法、文献[ 11]方法,对加噪后的彩色模式特征图像进行角点识别检测。不同算法对加噪后角点的识别正确率如图8所示,图中横坐标表示加噪后的彩色模式特征图像的角点行数,纵坐标表示每行角点识别个数。彩色模式特征图像每行中的角点占18个,由图8可知,本文方法具有相对更强的抗噪性。

投影仪-摄像机系统的标定过程,不仅涉及投影图像的角点识别问题,还包括投影特征图像与摄像机特征图像的匹配关系。投影仪-摄像机之间具有对极几何约束关系,利用该关系能够剔除错误的匹配角点对。利用本文方法能够有效提高匹配角点正确率。将标定靶标放置于空间不同位置,分别采集投影仪-摄像机之间的映射关系,其中位置间隔不能太大,应根据投影仪成像的画面进行抉择,利用多组标定图像对智能感知投影系统进行参数标定。分别采用本文方法、文献[ 10]方法、文献[ 11]方法对采集到的标定图像进行系统参数(f_u、f_v、u、v、k₁、k₂、k₃、k₄)求解,结果如表1所示。

图 8. 不同算法对加噪角点的检测性能

Fig. 8. Detection performance of different algorithms on corner with noise

下载图片 查看所有图片

通过表1中得到的系统参数,可以解算投影仪、摄像机的角点的图像坐标信息值,将其与实际图像坐标信息进行比较即可得到系统的重投影误差信息,进一步处理即可得到摄像机、投影仪在横坐标方向、纵坐标方向的最大误差值E_maxu、E_maxv,标准偏差值E_STDu、E_STDv,平均误差信息值E_meanu、E_meanv(表2)。通过表2可以看出,本文方法对摄像机、投影仪参数优化处理后的各个误差评价指标都小于文献[ 10]方法、文献[ 11]方法。为了能够直观地体现本文方法的标定精度,对其中一幅标定图像的角点重投影误差的分布状况进行展示,如图9所示,角点重投影误差基本保持在0.25 pixel范围内。

图 9. 角点重投影误差。(a)摄像机;(b)投影仪

Fig. 9. Re-projection error of corner. (a) Camera; (b) projector

下载图片 查看所有图片

由于投影仪-摄像机具有仿人眼感知能力,因此通过利用表1得到的各个参数,可对标定图像进行三维信息值反算求解,即能得到标定图像在空间中的分布状况。由于标定图像在实际空间中具有平行度为0的特性,加之标定图像中每行角点构成的直线与每列角点构成的夹角具有垂直特性,因此可利用三维信息值反算求解得到各个角点构成的面的平行度以及线的垂直度,利用这2项指标对标定精度进行验证分析。如表3所示,面平行度误差的最大值、最小值和平均值分别为P_max、P_min、P_mean,线垂直度误差的最大值、最小值和平均值分别为V_max、V_min、V_mean,可以看出,本文方法的面平行度、线垂直度较文献[ 10]方法、文献[ 11]方法精度高,具有较高的标定精度。

4.3 投影畸变校正

在投影展示技术中,为了使投影仪投射图像在非规则曲面上符合人眼视觉感知一致性,增强多媒

体艺术展现感染力,需对投影画面进行几何畸变扭曲校正处理。传统投影需利用人工干预的方式进行投影图像的校正,不仅操作繁琐,而且限制了投影设备的使用灵活性^[17]。投影系统几何校正的关键之处在于建立投影仪-摄像机之间的映射关系,利用本文的角点亚像素检测算法即可建立投影仪和摄像机之间的映射匹配关系。分别在不规则曲面和规则曲面上投影,不规则曲面极易引起投影画面的不连续,导致图像畸变,而投影在规则曲面上会因投影姿态而引起投影缓慢畸变现象,如图10(a)所示。图10(b)为畸变校正后的投影图像,可看出,经过畸变校正,投影画面能够自适应地进行视觉一致性显示,基本上符合人眼观看的正常画面。

图 10. 投影畸变校正

Fig. 10. Distortion correction of projector

下载图片 查看所有图片

5 结论

研究了基于投影仪-摄像机硬件框架构建的智能感知投影系统,重点分析了投影仪-摄像机的标定环节。首先,针对投影仪-摄像机色彩光子信号传输过程中面临的通道耦合性问题进行建模分析;然后,为了提高角点识别的正确率以及抗噪性,设计了一种新型的投影彩色模式特征图像,并基于投影仪-摄像机仿人眼视觉感知中的对极几何约束原理,提出一种成像反馈式的射影几何约束优化方法。通过实验分析可知,本文方法重投影误差基本保持在0.25 pixel范围内。引入面平行度、线垂直度2个考核指标进行误差分析,结果显示,本文方法较以往算法具有更高的标定精度。投影畸变校正实验亦显示,利用本文方法进行投影校正后的画面符合人眼视觉一致性。