1 引言

随着计算机图形学、计算机视觉技术以及计算机硬件技术的飞速发展,人们对目标物体的结构和形状的了解需求越来越迫切,故三维成像技术吸引了越来越多学者的关注^{[ 1 - 4 ]}。三维建模技术可模拟沉浸式逼真三维模型或场景,具有自由的交互性,已成为人们认识客观世界的重要途径和工具。

传统的建模软件如 AutoCAD、Unigraphics(UG)、Pro/Engineer等,在建立三维模型时,不能实现对复杂结构物体或自由曲面物体的精确建模,或对复杂物体的建模不能满足工业精度需求。光学三维数字化技术的出现和发展给这一难题提供了有效的解决方案^{[ 5 - 6 ]},该技术具有扫描速度快、精度高、主动性强、操控性和交互性优良等特点^{[ 7 ]}。

仅对目标物体几何造型的重建(如工业产品的外形、尺寸),限制了其在虚拟现实、增强现实、影视娱乐、以及文物保护等领域的应用。因此,目标物体的表面纹理属性(如色彩、材质)的构建尤为重要。构建复杂物体的表面纹理属性时,需要把采集到的纹理照片映射到目标三维模型表面,以得到不同视角的纹理面片。纹理映射实质上是建立二维参数域和三维空间曲面的映射函数,使得三维空间曲面上任意一点在二维参数域中有对应的纹理坐标,设三维点 P 和二维参数对应的纹理坐标( u , v )相互对应,则纹理坐标的颜色值就是空间点 P 的纹理属性,其数学表达式为( x , y , z ) →ϕ ( u , v ),其中( x , y , z )为空间曲面点坐标,通过映射函数 ϕ 把空间三维点坐标和纹理平面坐标一一对应,从而确定目标物体空间点的纹理属性。

由于存在遮挡,单视角的纹理映射通常难以覆盖整个物体,通常需要采集不同视角拍摄的纹理照片,并映射到目标物体表面,从而得到纹理面片。由于目标物体的成像受到光照、拍摄角度、物体表面非完全漫反射、深度匹配、重建误差以及累积误差等因素的影响,纹理面片上通常会产生明显的人工痕迹或者纹理接缝,降低重建模型的真实性^{[ 8 - 11 ]}。Seitz等^{[ 12 ]}根据拍摄视角与目标物体之间的位姿关系和三角形面片的可见性与拍摄视场的对应关系来确定边缘三角形,并通过对边缘三角形的操作实现物体表面区域纹理的色彩过渡。该方法中对边缘三角面片区域的选择是纹理融合成功的关键。Rocchini等^{[ 13 ]}采用纹理图与几何模型捆绑的方式进行纹理融合,并通过区域生长和迭代寻找邻近的三维点,使目标纹理尽可能来自同一区域,以保证区域纹理的连续性。当区域纹理色彩差异较大时,该方法不能实现纹理的平滑过渡。Beauchesne等^{[ 14 ]}和Bannai等^{[ 15 ]}利用重光照和外推法进行纹理融合,但该方法无法保证所得到的纹理色彩是全局最优的融合色彩。Callieri等^{[ 16 ]}和Liu等^{[ 17 ]}根据相机拍摄物体的姿态特性,分别定义了纹理权重函数和均值权重进行物体表面色彩的融合,实现色彩的自然过渡。此外,Gal等^{[ 10 , 18 - 19 ]}则用镶嵌方法进行纹理融合,利用图像分割的方法对目标表面进行划分,确定各区域对应的纹理,然后通过边缘纹理的操作实现纹理融合。复杂结构拓扑物体的纹理融合是一个难题,加上深度像匹配误差以及重建模型物体误差的累积等外界因素,因此高质量的纹理重建工作十分具有挑战性。

本文提出一种基于结构光扫描系统的高保真三维模型纹理重建实现方法。该方法利用结构光扫描系统投影目标物体进行数据采集,将采集到的局部坐标数据匹配到同一世界坐标系下,建立目标物体的深度数据模型;然后将采集的实拍纹理照片映射到重建的深度数据模型上,并对深度数据表面的纹理信息进行处理,恢复目标模型表面的纹理属性。与文献[ 3 ]的方法相似,本文方法通过建立在目标模型表面的能量优化目标函数,利用优化策略对目标函数进行优化求解。此外,本文方法通过对纹理图与几何模型的配准以及局部缺失纹理的优化,增强了重建模型的纹理细节,提高了重建模型的逼真度。

2 系统成像原理

2.1 数据采集

系统结构如 图1 所示,系统结构由深度相机、纹理相机和投影仪组成,投影仪在系统的中间,深度相机和纹理相机位于两侧。当系统工作时,投影仪向目标物体投射条纹光,条纹光受到目标物体高度的调制发生形变,即变形的条纹光蕴含着目标物体的高度信息,利用相机捕获变形的条纹光对调制的条纹图进行相位恢复^{[ 20 - 21 ]},就可以解得目标物体的深度数据。同时,用纹理相机采集目标物体的纹理照片,用于恢复三维模型的表面纹理信息。三维模型表面的纹理信息在三维展示、虚实交互、增强现实中具有重要的应用价值。

图 1. 实验系统采集结构示意图

Fig. 1. Schematic of acquisition system

下载图片 查看所有图片

在数据采集前,需要对系统的参数进行标定,确定采集系统的参数(相机的主点、焦距、畸变系数等)。利用文献[ 22 ]的方法对系统参数进行标定,该方法利用测量空间体内对平面标靶的几次摆动实现相机参数的测量,同时对系统的相机畸变系数和系统误差进行估计,并通过优化参数,保证系统采集数据的精度(系统标定误差可达到0.02 pixel)。然后采用文献[ 23 ]的方法围绕目标物体进行数据采集,从而得到不同局部坐标系下的目标物体数据。

2.2 数据的预处理与几何建模

由于受相机畸变、误差、噪声,以及环境等因素的影响,采集的数据通常会产生散乱点数据、少量孤立的点云数据等,这些数据在所采集的数据中所占的比例较小,但对结果的影响较大。因此,在数据处理之前,需要对采集的原始数据进行数据预处理:1) 设定测量范围,对背景数据、遮挡等不在测量范围内的数据进行清理;2) 对孤立的点云数据进行检测,设定距离阈值(通常设为系统误差的 N 倍,如 N =5),如大于阈值,则删除该点云数据;3) 对测量视角进行设定(如设定测量视角 θ ≤75°),测量视角过大时,采集的数据误差偏大。

假设采集的深度像坐标为 X_k ( k= 1,2,3,…, m ),其中 X_k 为第 k 次采集的局部坐标数据。为了把采集到的局部坐标数据统一到同一坐标系下,采用交互式选取对应点对进行配准,然后利用文献[ 24 ]的方法设定迭代终止的条件,通过迭代循环匹配深度像( 图2 )。将局部坐标系下的深度像 X_Tk 统一到世界坐标系 X_Wk 下的过程可表示为

XWk=RkXTk+tk,k=1,2,…,m,(1)

式中: X_Wk 为第 k 次采集得到的局部坐标对应的世界坐标系下的深度像坐标。

图 2. 不同坐标系下深度数据及其匹配结果。 (a)局部坐标;(b)世界坐标;(c)利用重叠区域进行深度数据匹配的结果

Fig. 2. Depth data at different coordinates and the matching result. (a) Local coordinate; (b) world coordinate; (c) matching result using the overlapping areas

下载图片 查看所有图片

采用与文献[ 23 ]方法类似的缝合法对采集的数据进行融合。与文献[ 23 ]方法不同的是,本实验在融合过程中首先对采集的数据进行数据预处理,包含对孤立点云的检测与删除、点云数据的三角网格化,并利用三角网格中点、面以及特征曲线的约束关系对重叠区域的冗余数据进行约束,以保证数据融合后曲率的连续性。

由于采集的数据受周围环境噪声、采集设置的误差、曲面的遮挡等因素的影响,目标物体获取过程中存在数据缺失等问题,缺失的数据会给目标物体网格重建带来困难,使目标网格产生几何错误或拓扑结构错误,从而影响目标模型的精度和最终结果。因此,本文方法对采集的缺漏数据进行修复,首先对孔洞周围的特征点进行检测,并形成特征曲线,然后根据孔洞周围的曲率、拓扑结构等信息重建得到的特征曲线,将原来的缺失孔洞分成若干个子洞,并利用三次样条拟合完成孔洞的修补。由于在孔洞修复过程中提取孔洞周围的特征数据,并在修复过程中加入了曲率等约束条件,该修复算法能够很好地将孔洞周围的特征结构传递到缺失的区域,较好地实现了孔洞的修补( 图3 )。

图 3. 数据融合结果。(a)缺失的深度数据及局部放大效果图;(b)数据融合及局部放大效果图

Fig. 3. Results of data fusion. (a) Local missing data and local renderings; (b) result of data fusion and local renderings

下载图片 查看所有图片

对局部坐标采集的数据 X_Tk 进行数据融合,修复缺失的孔洞数据,建立目标物体完整的几何数据模型 M :

XW1,XW2,…,XWk,…,XWm→MVi,σTri,N,i=1,2,…,n,(2)

式中: M 为完整几何模型; V_i 为网格模型的顶点向量; σ_Tri为模型的顶点向量的连接关系, N 为模型的法向量。

2.3 纹理关联映射

假定目标物体几何模型为 MVi,σtri,N ,采集的纹理照片序列为 I_j ( j= 1,2,3,…, n ),为了得到真实性较高的三维模型,还需要把采集的纹理照片 I_j 映射到模型 M 进行纹理重建。在采集系统中,纹理相机固定在采集系统终端,通过系统参数标定就可以实现纹理相机坐标和几何坐标之间的精确变换。

假设空间三维点为 X_i ( x , y , z ),采集的纹理照片序列为 I_j ,根据小孔成像原理,纹理照片和几何模型的关联模型为

sc=KiRitiX~ixi=xi-δx~i,θc,(3)

式中: R_i 和 t_i 为从世界坐标系到第 i 个局部坐标系的变换矩阵,分别为3×3的旋转矩阵和3×1的平移矩阵; X~ 为局部坐标系下 X 的齐次坐标; s_c为尺度因子; δx~i,θc 为相机镜头的畸变, θ_c为畸变系数,根据文献[ 22 ]的方法进行相机参数的标定,同时可求得相机的畸变系数。

在纹理映射投影变换前,需对目标物体进行遮挡判断,确定投影到纹理坐标的深度数据未被遮挡,否则纹理映射就会出错(把纹理映射到遮挡部分,如 图4 所示,深色部分的三角形面片为被遮挡的部分)。Z-buffer算法可用于空间点云遮挡的判断,对遮挡部分进行标识,确定被遮挡的部分,但该算法计算量较大。为了提高算法的效率,选取网格模型的三角形面片进行遮挡判断,减少遮挡算法的计算量。已知系统标定参数,计算相机视线射线 L_i 与三角形 Δ_i 的交点是否在三角形内,如果交点在三角形内,则表示视线穿过三角形 Δ_i ,然后通过对比 Z 值进行层次远近的遮挡判断。假设几何模型为 MVi,σtri,N ,可利用目标物体的法向量进行遮挡判断预处理:根据目标网格模型三角形面片法向量和采集视角的关系,剔除与视线相反的三角形面片,从而减少遮挡判断的目标三角形面片数量,减少遮挡判断的运算时间。

图 4. 根据目标物体与相机的姿态确定物体遮挡区域

Fig. 4. Occlusion area of object according to the object and camera position

下载图片 查看所有图片

值得注意的是,在对结构复杂的曲面目标物体进行纹理映射时,必须先进行遮挡判断,否则就会把采集到的纹理照片映射到被遮挡的部分( 图4 ),造成纹理映射错误,影响目标物体的纹理重建。选取三角形面片进行遮挡判断,与Z-buffer算法相比,本文方法只需判断目标物体的三角形面片,不需要进行空间点云的判断,减少了遮挡判断的运算量。此外,在实际处理中,通过遮挡预处理(法向量的判断),剔除与视线相反或视角过大(如选择视角0≤ θ ≤75°)的三角形面片,以提高遮挡判断的效率。

3 纹理融合处理

3.1 纹理优化

目标物体的几何模型为 M ,输入的纹理照片为 I=Iii=1,2,3,…,m ,且已知纹理相机和目标模型的位姿关系,需要为目标模型选择最优的纹理。文献[ 16 ]选取最正拍摄视角的纹理图作为该区域的纹理色彩,文献[ 5 ]选择色彩或分辨率最好的纹理照片进行映射。显然,上述策略并没有考虑图像纹理色彩之间的相关性,为此,本文采用利用马尔科夫随机能量场(MRF)优化策略,同时考虑纹理图的拍摄视角和纹理像素与周围像素之间相关性,选择最优的纹理,并对映射进行标识 L=Lj|Lj∈I,i=1,2,…,m ,保证目标物体区域色彩的最优。MRF优化策略是基于拍摄视角和纹理像素之间的相关性组合的最优化函数,其表达式为

E(M)=E1(M)+λE2(M)。(4)

E₁( M )可衡量纹理信息的质量,主要衡量3个部分:1) 纹理照片的分辨率;2) 目标物体与采集纹理相机的距离;3) 拍摄纹理视场方向与表面法向量的一致性。选择分辨率高、距离近(细节丰富),拍摄视角正(置信度高)的纹理照片进行映射,这与文献[ 18 ]类似。 E₂( M )可衡量几何面片的纹理相关性,假设几何面片 f_i 和 f_j 的纹理来自不同的纹理照片,即 L_i ≠ L_j ,则向量面片的纹理不一致,衡量面片 f_i 和 f_j 纹理的一致性可表示为

E2(M)=∑Li∈LgLLi,Lj,(5)gL(Li,Lj)=∫L‖ILiPLiX-ILjPLjX‖dx,(6)

式中: P_Li 表示与第 L_i 幅纹理图的投影变换, g_L( L_i , L_j )≥0。当 L_i=L_j 时, g_L( L_i , L_j )=0,即同一区域纹理信息的相关性一致。

3.2 残余纹理的处理

将能量优化标识的目标纹理照片映射到几何模型表面,从而保证了最优的几何模型表面纹理。然而,为了尽可能逼真地还原物体的真实纹理信息,还需对映射到模型表面的纹理进行进一步处理。假设 V_a 、 V_b 、 V_c 为边缘面片 f_i 的三个顶点向量, p_i 为面片 f_i 内部的点,则点 p_i 的坐标向量可以表示为: p_i =α V_a +β V_b +γ V_c ,这里 α+β+γ= 1,在纹理相机与系统位置关系已知的情况下,把 Δ_i 的三个顶点向量 V_a 、 V_b 、 V_c 投影变换到采集的纹理图 I=Iii=1,2,3,…,m ,标记面片 f_i 的有效纹理图为 L_fi=Li|Li∈I,i=1,2,…,m 。

确定面片 f_i 的有效纹理图必须满足以下几个条件:1) 几何三角形的法向量与视线方向的夹角不大于π/2(视线方向为连接几何三角形中心与相机中心的射线);2) 几何三角形经投影变换后,投影在目标纹理图像区域内;3) 几何三角形 f_i 的三个顶点和相机中心的连线与三角网格模型没有交点。

假设确定面片 f_i 三个顶点向量 V_a 、 V_b 、 V_c 在目标有效纹理图标识为 L_fi=Li|Li∈I,i=1,2,…,m ,然后通过均值或权重得到向量在有效纹理图的颜色值为 v_a 、 v_b 、 v_c ,则面片 f_i 内部的点 p_i 的纹理确定为

Cpi=αva+βvb+γvc。(7)

首先,通过几何模型表面的纹理优化,对目标模型表面的纹理相关性进行优化,减少目标区域间的纹理差异;然后,通过对边缘纹理的融合处理,对区域残余的纹理进行了有效融合,实现了目标表面纹理的平滑过渡。

3.3 缺失纹理的处理

对于拓扑结构或形貌复杂的目标物体,采集的纹理图片通常难以完全覆盖目标物体,或者存在局部纹理的缺失,这就需要根据目标纹理周围的色彩对缺失纹理进行修复,如文献[ 25 ]根据周围的纹理对目标表面纹理进行泊松融合。

泊松融合是根据最小化源图像和目标图像的梯度场差异来实现纹理融合,假设函数 f 为满足狄利克雷(Dirichlet)边界条件的函数,则泊松方程可表示为

∇2f=∇·v,且f∂Ω=f*∂Ω,(8)

式中: ∇2= ∂²/ ∂ x²+ ∂²/ ∂ y²为拉普拉斯算子; Ñ · v =∂ u/ ∂ x+ ∂ v/ ∂ y 是向量 v 的散度。通过求解泊松方程对缺失的纹理进行修复。

与文献[ 25 ]不同的是,本实验在三维网格曲面上进行纹理修复,拓展了其应用范围,其算法的复杂性和计算量都增大。在实验中,将纹理缺失区域划定为待求解融合区域,周围的纹理色彩目标源区域的图像融合是以目标源区域的纹理为指导,将目标源区域的纹理平滑扩散到融合区域,使融合后的图像能无缝地融合到目标场景中,并且色调和光彩与目标源图像一致。在实验中需要求解待融合区域和目标源区域的梯度场,计算融合图像的梯度场,并计算融合图像的散度;然后根据融合图像的散度并结合边缘约束条件建立方程,求解方程得到融合区域的纹理。 图5 所示为对根据目标源区域纹理对缺失纹理修复的结果,可以看出,纹理修复能根据周围的纹理图像对缺失的纹理进行修复,并取得较好的修复效果。

图 5. 缺失纹理的修复。(a)修复前;(b)修复后

Fig. 5. Repair of the missing texture. (a) Before repair; (b) after repair

下载图片 查看所有图片

3.4 细节优化

建模过程受到噪声、投影设备的非线性响应,以及重建过程中产生的误差累积的影响,最终会模糊重建模型的纹理细节,严重时会有纹理错位现象产生( 图5 )。而高精度纹理模型的重建需要对过程中产生的误差进行严格控制,以减少误差对模型的影响。因此,为了实现高精度目标物体纹理重建,采用光束平差全局优化方法对系统中产生的误差进行优化。

光束平差算法对误差进行优化求解,通过对空间三维点坐标的投影和图像对应点之间的误差优化得到采集系统的相关参数(相机的焦距、位置、投影参数矩阵)。假设 X_ij 为空间点 X_i 在采集视场 j 的受噪声和误差影响的二维图像坐标点, P_j = K_j [ R_j|t_j }为相机在视场 j 的投影变换矩阵, v_ij 为空间点 X_i 在视场 j 的可见性,光束平差算法可表示为

ERi,tii=1,2,…,m,Xjj=1,2,…,N=∑i=1n∑j=1mvij‖x~ij-PiRi,ti,Xj‖2。(9)

式中:‖·‖表示图像点的欧氏距离。如果空间点 X_i 在视场 j 的可见性,则 v_ij=1,否则 v_ij=0。输入相机的内部参数初值、各视点的位置姿态初值和空间三维点坐标初值,通过优化(9)式的能量优化方程,求解被测空间点的精确三维坐标。在能量优化过程中,同时通过对摄像机内部参数、位姿、视角坐标进行优化,最终得到相机参数的精确值。

由于场景中特征点较多,该问题的求解通常是一个高维的非线性优化过程。在算法实际应用中,采用LM算法^{[ 26 ]},设置一个误差容忍度进行全局优化。

4 实验及结果分析

扫描系统为本课题组研制的扫描系统,系统由2个CCD相机(DH-HV1303UM,大恒(集团)有限公司,中国; DH-HV3103UC,大恒(集团)有限公司,中国),分辨率均为1280 pixel×1024 pixel,1个投影仪(Optoma SL1,Optoma,中国),分辨率为1280 pixel×800 pixel,以及本课题组研发的扫描软件系统组成( 图6 ),系统用Zhang^{[ 22 ]}的标定方法进行标定,确定扫描系统相机的参数(主点、焦距、畸变系数等)。该套扫描系统是基于结构光的扫描,系统工作时,将条纹光投影到被测量物体,围绕目标物体进行数据采集。

图 6. 实验采集装置

Fig. 6. Experimental collection setup

下载图片 查看所有图片

实验对小狗进行相位恢复和纹理重建,小狗呈蹲立状态,尺寸约为15 cm×15 cm×20 cm。将小狗放置在水平旋转平台上,旋转平台,从8个方向围绕目标物体进行数据采集,物体单面采集模型数据的数量为6000~10000( 图7 )。再通过计算旋转平台的中心,对局部坐标采集的数据进行深度数据匹配,从而得到目标物体完整的几何模型。目标物体纹理照片的采集是通过系统标定,确定纹理照片与目标几何模型之间的对应关系。与传统的匹配方法相比,该方法简单且有效地保证了纹理照片与几何模型的匹配精确度,有利于实现高精度目标模型纹理重建。

图 7. 实验采集的数据。(a)局部坐标系下采集的纹理图像;(b)与对应的三维深度数据

Fig. 7. Collection data. (a) Texture image of local coordinate; (b) the corresponding depth data

下载图片 查看所有图片

采集的深度像模型经过数据融合和简化数据处理,消除重叠区域的冗余数据,建立完整的目标物体,融合后小狗模型的三角形面片数为3600,顶点数为1600。对建立的几何模型进行纹理映射,需要确定目标模型与纹理照片的对应关系,即同一表面区域的纹理可能来源于不同视角采集的纹理照片,因此采用纹理优化映射,建立能量优化函数,实现目标表面纹理映射的最优化,然后通过对残余纹理的融合和缺失纹理的修复,实现纹理融合( 图8 )。

本实验还选取了一个花瓶进行纹理重建( 图9 ),花瓶的高和宽分别为30 cm和15 cm, 花瓶表面绘有丰富的人物和风景图案,图案纹理色彩鲜明、线条细致。为了满足表面存有色彩和纹理线条细腻的目标物体纹理重建的高质量要求,需要扫描系统几何结构和纹理的高精度匹配,而实验采取把纹理相机固定在采集设备上,同时进行深度数据和纹理图像的采集,从而保证了模型的匹配精度。此外,目标花瓶存有双耳结构,增加了模型重建的复杂度。本实验采用扫描设备围绕目标模型进行深度数据和纹理细节的采集,匹配、融合后得到目标物体的几何模型,然后进行纹理融合,实验结果如 图9 所示。从实验结果与拍摄的纹理照片可以看出,该算法能很好地实现三维模型的纹理重建,且能保证重建后的三维纹理色彩的高对比度和逼真度。

图 8. 实验结果。(a)融合处理前;(b)前视图的融合结果;(c)后视图的融合结果;(d)侧视图的融合结果

Fig. 8. Experimental results. (a) Before fusion treatment; (b) result from front view; (c) result from back view; (d) result from side view

下载图片 查看所有图片

图 9. 花瓶纹理重建结果。(a)目标物体的纹理照片;(b)不同视角下目标物体的纹理照片;(c)目标物体网格模型;(d)融合得到的真实感三维模型

Fig. 9. Experimental results. (a) Texture image of vase and its texture details; (b) texture images from different perspectives; (c) mesh model of vase; (d) texture model of reconstruction after fusion

下载图片 查看所有图片

该套装置的扫描视场为300 mm×300 mm×150 mm,配置的计算机硬件设备为Intel􀅹 Core(TM) i7-4500u CPU 1.8 GHz, 2.4 GHz 32位Windows操作系统。系统重建的参数如 表1 所示。

5 结论

利用实拍的纹理照片对目标纹理进行三维重建,建立纹理映射优化函数,实现目标物体表面纹理映射的优化,并对目标物体模型进行了逼真的三维纹理重建。本文算法根据拍摄纹理照片的相关性进行纹理映射,从而在最大程度上保证纹理重建的质量。此外,还对模型局部纹理细节进行了优化,对局部缺失的纹理进行了拟合,保证了重建三维模型纹理的真实性。对表面纹理色彩丰富,特别是目标物体表面具有丰富纹理细节的目标物体进行纹理重建(如物体表面的人物细节特征)时,需要保证纹理照片与几何模型的匹配精度,才能得到细节完美的逼真三维模型。否则在目标物体的局部区域会有纹理错位或鬼影现象产生,从而影响模型的真实感。

本实验未对物体表面光反射函数进行重建,如何快速地建立物体表面的光反射属性,获得物体表面的双向反射分布函数,从而更准确地建立合适的光照模型,实现物体表面的纹理融合,这是下一步需要进行研究和解决的问题。此外,对于拓扑结构简单的对称目标物体的三维重建,如何避免深度像匹配算法的局部收敛也是需要考虑的问题。