基于梯度光图像的高精度三维人脸重建算法 
下载： 2381次
1 引言
三维(3D)重建[1]是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机中建立表达客观世界的虚拟现实的关键技术。人脸表达了一个人的主要特征[2],构建逼真度高的三维人脸模型一直以来是研究的热点和难点。高精度人脸建模技术是指重建可视范围内的人脸几何及纹理特征。在可视范围内,人的面部信息可以分为三个尺度[3],即粗尺度(如鼻子、面颊、嘴唇等)、细尺度(如皱纹)和微尺度(如毛孔、痣和雀斑)。微尺度级别是逼真度最高也是最难达到的,本文方法可以获得微尺度的人脸三维模型。
Parke等[4]在1996年构建出第一代人脸模型,随后被人们不断地深入研究。目前三维重建的方法主要可以分为两类[5]。1)基于几何数据构建的三维人脸模型。该模型主要依靠激光扫描仪[6-8]和结构光扫描仪[9-11]直接获取人脸的几何信息。高精度扫描仪昂贵,反射率较低的部分会出现较差的扫描效果,时常会出现空洞和数据密度严重不均等问题。2)基于图像的三维人脸建模。该模型运用几何学和测量学知识获取二维图像上的人脸三维数据。Lee等[12]运用正交图像重建目标人脸的三维模型,利用结构化的Snake模型提取人脸特征点。Roy Chowdhury等[13]利用视频影像进行三维人脸重建,采用运动恢复方法获得人脸几何信息,重建过程中运用马尔可夫链-蒙特卡罗优化提升重建效果。以上几种基于图像重建的方法虽然能简化数据获取成本,但是降低了人脸模型的精度,不能获取微尺度级的人脸效果。
本文基于多视角图像进行三维重建,结合法线贴图原理,在重建的低精度模型上投影高精度的法线信息,省去了高精度模型的复杂计算,可实现逼真的三维人脸重建效果。
2 基本原理
三维重建具体步骤(见
2.1 镜面反射和漫反射分离
镜面反射光和漫反射光的反射特性不同,需要将镜面反射和漫反射分离后计算法线。镜面反射是光在两个折射率不同的介质之间表面发生的相互作用。当光线从空气射入折射率为n的物体时,镜面反射特性可以由菲涅耳等式[14]描述为
式中:rs是垂直于入射光平面的反射光分量与入射光场能量的比值;rp是平行于入射光平面的反射光分量和入射光场能量的比值;θi和θt分别是入射角和折射角,由反射角可以求得。
(2)式反映出镜面反射光的极化状态由入射光的极化状态决定。不同的是,漫反射是由粗糙的介质表面散射产生的,几乎不受入射光偏振特性的影响。可以依照这个原理,通过控制入射光的偏振状态,同时测量反射光的偏振状态有效地分离出漫反射和镜面反射。
在光源和照相机镜头前放置线性偏振片,将光源偏振片调节至竖直方向,使反射光含有竖直极化状态,将镜头前的偏振片调至水平方向,与灯光极化方向垂直,这时挡住了所有的镜面反射光,只通过一半的漫反射光,得到图像I1,其中I1=0.5ID;然后将镜头偏振片调整至竖直方向与灯光偏振方向平行,得到图像I2,I2=0.5ID+IS。所以漫反射图像为ID=2I1,镜面反射图像为IS=I2-I1。
图 2. 反射光分离结果。(a)垂直极化图像;(b)平行极化图像;(c)镜面反射光图像
Fig. 2. Results of reflected light separation. (a) Vertically polarized image; (b) parallel polarized image; (c) specular reflection image
实际操作中,由于整体灯光是一个球体装置,灯和相机的位置不在同一平行面,所以水平和垂直方向不能完全满足偏振条件,可通过旋转每一个灯的偏振片角度获得透过相机偏振片最弱的光线来得到漫反射光。
2.2 基于梯度偏振光的法线图获取
根据Phong反射光模型,反射光可以分解为环境光、漫反射光和镜面反射光。在去除环境光的条件下,求解法线时要将镜面反射光和漫反射光都考虑在内。目前的反射光获取方法[15-19]都需要依靠多种光照模式来获取不同的反射特性,反射光的方向取决于入射光和法线的方向。假设人脸所在的位置为原点,指向相机所在位置的方向为Z轴方向,垂直地面方向为Y轴方向,同时垂直于Y、Z轴的方向设为X轴方向,建立空间坐标系。采用6种照明方式拍摄图像:1)沿X方向的渐变光图像I(X);2)沿-X方向的渐变光图像I(-X);3)沿Y方向的渐变光图像I(Y);4)沿-Y方向的渐变光图像I(-Y);5)沿Z方向的渐变光图像I(Z)(-Z方向是从背面照射,没有光射入镜头,不需要拍摄图像);6)全亮光图像Ic,其中c是常数。6种图像的拍摄结果如
在空间坐标ω∈Ω中,定义4种梯度光模式Pi(ω),四种模式分别为:一个恒量模式Pc(ω)=1;沿X方向的线性梯度模式,Px(ω)=ωx;沿Y方向的线性梯度模式,Py(ω)=ωy;沿Z方向的线性梯度模式,Pz(ω)=ωz。将ω方向的标准向量记作ω=[ωx,ωy,ωz]。
图 3. 不同方向的梯度光图像。(a)沿X方向;(b)沿-X方向;(c)沿Y方向;(d)沿-Y方向;(e)沿Z方向;(f)全亮光
Fig. 3. Gradient light images in different directions. (a) Along the X direction; (b) along the -X direction; (c) along the Y direction; (d) along the -Y direction; (e) along the Z direction; (f) all light
通过梯度光照模式研究表面法线和反射的关系,由于漫反射和镜面反射具有不同的反射特性,因此反射和法线的关系也有所区别,可将两者分开讨论。
2.2.1 漫反射光求解法线
朗伯体光照模型可用于理想的漫反射物体,观察者所看到的反射光和观察角度无关,物体表面某一点的亮度是各向同性的[20]。
朗伯体双向反射分布函数(BRDF)为
式中:ω是入射光照方向;n是法线方向;F=max(ωn,0);ρd是散射反照率。从视角方向v观测的反射率Li为Li(v),不考虑吸收和折射,在照度模式Pi的情况下,
对于沿X方向的梯度模式Px,反射率的推导如下。将(5)式转换在局部坐标系T=[s,t,n]T中,其中s和t是任意互相垂直且都垂直于n的向量,法线向量n与z=[0,0,1]同向,ω'=[ω's,ω't,ω'n]=Tω。(5)式可写成
其中sx,tx,nx代表ω在局部坐标系坐标轴上的投影。事实上R(ω',z)不依赖于ω'的前两部分,这部分积分值为0,从而(6)式可以化简为
积分解出
沿Y和Z轴方向的梯度光也可以得到类似的结果,三种光照模式中,与法线向量相关的部分大小会根据常量
在没有加权和转换的梯度光模式下,反射率为
在计算表面法线时,不仅需要三种光照模式图像,恒量光照模式也是需要获取的。综上,利用归一化后的反射率就可以计算出漫反射的法线坐标。
2.2.2 镜面反射光求解法线
镜面反射方程为R(ω,v,n)=S(r,ω)×F(ω,n),其中r=2(n·v)n-v,r是镜面反射方向,S是镜面反射锥角。与朗伯体反射率方程不同,镜面反射的反射锥角是对称的,环绕着理想的反射方向。
假设:1)锥角S是非零的小角度,并环绕着方向r;2)F在这个锥角范围内是接近常量的。在两种情况下假设不成立:1) 锥角很大;2)观察视角在余弦变化很大的地方。首先研究梯度方向沿着X轴的梯度光Px,类似于漫反射的情况,依然会用到坐标空间的转换。将反射方向设定与z=[0,0,1]同向。转换矩阵为T=[s,t,r]T,其中s和t是互相垂直的向量且都垂直于r。
式中:ω'=[ω's,ω't,ω'r]=Tω;n'=Tn。假设F接近常数在非零的固定锥角S内,(11)式用cF表示为
积分角沿r方向,所以前两项为零,(12)式化简为
同理,Y和Z梯度可以得到相同的表达式。所有的表达式包含相同的积分,这取决于S的精准定义、相同的常数cF、归一化向量[Lx(v),Ly(v),Lz(v)]得到视角方向的反射方向r=[rx,ry,rz],归一化的r和v的中间向量与镜面反射的法线方向相关,由此可以得到物体表面的镜面反射法线。
2.3 法线贴图
法线贴图是将存储模型法线信息的贴图映射到低精度模型上。法线图可以表达模型的凹凸细节信息,应用在低精度模型上可以模拟出高精度模型表面的纹理[21]。法线贴图的每一个像素都存储了模型的法线信息,RGB三通道分别对应法线向量中的x、y、z三个分量。在应用法线贴图时,法线图的每一个像素控制了低精度模型上对应顶点的法线向量,使模型表面产生更多的细节模拟,而低精度模型本身没有发生变化,如
3 实验与结果分析
3.1 图像获取
灯光球装置如
图 5. 图像获取装置。(a)拍摄装置; (b)拍摄相机的相对位置
Fig. 5. Image acquisition device. (a) Shooting device; (b) relative position of the cameras
在镜面反射和漫反射分离时,由于整体灯光是一个球体装置,灯和相机的位置不在同一平行面,所以水平和垂直方向不能完全满足偏振条件,通过旋转每一个灯的偏振片角度获得透过相机偏振片最弱的光线来得到漫反射光。为了检验镜面反射和漫反射的分离结果并保证拍摄环境光的稳定性,可利用金属球的反射光来调整偏振条件。最终得到的拍摄环境如
图 6. 镜面反射和漫反射分离实验
Fig. 6. Experiment of specular reflection and diffuse reflection separation
3.2 三维重建
经过多次实验,发现使用12台不同角度的图像进行低精度模型重建的效果最佳。首先获取相机的坐标方位进行空间坐标系转换[22],然后利用尺度不变特征变换(SIFT)算法获取特征点,对多角度图像进行拼接,得到人像的三维低精度模型。本文用AgiSoft PhotoScan软件对图像进行拼接处理生成低精度模型。
将镜面反射和漫反射分离后,得到镜面反射和漫反射的法线图,漫反射表达了图像低频模型的法线分布状态,镜面反射表达了图像的细节纹理,所以将漫反射和镜面反射法线融合重建才能更加精准地表达人脸。用高频滤波方法处理镜面反射法线图,并用不同的融合比例进行对比实验。光线通过平行偏振片时,图像和反射光的关系为I2=0.5ID+IS,由于只包含0.5的漫反射,因此将漫反射法线图和镜面反射法线图融合比例设置为2∶1和1∶1两种。从
图 7. 法线融合效果图。(a)漫反射法线图;(b)镜面反射法线图; (c)融合后法线图
Fig. 7. Results of normal map fusion. (a) Diffuse reflection normal map; (b) specular reflection normal map; (c) fusion normal map
图 8. 不同融合方式的法线图重建效果对比。(a)低精度模型;(b)按照2∶1融合重建;(c) 5×5高通滤波和1∶1融合比例重建;(d) 5×5高通滤波和2∶1融合比例重建;(e) 7×7高通滤波和1∶1融合比例重建;(f) 7×7高通滤波和2∶1的融合比例重建
Fig. 8. Comparison of normal map reconstruction with different fusion modes. (a) Low precision model; (b) reconstruction with 2∶1 fusion ratio; (c) reconstruction with 5×5 high-pass filtering and 1∶1 fusion ratio; (d) reconstruction with 5×5 high-pass filtering and 2∶1 fusion ratio; (e) reconstruction with 7×7 high-pass filtering and 1∶1 fusion ratio; (f) reconstruction with 7×7 high-pass filtering and 2∶1 fusion ratio
在世界坐标系中,相同位置的法线向量坐标相同。根据同名点特征,将三个角度的法线图进行匹配拼接,并将法线贴图的法线信息投影在低精度模型上,最终得到高精度的三维人脸模型。
图 9. 多视角图像。(a)多视角图像;(b)多视角法线图
Fig. 9. Multi-view images. (a) Multi-view images; (b) multi-view normal maps
基于法线贴图的三维重建方法不仅可以得到高精度的视觉模型,还能提高重建效率。模型重建时间和模型复杂度成正比,将高精度模型进行多级简化实验。
表 1. 简化模型参数
Table 1. Parameters of simplified model
|
图 11. 高精度模型和法线贴图模型的渲染图对比。(a)模型1;(b)模型2;(c)模型3;(d)模型1渲染图;(e)模型2渲染图;(f)模型3渲染图
Fig. 11. Comparison of the render of highprecision model and normal map model. (a) Model1; (b) model2; (c) model3; (d) rendering of model1; (e) rendering of model2; (f) rendering of model3
4 结论
人脸最能体现人物的特征,真实感三维建模方法研究一直是计算机图形学的研究热点。目前基于图像的人脸重建大多数在细尺度的程度,高逼真度的人脸模型市场需求量较大,但需要耗费大量的人力和物力成本。本文基于梯度光偏振图像,将漫反射和镜面反射分离求解法线后融合,通过法线贴图的方法重建三维人脸模型,得到了微尺度级别的人脸模型。图像重建人脸模型简化了重建过程。法线贴图降低了高精度模型的计算复杂度,重建效果有明显提升。从实验结果来看,三维重建逼真度高,毛孔和纹理清晰可见。目前对于人脸三维重建的结果还没有定量的评价标准,大多数都只是从视觉效果上作定性评价。从模型细节可见程度来设定微尺度级别,定量评价重建精度将有待进一步研究。
[1] 汪勇, 王小明. 三维重建技术在肝癌诊疗中的研究进展[J]. 沈阳医学院学报, 2014, 16(4): 229-230, 233.
Wang Y, Wang X M. Research progress of three-dimensional reconstruction technique in the diagnosis and treatment of liver cancer[J]. Journal of Shenyang Medical College, 2014, 16(4): 229-230, 233.
[2] 马倩. 基于单张照片的三维人脸重建研究[D]. 武汉: 武汉理工大学, 2011.
MaQ. Research of 3D face reconstruction based on a single image[D]. Wuhan: Wuhan University of Technology, 2011.
[3] 王珊, 沈旭昆, 赵沁平. 三维人脸表情获取及重建技术综述[J]. 系统仿真学报, 2018, 30(7): 2423-2444.
Wang S, Shen X K, Zhao Q P. Review of 3D facial expression acquisition and modeling technology[J]. Journal of System Simulation, 2018, 30(7): 2423-2444.
[4] Parke F I, Waters K, Peters A K. Appendix 1: three-dimensional muscle model facial animation[J]. Computer Facial Animation, 1996: 337-338.
[5] 吕海清, 李雪飞. 真实感三维人脸建模技术综述[J]. 软件导刊, 2018, 17(1): 1-3, 7.
Lü H Q, Li X F. A survey of realistic 3D face modeling technology[J]. Software Guide, 2018, 17(1): 1-3, 7.
[6] Lee SY, Chwa KY, Shin SY, et al. Image metamorphosis using snakes and free-form deformations[C]∥ACM SIGGRAPH 95 Visual Proceedings: The art and interdisciplinary programs of SIGGRAPH'95, August 6-11, 1995, Los Angeles, CA, USA. New York: ACM, 1995: 439- 448.
[7] Xu CH, QuanL, Wang YH, et al. Adaptive multi-resolution fitting and its application to realistic head modeling[C]∥Proceedings of Geometric Modeling and Processing, April 13-15, 2004, Beijing, China. New York: IEEE, 2004: 8030876.
[8] Gu X, Wang Y, Chan T F, et al. Genus zero surface conformal mapping and its application to brain surface mapping[J]. IEEE Transactions on Medical Imaging, 2004, 23(8): 949-958.
[9] BeumierC, AcheroyM. 3D facial surface acquisition by structured light[C]∥International Workshop on Synthetic-Natural Hybrid Coding and Three Dimensional Imaging. [S.l.: s.n.], 1999: 103- 106.
[10] Tarini M, Cignoni P, Montani C. Ambient occlusion and edge cueing for enhancing real time molecular visualization[J]. IEEE Transactions on Visualization and Computer Graphics, 2006, 12(5): 1237-1244.
[11] Meyer GP, Do MN. Real-time 3D face modeling with a commodity depth camera[C]∥2013 IEEE International Conference on Multimedia and Expo Workshops (ICMEW), July 15-19, 2013, San Jose, CA, USA. New York: IEEE, 2013: 13826079.
[12] Lee W S, Magnenat-Thalmann N. Fast head modeling for animation[J]. Image and Vision Computing, 2000, 18(4): 355-364.
[13] Roy Chowdhury A K, Chellappa R. Face reconstruction from monocular video using uncertainty analysis and a generic model[J]. Computer Vision and Image Understanding, 2003, 91(1/2): 188-213.
[14] 罗涛, 杨以纲, 丛昉琦. 菲涅耳公式中的光强分布释疑[J]. 长春师范学院学报(自然科学版), 2009( 5): 12- 14.
LuoT, Yang YG, Cong FQ. The interpretation of light-power distributing in Fresnel formula[J]. Journal of Changchun Teachers College, 2009( 5): 12- 14.
[15] Sloan PP. Normal mapping for precomputed radiance transfer[C]∥Proceedings of the 2006 symposium on Interactive 3D graphics and games-SI3D'06, March 14-17, 2006, Redwood City, California. New York: ACM, 2006: 23- 26.
[16] SatoY, Wheeler MD, IkeuchiK. Object shape and reflectance modeling from observation[C]∥Proceedings of the 24th annual conference on Computer graphics and interactive techniques-SIGGRAPH'97, August 3-8, 1997, Los Angeles, California, USA. New York: ACM, 1997: 379- 387.
[17] DebevecP, HawkinsT, TchouC, et al. Acquiring the reflectance field of a human face[C]∥Proceedings of the 27th annual conference on Computer graphics and interactive techniques-SIGGRAPH'00, July 23-28, 2000, New Orleans, LA, USA. New York: ACM, 2000: 145- 156.
[18] Lensch H P A, Kautz J, Goesele M, et al. Image-based reconstruction of spatial appearance and geometric detail[J]. ACM Transactions on Graphics, 2003, 22(2): 234-257.
[19] Gardner A, Tchou C, Hawkins T, et al. Linear light source reflectometry[J]. ACM Transactions on Graphics, 2003, 22(3): 749-758.
[20] WeyrichT, MatusikW, PfisterH, et al. Analysis of human faces using a measurement-based skin reflectance model[C]∥SIGGRAPH'06 ACM SIGGRAPH 2006 Papers, July 30-August 3, 2006, Boston, Massachusetts. New York: ACM, 2006: 1013- 1024.
[21] Ma WC, HawkinsT, PeersP, et al. Rapid acquisition of specular and diffuse normal maps from polarized spherical gradient illumination[C]∥Proceedings of the 18th Eurographics conference on Rendering Techniques, June 25-27, 2007, Grenoble, France. New York: ACM, 2007: 183- 194.
[22] 解则晓, 余江姝, 迟书凯, 等. 非平行双目视觉系统水下标定与测量[J]. 光学学报, 2019, 39(9): 0912004.
黄硕, 胡勇, 巩彩兰, 卜弘毅, 顾耕, 许琦, 王薇. 基于梯度光图像的高精度三维人脸重建算法[J]. 光学学报, 2020, 40(4): 0410001. Shuo Huang, Yong Hu, Cailan Gong, Hongyi Bo, Geng Gu, Qi Xu, Wei Wang. High Precision Three-Dimensional Face Reconstruction Algorithm Based on Gradient Light Image[J]. Acta Optica Sinica, 2020, 40(4): 0410001.
PDF全文
