1 引言

人脸识别技术是当代人工智能、模式识别和计算机视觉领域中热门的研究课题之一。在实际生活和科学应用中,通过人脸识别检测,得出大角度姿态是影响人脸识别结果的主要因素的结论。当输入的人脸图像是一张水平旋转角度较大的侧脸图像时,即使是同一个人的两幅图像,不同姿态反映的图像也会有很大的差异,这种差异可能会比相同姿态而不同身份的人的差异还要大^[1]。这使得很多常规人脸识别算法的性能大幅下降,进而导致识别率也明显降低。

针对大角度人脸姿态的主流研究方法主要集中在三维人脸模板和二维平面技术。在三维人脸模板方面,Tang等^[2]利用二维人脸重构三维虚拟人脸,然后将三维人脸进行二维投影,构建二维多姿态人脸库,将多姿态人脸识别问题转化为某一角度下两幅相同姿态照片的对比问题^[3]。这种采用二维人脸重构三维虚拟人脸的思路,在一定程度上改善了姿态变化对人脸识别的影响,但三维人脸重建运算较复杂,计算量较大,难以实现实时性的要求。

在二维平面技术方面,Chai等^[4]提出了局部线性回归算法(LLR),该算法假设人脸侧脸与正脸呈局部线性关系,用侧脸图像与其对应的正脸图像进行训练,得到侧脸到正脸之间的线性映射关系,进而由侧脸估计出其对应的正脸图像。为解决侧脸到正脸的非线性问题,LLR算法把人脸分成了很多个小区域,并对每个小区域分别进行线性映射,这必然会导致非线性信息的丢失。Ashraf等^[5]基于LK(Lucas-Kanade)算法提出了人脸区域的流堆栈(StackFlow)算法,该算法首先将人脸划分为若干块,用仿射变换进行侧脸到正脸的校正;训练过程中使用LK算法,经仿射变化后的侧脸与正脸的误差最小;作者提出采用流堆栈算法来获得每块人脸的全局最优,即某一块的全局最优应该是使所有训练图像的对应块和正面人脸的对应块差值和最小的仿射变换参数,但是这种方法是根据像素寻找全局最优参数,所以对人脸区域的划分准确度要求较高,同时由于姿态、光照和表情等因素不完全相同,合成的正面人脸比较模糊,导致识别率较低。类似地,Ho等^[6]提出了一种通过马尔可夫随机场(Markov Random Fields,MRF)寻找仿射变换参数的方法,该方法的目标函数与流堆栈算法相同,但是其每块人脸全局最优参数的确定是通过马尔可夫随机场实现的。通过构建代价函数,实现代价函数的最小化来选择最优参数,并运用BP(Belief Propagation)算法求出最优参数。但是在确定每一块最优参数时,运行BP算法非常耗时,同时确定最优参数是在某一张人脸上运行的,因此不可避免地会带上该人脸的特性信息。Li等^[7]提出了基于神经网络的深度多视角特征学习(MVRL)方法,通过不同的深度学习模型来得到不同特征,进而融合为一个整体特征作为此人脸特征的表示。Yim等^[8]提出多任务的深度神经网络(CPF)方法来实现人脸校正,主任务用于从输入人脸图像构建任意姿态的人脸图像,副任务用于从得到的人脸图像再反过来构造输入图像,以实现整个神经网络的反馈。Peng等^[9]提出了基于深度神经网络学习的姿态校正(Multi-Source Multi-Task,MSMT)方法,首先通过正面的二维人脸生成一个三维模板,然后投影生成不同姿态的二维人脸,再在训练识别模型时将身份信息与非身份信息(如姿态和特征点)放在一起训练,得到一个包含姿态、特征点和身份的多特征,最后把侧脸的姿态特征和正面人脸的身份特征拼接在一起重新构建,以保证不同姿态的人脸得到的特征是相似的。但是基于神经网络的算法需要的训练集大,同时需要手工标定特征点,在训练阶段比较耗时。

本文主要研究人脸姿态的二维平面校正方法,采用基于加权的LK算法得到每块人脸的最优仿射变换参数,提出每一块的最优仿射变换参数应使所有训练集中这一块校正的人脸块与对应正脸块Gabor ^[10]相似度最大,并以每一人脸块最优参数得到的平均Gabor相似度作为这一块人脸的权重进行识别。最后,在FERET人脸数据库中进行了每块最优参数的评估和侧脸姿态的校正实验,同时进行了识别率实验,证明了所提方法的有效性。

2 基于最大Gabor相似度的人脸姿态校正

2.1 用加权LK算法求每块人脸的仿射变换参数

LK算法^[11]是一种有效的、实现图片对齐的算法。但是在侧脸角度情况下,人脸各个区域变化的形态不同,如果对整个人脸都运用LK算法,则各个人脸区域的对齐效果较差,所以首先要对某一个特定角度的侧面和对应的正面人脸进行分块。通过Gabor滤波器的尺度和方向对图像进行滤波,将其结果作为纹理特征来选择全局最优参数。该过程基于提取到的人脸局部空间信息而不是每个点的像素差值信息,因此用于校正的侧脸和正脸分块并不需要精确的点对点对应,而是大致的局部区域对应即可。侧面和正面人脸的分块示意图如图1所示,首先将正脸划分成N块矩形区域,然后根据正脸区域的划分,在侧脸上标定得到大致的对应区域。

图 1. (a)侧面和(b)正面人脸的分块示意图

Fig. 1. Diagrams of side face and full-frontal face patches

下载图片 查看所有图片

用I表示侧脸的图像,用T表示对应的正脸图像,下标r表示块的编号。采用仿射变换来实现侧脸到正脸各部分的对齐。设仿射变换矩阵为

A=1+p1p3p5p21+p4p6001。(1)

仿射变换参数p=(p₁,p₂,p₃,p₄,p₅,p₆)^T,用W表示仿射变换。则一个坐标x仿射变换后得到x',则x'=W(x,p)。目标函数可表示为

E=∑x{Ir[W(x,p)]-Tr(x)}2。(2)

使目标函数最小时对应的p,即可认为是最优的姿态校正参数。(2)式的求解可采用加权的LK算法^[12]来实现。加权的LK算法引入二维Gabor变换^[10]来计算权值,以适应光照变化。二维Gabor变换的定义为

gμ,ν(z)=‖kμ,ν‖2σ2exp-‖kμ,ν‖2‖z‖22σ2·expikμ,ν·z-exp-σ22,(3)

式中:z=(x,y)^T为空间位置坐标;参数σ=2π;k_μ,ν用来确定Gabor内核的方向和尺度,μ,ν表示Gabor变换方向和尺度变化,每一组μ,ν参数都会进行一次Gabor变换,从而得到相应的Gabor系数,经过μ×ν个Gabor变换后,可在不同粗细粒度上得到图像的有效特征。

假设有M个Gabor变换,用g_i表示第i个Gabor变换,则目标函数为

E=‖{g1*Ir[W(x,p)],…,gM*Ir[W(x,p)]}-[g1*Tr(x),…,gM*Tr(x)]‖2,(4)

式中:*代表卷积。将(4)式变换到傅里叶频域,即

E={Ir[W(x,p)]-Tr(x)}FTSF·{Ir[W(x,p)]-Tr(x)},(5)

式中:S= ∑i=1M[diag( g^i)]^Tdiag( g^i),其中 g^i为g_i对应的傅里叶变换;F为包含傅里叶基向量的矩阵;Q=F^TSF为加权值。则最后的误差函数写为

E=∑x{Ir[W(x,p)]-Tr(x)}·Q{Ir[W(x,p)]-Tr(x)}。(6)

(6)式中将p换为p+Δp,Δp表示迭代步长,通过Δp来求取最终的参数p,而不是直接求取参数p。然后进行一级泰勒展开,并令其关于Δp的偏导数等于0,得到

Δp=H-1∑x∂Ir[W(x,p)]∂pT·Q{Ir[W(x,p)]-Tr(x)},(7)

式中:H= ∑x∂Ir[W(x,p)]∂pTQ∂Ir[W(x,p)]∂p。每一次迭代Δp,p参数从零向量开始迭代p=p+Δp,直到达到收敛,最后将收敛值看作这一块人脸的仿射变换参数p。

2.2 基于最大Gabor相似度寻找每块全局最优的仿射变换参数

如果基于像素值寻找全局最优参数,由于人脸块划分不标准、光照条件和姿态误差等因素的影响,很难保证校正参数的准确性,最终造成人脸合成效果不理想。因此,利用Gabor特征提高光照和姿态的稳健性,通过使Gabor特征向量余弦相似度最大,来寻找一个全局最优参数。

假设共有B张侧脸,第k个图片得到的第i块参数为 pi(k){k=1,2,…,B},则第i块仿射变换参数候选集P_i={ pi(k),k=1,2,…,B}。选择第i块最优参数的原则如下:

求库中第k个侧面人脸中的第i块区域在参数p_i下的Gabor特征,得到一个特征向量b_k,i(p_i):

bk,i(pi)={g1*Ik,i[W(x,pi)];…;gM*Ik,i[W(x,pi)]}。(8)

求库中对应第k个正面人脸图片第i块的Gabor特征a_k,i:

ak,i=[g1*Tk,i(x);…;gM*Tk,i(x)]。(9)

对于第i块区域的每一个参数p_i,计算其Gabor余弦相似度:

fgabor_s(pi)=∑k=1Bak,i·bk,i(pi)‖ak,i‖‖bk,i(pi)‖,(10)

则第i块区域全局最优参数 p^i= maxpi∈Pif_{gabor_s}(p_i)。

基于上述提出的Gabor相似度求取的全局最优姿态校正参数对光照变化有良好的适应性。此外,全局最优参数的选择是基于Gabor变换提取的局部空间特征,而不是利用每个点的像素信息,所以人脸校正过程中侧脸的划分不需要很精确,只需进行粗略的侧脸区域划分即可通过全局最优参数得到清晰的正面人脸。

2.3 基于加权的分块Gabor向量人脸识别

考虑到姿态校正过程中采用的是基于人脸分区域的Gabor特征校正方法,所以加权的局部Gabor二值模式直方图序列(LGBPHS)算法^[13]更适用于上述姿态校正后进一步的人脸识别。由于本方法基于局部分块,而每个局部块在识别整个人脸中所起的作用大小不一,且根据最优校正参数拟合的局部块也有相对的优劣之分,因此提出为每块人脸设定一个权重值,以提高最终的识别率。

按照上述人脸分块,将不同尺度、不同方向的Gabor滤波器分别与侧脸校正的图片块和库中正脸对应块进行卷积,取其幅值部分组成Gabor幅值图谱(GMM),对每个人脸区域的GMM应用局部二值模式(LBP)算法得到局部Gabor二值模式图谱并计算直方图,将所有区域直方图串接为一个直方图序列,并将其作为这一块人脸图像的描述符。

假设两个直方图是H¹和H²,则两个直方图的相似度可表示为

Ψ(H1,H2)=∑i=1Lmin(hi1,hi2),(11)

式中: hi1表示第一个直方图中的第i个条目; hi2表示第二个直方图中的第i个条目;L为直方图中的条目数,衡量的标准为对应条目中共有的部分。

采用加权的局部Gabor二值模式直方图序列算法进行人脸识别,即对上述每块人脸添加权重系数。假设灰度区间为[0,L-1],H_μ,ν,i表示第i块人脸在Gabor变换g_μ,ν下得到的局部二值模式直方图,即

Hμ,ν,i=(hμ,ν,i,0,hμ,ν,i,1,…,hμ,ν,i,L-1),(12)

式中:h_μ,ν,i,r'= ∑z∈iI{LBP[g_μ,ν(z)]=r'};LBP表示图像进行局部二值模式算法;r'表示灰度等级;I可表示为

I{A}=1,A is true0,A is false。(13)

最终每个人脸的直方图可表示为

H=(H0,0,1,…,H0,0,N,H0,1,1,…,H0,1,N,…,H7,4,N),(14)

式中:N为人脸区域划分的数量。则衡量两个人脸相似度的加权LGBPHS为

S(HI,HT)=∑μ∑ν∑iωiΨ(HIμ,ν,i,HTμ,ν,i),(15)

式中:H_I表示侧脸的直方图;H_T表示正脸的直方图;ω_i为第i块人脸的权重值。

设定第i块的权重值为通过此人脸块的最优参数 p^i得到的平均Gabor相似度,即

ωi=∑k=1Bak,i·bk,i(p^i)‖ak,i‖‖bk,i(p^i)‖B。(16)

最后,找到使S(H_I,H_T)最大的H_T即为此侧脸图片的身份。

3 实验结果与分析

本实验采用FERET人脸数据库^[14]进行实验。该数据库包含约200人,共14051张灰度人脸图像,同一个人包含不同的表情、光照和姿态图片。在训练过程中,每一种角度都采用前60个人(身份ID从1到60)的B=60张侧脸图片和对应的正脸图片来得到每一块人脸区域的全局最优参数,并用于后续的实验。将人脸图像裁剪成80×80的灰度图像,并按照人脸形状特征(图1)将正脸划分为N=27块,每一块的大小为12×12(尺寸过大会降低校正效果,尺寸过小会增大计算量),并将正脸分块对应到侧脸的相应位置,使每个侧脸也是27块。划分的人脸块不需要正脸与侧脸严格准确地一一对应,仅需大致对应即可。所有正脸与侧脸的局部区域划分及位置都保持一致。

提取Gabor特征时,Gabor内核定义为k_μ,ν=k_νexp(iϕ_μ),其中k_ν=k_max/f^ν为采样尺度,ϕ_μ=πμ/8为采样方向,k_max为最大频率,f为频域内最大间隔因子。为了获得较好的小波特征和辨识效果,实验中令参数k_max=π/2,f= 2[10],取5个尺度和8个方向,分别标为ν=(0,1,…,4)和μ=(0,1,…,7)。因此,每个局部区域可获取M=40个Gabor变换系数来提取Gabor特征,这样可以充分利用图像的方向信息和尺度,在不同粗细粒度上得到图像的特征。训练最终得到每个对应局部区域块的最优Gabor相似度参数。

根据每一块得到的最优参数进行了三部分实验,分别是关于最优参数的评估、侧脸的姿态校正和侧脸识别实验。本实验使用MATLAB语言,在Intel(R) i5-3230M处理器上运行。

3.1 评估得到的每块最优参数

本实验测试了同一角度下(40°)60个人(身份ID从61到120)的侧脸区域经过最优参数校正后的侧脸块与正脸块Gabor余弦相似度,其中实验的第1,7,9,15块(根据图1的划分,从上往下数,从左往右数)结果如图2所示。横坐标表示测试的60个侧脸图像,纵坐标表示每个图像对应区域的Gabor相似度。每一个人脸区域中的水平虚线即为用这一块最优参数求得的平均Gabor余弦相似度,这个值也将作为每一块人脸的识别权重。从图中可以看到,有的人脸块拟合得好,而有的人脸块拟合得一般,验证了每块人脸需要加权值的必要性。

图 2. 基于最优参数的Gabor相似度表现。(a)第1块;(b)第7块;(c)第9块;(d)第15块

Fig. 2. Performance of Gabor similarity based on optimal parameter. (a) 1st patch; (b) 7th patch; (c) 9th patch; (d) 15th patch

下载图片 查看所有图片

3.2 通过每块最优参数校正人脸

本部分实验不仅使用FERET人脸数据库,还选取了CMU_PIE人脸数据库^[15]的图片进行测试。CMU_PIE数据库规模不大,仅有68个人,共41368张人脸图片,但含有更多丰富光照变化的图片。实验对人脸库中标定为±40°的侧脸进行校正,此外还实际拍摄了侧脸图片进行实验。效果如图3所示,第1~3行为FERET库中图片,第4、5行图片来自CMU_PIE库,最后一行为实拍图片。

图 3. 基于Gabor最优参数和像素差最优参数校正后的人脸对比

Fig. 3. Synthesizing frontal face comparison based on Gabor optimal parameters and pixel difference optimal parameters

下载图片 查看所有图片

从上述结果可以看出,在光照不均匀的条件下,根据Gabor特征得到的最优变换参数依然适用,所以得到的全局最优参数对光照有一定的稳健性。另外,虽然数据库中标定的角度有误差(前后相差10°左右),但是恢复出来的正面人脸基本是清晰的。从这一点可以看出,全局最优参数对姿态也具有一定的稳健性。同样情况下(人脸分块也是粗略划分的),如果是根据像素差最小得到的最优参数对侧脸进行校正,得到的效果图非常模糊,这是因为依据像素差值最小寻得的最优参数对人脸分块的准确性有很大的依赖。

3.3 侧脸的识别率

侧脸识别实验在FERET人脸数据库中进行,测试了身份ID从61到190共130个人的对应角度的侧脸图片,即每个角度测试数据为130张图片,并与其他方法进行了对比。实验对比方法主要选择与本文分块提取相似度思想相似的3种经典方法,即文献[ 4-6]中的方法,同时对比了近年来较热门的基于深度学习的方法,即文献[ 7-9]中的方法。实验结果如表1所示。

从表1可以看出,传统的LLR方法识别率最低,这是由于传统方法只提取了人脸线性信息而忽略了非线性信息,所以得到的校正图像比较模糊,从而严重影响了识别率。StackFlow和MRF算法,尤其是后者,在大姿态人脸识别率上已经有了较大提升,但这两种方法均是根据像素点的灰度值寻找最优参数,而这种方式非常依赖人脸区域划分和映射的准确性,并且灰度值受光照的影响。基于最大Gabor相似度寻找最优参数则不受上述因素的影响和限制,因此,识别率也得到了进一步的提高,所提方法的操作更加简便,也更适用于实际应用。

对于基于深度学习的几种方法,整体识别率都较高,但这些方法对硬件设备和训练数据规模的要求均较高。对于CPF方法(训练集用了14000张图片),虽然整个神经网络有反馈,可以得到任意姿态的人脸图像,但是图片的校正过程需要对图像另外添加一些编码信息,而且提取的各个角度特征的区分度并不太好。MVRL方法(训练集用了30000张图片)通过不同深度学习模型提取的特征有些冗余,并且只利用了纹理特征而没有对形状特征进行区分,因而需要的训练图像数量要求规模更大。而最新的基于深度神经网络学习的MSMT方法,训练集用了106402张图片,计算量极大。相比而言,所提方法操作简单,对硬件设备要求不高,在数据规模小的情况下具有高效率和高精度的优势。

4 结论

大姿态已成为限制人脸识别率提高的主要因素。采用基于加权的LK人脸分块算法分析可知,每一人脸块的全局最优参数是使得Gabor特征的余弦相似度最大的参数,同时将根据最优参数得到的平均Gabor相似度作为姿态识别中的权重可以提高识别率。所提方法的优点在于数据规模小的情况下具有独特优势,以少量训练样本和较短训练时间即可得到理想的结果,并且无需进行任何标定点的检测,对人脸的分块进行粗略划分即可。下一步的研究应将深度神经网络学习与本文方法所提取的Gabor参数相结合,以便更加高效地得到清晰的正脸图片和更高的识别精度。