1 引言

人脸识别由于其自然性和不被被测个体察觉的特点,一直以来是模式识别和机器视觉领域的研究热点,但人脸容易受到光照、噪声、表情和遮挡等的影响,如何有效获取人脸特征信息一直是人脸识别研究重点^[1]。根据人脸表示数据空域特性,可将人脸描述方法大致分为两类:1) 人脸整体特征提取^[2-4],往往全局表示方法对光照、姿态、表情以及遮挡等复杂变化比较敏感;2) 人脸局部特征提取,局部表示方法由于刻画了局部更细节的纹理信息,对光照、姿态、表情复杂变化往往表现得更为稳健。其中,局部二值模式(LBP)^[5]的特征提取方法在人脸识别应用中取得了显著的成果,并涌现出很多新的改进方法^[6-10],虽然在一定程度上对光照和噪声较稳健,但还远远不够。Jabid等^[11]提出一种基于局部方向模式(LDP)的人脸表示方法,由于边缘梯度值比灰度像素值更稳定,表现出对光照、噪声和遮挡更强的稳健性,但也存在识别效果不理想和识别时间较长等缺点。之后,在LDP算法的基础上出现了一些改进算法^[12-16]。其中,李照奎等^[17]提出一种基于差值局部方向模式(DLDP)的算法,虽然提取了梯度空间人脸特征信息,并且近邻边缘响应值之间作差可以减少部分噪声的干扰,识别效果得到了增强,但只考虑同一半径内近邻边缘响应值之间的强度变化,特征提取还不够充分,不能解决光照对人脸的影响,特征维度还比较高。在此基础上,王晓华等^[18]提出的一种梯度中心对称局部方向模式(GCS-LDP)的算法,既考虑了梯度空间幅值信息,也考虑了强度空间方向信息,但在强度空间上编码时,提取方向信息采用中心对称方式,存在提取信息不充分和稳定性差等问题。

为了解决DLDP算法识别效果的问题,本文提出一种基于正交梯度差局部方向模式(OGDLDP)的人脸表示方法。为了使人脸特征信息得到充分的提取,将3 pixel×3 pixel和5 pixel×5 pixel的相邻边缘响应值作差,将不同尺度之间的人脸特征信息考虑进来。该方法仅考虑两组边缘响应差值的最大值情况,突出了最主要边缘梯度信息,又避免了受不重要信息干扰的影响,对噪声有一定的稳健性。最后,将两组边缘响应差值水平和垂直方向人脸特征信息构成正交形式,研究了梯度脸对光照的稳健性。

2 OGDLDP算法

2.1 DLDP算法

DLDP算法是LDP算法的改进,基本构造思想是采用Kirsch算子模板,如图1所示。与图像卷积,得到8个方向的边缘响应m_x(x=0,1,2,3,4,5,6,7),按照一定顺序将近邻边缘响应值m_x之间作差并取绝对值,再将近邻边缘响应值的绝对值n_y进行排序,求出第k大的值n_k,并将大于等于n_k的n_y所对应的第y位二进制数设置为1,其余8-y位设置为0,可表示为

mx=I×Mx,(1)ny=mx+1-mx,0≤x,y≤6m0-m7,y=7,(2)DLDP(I)=∑y=0N/2-1s(ny-nk)2y,(3)s(x)=1,x≥00,otherwise,(4)

式中I为输入图像,M_x为第x个Kirsch算子,m_x为第x个边缘响应值,n_y为第y个边缘响应差值。

图 1. 8个方向的kirsch算子

Fig. 1. Kirsch operators in eight directions

下载图片 查看所有图片

2.2 OGDLDP算法

DLDP算法还存在如下问题:1) 只考虑了同一个3 pixel×3 pixel相邻边缘响应值之间的影响,没有考虑相邻的不同半径领域的边缘响应值之间的影响,人脸特征提取还不够充分;2) 当相邻的两个边缘响应值一个受到噪声干扰,另一个没有受到噪声干扰时,仅仅依靠相邻边缘响应值之间作差,是不能达到减少噪声效果的;3) 并没有很好地减少光照因素对人脸识别效果的影响,对光照的稳健性较差;4) DLDP码是一个八位二进制数,特征模式数较高,识别时间较长。OGDLDP算法是针对DLDP算法以上4方面问题进行改进的一种新型算法,如图2所示。具体原理为:1) OGDLDP算法保留了DLDP算法通过计算近邻边缘响应值之间的强度变化,获取了更丰富的人脸细节,考虑了不同半径的边缘响应值之间的像素点的外在空间信息,因此,相比DLDP算法,人脸特征得到了更充分的提取;2) OGDLDP算法只考虑两组差值的最大值情况,突出了主要边缘梯度信息,同时又避免了不重要信息的干扰,表现出对噪声更强的稳健性;3) 3 pixel×3 pixel和5 pixel×5 pixel相邻边缘响应差值分别由水平和垂直方向构成,并且3 pixel×3 pixel和5 pixel×5 pixel内外差值正好构成正交形式,受文献[ 19]启发,正交梯度脸对光照人脸具有更好的识别效果,表现出对光照更强的稳健性;4) OGDLDP码是一个二位八进制数,特征模式数为64,特征维度明显降低。

图 2. OGDLDP算法原理图

Fig. 2. Principle diagram of OGDLDP algorithm

下载图片 查看所有图片

OGDLDP算法具体步骤如下:

1) 将3 pixel×3 pixel领域像素灰度值E_x(x=0,1,2,3,4,5,6,7)和5 pixel×5 pixel领域像素灰度值F_y(y=0,1,2,3,4,5,6,7)分别与两组不同的8个Kirsch模板算子卷积,分别得到两组相应8个方向的边缘响应值 mxE和 myF。图3所示为正东方向的不同大小的Kirsch模板算子。3 pixel×3 pixel和5 pixel×5 pixel的8个边缘响应值分别为

图 3. 正东方向不同大小的Kirsch算子

Fig. 3. Different sizes of Kirsch operators in the east direction

下载图片 查看所有图片

mxE=Ex×Mx,(5)myF=Fy×My,(6)

式中M_x为第x个Kirsch模板算子,M_y为第y个Kirsch模板算子。

2) 将3 pixel×3 pixel领域得到的近邻边缘响应值 mxE(x=0,1,2,3,4,5,6,7),按照逆时针方向前后作差并取绝对值,得到对应8个方向的边缘响应差值A_x(x=0,1,2,3,4,5,6,7),将两组边缘响应值按照对应编号相互作差并取绝对值,同样也得到一组8个方向的边缘响应差值。其中,边缘响应差值A_x和B_y(x,y=0,1,2,3,4,5,6,7)对应的8个方向都是水平方向与垂直方向的人脸特征,A₀与B₀、A₁与B₁、A₂与B₂、A₃与B₃、A₄与B₄、A₅与B₅、A₆与B₆、A₇与B₇正好构成90°。

第x个3 pixel×3 pixel 的边缘响应差值和第y个3 pixel×3 pixel与5 pixel×5 pixel的边缘响应差值分别为

Ax=mx+1E-mxE,0≤x≤6m0E-m7E,x=7,(7)By=myE-myF,0≤y≤7。(8)

3) 取两组边缘响应差值的最大值对应的方向下标,组成一个二位八进制数,形成OGDLDP码,其计算方法为

x=argmaxAx0≤x≤7,(9)y=argmaxBy0≤y≤7,(10)OGDLDP(I)=x×81+y×80,(11)

式中OGDLDP(I)是OGDLDP算法编码值。x为最大边缘响应值A_x的索引下标。y是最大边缘响应值B_y的索引下标。可知,OGDLDP编码是一个二位的八进制码,共有64种模式。图4所示为OGDLDP的编码过程。

图 4. OGDLDP码流程图

Fig. 4. Flow chart of OGDLDP code

下载图片 查看所有图片

3 OGDLDP算法的人脸识别

3.1 OGDLDP特征提取

采用OGDLDP算法对人脸图形进行特征提取,如图5所示。如果只考虑固定半径大小的相邻边缘响应值之间的人脸特征信息,对应DLDP算法原理,那么内外相邻边缘值之间的人脸特征信息将被忽略,DLDP算法提取的人脸特征信息不够充分的,由图5可知,经过OGDLDP算法提取后,人脸特征信息更加充分。其中,初始人脸图是以人眼为中心进行裁剪。具体步骤为:1) 由于人脸不同部位所包含的特征信息比例不同,先对人脸进行分块;2) 利用OGDLDP算法提取每一块人脸图像;3) 将各个小块区域的特征直方图联合在一起形成总的特征模式。

图 5. OGDLDP人脸识别流程图

Fig. 5. Flow chart of OGDLDP face recognition

下载图片 查看所有图片

图 6. (a) YALE和(b) AR部分人脸库

Fig. 6. Part of (a) YALE and (b) AR face databases

下载图片 查看所有图片

3.2 2DPCA降维

由于PCA转化为一维之后,维数过大,计算量变大,识别率不是很高,并且PCA训练是非监督的,即PCA无法利用训练样本的类别信息。所以采用二维主成分分析法(2DPCA)^[3]算法对人脸的特征向量进行降维处理。

3.3 人脸匹配

采用最近邻分类器对人脸进行识别与匹配,通过匹配 BGCSBP 直方图序列特征的相似度实现人脸分类和识别, 实验采用直方图相交^[20]衡量两个直方图之间的相似度:

Sim(H1,H2)=∑i=1Nmin[h1(i),h2(i)],(12)

式中H¹、H²分别为两个比的直方图序列,N为直方图箱格的个数,h₁(i)、h₂(i)分别为两个直方图中第i个箱格出现频率。相似度的值越大,说明两个直方图为同类的可能性越大。

4 仿真实验结果与分析

4.1 实验环境说明

实验的运行环境为Matlab2014a,64位Windows7系统,Intel(R)Core(TM) i5-3230,2.6 GHz,4 GB内存。

4.2 人脸库的选择和说明

考虑光照、遮挡和表情等情况,以及人脸大小和肤色,因此选择在YALE人脸库和AR人脸库进行相关实验。其中,YALE人脸库由耶鲁大学计算视觉与控制中心创建,包含15个人,每人11幅的165张图片,包含光照、表情和姿态。实验中随机选择该人脸库每个人的2到5幅图像作为训练样本,其余图像作为测试样本。AR人脸库共包含超过4000幅来自126个人的欧洲人脸图像,从AR人脸库中选择50名男性和50名女性,每人13幅人脸图像进行实验,按照表情、光照、遮挡等变化分为4个子集作为测试样本,每组选取其中的3幅和1幅原型正脸图作为测试集。所有图像均以眼部为中心将人脸裁剪为100 pixel×100 pixel的大小,部分人脸库图像如图6所示。

4.3 分块

对图像进行恰当地分块能有效地提取图像的局部纹理特征。在进行直方图统计时,不同的分块数对识别效果有较大的影响,分块数过少,则不能很好地体现人脸的局部纹理细节,而分块数过多,又会产生特征冗余而降低识别效果,同时也会使特征维数增加。在YALE人脸库和AR人脸库上, OGDLDP算法对于不同分块数的实验结果如图7所示。

由图7可知,样本数为4时,YALE人脸库上获得最高识别率的分块方式为12×11(水平方向分块数目1、垂方向分块数目11);AR人脸库获得最高识别率的分块方式为9×11。

图 7. 部分(a) YALE和(b) AR人脸库不同分块识别率

Fig. 7. Part of different block recognition rates of (a) YALE and (b) AR face databases

下载图片 查看所有图片

4.4 各算法识别率以及实验分析

为了验证本文算法的有效性,将其与局部方向模式(LDP)^[10]、快速局部方向模式(FLDP)^[13]、增强局部方向模式(ELDP)^[14]、局部方向数字模式(LDN)^[15]、差值局部方向模式(DLDP)^[16]、中心对称局部方向模式(CSLDP)^[17]和梯度中心对称局部方向模式(GCSLDP)^[18]算法进行对比。取最大识别率对应的分块为最佳分块,取重复实验50次的均值作为最终识别率,YALE和AR人脸库实验结果分别如表1、2所示。

由表1可知,在YALE人脸库上,随着训练样本从2增加到5,所有算法的识别率不断增加,但相比其他算法,OGDLDP算法识别率更高。

由表2可知,在AR人脸库上,OGDLDP算法在光照、表情和遮挡情况下,识别效果一直领先于其他算法。特别是在AR人脸库遮挡情况下OGDLDP算法的识别效果明显高于其他算法。

LDP、ELDP、LDN、FLDP和CSLDP算法是将图像3 pixel×3 pixel邻域像素灰度值与8个Kirsch算子卷积,得到8个方向的边缘响应值,再分别采用不同的编码方式进行特征提取,本质上是在强度空间提取人脸特征信息;DLDP算法是将8个方向的近邻边缘响应值之间相应作差,对应8个方向的边缘响应差值,再取最大3个绝对边缘差值的方向下标进行编码,本质上是在梯度空间提取人脸特征信息。上述这些算法提取人脸特征都是在单一的人脸信息空间进行采样,都没有考虑不同半径领域之间像素点特征信息,特征提取手段比较单一,采样还不够充分。GCSLDP是在强度空间提取了人脸强度信息和在梯度空间提取了人脸方向信息。首先,方向信息采用中心对称编码方式取最大值方向,可能会造成信息的错误,比如当两个值都是正的最大边缘响应值作差后值不一定大于其他正边缘响应和负边缘响应差值;当两个值都是负的最大边缘响应值作差后值不一定大于其他负边缘响应和正边缘响应差,所以很难通过方向信息情况反应出边缘梯度信息。其次,也没有考虑不同半径领域之间像素点特征信息。OGDLGP算法首先利用相邻边缘值作差运算,保留了像素之间内在的关系,获取边缘响应值之间更丰富的细节特征。考虑了同一半径近邻边缘响应值之间的人脸内在梯度差信息和不同半径的边缘响应值之间人脸外在的差值信息,通过内外差值人脸信息的结合使人脸特征得到了更充分的提取。最后,3 pixel×3 pixel和5 pixel×5 pixel相邻边缘响应差值分别是由水平和垂直方向构成,并且3 pixel×3 pixel和5 pixel×5 pixel内外差值正好构成正交形式。正交梯度脸对光照人脸具有更好识别效果,表现出对光照更强的稳健性。所以,在光照、表情、遮挡情况下,本文算法具有更好的识别效果。

4.5 噪声实验

在YALE人脸库进行加入噪声实验,噪声模型选择高斯白噪声,均值为0,归一化方差分别为0.0001、0.0002、0.0003、0.0004、0.0005。每人随机取3幅训练样本图像,其余图像为测试样本,取重复实验50次的均值作为最终识别率。加噪声后,各算法识别率结果如图8所示。

图 8. YALE人脸库中实验结果

Fig. 8. Experimental results of YALE face database

下载图片 查看所有图片

由图8可知,在噪声实验中,随着高斯白噪声归一化方差逐渐增大,OGDLDP算法下降速度明显低于其他算法,体现该算法对噪声具有更强稳健性。由于LDP和DLDP算法在编码方式上考虑的是前3个最大绝对值,除最大值外,剩下两个值容易受到噪声的干扰,稳定性较差;当ELDP取最大值和次最大值、LDN取最大值和最小值时,次最大值和最小值受噪声影响比较大;FLDP在编码方式上不取绝对值,将正和负编码值分开,受到噪声干扰时,编码值的正负情况不稳定。CSLDP利用中心对称作差虽然在一些情况下减少了噪声不稳定的干扰,但也存在中心对称的两个值相近时,噪声的影响使其编码情况不稳定性较大;GCSLDP在方向信息上同样采用中心对称方式取最大值方向,容易受到噪声的影响,因此抗噪性还是不理想。OGDLDP只考虑邻边缘响应值和边缘响应差值的最大值情况,突出了主要边缘梯度信息,同时又避免了不重要信息的干扰。利用相邻边缘值作差运算,正好可以相互抵消部分相邻值受光照和噪声等外界因素的影响。所以,相比其他算法,对噪声表现出更强的稳健性。

5 结论

提出OGDLDP人脸识别方法,相比同类基于LDP的单一人脸识别算法,不管是特征提取还是对噪声的稳健性,该方法都具有一定的优越性。实验结果表明:1) OGDLDP算法是同一半径内在差值人脸信息和不同半径外在差值人脸信息的一种结合,可以使人脸特征信息得到充分的提取;2) 利用相邻边缘值作差运算,可以保留像素之间内在关系,获取边缘响应值之间更丰富的细节特征,并且可以相互抵消部分相邻值受光照和噪声等外界因素的影响;3) OGDLDP算法仅考虑近差值的最大值情况,突出了最主要边缘梯度信息,同时又避免了受不重要信息干扰的影响;4) 内外差值是由水平与垂直方向构成的正交形式,表现出对光照具有更强的稳健性。在深度学习大趋势下,接下来重点将考虑与深度卷积神经网络进行结合。