基于改进梯度局部二值模式的人脸识别 下载: 1159次
ing at the problems of the insufficient sampling and sensitivity to random noise and non-uniform illumination of the local binary pattern, a face recognition method of the improved gradient local binary pattern (IGLBP) is proposed. Two groups of 3 pixel×3 pixel subneighborhood are obtained by the multi-radius and multi-direction sampling mode, including 16 pixels in two radii and eight directions. The features are extracted by the gradient local binary pattern, and then the two sets of them are encoded to produce IGLBP. Finally, the IGLBP feature is divided to get the feature vector of the face according to the block histogram, and it is used for classification and recognition. The experimental results of CAS-PEAL and AR face database show that the proposed algorithm can effectively extract the feature information, and it is robust to variations of the illumination, expression, partial occlusion and noise in face recognition.
1 引言
随着科学技术的迅速发展,人脸识别的研究者越来越多,涌现的许多方法已广泛应用于生活中,如个人身份认证、摄像监视系统、金融机构的门禁管理以及公安侦察等。人脸识别主要包括特征信息提取和分类器设计,作为其比较关键的一个环节,如何有效获取人脸特征信息是人脸识别研究的重点[1]。当前,人脸特征的提取方法可分为全局法和局部法。其中,全局人脸识别方法主要有基于主成分分析法(PCA)[2-3]和线性鉴别分析法(LDA)[4]两种。
经典局部人脸识别方法有基于局部二值模式(LBP)[5-7]、局部方向模式(LDP)[8-9]和Gabor小波变换[10-13]等。LBP是由Ojala等[5]在1996年构造出的雏形,其能快速且较为准确地提取图像的纹理特征。为了减少LBP数据维度,文献[ 6]对LBP进行改进并提出中心对称局部二值模式(CSLBP),改进后其特征维度只有LBP的1/2。虽然LBP准确提取图像的特征信息的速度较快,但其只提取邻域上各个像素点与中心像素点之间的差值信息,使其存在对非一致性光照和随机噪声比较敏感的缺点。针对此问题,Jabid等[8]提出了LDP,利用Kirsch模板与图像做卷积运算以获取邻域内8个方向局部边界强度信息,其提取到的相对稳定信息能够在一定程度上解决LBP对非一致性光照和随机噪声比较敏感的问题,但其通过对8个方向的模板做卷积运算提取的特征信息,存在着算法的执行速度较慢的问题。每一种特征提取方式都有其优缺点,为了获得更多的优点,文献[ 11]中把Gabor滤波和局部二值模式相结合得到局部Gabor二值方法(LGBP),Gabor滤波是一种多尺度变换使图像样本得到了扩充,能够在人脸识别上取得不错的效果,但其是以Gabor变换得到大量的特征图,在处理这些特征图时比较耗时。针对LBP对随机噪声和非一致性光照比较敏感以及特征信息提取不够充分的缺点,本文提出一种改进梯度局部二值模式,从多条径线进行采样,利用梯度局部二值模式(GLBP)的方式对采样得到的两个尺度的邻域进行计算,将其GLBP编码值进行融合得到改进梯度局部二值模式(IGLBP)编码值,再将整个图像的编码值(特征图)进行一系列处理得到特征向量,最后对特征向量用分类器进行识别。
2 基本原理
2.1 对LBP和Sobel梯度算子的分析
LBP表示局部纹理特征的具体描述是在一个半径为
LBP存在非一致性光照和随机噪声不稳健的缺陷,原因是当受到光照和噪声影响时,其计算的数据可能发生质的变化,即数据的符号发生改变而导致二进制编码发生质变,因而影响其提取的特征信息。而Sobel梯度算子[14-15]是比较典型的一阶导数算子,其在边缘检测方面应用广泛。由于Sobel算子类似局部平均的计算,因此对噪声和光照有着良好的平滑滤波的效果,可以很好地消除噪声和光照的影响。受 Sobel梯度算子启发提出了GLBP算子,分别用4个方向的Sobel模板(
图 1. Sobel算子。(a)水平方向;(b)竖直方向;(c) 45°方向;(d) 135°方向
Fig. 1. Sobel operator. (a) Horizontal direction; (b) vertical direction; (c) 45° direction; (d) 135° direction
图 2. (a)采样点;(b) LBP编码;(c) GLBP编码
Fig. 2. (a) Sampling point; (b) LBP encoding; (c) GLBP encoding
由
图 3. GLBP与LBP的稳健性比较。(a)原始编码;(b)加噪编码
Fig. 3. Robustness of GLBP versus LBP. (a) Original encoding; (b) noise encoding
原始LBP是在一个半径上提取特征,导致了LBP算子对图像的特征信息提取不够充分。
图 4. (a)传统的信息提取;(b)改进的信息提取
Fig. 4. (a) Traditional feature extraction; (b) improved feature extraction
2.2 改进梯度局部二值模式
多半径、多方向采样方式和梯度局部二值模式融合,形成一种能够优势互补的特征提取算子IGLBP。将Sobel梯度算子融入传统LBP算子中,不仅能够提取主要纹理信息,而且通过Sobel算子的平滑作用避免了不重要信息的干扰,表现出对光照和噪声更强的稳健性。不同半径能够提取到的人脸特征信息是不一样的,采用双半径的方式进行特征提取,使得提取的人脸信息更加充分。由于图像的不同方向上存在着不同的纹理细节,在多半径的基础上将传统LBP的8个方向增加到16个方向,通过不同方向上的纹理细节提取,使该算子获取了更加丰富的人脸细节信息。如
式中
3 基于IGLBP的人脸识别
为了对人脸图像进行匹配识别,需要对其进行预处理(裁剪),并基于IGLBP算子提取出人脸特征数据,再根据特征数据采用直方图相交[16]的方式进行人脸分类识别,及计算识别率。
3.1 IGLBP特征提取
IGLBP特征提取流程如
3.2 人脸匹配
在匹配过程中,计算出两张人脸图像特征向量IGLBP编码(即直方图序列)之间相交的距离来衡量两个人脸图像之间的相似度。直方图相交定义为
式中
4 实验结果与分析
4.1 评价方法和实验环境
采用识别率作为人脸匹配的测试评价指标,其计算方法为
式中
实验的仿真环境是MatlabR2014a,Windows10系统,CPU为Intel(R)Core(TM)E3-1231V3,主频为3.4 GHz,内存为8 GB。
4.2 人脸库的选取
实验在AR[17]、CAS-PEAL[18]和YALE人脸库上进行,选择如
AR人脸库包含70个男性和56个女性共计4000多幅的人脸图像,其中存在表情、光照和遮挡等变化。将原始的人脸图像裁剪成120 pixel×165 pixel的分辨单元用于本次实验,将每个人的第一张人脸作为实验的训练样本。选取AR人脸图像库中50个男性和50个女性的3种变化组成4个测试集,每个测试集由3张人脸组成,分别为表情集、光照集、遮挡集A(带眼镜)和遮挡集B(带围巾)。其某个样本的人脸图像如
CAS-PEAL人脸库包含595个中国男性和445个中国女性共计99450幅人脸图像,其中存在背景、光照、饰物、表情和姿态等变化。将原始的人脸图像裁剪成100 pixel×100 pixel的分辨单元用于本次实验,随机选取200人用作实验,训练样本为一张正面人脸,在饰物、背景和表情变化上组成3个测试集,且每个测试集由2张人脸组成,其中某个样本的人脸图像如
图 8. (a)训练样本;(b) AR表情集;(c) AR光照集;(d) AR遮挡A集;(e) AR遮挡B集
Fig. 8. (a) Training sample; (b) AR expression subset; (c) AR illumination subset; (d) AR partial occlusion subset A; (e) AR partial occlusion subset B
图 9. (a)训练样本;(b) CAS-PEAL表情集;(c) CAS-PEAL背景集;(d) CAS-PEAL饰物集
Fig. 9. (a) Training sample; (b) CAS-PEAL expression subset; (c) CAS-PEAL background subset; (d) CAS-PEAL accessory subset
YALE人脸库包含15人,每人11幅共计165幅正面人脸图像,其中存在表情、光照、遮挡等变化。将原始的人脸图像裁剪成100 pixel×100 pixel的分辨单元用于本次实验,随机选取每个人2~5幅图像作为本次实验的训练样本,其余图像作为测试样本。其中某个样本的人脸图像如
4.3 IGLBP算法与其他典型算法识别率对比
不同算法识别率对比实验分别在AR、CAS-PEAL和YALE人脸库中进行。IGLBP算法分别与LBP算法[5]、LDP算法[8]、CSLBP算法[6]和LGBP算法[11]进行比较。仿真结果如
表 1. 不同算法在AR人脸库上的识别率
Table 1. Recognition rate on AR database of different algorithms%
|
由
表 2. 不同算法在CAS-PEAL人脸库上的识别率
Table 2. Recognition rate on CAS-PEAL database of different algorithms%
|
着特征提取不完善的问题。LGBP算法通过Gabor变换将图像的样本进行扩充后,可以有效提取到更多的局部特征信息,因此其识别率有着不俗的表现,但样本扩充导致其特征维数较大和计算较复杂的问题。LDP算法是为解决LBP的缺陷提出来的,有着不错的识别效果,但其在8个方向做模板卷积运算时存在特征提取时间过长的问题。IGLBP算法是一种在更大范围、更充分地提取相对更稳定的特征信息的方法,通过利用不同尺度圆形邻域多条径线上的邻域像素点,并采用相对稳定的GLBP算子进行计算,能有效地挖掘人脸图像特征信息,提高人脸识别能力。在光照、表情、部分遮挡变化等情况下,IGLBP算法取得了较高的识别效果,相对其他传统算法,其结果更加稳定,因此具有较好的稳健性。
表 3. 不同算法在YALE人脸库上的识别率
Table 3. Recognition rate on YALE database of different algorithms%
|
4.4 噪声稳健性实验
为了验证算法的抗噪性能,在CAS-PEAL人脸库各子集上进行加入噪声的实验,采用高斯白噪声作为实验的噪声模型,将均值设置为0,并将归一化方差
式中
表 4. 加入不同方差的高斯噪声后,不同算法在CAS-PEAL背景集人脸库上的实验结果
Table 4. Results on CAS-PEAL background subset of different algorithms after adding different variances of Gaussian noise%
|
表 5. 加入不同方差的高斯噪声后,不同算法在CAS-PEAL表情集人脸库上的实验结果
Table 5. Results on CAS-PEAL expression subset of different algorithms after adding different variances of Gaussian noise%
|
表 6. 加入不同方差的高斯噪声后,不同算法在CAS-PEAL饰物集人脸库上的实验结果
Table 6. Results on CAS-PEAL accessory subset of different algorithms after adding different variances of Gaussian noise%
|
由实验结果可知,加入高斯噪声后,各算法的识别率均开始下降。其中,下降最大的是LBP算法,故该算法提取的人脸特征抗噪性能最差。LDP算法是为解决LBP算法对噪声比较敏感的问题而提出来的,其抗噪能力较强。CSLBP算法计算的是中心对称的两个像素点的差值信息,其对噪声的稳健性高于LBP算法。LGBP算法通过扩充样本能够提取到更多的特征信息,同时在抗噪性能方面也表现不错。当高斯白噪声归一化方差增加到0.0004时,LGBP算法在CAS-PEAL背景集、表情集和饰物集中的
4.5 算法复杂度分析
为了对比各算法的复杂度,以YALE人脸库作为复杂度测试人脸库,实验中随机选取一张人脸作为训练集,其他人脸作为测试集,计算每个算法完成一张人脸图像的识别所需要的平均时间为
式中
表 7. 不同算法在YALE人脸库的特征维数和平均耗时
Table 7. Feature dimensions and average time of different algorithms on YALE database
|
在算法的时间复杂度方面,LBP算法计算周围邻域与中心像素的差值,需要进行8次差运算;LDP算法用Kirsch模板计算图像在8个方向上的强度,需要进行8次卷积运算;CSLBP算法计算4个方向的差值,需要进行4次差运算;LGBP算法采用Gabor变换在5个尺度、8个方向生成40个子图,需要进行40次高斯卷积运算;IGLBP算法用Sobel算子提取4个方向的梯度,需要进行4次卷积运算,4次差运算。虽然在
5 结论
提出一种改进梯度局部二值模式的人脸识别方法。针对传统的LBP算法中多半径采样方式采样不充分的问题提出了一个改进的采样方式,其不仅从多个半径上提取人脸特征信息,而且还从多个方向上提取人脸特征信息,利用了不同半径和不同方向的纹理信息能有效地增强人脸特征的表征能力。针对传统的LBP算法对随机噪声和非一致性光照比较敏感的问题,利用Sobel梯度算子对光照和噪声有类似平滑的效果,提出了GLBP算子,能够提取到对环境变化表现更稳定的纹理信息。实验表明:相比于LBP、CSLBP、LDP和LGBP算法,IGLBP算法能更好地提取分类信息,在人脸识别实验中有着不错的识别率,且在抗噪方面也有着不俗的效果。
[1] Bowyer K W. Face recognition technology: security versus privacy[J]. IEEE Technology & Society Magazine, 2004, 23(1): 9-19.
[2] 李嘉頔, 陈振学, 刘成云. 分块CS-LBP和加权PCA的低分辨率人脸识别[J]. 光电子·激光, 2016, 27(2): 210-216.
Li J D, Chen Z X, Liu C Y. Low-resolution face recognition based on blocking CS-LBP and weighted PCA algorithm[J]. Journal of Optoelectronics·Lasers, 2016, 27(2): 210-216.
[3] 程力勇, 米高阳, 黎硕, 等. 基于主成分分析-支持向量机模型的激光钎焊接头质量诊断[J]. 中国激光, 2017, 44(3): 0302004.
[4] 黄伟, 王晓辉, 江玉珍. 基于列最近邻的线性鉴别分析方法及应用[J]. 计算机工程与应用, 2017, 53(13): 211-215.
Huang W, Wang X H, Jiang Y Z. Linear discriminant analysis method based on column for face recognition[J]. Computer Engineering and Applications, 2017, 53(13): 211-215.
[7] 周汐, 曹林. 分块LBP的素描人脸识别[J]. 中国图象图形学报, 2015, 20(1): 50-58.
Zhou X, Cao L. The sketch face recognition combining with AdaBoost and blocking LBP[J]. Journal of Image and Graphics, 2015, 20(1): 50-58.
[9] 吴迪, 唐勇奇, 林国汉, 等. 基于显著性局部定向模式和深度学习的鲁棒人脸识别[J]. 光电子·激光, 2016, 27(6): 655-661.
Wu D, Tang Y Q, Lin G H, et al. Roboust face recognition based on significance local directional pattern and deep learning[J]. Journal of Optoelectronics·Lasers, 2016, 27(6): 655-661.
[10] YangP, ShanS, GaoW, et al. Face recognition using ada-boosted gabor features[C]∥Proceedings of IEEE International Conference on Automatic Face and Gesture Recognition, 2004: 356- 361.
[11] Zhang WC, Shan SG, GaoW, et al. Local Gabor binary pattern histogram sequence (LGBPHS): a novel non-statistical model for face representation and recognition[C]∥Proceedings of IEEE International Conference on Computer Vision, 2005: 786- 791.
[12] 叶珍, 白璘, 粘永健. 基于Gabor特征与局部保护降维的高光谱图像分类算法[J]. 光学学报, 2016, 36(10): 1028003.
[13] 林森, 徐天扬, 王颖. 基于Gabor小波和NBP算法的手掌静脉识别[J]. 激光与光电子学进展, 2017, 54(5): 051002.
[14] 宋睿, 张合新, 吴玉彬, 等. 激光主动成像图像边缘检测算法研究[J]. 激光与光电子学进展, 2017, 54(8): 081007.
[15] 李莹莹, 张志毅, 袁林. 基于外接圆方法的点云法向量提取[J]. 激光与光电子学进展, 2014, 51(6): 061205.
[17] MartínezA, BenaventeR. The AR face database[R]. Indiana: Purdue University, 1998.
Article Outline
杨恢先, 陈永, 张翡, 周彤彤. 基于改进梯度局部二值模式的人脸识别[J]. 激光与光电子学进展, 2018, 55(6): 061004. Huixian Yang, Yong Chen, Fei Zhang, Tongtong Zhou. Face Recognition Based on Improved Gradient Local Binary Pattern[J]. Laser & Optoelectronics Progress, 2018, 55(6): 061004.