基于热红外光谱的人脸特征提取算法

栗科峰; 黄全振; 卢金燕

doi:doi:10.3788/LOP56.023001

激光与光电子学进展, 2019, 56 (2): 023001, 网络出版: 2019-08-01

基于热红外光谱的人脸特征提取算法下载： 1165次

Extraction Algorithm of Face Features Based on Thermal Infrared Spectra

论文大纲

栗科峰 ^*黄全振卢金燕

作者单位

河南工程学院电气信息工程学院, 河南郑州 451191

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

基于可见光谱人脸识别技术的效率和精度受光照、姿态、遮挡、表情变化和照片欺诈等因素的影响较大,尤其是夜视环境下的人脸识别难题亟待解决。为此,提出了一种基于热红外光谱的人脸特征提取算法。对热红外人脸图像进行数据建模获取极大化数据模型,估计并调整混合模型参数到高斯混合模型;提取热红外高斯混合人脸图像的等温特征,实现热特征图像的重建;最后通过计算概率邻近指数来度量个体间的相似度,给出识别结果。UCHThermalFace数据库的实验结果表明:该方法应对夜视环境下的多姿态、特征变化、随机遮挡和眼部噪声样本具有较高的识别精度和稳健性,极大地提高了人脸识别系统夜视环境下的抗干扰能力。

Abstract

At present, the efficiency and accuracy of face recognition based on visible spectra are strongly influenced by the factors such as lighting, pose, occlusion, expression change and photo fraud, especially the face recognition problems in the night vision environments need to be solved. A face feature extraction algorithm based on thermal infrared spectra is proposed. The thermal infrared face images are modeled to obtain a maximal data model, and the mixed model parameters are estimated and adjusted as a Gaussian mixture model. The isothermal features of thermal infrared Gaussian mixture face images are extracted, and the thermal feature images are reconstructed. The similarity between individuals measured by the calculation of probabilistic proximity index is used to present the recognition results. The experimental results based on the UCHThermalFace database show that the proposed method has relatively high recognition precision and robustness to multiple attitudes, feature changes, random occlusion and eye noise samples, which greatly improves the anti-interference ability of face recognition system in night vision environments.

1 引言

当前,人脸识别技术已经广泛应用到公共安全监测与身份认证领域,极大地提高了司法机关案件取证、罪犯追逃、身份认证和公共安全管理的效率。然而,当前的可见光人脸识别系统无法应对实际非控制环境的各种挑战,如光线变化、人脸表情变化、姿态变化、妆容变化和用照片代替人脸欺诈等^[1-2]。

使用红外热像仪拍摄的热红外人脸图像比可见光人脸图像具有更高的稳定性,可以弥补可见光图像的诸多缺陷。热红外人脸图像的特征是由人的脸部肌肉组织和血管分布等固有因素所决定,以较强稳健性的解剖学细节作为主要特征,由人的遗传基因结构决定,不同的人脸具有完全不同的热辐射模式,不可复制,更不受环境光照等因素的影响,在夜间监测、相似人脸识别(双胞胎)、易容化妆、局部遮挡和照片欺诈等应用条件下具有较强的稳健性,在夜间公共安全监测与身份认证领域具有广泛的应用前景^[3]。

光照变化是影响人脸识别系统精度的主要因素,热红外人脸识别技术成为光照问题的稳健解决方案。热红外成像技术是利用8~14 μm人体辐射的长波红外光谱来成像,取决于辐射率和温度,不需要外部光源来反射可见光谱,它的识别性能对外部环境光照的依赖很小,所以可以将热红外人脸识别技术应用于夜视环境下的人脸识别^[4]。

近几年,热红外人脸识别已经成为生物特征识别领域的一个具有挑战性的研究方向,大多数研究可以通过使用以下两种途径来改善人脸识别的性能:

1) 仅使用红外光谱成像。此类方法可以分为基于外观和基于特征的方法。基于外观的方法使用主成分分析(PCA)^[5]、线性判别分析(LDA)^[6]、独立分量分析(ICA)^[7]和广义高斯混合方法^[8]等技术来处理人脸热图像;基于特征的方法使用局部二值模式(LBP)^[9]、Weber局部描述符^[10]、局部导数模式(LDP)^[11]、定向梯度直方图(HOG)^[12]和Gabor描述符(GJD)^[13]等方法来提取人脸热特征。

2) 使用可见光谱和红外光谱结合的多光谱成像。可见光谱和红外光谱的融合方法需要解决一些问题,这是因为如眼镜阻挡红外光谱问题、可见光不足的照明问题等会影响识别性能。这些技术方案在良好的室内采集条件下可呈现令人满意的结果,但是在不受控制的室外条件下性能不佳^[14-15]。

本文仅使用热红外光谱成像技术,并引入一个新的概念,即高斯混合模型等温特征。通过极大化数据模型的似然度将热红外人脸图像调整到高斯混合模型,然后提取等温特征,实现人脸热特征图像的重建,用概率邻近指数度量不同个体间的相似度,给出精确的识别结果。

2 热红外人脸特征提取算法设计

2.1 热红外人脸图像数据建模

将热红外人脸图像尺度归一化为125 pixel×225 pixel(共28125个特征点)的测试图像,计算热红外人脸图像每个像素的概率密度函数和整个数据模型的联合概率。

设M={x_i∈R^p|i=1,2,…,n,p∈N}是测试图像的像素集,x_i表示测试图像第i个像素,R^p表示p维的实数集,n表示测试图像像素的个数,N为自然数;将测试图像分成K个区域,其中,R_k={x_s∈R^p|s=1,2,…,n_k,p∈N}是形成第k个区域的像素集,k=1,2,…,K,n_k表示第k个区域的像素x_s个数;像素x_i属于第k个区域的概率密度函数为g_k(x_i|θ_k),其中,θ_k为第k个区域估计得到的最大值点,像素x_i用区域像素分布的随机矩阵表示为

\begin{matrix} X = [x_{1} x_{2} \dots x_{K}] 。 (1) \end{matrix}

混合模型参数ϕ是由随机矩阵X的概率密度函数定义的未知参数集,表示为

\begin{matrix} ϕ = {p_{1}, p_{2}, \dots, p_{k}, μ_{1}, μ_{2}, \dots, μ_{k}, σ_{1}, σ_{2}, \dots, σ_{k}}, (2) \end{matrix}

式中:p_k为像素x_s在第k个区域的分布概率;μ_k为第k个区域的所有像素x_s的平均值;σ_k为第k个区域所有像素x_s的标准方差。

随机矩阵X的概率密度函数可表示为

\begin{matrix} f [x_{i} | ϕ (p_{k}, μ_{k}, σ_{k})] = \overset{K}{\sum_{k = 1}} [p_{k} \times g_{k} (x_{i} | θ_{k})], (3) \end{matrix}

整个测试图像数据模型的联合概率可表示为

\begin{matrix} \begin{matrix} L [X | ϕ (p_{k}, μ_{k}, σ_{k})] = f [X | ϕ (p_{k}, μ_{k}, σ_{k})] = \\ \overset{n}{\prod_{i = 1}} f [x_{i} | ϕ (p_{k}, μ_{k}, σ_{k})] 。 (4) \end{matrix} \end{matrix}

2.2 热红外高斯混合人脸图像重建

为了使热红外人脸图像的像素分布更均匀,通过极大化数据模型的似然度获取混合模型参数,然后执行类拟合算法计算极大化数据模型的熵和高斯度,将数据模型调整到高斯混合模型(高斯度G→0),并重建热红外高斯混合人脸图像,具体步骤如下:

1) 计算测试图像每个像素属于区域k的期望概率。令c_ik为概率矩阵C的元素,c_ik表示像素x_i属于测试图像中区域k的期望概率,使用混合模型参数ϕ中分布概率p_k的当前估计值计算概率矩阵C中的元素c_ik作为期望概率,表达式为

\begin{matrix} c_{ik} = \frac{p_{k} \times g_{k} (x_{i} | θ_{k})}{\overset{K}{\sum_{k = 1}} [p_{k} \times g_{k} (x_{i} | θ_{k})]} 。 (5) \end{matrix}

2) 计算每个像素8个邻域隶属概率的加权平均P_ik,更新概率矩阵C和分配权重P'_i,步骤如下。

(1) 计算像素x_i的8个领域隶属概率的加权平均值P_ik。设矩阵P是一个大小为n×K的矩阵,其元素P_ik可表示为

\begin{matrix} P_{ik} = \sum_{xj \in Σ_{8} (xi)} (c_{jk} \times v_{ij}), (6) \end{matrix}

式中:Σ₈(x_i)表示近邻像素x_j属于中心像素x_i的8个邻域;v_ij表示近邻像素x_j对像素x_i的影响;c_jk表示近邻像素x_j属于区域k的概率。

(2) 更新概率矩阵C:如果像素x_i为非自由像素,则用加权平均值P_ik替换概率c_ik来更新概率矩阵C;如果像素x_i为自由像素,则分配给概率c_ik的类与由元素P_ik获得的类相同。

(3) 利用更新后的概率矩阵C计算每个像素的权重

\begin{matrix} P'_{i} = \{\begin{matrix} 1, x_{i} \notin Σ_{8} (x_{i}) \\ 0, ot h er \end{matrix} 。 (7) \end{matrix}

3) 极大化数据模型的似然度获取混合模型参数ϕ={p₁,p₂,…,p_k,μ₁,μ₂,…,μ_k,σ₁,σ₂,…,σ_k}。混合模型参数的估计可表示为

\begin{matrix} \begin{matrix} {\hat{p}}_{k} = \frac{\overset{n}{\sum_{i = 1}} (c_{ik} \times P'_{i})}{\overset{n}{\sum_{i = 1}} P'_{i}}, (8) \\ {\hat{μ}}_{k} = \frac{\overset{n}{\sum_{i = 1}} (c_{ik} \times x_{i} \times P'_{i})}{\overset{n}{\sum_{i = 1}} (c_{ik} \times P'_{i})}, (9) \\ {\hat{σ}}_{k}^{2} = \frac{\overset{n}{\sum_{i = 1}} [c_{ik} \times (x_{i} - {\hat{μ}}_{k})^{2} \times P'_{i}]}{\overset{n}{\sum_{i = 1}} (c_{ik} \times P'_{i})}, (10) \end{matrix} \end{matrix}

式中: $\begin{matrix} {\hat{p}}_{k} \end{matrix}$ 为分布概率p_k的估计; $\begin{matrix} {\hat{μ}}_{k} \end{matrix}$ 为平均值μ_k的估计; $\begin{matrix} {\hat{σ}}_{k} \end{matrix}$ 为标准方差σ_k的估计。

利用估计 $\begin{matrix} {\hat{p}}_{k} \end{matrix}$ 、 $\begin{matrix} {\hat{μ}}_{k} \end{matrix}$ 和 $\begin{matrix} {\hat{σ}}_{k} \end{matrix}$ 分别更新混合模型参数中相应的值,并代入(4)式计算整个测试图像的联合概率L(X|ϕ)。若当前迭代的L(X|ϕ)值大于先前迭代值,则继续执行步骤1)、 2)和3)进行迭代;若当前迭代的L(X|ϕ)值小于先前迭代值,则迭代过程结束,执行样本分类,并估计每个像素的隶属概率。在每次迭代后更新像素集R_k,若要完成对像素x_i所属区域的判断,需使像素x_i的条件概率g_k(x_i|θ_k)最大化,即

\begin{matrix} k_{i} = \underset{k = 1 toK}{\arg \max} [g_{k} (x_{i} | θ_{k})] 。 (11) \end{matrix}

4) 执行类拟合算法将模型调整到高斯混合模型(高斯度G→0),步骤如下。

(1) 计算区域像素集R_k的理论最大熵

\begin{matrix} H_{\max} (x_{k}) = \frac{1}{2} \ln (2 πe σ_{k}^{2}), (12) \end{matrix}

式中: $\begin{matrix} σ_{k}^{2} \end{matrix}$ 是步骤3)中(10)式参数更新后的计算结果。

(2) 计算区域像素集R_k的真实熵

\begin{matrix} H_{real} (x_{k}) = - \overset{nk}{\sum_{j = 1}} [f_{rj} \times \ln (f_{rj})], (13) \end{matrix}

式中:f_rj为区域像素集R_k所有近邻像素x_j的相对频率。

(3) 计算出极大化数据模型的高斯度G。执行步骤1)、2)和3)进行迭代,直到模型的似然度达到最大值,然后利用(14)式计算模型的高斯度

\begin{matrix} G = \overset{K}{\sum_{k = 1}} [p_{k} \times |\frac{H_{\max} (x_{k}) - H_{real} (x_{k})}{H_{\max} (x_{k})}|] 。 (14) \end{matrix}

如果高斯度G→0,表明此时数据模型可以准确调整到高斯混合模型,类拟合算法结束,得到重建的热红外高斯混合人脸图像。

2.3 热红外人脸图像等温特征的提取

在重建的热红外高斯混合人脸图像中选择区域特征点(由区域像素x_s的行、列定义),标注为圆心O_s,s=1,2,…,n_k,计算区域的像素集R_k中每个像素与区域边缘的欧几里得距离d以获取半径r_jk,由具有最大半径r_jk的η个圆标出η个特征点集合作为等温特征集Y_η,并使这些圆彼此不重叠,即

\begin{matrix} \begin{matrix} B_{k} (O_{s}, r_{jk}) = {x_{i} \in R^{p} | i = \\ 1,2, \dots, n, d (O_{s}, O_{i}) < r_{jk}}, (15) \end{matrix} \end{matrix}

式中:在像素x_i的位置(行、列)标注圆心O_i;B_k(O_s,r_jk)为测试图像中的第s个圆;d(O_s,O_i)表示圆心O_s和圆心O_i的欧几里得距离。

由提取的等温特征集Y_η来重建人脸等温特征图像I_η,η个特征点组成的等温特征集为

\begin{matrix} Y_{η} = {B_{l}}_{l = 1 toη}, (16) \end{matrix}

式中:B_l对应于测试图像中第一个最大半径的第l个圆,B_l∩B_m=∅,B_m∈Y_η,l≠m。

2.4 热特征图像相似度的判决

通过计算一对重建人脸热特征图像间的概率近邻指数来实现相似度的判决。

设I= $\begin{matrix} {R_{k}}_{k = 1 toK} \end{matrix}$ 是测试样本的热特征,I_η是由一组η个特征通过(16)式重建的等温特征图像,对于热特征I的每个区域,等温特征图像I_η中的所有像素具有与区域像素集R_k中像素相同的空间位置,Q_k为热特征图像像素集与区域像素集的交集,表示为

\begin{matrix} \begin{matrix} Q_{k} = R_{k} ⋂ I_{η}, Q_{k} = \\ {x_{q} \in R^{p} | q = 1,2, \dots, H, x_{q} \in R_{k}, x_{q} \in Q_{k}}, (17) \end{matrix} \end{matrix}

式中:H为交集Q_k区域的像素个数。一对重建人脸等温特征图像间的概率近邻指数P_PIX为

\begin{matrix} P_{PIX} = \overset{K}{\sum_{k = 1}} \frac{p_{k}}{H} \times \overset{H}{\sum_{q = 1}} [\frac{g_{k} (x_{q} | θ_{k})}{g_{k} (μ_{k} | θ_{k})}], (18) \end{matrix}

式中:条件期望g_k(μ_k|θ_k)为平均值μ_k在最大值点θ_k的概率密度函数。

P_PIX→0表示最大样本差距,P_PIX→1表示完美的相似度,最终由概率近邻指数P_PIX的值给出识别结果。

3 实验及分析

为了评估所提出方法的识别精度和稳健性,选取UCHThermalFace数据库进行多姿态样本的特征变化实验和随机遮挡与眼部噪声实验。

UCHThermalFace数据库的姿态集(R₁~R₁₁子集)和语音集(S₁~S₃子集)是在不同的偏转角度和俯仰角度下对象讲话时获得的室内和室外热红外人脸图像,俯仰角在-15°~ 15°、偏转角在-30°~30°之间变化;表情集是在室内获得的3个表情(快乐、悲伤和愤怒)共102个对象的热红外图像。UCHThermalFace数据库样本图像如图1所示。

图 1. UCHThermalFace数据库样本图像。(a)室内;(b)室外;(c)室内遮挡;(d)室外遮挡;(e)室外讲话

Fig. 1. Sample images in UCHThermalFace database. (a) Indoor; (b) outdoor; (c) indoor occlusion; (d) outdoor occlusion; (e) outdoor speech

下载图片查看所有图片

3.1 实验参数的设置

3.1.1 高斯度G的阈值设置

通过极大化高斯混合模型的似然度来寻找合适的模型参数,如果样本足够多,高斯混合模型能够以任意精度逼近任意的连续分布。但是,高斯混合模型的收敛性较差,可通过设置最大重复迭代次数和高斯度G的阈值来提高该模型的收敛速度。

在本次实验中,选取UCHThermalFace数据库100个训练对象的10类样本(姿态样本5类、噪声样本3类、表情样本2类),共计1000个训练数据进行高斯混合模型的参数估计和算法的收敛性分析。执行(8)式、(9)式和(10)式进行模型参数的迭代更新,每次迭代完成后计算当前迭代的似然度L(X|ϕ)和高斯度G,如果连续两次迭代的高斯度的变化小于某个极小值ε,则算法结束,即

\begin{matrix} |G^{(j)} - G^{(j + 1)}| < ε, (19) \end{matrix}

式中:j为迭代次数。本次实验设定ε=0.0001和最大迭代次数为j_max=600,得到高斯度G随迭代次数的变化曲线如图2所示。

图 2. 高斯度G的迭代曲线

Fig. 2. Iterative curve of Gaussian degree G

下载图片查看所有图片

由图2知,当迭代次数大于200时,高斯度G下降不明显,模型趋于稳定;当迭代次数等于582时, $\begin{matrix} |G^{(582)} - G^{(583)}| \end{matrix}$ <0.0001,迭代停止。为了进一步提高算法的收敛速度,减少迭代次数,加速逼近最优解,在本次实验过程中,迭代时间设为t₂₀₀=87 ms,t₅₈₂=465 ms。对比图2的实验数据,设定 G=0.25(迭代200次时的G值)作为本次实验的阈值,可以在满足模型准确性的条件下大幅度提高算法的收敛速度,迭代运算效率提高了81.3%。

执行类拟合算法计算模型的高斯度,如果G>0.25,表明模型没有调整准确,则寻找高斯度G最差的区域,并引入新的类别,重新返回步骤1)进行迭代,以找到更好的拟合;如果G≤0.25,表明此时数据准确调整到高斯混合模型,类拟合算法结束,输出重建的热红外高斯混合图像。

3.1.2 概率近邻指数P_PIX的阈值设置

概率近邻指数P_PIX可以用于比较具有不同大小和分辨率的重建图像,考虑到噪声会造成同一类别测试样本的P_PIX指数下降,本研究设置合适的P_PIX阈值作为相似度判决的度量。

为了评估噪声大小对概率近邻指数P_PIX的影响,本次实验选取UCHThermalFace数据库R₆子集(偏转角为0°、俯仰角为0°)的样本进行了识别实验,计算R₆子集无噪声样本与具有不同噪声水平样本的P_PIX指数。噪声样本添加均值μ= 0和方差σ²从0~30的高斯加性噪声,P_PIX指数与高斯噪声方差的变化关系曲线如图3所示。

图 3. PPIX指数随高斯噪声方差变化曲线

Fig. 3. PPIX index versus Gaussian noise variance

下载图片查看所有图片

在图3中,蓝色水平线表示每个对象与数据集中其他对象比较时获得的平均P_PIX指数,即该值表示任何对象具有的平均相似度,在本次实验中计算R₆子集平均相似度为0.22。

当使用无噪声图像(σ²=0)时P_PIX指数接近0.9,随着噪声方差的增加,当σ²=30时P_PIX指数逼近0.5。如果P_PIX阈值设置过高,易造成漏识别;如果P_PIX阈值设置过低,易造成误识别,因此本研究设定P_PIX的阈值为0.5,此时噪声方差σ²=30,完全满足常规的噪声环境。若P_PIX≥ 0.5,则表明两测试样本类别相同;若P_PIX<0.5,则表明两测试样本为不同类别。

3.2 多姿态样本的特征变化实验

实验选取UCHThermalFace数据库6个姿态集(R₁~R₆子集)进行特征数变化的识别实验,来验证算法应对多姿态样本的稳健性。高斯混合模型等温特征的提取过程如图4所示。

原始热红外人脸图像如图4(a)所示;通过更新概率矩阵和分配权重,得到重建后的热红外高斯混合人脸图像如图4(b)所示;然后选择特征点像素位置标注圆心,计算半径,获取特征点图像如图4(c)所示;由具有最大半径r_jk的η个圆标出η个特征点集合构成的等温特征集Y_η来重建人脸等温特征图像,如图4(d)所示;最后再通过(18)式计算一对重建人脸热特征图像间的概率近邻指数P_PIX来完成人脸识别。

图 4. 高斯混合模型等温特征的提取过程。(a)原始图像;(b)高斯混合图像;(c)特征点图像;(d)等温特征图像

Fig. 4. Extraction process of isothermal features in Gaussian mixture model. (a) Original image; (b) Gaussian mixture image; (c) feature point image; (d) isothermal feature image

下载图片查看所有图片

选取UCHThermalFace数据库6个姿态集(R₁~R₆子集)进行不同特征数的识别实验,测试对象到红外热像仪(FLIR,TAU 320)距离固定为120 cm,测试图像在室内采集,室内温度为22 ℃,尺寸为125 pixel×225 pixel,最大特征数为28125,R₁~R₆子集分别对应以下姿态:R₁:(偏转角为-15°、俯仰角为15°),R₂:(偏转角为0°、俯仰角为15°),R₃:(偏转角为15°、俯仰角为15°),R₄:(偏转角为-30°、俯仰角为0°),R₅:(偏转角为-15°、俯仰角为0°),R₆:(偏转角为0°、俯仰角为0°),选取53个对象6个姿态图像,共计318个测试样本,分别进行特征数η=20,40,60,80,100,300,1000,5000,10000,20000和28125时的对比实验,实验数据如表1所示。

由表1数据分析可知,对于夜视环境下的多姿态样本,500个特征点是必要的(相对于全尺寸图像28125个特征),算法的平均识别率可以稳定达到95%以上。通过提取高斯混合模型等温特征,仅需要全部特征集1.8%的特征数就能达到与全尺寸特征相当的识别率, R₆子集为正面姿态,其识别率最高,当样本特征数大于60后可以稳定达到100%的高识别率;R₄子集识别率最低,其偏转角最大,但仍然可以达到91.37%的识别精度,完全可以满足夜视环境下姿态变化的识别需求;此外,全尺寸特征的平均识别时间为1.642 s,η=500时平均识别时间仅为231 ms,完全可以满足高精度下的实时性要求。

表 1. 多姿态样本特征数变化的实验数据

Table 1. Experimental data for different feature numbers of multi-pose samples

Number offeatures η	Recognition rates of different subsets /%							Averagerecognitiontime /ms
Number offeatures η		R₁	R₂	R₃	R₄	R₅	R₆	Average recognitionrate /%
20	81.46	92.17	83.01	77.12	84.65	98.75	87.14	18
40	86.75	93.32	89.23	82.16	91.38	99.42	91.10	25
60	89.27	94.71	90.52	83.45	90.56	100.00	91.85	63
80	91.31	95.72	92.86	84.25	91.24	100.00	92.81	71
10030050010005000100002000028125	92.6394.2695.2195.6095.7395.8896.0496.32	96.0196.6397.0497.5298.1698.6598.8799.14	93.1994.3895.3795.6895.8195.9296.4496.65	85.1686.2587.2287.6988.1489.4190.2691.37	92.9794.3495.5395.7295.8595.9696.5396.44	100.00100.00100.00100.00100.00100.00100.00100.00	93.3394.3195.0695.3795.6295.9796.3696.65	10317623137963596212371642

查看所有表

本文算法与其他方法如:独立分量分析(ICA)^[7]、局部二值模式(LBP)^[9]、局部导数模式(LDP)^[11]和Gabor描述符(GJD)^[13]在应对多姿态样本(R₁~R₆子集)时的性能如图5所示。

图 5. 不同方法特征变化的识别率对比

Fig. 5. Recognition rate comparison of feature changes by different methods

下载图片查看所有图片

由图5可知,在样本特征点不足时,本文算法的精度远远高于其他4种方法,本文算法在特征数η=40时的平均识别率与其他4种方法特征数η=300时相当,突显了本文算法在夜视环境下识别特征采集不足样本时的优越性;随着特征数的增加,本文算法与GJD方法精度比较接近,但均高于ICA、LBP和LDP 3种方法。

3.3 随机遮挡与眼部噪声实验

本实验选取UCHThermalFace数据库随机遮挡比例为10%的遮挡数据集和在眼睛区域分别添加2.5%、5%和10%的噪声数据集进行识别实验,来验证本文算法应对夜视环境下随机遮挡样本时的优越性和人眼检测的准确性。

选取UCHThermalFace数据库中佩戴墨镜的测试样本再进行10%随机遮挡的热红外图像,执行本文算法的实验过程,如图6所示。

如图6(d)所示,提取出具有最大半径的η个圆并标出η个特征点集合来构成等温特征集Y_η,然后再通过(18)式计算一对热特征图像间的概率近邻指数P_PIX来完成人脸识别。

夜视环境下眼睛检测的准确性直接影响人脸对准与否,决定人脸识别的精度,选用3种眼部噪声比例2.5%、5%和10%的噪声子集样本来检验本文算法的稳健性。测试图像在室内采集,测试对象到红外热像仪(FLIR,TAU 320)距离固定为120 cm,室内温度为22 ℃,尺寸为100 pixel×185 pixel,最大特征数为18500。遮挡子集样本是将图像分为10个不同区域,随机选取一个区域作为遮挡块,并将其像素值设置为0来模拟10%的随机遮挡,选取53个对象的5类热红外图像(正常、10%遮挡、2.5%噪声、5%噪声、10%噪声)共计265个测试样本,随机遮挡与添加眼部噪声的热红外图像如图7所示。

本文算法与其他方法在应对随机遮挡和眼部噪声样本时的性能对比如图8所示。

图 6. 随机遮挡样本的等温特征提取过程。(a)原始图像;(b) 10%遮挡图像;(c)特征点图像;(d)等温特征图像

Fig. 6. Isothermal feature extraction process for random occlusion samples. (a) Original image; (b) 10% occlusion image; (c) feature point image; (d) isothermal feature image

下载图片查看所有图片

图 7. 随机遮挡与眼部噪声样本图像。(a)正常;(b) 10%遮挡;(c) 2.5%噪声;(d) 5%噪声;(e) 10%噪声

Fig. 7. Images of random occlusion and eye noise samples. (a) Original image; (b) 10% occlusion image; (c) 2.5% noise; (d) 5% noise; (e) 10% noise

下载图片查看所有图片

图 8. 随机遮挡与眼部噪声样本识别率对比

Fig. 8. Recognition rate comparison among random occlusion and eye noise samples

下载图片查看所有图片

在图8中,面对夜视环境下的5种测试样本, GJD方法与本文算法比较接近,但是当眼部噪声比例变大,GJD方法的识别率下降比较快; ICA方法的性能随着眼部噪声比例的增加下降最快,这是因为眼部噪声使特征点之间的独立性降低,极大地影响了人眼定位的准确性。本文算法相对于其他4种红外光谱识别方法均取得了较高的识别精度,10%随机遮挡样本的平均识别率达到92.59%,即使添加10%的眼部噪声,识别率也达到了90.17%。

尽管遮挡和眼部噪声的影响使本文算法的识别精度有所降低,但是提取等温特征后计算一对热特征图像间的概率近邻指数,足以完成人脸分类过程,这是因为等温特征向量以较强稳健性的解剖学细节作为主要特征,受环境光照及局部遮挡和噪声的影响较小,所以,基于高斯混合模型等温特征的热红外人脸识别技术特别适用于夜间公共安全监控与身份认证。

4 结论

为了解决当前可见光识别技术难题,通过提取热红外光谱下人脸图像的高斯混合模型等温特征,实现人脸热特征图像的重建,并通过计算一对热特征图像间的概率邻近指数得出识别结果。在UCHThermalFace数据库上进行了夜视环境下的多姿态、特征变化、局部遮挡和眼部噪声样本的实验,获得了有竞争力的性能。

1) 在多姿态样本的特征变化实验中,本文算法仅需要全部特征集1.8%的特征数就能达到与全尺寸特征相当的识别率,平均识别率可以稳定达到95%以上;全尺寸特征的平均识别时间为1.642 s,η=500时平均识别时间仅为231 ms,完全可以满足高精度下的实时性要求。

2) 在随机遮挡与眼部噪声实验中,10%随机遮挡样本的平均识别率达到92.59%,即使添加10%的眼部噪声,识别率也达到了90.17%,精度均高于其他4种红外光谱识别方法。

因此,基于热红外光谱的人脸特征提取算法可以广泛应用于夜视环境下的安全监控和身份认证,具有极大的市场前景。

参考文献

[1] 夏军, 裴东, 王全州, 等. 融合Gabor特征的局部自适应三值微分模式的人脸识别[J]. 激光与光电子学进展, 2016, 53(11): 111004.

Xia J, Pei D, Wang Q Z, et al. Face recognition based on local adaptive ternary derivative pattern coupled with Gabor feature[J]. Laser & Optoelectronics Progress, 2016, 53(11): 111004.

[2] 李雅倩, 李颖杰, 李海滨, 等. 融合全局和局部多样性特征的人脸表情识别[J]. 光学学报, 2014, 34(5): 0515001.

Li Y Q, Li Y J, Li H B, et al. Fusion of global and local various feature for facial expression recognition[J]. Acta Optica Sinica, 2014, 34(5): 0515001.

[3] 陈木生, 蔡植善. 基于NSCT的红外与可见光图像融合方法研究[J]. 激光与光电子学进展, 2015, 52(6): 061002.

Chen M S, Cai Z S. Study on fusion of visual and infrared images based on NSCT[J]. Laser & Optoelectronics Progress, 2015, 52(6): 061002.

[4] Hermosilla G. Ruiz-del-Solar J, Verschae R. A comparative study of thermal face recognition methods in unconstrained environments[J]. Pattern Recognition, 2012, 45(7): 2445-2459.

[5] ChenX, Flynn PJ, Bowyer KW. PCA-based face recognition in infrared imagery: Baseline and comparative studies[C]∥2003 IEEE International SOI Conference. Proceedings, October 17, 2003, Nice, France, France. New York: IEEE, 2003: 127- 134.

[6] Socolinsky D A, Selinger A, Neuheisel J D. Face recognition with visible and thermal infrared imagery[J]. Computer Vision and Image Understanding, 2003, 91(1/2): 72-114.

[7] Bartlett M S, Movellan J R, Sejnowski T J. Face recognition by independent component analysis[J]. IEEE Transactions on Neural Networks, 2002, 13(6): 1450-1464.

[8] Akhloufi M A, Bendada A. Infrared face recognition using distance transforms[J]. International Journal of Computer, Electrical, Automation, Control and Information Engineering, 2008, 2(4): 1002-1005.

[9] Ahonen T, Hadid A, Pietikainen M. Face description with local binary patterns: Application to face recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(12): 2037-2041.

[10] Chen J, Shan S G, He C, et al. WLD: A robust local image descriptor[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(9): 1705-1720.

[11] Chen X, Hu F Y, Liu Z L, et al. Multi-resolution elongated CS-LDP with Gabor feature for face recognition[J]. International Journal of Biometrics, 2016, 8(1): 19-32.

[12] Xie ZH, JiangP, ZhangS. Fusion of LBP and HOG using multiple kernel learning for infrared face recognition[C]∥2017 IEEE/ACIS 16th International Conference on Computer and Information Science, May 24-26, 2017, Wuhan, China. New York: IEEE, 2017: 81- 84.

[13] Hermosilla G, Gallardo F, Farias G, et al. Fusion of visible and thermal descriptors using genetic algorithms for face recognition systems[J]. Sensors, 2015, 15(8): 17944-17962.

[14] Ghiass R S, Arandjelovic O, Bendada A, et al. Infrared face recognition: A comprehensive review of methodologies and databases[J]. Pattern Recognition, 2014, 47(9): 2807-2824.

[15] Fonnegra RD, MolinaA, Pérez-Zapata A F, et al. MSpecFace: A dataset for facial recognition in the visible, ultra violet and infrared spectra[C]∥Botto-Tobar M, Esparza-Cruz N, León-Acurio J, et al. International Conference on Technology Trends 2017: Communications in Computer and Information Science, Cham: Springer, 2017, 798: 160- 170.

栗科峰, 黄全振, 卢金燕. 基于热红外光谱的人脸特征提取算法[J]. 激光与光电子学进展, 2019, 56(2): 023001. Kefeng Li, Quanzhen Huang, Jinyan Lu. Extraction Algorithm of Face Features Based on Thermal Infrared Spectra[J]. Laser & Optoelectronics Progress, 2019, 56(2): 023001.

基于热红外光谱的人脸特征提取算法下载： 1165次

1 引言

2 热红外人脸特征提取算法设计

2.1 热红外人脸图像数据建模

2.2 热红外高斯混合人脸图像重建

2.3 热红外人脸图像等温特征的提取

2.4 热特征图像相似度的判决

3 实验及分析

图 1. UCHThermalFace数据库样本图像。(a)室内;(b)室外;(c)室内遮挡;(d)室外遮挡;(e)室外讲话

Fig. 1. Sample images in UCHThermalFace database. (a) Indoor; (b) outdoor; (c) indoor occlusion; (d) outdoor occlusion; (e) outdoor speech

3.1 实验参数的设置

图 2. 高斯度G的迭代曲线

Fig. 2. Iterative curve of Gaussian degree G

图 3. PPIX指数随高斯噪声方差变化曲线

Fig. 3. PPIX index versus Gaussian noise variance

3.2 多姿态样本的特征变化实验

图 4. 高斯混合模型等温特征的提取过程。(a)原始图像;(b)高斯混合图像;(c)特征点图像;(d)等温特征图像

Fig. 4. Extraction process of isothermal features in Gaussian mixture model. (a) Original image; (b) Gaussian mixture image; (c) feature point image; (d) isothermal feature image

表 1. 多姿态样本特征数变化的实验数据

Table 1. Experimental data for different feature numbers of multi-pose samples

图 5. 不同方法特征变化的识别率对比

Fig. 5. Recognition rate comparison of feature changes by different methods

3.3 随机遮挡与眼部噪声实验

图 6. 随机遮挡样本的等温特征提取过程。(a)原始图像;(b) 10%遮挡图像;(c)特征点图像;(d)等温特征图像

Fig. 6. Isothermal feature extraction process for random occlusion samples. (a) Original image; (b) 10% occlusion image; (c) feature point image; (d) isothermal feature image

图 7. 随机遮挡与眼部噪声样本图像。(a)正常;(b) 10%遮挡;(c) 2.5%噪声;(d) 5%噪声;(e) 10%噪声

Fig. 7. Images of random occlusion and eye noise samples. (a) Original image; (b) 10% occlusion image; (c) 2.5% noise; (d) 5% noise; (e) 10% noise

图 8. 随机遮挡与眼部噪声样本识别率对比

Fig. 8. Recognition rate comparison among random occlusion and eye noise samples

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于热红外光谱的人脸特征提取算法 下载： 1165次

1 引言

2 热红外人脸特征提取算法设计

2.1 热红外人脸图像数据建模

2.2 热红外高斯混合人脸图像重建

2.3 热红外人脸图像等温特征的提取

2.4 热特征图像相似度的判决

3 实验及分析

图 1. UCHThermalFace数据库样本图像。(a)室内;(b)室外;(c)室内遮挡;(d)室外遮挡;(e)室外讲话

Fig. 1. Sample images in UCHThermalFace database. (a) Indoor; (b) outdoor; (c) indoor occlusion; (d) outdoor occlusion; (e) outdoor speech

3.1 实验参数的设置

图 2. 高斯度G的迭代曲线

Fig. 2. Iterative curve of Gaussian degree G

图 3. PPIX指数随高斯噪声方差变化曲线

Fig. 3. PPIX index versus Gaussian noise variance

3.2 多姿态样本的特征变化实验

图 4. 高斯混合模型等温特征的提取过程。(a)原始图像;(b)高斯混合图像;(c)特征点图像;(d)等温特征图像

Fig. 4. Extraction process of isothermal features in Gaussian mixture model. (a) Original image; (b) Gaussian mixture image; (c) feature point image; (d) isothermal feature image

表 1. 多姿态样本特征数变化的实验数据

Table 1. Experimental data for different feature numbers of multi-pose samples

图 5. 不同方法特征变化的识别率对比

Fig. 5. Recognition rate comparison of feature changes by different methods

3.3 随机遮挡与眼部噪声实验

图 6. 随机遮挡样本的等温特征提取过程。(a)原始图像;(b) 10%遮挡图像;(c)特征点图像;(d)等温特征图像

Fig. 6. Isothermal feature extraction process for random occlusion samples. (a) Original image; (b) 10% occlusion image; (c) feature point image; (d) isothermal feature image

图 7. 随机遮挡与眼部噪声样本图像。(a)正常;(b) 10%遮挡;(c) 2.5%噪声;(d) 5%噪声;(e) 10%噪声

Fig. 7. Images of random occlusion and eye noise samples. (a) Original image; (b) 10% occlusion image; (c) 2.5% noise; (d) 5% noise; (e) 10% noise

图 8. 随机遮挡与眼部噪声样本识别率对比

Fig. 8. Recognition rate comparison among random occlusion and eye noise samples

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于热红外光谱的人脸特征提取算法下载： 1165次