基于T分布混合模型的多光谱人脸图像配准

李巍; 董明利; 吕乃光; 娄小平

doi:doi:10.3788/AOS201939.0710001

光学学报, 2019, 39 (7): 0710001, 网络出版: 2019-07-16

基于T分布混合模型的多光谱人脸图像配准下载： 1045次

Multispectral Face Image Registration Based on T-Distribution Mixture Model

论文大纲

李巍 ¹董明利 ^2,*吕乃光 ^1,2娄小平 ²

作者单位

¹ 北京邮电大学信息光子学与光通信研究院, 北京 100876

² 北京信息科技大学光电测试技术及仪器教育部重点实验室, 北京 100192

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为了降低多光谱人脸图像中出现的非刚性形变、噪声和离群点等因素对配准结果的准确性和稳健性的影响,提出一种综合考虑特征点的空间几何结构和局部形状特征两方面信息的多光谱人脸图像配准方法。所提方法首先通过基于内部距离的形状上下文描述子来表述点集的局部特征信息,建立可见光和红外图像相似性测度函数。然后利用Student's-T分布混合模型来表示图像特征点集配准过程中变换模型估计问题,并采用期望最大化算法对模型进行求解。仿真数据表明在点集存在非刚性形变、噪声和离群点的情况下,所提方法仍可以实现点集间的精确配准。可见光和红外人脸真实图像数据表明所提方法的平均匹配误差和运算效率都优于对比算法,配准融合后的多光谱人脸图像可以提高后续的人脸检测和识别性能。

Abstract

In order to enhance the accuracy and robustness of multispectral face registration results suffering from non-rigid deformation, noise, and outliers, a multispectral face registration method based on the spatial geometrical structure and local shape features of feature points is proposed. On the one hand, we use inner-distance shape context as the local shape feature of the point set, and create the similarity measure function between visible and infrared images. On the other hand, a Student's-T mixture model is used to represent the transformation model estimation in non-rigid point set registration process, and the model can be solved by using the expectation maximization algorithm. The simulation results show that the proposed method can realize exactly registration of point sets with deformation, noise,and outliers. The visible and infrared real image databases demonstrate that the matching error and computing efficiency of the proposed method outperform those of the comparison methods. As a result, the multispectral face images after registration and fusion will improve the performances of follow-up face detection and recognition.

1 引言

图像融合技术能够分析提取多光谱图像传感器的互补信息,从而合成一幅能详尽表达复杂目标场景信息的准确图像。由于图像融合过程更切合人眼的视觉特性,对于研究目标检测和识别方法具有重要的意义,因此被广泛应用于遥感图像处理、医学影像分析、**目标检测、视频安防监控等领域^[1-3]。人脸识别作为一种有效的非接触式生物识别手段,一直以来都是模式识别领域的研究热点。鉴于可见光与红外图像反映的人脸特征信息不同,例如:可见光图像分辨率高,可以提供丰富的人脸细节信息;而红外图像具有较高的热对比度,不易受到外界环境光照、姿态及伪装等因素对人脸识别性能的影响,因此将可见光与红外图像融合应用到人脸识别领域是目前人脸识别技术的发展趋势^[4]。然而,快速准确地实现异源图像的配准是多传感器图像融合成功的前提,也是决定图像融合技术发展的关键环节^[5]。

目前,异源图像如红外和可见光图像的配准方法可以分为两种。第一种方法是建立双波段共轴光路系统,利用分束器让同一个窗口输入的双波段光线分别在不同传感器上成像^[6],这种通过搭建同轴光路的硬件配准方法虽然精度高,但是光学系统结构复杂,成本高,体积大,不具有普遍适用性。第二种方法是先建立双波段旁轴光路系统,再利用后续的图像配准算法补偿平行光路系统带来的视差,这种方法虽然没有前者配准精度高,但是光学系统结构简单,成本低廉,体积小,更适合应用于实际目标检测和场景识别领域^[7]。针对第二种通过后续软件进行图像校正的配准方法,目前常用的策略是将图像配准视为一个概率密度估计问题,并采用高斯混合模型(GMM)建模对图像变换关系进行求解。2010年Boughorbel等^[8]提出一种基于高斯场准则刚性图像配准方法。随后,Myronenko等^[9]提出一种基于高斯统计模型的一致性点漂移算法(CPD),该算法正则化配准图像点集中的位置偏移场,使之遵从运动一致性原理(MCT),可以解决刚性以及非刚性图像配准问题,对于噪声、离群点具有一定的抑制能力。2015年Ma等^[10]在Boughorbel刚性配准模型基础上加入正则项,将Boughorbel刚性配准模型扩展为非刚性配准模型。此外,为加快可见光和红外人脸图像的配准速度,Tian等^[11]提出一种仅利用人脸面部外围轮廓信息进行刚性配准的方法。考虑到高斯分布只能描述具有高斯特征的图像数据,不能准确地描述具有重尾特征的图像数据,而Student's-T分布自身具有重尾的特点,可通过自由度控制分布曲线形态及尾部厚度,能够适应不同类型的图像数据需要。Gerogiannis等^[12]选用Student's-T分布代替高斯分布实现刚性图像的配准。Zhou等^[13]参照CPD算法,在Student's-T分布混合模型的基础上加入变形场,提出一种基于Student's-T分布的非刚性图像配准方法,但是该算法在图像配准中只考虑了特征点的空间约束信息,并没有考虑特征点的局部形状特征。2017年Maiseli等^[14]总结了近些年来图像配准技术的研究现状及发展趋势,指出充分利用Student's-T分布对噪声和离群点不敏感的优势进行建模,将会是非刚性图像配准技术的一个发展方向。

本文综合考虑特征点的空间几何结构和局部形状特征两方面信息,解决非刚性人脸图像的配准过程中存在的问题,在基于特征的图像配准方法框架基础上,提出一种由粗到细的可见光和红外人脸图像配准方法。该方法首先利用基于内部距离的形状上下文(IDSC)描述子作为局部特征信息,建立图像特征点的初始匹配关系;然后将非刚性点集的配准过程转化为Student's-T分布概率密度函数的参数估计问题;最后通过最大化观测数据的Student's-T分布后验概率求解点集的空间变换模型,并利用薄板样条插值方法实现可见光和红外人脸图像的配准。实验结果表明,该方法可以实现可见光和红外人脸图像的精确配准,具有较强的稳健性。

2 算法描述

2.1 基于特征的人脸图像配准基本框架

与基于区域的图像配准方法不同,基于特征的图像配准方法首先提取两幅图像的显著特征以形成特征点集,然后确立模板点集与目标点集之间的对应关系,并估计图像间空间坐标的变换参数,从而实现图像配准。图1所示为基于特征的可见光和红外人脸图像配准过程。由图1可知,基于特征的图像配准过程主要包括特征提取、特征描述、特征匹配及图像变换与插值,其中关键的两个步骤为特征提取与特征匹配。

特征提取的目的是在图像中尽可能多地提取一些显著性或辨识度较高的点。例如,针对可见光和红外图像两种不同的成像模式,常用的包含纹理信息的灰度或颜色特征并不适用于表示异源图像的共有信息,而是采用特定的显著性结构特征(如角点,强边缘、具有高曲率的点、直线交叉点、结构性轮廓)来表示异源图像的共同信息。其中,Canny边缘检测采用双阈值检测图像的强、弱边缘,具有信噪比高、边界点定位性能好、边缘的误检率低等优点,因此使用Canny算子提取可见光和红外人脸图像显著性特征。提取到图像的轮廓边界后,在轮廓上均匀采样就可以得到可见光和红外图像对应的模板点集和目标点集。

图 1. 基于特征的可见光和红外人脸图像配准流程

Fig. 1. Infrared and visible face image registration process based on feature maps

下载图片查看所有图片

特征匹配的目的是建立模板点集与目标点集的正确对应关系,并估计一个变换函数将模板点集对齐到目标点集。一般来说,如果两个点集表示相似的形状,那么对应点将会有相似的领域结构信息,可以用直方图来描述这种局部特征。然而,仅依赖相邻像素间的局部特征只能得到粗略的配准,还需要结合特征点之间的空间位置约束信息进一步提高配准精度。因此,针对可见光和红外人脸图像配准关键问题,本文提出一种基于局部特征和Student's-T混合模型(SMM)的图像配准方法,该方法分为以下两个步骤: 1)利用IDSC信息作为点集局部特征描述子,建立点集间的初始配准关系;2)采用Student's-T分布构建包含点集空间位置相关性的概率统计模型,剔除初始配准点集中的噪声和离群点,实现可见光和红外图像特征点集间的精确配准。

2.2 基于局部特征描述子的初始配准

形状上下文(SC)^[15]是一种常用的基于形状轮廓的局部特征描述算法,其本质是把轮廓边界采样点中该点相对于其他特征点的角度及距离的统计直方图作为轮廓上每个点的形状上下文信息。而IDSC^[16]是在SC算法的基础上引入对连接、部分结构不敏感的内部距离来取代采样点间的欧氏距离,与传统的SC算法相比,IDSC算法对目标存在结构上或者关联上的失真以及非刚性变形具有良好的稳健性,因此采用IDSC算法作为局部特征描述子来建立点集间的初始配准。其中,内部距离可以理解为在形状内部两点间的最短距离,如果连接两点之间的线段都位于特征形状的内部,则两点之间的内部距离就等于欧氏距离。如果连接两点之间的线段不全位于特征形状内部,则内部距离实际上是各个采样点之间欧氏距离的代数和,可以利用Bellman-Ford最短路径算法来计算任意两点之间的最短路径。

对于每个采样点,计算该点到其余点的内部距离和角度,从而得到一个基于距离和角度分割的二维统计直方图,称之为每个采样点的IDSC局部特征描述子。设n为轮廓边界采样点的数量, n_θ表示直方图横坐标轴中划分的角度区间数量,n_d表示直方图纵坐标轴中划分的对数距离区间数量。图2所示为IDSC人脸轮廓特征提取示例,当n=100,n_θ=12,n_d =5时,图2(c)标出了图2(b)轮廓上4个采样点所对应的IDSC特征直方图。

从图2可以看出,对于轮廓上不同的采样点,对应的IDSC特征直方图不相同,具有较好的区分性,因此可以利用该特征描述子之间的相似性建立粗略的点集配准关系。考虑到IDSC是利用直方图分布的统计特征进行描述的,采用卡方检验作为两幅图像IDSC相似性匹配测度,即

C (p_{i}, q_{j}) = \frac{1}{2} \overset{K}{\sum_{k = 1}} \frac{[H_{p, i} (k) - H_{q, j} {(k)]}^{2}}{H_{p, i} (k) + H_{q, j} (k)}, (1)

式中:K为统计直方图分割的区间数量;k为序号;H_p_,_i(k)为模板集中点p_i对应的IDSC直方图;H_q_,_j(k)为目标集中点q_j对应的IDSC直方图。卡方值C(p_i,q_j)越小,表示p_i和q_j两点在形状或结构上特征越相似。

2.3 基于空间位置约束的精确配准

为进一步提高图像特征点集的配准精度,在图像配准过程中还需考虑特征点的空间位置分布信息。高斯混合模型作为一种常用的聚类方法,广泛应用于图像的分割和配准领域^[9]。但是由于高斯分布属于轻尾分布,噪声和离群点的存在会对模型参数估计的结果有较大影响,因此需要一种更稳健的概率模型来尽量减少这种影响。与高斯分布相比,Student's-T分布属于重尾分布,具有较好的稳健性,更适合处理数据集中、存在噪声和离群点等少概率事件的情况^[17]。如图3所示,Student's-T分布曲线是随自由度υ变化的一组曲线,自由度υ越小,Student's-T分布曲线越分散,曲线中间越低,重尾特征越明显;自由度υ越大,Student's-T分布曲线越逼近高斯分布。

图 2. IDSC人脸轮廓特征提取示意图。(a)人脸轮廓采样点构成的Bellman-Ford最短路径图;(b)标记的4个采样点;(c)对应的IDSC特征直方图

Fig. 2. Diagrams of face silhouette feature extraction based on IDSC. (a) Bellman-Ford shortest path graph built using face silhouette landmark points; (b) four marked points; (c) their IDSC feature histograms

下载图片查看所有图片

图 3. 不同自由度下的Student's-T分布曲线

Fig. 3. Student's T distribution for various degrees of freedom

下载图片查看所有图片

假设目标点集和模板点集分别表示为X_N_×_D=(x₁, x₂,…, x_N)^T, Y_M_×_D=(y₁, y₂,…, y_M)^T,其中D表示点集中特征点的维数大小,N表示目标点集的大小,M表示模板点集的大小,x₁, x₂,…, x_N为目标点,y₁, y₂,…, y_M为模板点。以模板点集Y_M_×_D中各点作为SMM中各分量Student's-T分布的质心,而目标点集X_N_×_D表示SMM所生成的观测样本数据,则定义多元SMM概率密度函数为

f (x | ψ) = \overset{M}{\sum_{i = 1}} ω_{i} f (x_{j} | y_{i}, Σ_{i}, υ_{i}) = \overset{M}{\sum_{i = 1}} ω_{i} \frac{Γ (\frac{υ_{i} + D}{2}) {|Σ_{i}|}^{- \frac{1}{2}}}{(π υ_{i})^{\frac{D}{2}} Γ (\frac{υ_{i}}{2}) {[1 + \frac{d (x_{j}, y_{i}; Σ_{i})}{υ_{i}}]}^{\frac{υ_{i} + D}{2}}}, (2)

式中:x为目标点集组成的列向量;d(x_j,y_i;Σ_i)=(x_j-y_i)^T $Σ_{i}^{- 1} (x_{j} - y_{i})$ 表示点x_j与y_i马氏距离的平方,j为目标点序号,i为模板点序号;Γ(•)为Gamma函数;参数集合ψ=(w₁, w₂,…,w_m, y₁, y₂,…,y_m,Σ₁,Σ₂,…, ${Σ_{m}}_{,}$ υ₁, υ₂,…, υ_m),其中w、y、Σ、υ分别代表SMM中各个Student's-T分布分量的权重系数、质心位置、协方差和自由度,下标m为T分布分量的个数。f(x_j| ${y_{i}}_{,} {Σ_{i}}_{,}$ υ_i)是SMM中第i个分量的类条件概率密度函数。设T(Y, θ)表示模板点集Y到目标点集X的空间变换关系,其中θ表示变换模型中的参数集合,将(2)式SMM中的各个Student's-T分布分量的质心y_i按照参数集θ进行空间变换得到T(y_i, θ),即空间变换参数θ的计算过程可以视为SMM中的各个Student's-T分布分量的质心y_i逐渐向目标点集中的对应点x_i靠拢的过程,通过最大化观测数据的对数似然函数可以将SMM中质心拟合至目标点集中的对应点,则图像特征点集间的配准问题可以转化为多元SMM概率模型的参数估计问题求解。

为了方便计算多元SMM的极大似然估计,需要引入观测数据X_j的索引变量U_j组成完全数据Z_j=(X_j, U_j),标记每个观测数据x_j来自哪一成分。当标记变量z_ij=(z_j)_i=1时,样本X_j服从均值为y_i、方差为Σ_i/u_j的正态分布,索引变量U_j服从形状和尺度参数都为υ_i/2的Gamma分布,即

\{\begin{array}{l} X_{j} | y_{i}, z_{ij} = 1 ~N (y_{i}, Σ_{i} / u_{j}) \\ U_{j} | z_{ij} = 1 ~ Γ (\frac{υ_{i}}{2}, \frac{υ_{i}}{2}) \end{array}, (3)

则完全数据的对数似然函数ln L_C(ψ)可以表示为完全数据Z_j的边缘密度函数L_1C(w)、给定完全数据分量 ${z_{i}}_{j}$ 后索引变量U_j的条件密度函数L_2C(υ)以及给定 ${z_{i}}_{j}$ 和u_j后样本X_j的条件密度函数L_3C(y,Σ)三者的乘积,即

\ln L_{C} (ψ) = \ln [\overset{N}{\sum_{j = 1}} \overset{M}{\sum_{i = 1}} ω_{i} f (x_{j} | y_{i}, Σ_{i}, υ_{i})] = \ln L_{1 C} (w) + \ln L_{2 C} (υ) + \ln L_{3 C} (y, Σ), (4)

其中

\{\begin{array}{l} \ln L_{1 C} (w) = - \overset{N}{\sum_{j = 1}} \overset{M}{\sum_{i = 1}} z_{ij} \ln w_{i} \\ \ln L_{2 C} (υ) = - \overset{N}{\sum_{j = 1}} \overset{M}{\sum_{i = 1}} z_{ij} [- lnΓ (\frac{υ_{i}}{2}) + \frac{υ_{i}}{2} \ln (\frac{υ_{i}}{2}) + \frac{υ_{i}}{2} (\ln u_{j} - u_{j}) - \ln u_{j}] \\ \ln L_{3 C} (y, Σ) = - \overset{N}{\sum_{j = 1}} \overset{M}{\sum_{i = 1}} z_{ij} [- \frac{D}{2} \ln (2 π) - \frac{1}{2} \ln |Σ_{i}| - \frac{u_{j} ‖ x_{j} - y_{i} ‖^{2}}{2 Σ_{i}}] \end{array} 。 (5)

利用期望最大化算法(EM)求解(5)式参数集合ψ,求解步骤如下。

1) E-步求期望,根据(2)式,利用当前的混合参数值ψ⁽^k⁾计算观测数据x_j属于第i个混合模型分量的后验概率:

\{\begin{array}{l} τ_{ij}^{(k)} = \frac{ω_{i}^{(k)} f (x_{j} | y_{i}, Σ_{i}^{(k)}, υ_{i}^{(k)})}{f (x_{j} | ψ^{(k)})} \\ u_{ij}^{(k)} = \frac{υ_{i}^{(k)} + D}{υ_{i}^{(k)} + d (x_{j}, y_{i}^{(k)}; Σ_{i}^{(k)})} \end{array} 。 (6)

计算完全数据的对数似然函数L_C(ψ)关于参数集合ψ和观测数据x_j的条件期望,得到辅助函数:

Q (ψ | ψ^{(k)}) = Q_{1} (w | ψ^{(k)}) + Q_{2} (υ | ψ^{(k)}) + Q_{3} (y, Σ| ψ^{(k)}), (7)

辅助函数Q₁, Q₂, Q₃分别表示为

\{\begin{array}{l} Q_{1} (w | ψ^{(k)}) = \overset{N}{\sum_{j = 1}} \overset{M}{\sum_{i = 1}} τ_{ij}^{(k)} \ln w_{i} \\ Q_{2} (υ | ψ^{(k)}) = \overset{N}{\sum_{j = 1}} \overset{M}{\sum_{i = 1}} τ_{ij}^{(k)} \{- lnΓ (\frac{υ_{i}}{2}) + \frac{υ_{i}}{2} \ln (\frac{υ_{i}}{2}) + \frac{υ_{i}}{2} [\overset{N}{\sum_{j = 1}} (\ln u_{ij}^{(k)} - u_{ij}^{(k)}) + γ (\frac{υ_{i}^{(k)} + D}{2}) - \ln (\frac{υ_{i}^{(k)} + D}{2})]\} \\ Q_{3} (y, Σ| ψ^{(k)}) = \overset{N}{\sum_{j = 1}} \overset{M}{\sum_{i = 1}} τ_{ij}^{(k)} [- \frac{D}{2} \ln (2 π) - \frac{1}{2} \ln |Σ_{i}| + \frac{D}{2} \ln u_{ij}^{(k)} - \frac{u_{ij}^{(k)} ‖ x_{j} - y_{i} ‖^{2}}{2 Σ_{i}}] \end{array}, (8)

式中:γ(•)表示双Gamma函数。设非刚性变形情况下点集的空间变换定义为X=T(Y, ρ)=Y+ρ(Y),其中ρ表示模板点集Y相对于目标点集X的平移参量,根据MCT,为保持点集配准过程中偏移参数的平滑性,需在辅助函数Q₃中添加平滑正则项φ(ρ),表示为

{\tilde{Q}}_{3} = Q_{3} (ρ, Σ_{i}^{(k + 1)} | ψ^{(k)}) + \frac{λ}{2} φ (ρ), (9)

式中:λ为正则化参数,用来控制(9)式中两函数项权重系数。参照文献[ 9],引入再生核希尔伯特空间理论,将平移参量进行傅里叶变换,即

\{\begin{array}{l} ρ (y_{j}) = \overset{M}{\sum_{i = 1}} h_{i} G (y_{i}, y_{j}) \\ G (y_{i}, y_{j}) = \exp (- \frac{1}{2} {(\frac{y_{i} - y_{j}}{β})}^{2}) \end{array}, (10)

式中:h_i为高斯核矩阵G的权重系数。将(10)式表示为矩阵形式ρ(Y)=GH,其中系数矩阵H_M_×_D=(h₁, h₂,…,h_m),高斯核函数G在频域中可以看成一个低通滤波器,将其代入(9)式得到点集存在非刚性变形情况下的辅助函数 ${\tilde{Q}}_{3}$ :

{\tilde{Q}}_{3} = \overset{N}{\sum_{j = 1}} \overset{M}{\sum_{i = 1}} τ_{ij}^{(k)} [- \frac{D}{2} \ln (2 π) - \frac{1}{2} \ln |Σ_{i}| + \frac{D}{2} \ln u_{ij}^{(k)} - \frac{u_{ij}^{(k)} ‖ x_{j} - y_{i} ‖^{2}}{2 Σ_{i}}] + \frac{λ}{2} tr [(H^{T})^{(k)} G H^{(k)}] 。 (11)

2) M-步求期望最大化,通过最大化辅助函数Q₁,Q₂和 ${\tilde{Q}}_{3}$ ,获得更新的参数集合ψ⁽^k⁺¹⁾。对Q₁求导取极值,权重系数更新值表示为每个样本点属于SMM第i个分量的后验概率平均值,即

w_{i}^{(k + 1)} = \overset{N}{\sum_{j = 1}} \frac{τ_{ij}^{(k)}}{N} (i = 1,2, \dots, m), (12)

式中:N为目标点集X_N_×_D的大小。对Q₂求导取极值,自由度υ更新值表示为如下方程的解:

1 - γ (\frac{υ_{i}^{(k + 1)}}{2}) + \ln (\frac{υ_{i}^{(k + 1)}}{2}) + \frac{\overset{N}{\sum_{j = 1}} τ_{ij}^{(k)} (\ln u_{ij}^{(k)} - u_{ij}^{(k)})}{\overset{N}{\sum_{j = 1}} τ_{ij}^{(k)}} + γ (\frac{υ_{i}^{(k)} + D}{2}) - \ln (\frac{υ_{i}^{(k)} + D}{2}) = 0 。 (13)

对 ${\tilde{Q}}_{3}$ 求导取极值,系数矩阵H和协方差矩阵内元素∑_i更新值表示为

\{\begin{array}{l} H^{(k + 1)} = {[diag (P^{(k)} 1) G + λ Σ_{i}^{(k)} I]}^{- 1} [P^{(k)} X - diag (P^{(k)} 1) Y] \\ P_{ij}^{(k)} = τ_{ij}^{(k)} u_{ij}^{(k)} \\ Σ_{i}^{(k + 1)} = \frac{\overset{N}{\sum_{j = 1}} τ_{ij}^{(k)} u_{ij}^{(k)} ‖ x_{j} - T (y_{i}, ρ) ‖^{2}}{\overset{N}{\sum_{j = 1}} τ_{ij}^{(k + 1)}} (i = 1,2, \dots, m) \\ T (y_{i}, ρ) = y_{i} + G (i, \cdot) H_{i}^{(k + 1)} \end{array}, (14)

式中:P为由(6)式得到的后验概率 $τ_{ij}^{(k)}$ 和 $u_{ij}^{(k)}$ 所确定的概率密度矩阵; 1表示元素都为1的列向量; I表示单位矩阵; G(i,•)表示核矩阵G的第i行向量。

交替执行上述E-步和M-步,更新后验概率 $τ_{ij}^{(k)}$ , $u_{ij}^{(k)}$ ,参数集合ψ⁽^k⁺¹⁾和系数矩阵H⁽^k⁺¹⁾直至满足收敛条件 $(\frac{L_{C} (ψ^{(k + 1)}) - L_{C} (ψ^{(k)})}{L_{C} (ψ^{(k + 1)})})$ ≤ε时停止迭代,其中ε为收敛阈值。本文算法流程如图4所示。终止迭代后,利用(14)式得到特征点集间的变换矩阵T(Y, ρ),就可以将模板点集对齐到目标点集,并采用图像插值算法^[18]将可见光图像变换到红外图像坐标系下,实现多光谱人脸图像的配准。算法执行过程中具体参数设置为λ=3,β=2,ε=10^-5。

图 4. 本文配准算法流程图

Fig. 4. Flow chart of proposed registration algorithm

下载图片查看所有图片

3 实验结果与讨论

为验证本文图像配准方法的有效性,在Inter© CoreTM i5-4590 CPU@3.3 GHz、4 GB内存的PC机上,基于MATLAB R2014a(8.3)软件在仿真点集数据和真实人脸图像上进行了图像配准实验。将基于局部特征和T分布混合模型的图像配准算法( L-SMM)与高斯混合模型加形状上下文特征图像配准算法(RPM-GMM^[10])和SMM^[13]等处于领先水平的非刚性点集配准算法进行比较分析。

3.1 仿真数据集

采用文献[ 18]中的数据集进行点集配准仿真,考虑到汉字“福”的模型比较复杂,具有连接、部分结构更符合人脸特征的特点,因此选择数据集中的汉字“福”的形状点集进行配准仿真。图5所示为该点集存在变形、噪声和离群点3种退化情况下使用不同算法进行点集配准仿真的结果,在仿真模型中使用召回率曲线来定量评估不同算法的配准精度,针对每种退化情况进行了100次独立重复仿真。召回率定义为所有预设匹配点集中被算法识别为正确匹配点的数量所占的比例,被算法识别为正确匹配点的数量是指配准仿真中匹配误差满足阈值要求的点数量,其中匹配误差为独立重复仿真中通过变换模型将模板点集“+”对齐到目标点集“○”后对应点间的欧氏距离。

图 5. 汉字福仿真点集配准结果。(a)~(c)配准前的点集; (d)~(f)本文算法的配准结果;(g)~(i) 3种配准算法的召回率曲线

Fig. 5. Registration results on synthetic Chinese character point sets. (a)-(c) Point sets before registration; (d)-(f) registration results of proposed algorithm; (g)-(i) recall curves of three registration algorithms

下载图片查看所有图片

图5中的3列分别表示不同退化情况下的配准结果比较;图5(a)~(c)表示不同退化情况下的原始点集数据,图5(d)~(f)表示使用L-SMM算法将模板点集“+”对齐到目标点集“○”上的配准结果,图5(g)~(i)则表示在给定的匹配精度阈值下每种算法的召回率曲线,曲线越凸向左上角,表明点集配准效果越好。由图5所示的不同退化程度下点集的召回率曲线可知,L-SMM的配准结果略优于RPM-GMM的配准结果,明显优于仅利用空间位置相关性的SMM的配准结果。因此,有必要在SMM方法中加入IDSC描述子,作为局部特征来提高配准算法的精度和稳健性。

3.2 真实人脸图像配准

在真实图像数据仿真中,采用公开的红外/可见光人脸图像数据库UTK-IRIS进行多光谱人脸图像配准仿真。该数据库包含了不同光照、不同姿态、不同表情以及不同种族的红外/可见光人脸图像。从数据集中随机抽取了部分个体的人脸图像(Charles, Heo, Gribok,Sharon)进行配准仿真,每个测试个体包含不同角度和光照强度下拍摄的多光谱人脸图像,配准结果如图6所示。

图6(a)和图6(b)分别表示配准前的可见光和红外原始图像。图6(c)表示利用Canny边缘检测算子提取到的人脸图像离散特征点集。其中,红色代表可见光图像点集,蓝色代表红外图像点集。由于成像模式的不同,可见光和红外人脸图像点集存在非刚性的形变、噪声及离群点等影响因素。图6(d)和图6(e)分别为使用SMM和L-SMM配准算法得到的可见光和红外图像变形叠加后生成的人脸棋盘格图像,棋盘格图像是指利用配准算法将可见光图像变换叠加到红外图像坐标系后,两种图像相间叠加的可见光和红外人脸图像配准效果。如图6(d)中标注的红色方框处,SMM算法得到的多光谱叠加图像接缝处出现明显的错位,而本文提出的L-SMM配准算法在图6(e)中图像接缝处连接比较自然,无明显的错位情况,因此图6可以定性地说明L-SMM算法人脸图像配准效果优于SMM算法。

考虑到L-SMM与RPM-GMM算法配准效果相差不明显,从棋盘格图像无法直观地比较优劣,因此采用Recall曲线作为实际多光谱人脸图像配准精度的定量评测标准,在图6中每组个体的可见光和红外图像中人工选取20对不同的标记对应点作为模板点集和目标点集进行比较分析,选取的标记点主要集中在五官和眼睛等面貌特征明显的区域。图7所示为图6中不同个体(Charles,Heo, Gribok, Sharon)的多光谱人脸图像数据集的定量比较结果。每组个体数据集中包含不同光照、不同姿态以及不同表情的约200张可见光和红外人脸图像。

图 6. UTK-IRIS数据集下可见光和红外人脸图像配准结果。(a)(b)原始的可见光和红外图像;(c)人脸边缘图;(d)(e)可见光和红外图像变形叠加后生成的棋盘格图像

Fig. 6. Visible and infrared face registration results in UTK-IRIS database. (a)(b) Original visible and infrared images; (c) face edge maps; (d)(e) checkerboards of warping visible image into and infrared image

下载图片查看所有图片

在图7中,Recall曲线越凸向左上角,说明算法的图像配准精度越高。正如图6中的定性评价结果所述,结合局部特征的RPM-GMM和L-SMM图像配准算法的人脸图像配准结果明显优于未考虑局部特征信息的SMM图像配准方法,因此在图像配准过程中加入合适的特征描述子作为局部特征信息,可以提高图像的配准精度。此外,从结合局部特征的两种图像配准算法比较结果中可以看出,在Charles、Heo、Gribok和Sharon的人脸图像配准结果中,所提的L-SMM算法的Recall曲线始终在RPM-GMM算法的Recall曲线的上方,说明在配准图像存在噪声点和离群点的情况下,Student's-T分布混合概率模型比高斯混合概率模型更适合被用于点集的配准过程。表1所示为3种配准算法在图7中20对人工标记点对应的平均匹配误差和运行时间比较。

表 1. 各配准算法的平均匹配误差和运行时间比较

Table 1. Comparison of average matching errors and running time with different registration algorithms

Algorithm	Average matching error /pixel				Mean running time /s
Algorithm	Charles	Heo	Gribok	Sharon	Mean running time /s
SMM^[13]	1.8	1.5	1.6	1.7	1.1
RPM-GMM^[10]	1.5	1.4	1.4	1.2	1.5
L-SMM	1.2	1.1	1.0	0.9	0.9

查看所有表

图 7. 不同个体的多光谱人脸图像数据集的定量比较结果。(a) Charles;(b) Heo;(c) Gribok;(d) Sharon

Fig. 7. Quantitative result comparison of multispectral face image pairs of different individuals. (a) Charles; (b) Heo; (c) Gribok; (d) Sharon

下载图片查看所有图片

由表1可知,无论在匹配精度还是计算效率上,L-SMM算法都优于SMM和RPM-GMM两种对比算法,这是由于预先利用IDSC局部邻域结构特征建立特征点集的初始匹配关系后,在一定程度上减少了SMM配准模型参数估计过程中的平均迭代次数。在RPM-GMM配准算法中,如果不采用快速高斯变换近似目标函数中的高斯函数加权和,时间的复杂度为O(MN),运算过程最为耗时。

此外,为了检验本文算法在实际应用场景下的配准效果,利用比利时Xenics红外相机和大恒图像公司水星系列彩色工业相机构建了一套简易的多光谱成像系统。图8所示为利用自主构建的双波段旁轴光路系统采集到的多光谱人脸图像及配准和融合结果。

图8(a)和图8(b)分别表示采用自主构建的可见光和红外平行光路成像设备采集到的多光谱人脸原始图像,图8(c)表示使用L-SMM配准算法得到的可见光和红外图像变形叠加后生成的人脸棋盘格图像,图8(d)表示使用文献[ 19]中的离散小波变换方法对可见光和红外人脸图像重构得到的融合图像。可以看出,融合后的图像既保留了可见光图像部分细节和纹理特征,也包含了部分红外图像热辐射信息,因此可以保证后续人脸识别方法的全天候工作能力。

图 8. 自行采集的可见光和红外人脸图像配准和融合结果。(a)原始可见光图像;(b)原始红外图像;(c)棋盘格图像;(d)融合图像

Fig. 8. Visible and infrared face image registration and fusion results captured by ourselves. (a) Original visible images; (b) original infrared images; (c) checkerboard images; (d) fusion images

下载图片查看所有图片

4 结论

提出了一种基于局部特征和Student's-T混合模型的多光谱人脸图像配准方法,即在图像配准过程中采用IDSC描述子与Student's-T分布混合概率密度函数相结合的策略,降低了多光谱人脸图像中出现非刚性形变、噪声及离群点等因素对配准结果的影响,并通过仿真和实测实验验证了所提方法的有效性。通过可见光和红外人脸图像数据的定性和定量评测,与2种处于领先水平的非刚性图像配准方法相比,所提方法在平均匹配误差和运算效率方面都具有一定的优势,可为后续多光谱人脸图像融合和全天候检测识别研究提供精度保证。鉴于图像配准最终目的是提升多光谱图像融合质量,因此在后续的研究工作中,将结合多种图像融合算法对所提图像配准方法精度进行全面、科学的评价,并扩大测试样本在自主构建的多光谱人脸数据集中进行系统测试。

参考文献

[1] 丁文杉, 毕笃彦, 何林远, 等. 基于剪切波变换和邻域结构特征的红外与可见光图像融合[J]. 光学学报, 2017, 37(10): 1010002.

Ding W S, Bi D Y, He L Y, et al. Fusion of infrared and visible images based on shearlet transform and neighborhood structure features[J]. Acta Optica Sinica, 2017, 37(10): 1010002.

[2] 刘先红, 陈志斌. 基于多尺度方向引导滤波和卷积稀疏表示的红外与可见光图像融合[J]. 光学学报, 2017, 37(11): 1110004.

Liu X H, Chen Z B. Fusion of infrared and visible images based on multi-scale directional guided filter and convolutional sparse representation[J]. Acta Optica Sinica, 2017, 37(11): 1110004.

[3] Pal AR, SinghaA. A comparative analysis of visual and thermal face image fusion based on different wavelet family[C]//2017 International Conference on Innovations in Electronics, Signal Processing and Communication (IESC), April 6-7, 2017, Shillong, India. New York: IEEE, 2017: 8071895.

[4] Ma J Y, Ma Y, Li C. Infrared and visible image fusion methods and applications: a survey[J]. Information Fusion, 2019, 45: 153-178.

[5] 刘晓春, 钟涛, 于起峰, 等. 基于局部频率信息和单纯型-模拟退火的异源图像配准[J]. 光学学报, 2013, 33(6): 0615002.

Liu X C, Zhong T, Yu Q F, et al. Multi-modal image registration based on local frequency information using modified simplex-simulated annealing algorithm[J]. Acta Optica Sinica, 2013, 33(6): 0615002.

[6] 林青, 金伟其, 郭宏, 等. 可见光/长波红外共聚焦窗口望远物镜设计[J]. 光学学报, 2012, 32(9): 0922005.

Lin Q, Jin W Q, Guo H, et al. Confocal-window telescope objective design in visible and long-wave infrared[J]. Acta Optica Sinica, 2012, 32(9): 0922005.

[7] Kong S G, Heo J, Boughorbel F, et al. Multiscale fusion of visible and thermal IR images for illumination-invariant face recognition[J]. International Journal of Computer Vision, 2007, 71(2): 215-233.

[8] Boughorbel F, Mercimek M, Koschan A, et al. A new method for the registration of three-dimensional point-sets: the Gaussian fields framework[J]. Image and Vision Computing, 2010, 28(1): 124-137.

[9] Myronenko A, Song X B. Point set registration: coherent point drift[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(12): 2262-2275.

[10] Ma J Y, Zhao J, Ma Y, et al. Non-rigid visible and infrared face registration via regularized Gaussian fields criterion[J]. Pattern Recognition, 2015, 48(3): 772-784.

[11] Tian T, Mei X G, Yu Y, et al. Automatic visible and infrared face registration based on silhouette matching and robust transformation estimation[J]. Infrared Physics & Technology, 2015, 69: 145-154.

[12] Gerogiannis D, Nikou C, Likas A. The mixtures of student's t-distributions as a robust framework for rigid registration[J]. Image and Vision Computing, 2009, 27(9): 1285-1294.

[13] Zhou Z Y, Zheng J, Dai Y K, et al. Robust non-rigid point set registration using student's-t mixture model[J]. PLoS One, 2014, 9(3): e91381.

[14] Maiseli B, Gu Y F, Gao H J. Recent developments and trends in point set registration methods[J]. Journal of Visual Communication and Image Representation, 2017, 46: 95-106.

[15] Belongie S, Malik J, Puzicha J. Shape matching and object recognition using shape contexts[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(4): 509-522.

[16] Ling H B, Jacobs D W. Shape classification using the inner-distance[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2007, 29(2): 286-299.

[17] Peel D. McLachlan G J. Robust mixture modelling using the t distribution[J]. Statistics and Computing, 2000, 10(4): 339-348.

[18] Chui H L, Rangarajan A. A new point matching algorithm for non-rigid registration[J]. Computer Vision and Image Understanding, 2003, 89(2/3): 114-141.

[19] Zhan L C, Zhuang Y, Huang L D. Infrared and visible images fusion method based on discrete wavelet transform[J]. Journal of Computers, 2017, 28(2): 57-71.

李巍, 董明利, 吕乃光, 娄小平. 基于T分布混合模型的多光谱人脸图像配准[J]. 光学学报, 2019, 39(7): 0710001. Wei Li, Mingli Dong, Naiguang Lü, Xiaoping Lou. Multispectral Face Image Registration Based on T-Distribution Mixture Model[J]. Acta Optica Sinica, 2019, 39(7): 0710001.

基于T分布混合模型的多光谱人脸图像配准下载： 1045次

1 引言

2 算法描述

2.1 基于特征的人脸图像配准基本框架

图 1. 基于特征的可见光和红外人脸图像配准流程

Fig. 1. Infrared and visible face image registration process based on feature maps

2.2 基于局部特征描述子的初始配准

2.3 基于空间位置约束的精确配准

图 2. IDSC人脸轮廓特征提取示意图。(a)人脸轮廓采样点构成的Bellman-Ford最短路径图;(b)标记的4个采样点;(c)对应的IDSC特征直方图

Fig. 2. Diagrams of face silhouette feature extraction based on IDSC. (a) Bellman-Ford shortest path graph built using face silhouette landmark points; (b) four marked points; (c) their IDSC feature histograms

图 3. 不同自由度下的Student's-T分布曲线

Fig. 3. Student's T distribution for various degrees of freedom

图 4. 本文配准算法流程图

Fig. 4. Flow chart of proposed registration algorithm

3 实验结果与讨论

3.1 仿真数据集

图 5. 汉字福仿真点集配准结果。(a)~(c)配准前的点集; (d)~(f)本文算法的配准结果;(g)~(i) 3种配准算法的召回率曲线

Fig. 5. Registration results on synthetic Chinese character point sets. (a)-(c) Point sets before registration; (d)-(f) registration results of proposed algorithm; (g)-(i) recall curves of three registration algorithms

3.2 真实人脸图像配准

图 6. UTK-IRIS数据集下可见光和红外人脸图像配准结果。(a)(b)原始的可见光和红外图像;(c)人脸边缘图;(d)(e)可见光和红外图像变形叠加后生成的棋盘格图像

Fig. 6. Visible and infrared face registration results in UTK-IRIS database. (a)(b) Original visible and infrared images; (c) face edge maps; (d)(e) checkerboards of warping visible image into and infrared image

表 1. 各配准算法的平均匹配误差和运行时间比较

Table 1. Comparison of average matching errors and running time with different registration algorithms

图 7. 不同个体的多光谱人脸图像数据集的定量比较结果。(a) Charles;(b) Heo;(c) Gribok;(d) Sharon

Fig. 7. Quantitative result comparison of multispectral face image pairs of different individuals. (a) Charles; (b) Heo; (c) Gribok; (d) Sharon

图 8. 自行采集的可见光和红外人脸图像配准和融合结果。(a)原始可见光图像;(b)原始红外图像;(c)棋盘格图像;(d)融合图像

Fig. 8. Visible and infrared face image registration and fusion results captured by ourselves. (a) Original visible images; (b) original infrared images; (c) checkerboard images; (d) fusion images

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于T分布混合模型的多光谱人脸图像配准 下载： 1045次

1 引言

2 算法描述

2.1 基于特征的人脸图像配准基本框架

图 1. 基于特征的可见光和红外人脸图像配准流程

Fig. 1. Infrared and visible face image registration process based on feature maps

2.2 基于局部特征描述子的初始配准

2.3 基于空间位置约束的精确配准

图 2. IDSC人脸轮廓特征提取示意图。(a)人脸轮廓采样点构成的Bellman-Ford最短路径图;(b)标记的4个采样点;(c)对应的IDSC特征直方图

Fig. 2. Diagrams of face silhouette feature extraction based on IDSC. (a) Bellman-Ford shortest path graph built using face silhouette landmark points; (b) four marked points; (c) their IDSC feature histograms

图 3. 不同自由度下的Student's-T分布曲线

Fig. 3. Student's T distribution for various degrees of freedom

图 4. 本文配准算法流程图

Fig. 4. Flow chart of proposed registration algorithm

3 实验结果与讨论

3.1 仿真数据集

图 5. 汉字福仿真点集配准结果。(a)~(c)配准前的点集; (d)~(f)本文算法的配准结果;(g)~(i) 3种配准算法的召回率曲线

Fig. 5. Registration results on synthetic Chinese character point sets. (a)-(c) Point sets before registration; (d)-(f) registration results of proposed algorithm; (g)-(i) recall curves of three registration algorithms

3.2 真实人脸图像配准

图 6. UTK-IRIS数据集下可见光和红外人脸图像配准结果。(a)(b)原始的可见光和红外图像;(c)人脸边缘图;(d)(e)可见光和红外图像变形叠加后生成的棋盘格图像

Fig. 6. Visible and infrared face registration results in UTK-IRIS database. (a)(b) Original visible and infrared images; (c) face edge maps; (d)(e) checkerboards of warping visible image into and infrared image

表 1. 各配准算法的平均匹配误差和运行时间比较

Table 1. Comparison of average matching errors and running time with different registration algorithms

图 7. 不同个体的多光谱人脸图像数据集的定量比较结果。(a) Charles;(b) Heo;(c) Gribok;(d) Sharon

Fig. 7. Quantitative result comparison of multispectral face image pairs of different individuals. (a) Charles; (b) Heo; (c) Gribok; (d) Sharon

图 8. 自行采集的可见光和红外人脸图像配准和融合结果。(a)原始可见光图像;(b)原始红外图像;(c)棋盘格图像;(d)融合图像

Fig. 8. Visible and infrared face image registration and fusion results captured by ourselves. (a) Original visible images; (b) original infrared images; (c) checkerboard images; (d) fusion images

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于T分布混合模型的多光谱人脸图像配准下载： 1045次