基于快速仿射模板匹配和改进仿射迭代最近点算法的人脸稳健精确仿射配准

吴礼洋; 熊磊; 杜少毅; 毕笃彦; 方挺

doi:doi:10.3788/AOS201838.0210004

光学学报, 2018, 38 (2): 0210004, 网络出版: 2018-08-30

基于快速仿射模板匹配和改进仿射迭代最近点算法的人脸稳健精确仿射配准下载： 803次

Robust and Precise Affine Registration for Faces Based on Fast Affine Template Matching and Modified Affine Iterative Closet Point Algorithm

论文大纲

吴礼洋 ^1,*熊磊 ¹杜少毅 ²毕笃彦 ¹方挺 ¹

作者单位

¹ 空军工程大学航空工程学院, 陕西西安 710038

² 西安交通大学人工智能与机器人研究所, 陕西西安 710049

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

提出了一种仅基于单个模板的人脸仿射配准方法。首先,为了克服人脸仿射变换而产生的局部形变,引入颜色特征来平衡模板人脸和目标人脸之间的颜色相似性和形状错配率,进而提出了一种基于颜色特征的人脸粗搜索算法。接着,采用人脸粗搜索算法得到的仿射变换作为初始约束,建立上步仿射约束下的人脸形状精确配准算法。在算法的每一步迭代中,利用前一步迭代得到的仿射变换,建立最近点的对应关系,并利用前步仿射约束下的目标函数求解新的仿射变换。本文算法成功解决了旋转、缩放和噪声干扰情况下人脸形状难以配准的问题。与传统人脸仿射配准算法相比,本文算法有效提高了人脸仿射配准的稳健性和精确性。

Abstract

We propose a method for face affine registration based on a single template. Firstly, in order to overcome the local deformation caused by face affine transformation, the color feature is introduced to balance the color similarity and shape mismatch rate between the template face image and the target face image, and then the face rough search algorithm is proposed based on the color feature. Secondly, the affine transformation obtained by face rough search algorithm is used as an initial constraint to establish the face shape fine registration algorithm based on the previous affine constraints. In each iteration step of the algorithm, the affine transformation obtained in the previous iteration is used to establish the correspondence of the nearest point, and the new affine transformation is solved by use of the objective function based on the previous affine constraint. The proposed algorithm successfully solves the problem that a face shape is difficult to register under the conditions of presence of rotation, scale transformation, and noise interference. Compared with the traditional face affine registration algorithm, the proposed algorithm effectively improves the robustness and accuracy of face affine registration.

1 引言

人脸配准是指找到两幅人脸图像之间最佳的空间几何变换,使得这两幅人脸图像在空间域上达到几何位置的对应。人脸配准是计算机视觉的关键技术之一,在人脸识别^[1-3]、姿势预测^[4]和目标跟踪^[5-6]等研究领域发挥了重要作用。

近年来,人脸配准在理论和实践上都取得了很大的进步。然而,基于单一匹配模板的人脸仿射配准问题仍未被广泛探索,导致这种情况的原因是仿射变换对人脸局部外形改变较大,也大大增加了人脸配准的难度。

对于一幅模板人脸图像,目前人脸仿射配准方法大致可以分为两类:直接匹配的方法和基于特征的方法。一方面,可以使用直接匹配的方法解决人脸仿射配准问题,其中最流行的是仿射迭代最近点(AICP)算法^[7-9],该算法通过最小化两幅人脸形状之间的均方根误差(RMSE),直接求解两幅人脸图像之间最佳的仿射变换,然而由于AICP算法缺乏形状约束,其仿射配准结果容易陷入局部最小值问题。Baker等^[10]提出了一种基于两帧差分的光流估计算法,该算法通过寻找两幅人脸图像之间的参数光流映射,直接最小化两幅人脸图像的配准误差,然而其参数优化过程是基于梯度下降的,对初始值十分敏感。Yang等^[11]在光流估计算法的基础上,提出了一种基于单个模板的人脸配准方法,该方法建立了一个非线性人脸变换模型,将人脸形状参数转换到一个更紧凑的空间,提高了人脸配准的精度,然而这种方法只适用于中性表情的人脸模板。Dekel等^[12]提出了一种基于互最近邻搜索的稳健图像配准方法,但是该方法难以解决旋转和尺度变换下的人脸配准问题。最近,Korman等^[13]提出了一种新颖的图像配准方法,称为快速仿射模板匹配(Fast-match)算法,该算法通过建立仿射变换网络并最小化人脸模板仿射映射后产生的绝对误差和(SAD),可以找到一个最佳的人脸仿射变换,然而由于该算法仅关注两幅人脸图像之间的颜色相似性,而忽略了形状错配率,因此导致人脸仿射配准的精度较低。

另一方面,可以使用基于特征的方法^[14-16]解决人脸仿射配准问题,包括尺度不变特征变换(SIFT)^[17]、加速稳健特征(SURF)^[18]、方向梯度直方图(HoG)^[19]和面向快速旋转的BRIEF(ORB)^[20]等算法。这些算法使用局部特征建立模板人脸图像和目标人脸图像之间的对应关系,只要给定足够的对应特征点,就可以计算出模板人脸图像和目标人脸图像之间的仿射变换。然而这些算法依赖于在每幅人脸图像中独立地检测到相同的特征点,并且要求这些特征点的描述符具有仿射不变性。

本文提出了一种基于单一匹配模板的人脸仿射配准方法。首先,为了克服人脸仿射变换而产生的局部形变,引入颜色特征来平衡模板人脸图像和目标人脸图像之间的颜色相似性和形状错配率。其次,在Fast-match算法配准框架的基础上,提出了一种基于颜色特征的人脸粗搜索算法。最后,利用人脸粗搜索算法得到的仿射变换作为初始约束,建立了上步仿射约束下的人脸形状精确配准(FSFR)算法。

2 人脸仿射配准理论

提出了一种基于颜色特征的人脸粗搜索算法,然后以人脸粗搜索算法得到的仿射变换作为初始约束,建立了上步仿射约束下的FSFR算法。

2.1 基于颜色特征的人脸粗搜索算法

人脸粗搜索的目标是寻找一个最佳的仿射变换T,使得模板人脸图像I₁和目标人脸图像I₂对应位置的颜色特征尽可能相似,本文选择像素SAD作为颜色相似性的度量方式。首先利用Fast角点检测^[21]从模板图像I₁中提取形状点集{p_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ ,然后在形状点集{p_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ 附近随机采样N_p个点构成随机点集{r_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ ,接着合并{p_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ 和{r_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ 得到相似性度量点集{m_i $\begin{matrix} }_{i = 1}^{2 N_{p}} \end{matrix}$ 。图1显示了两种相似性度量点集采样方法。图1(a)是本文提出的点集采样方法,它采样的点集包含表示形状信息的形状点集{p_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ (红色点集表示)和补充细节信息的随机点集{r_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ (蓝色点集表示);图1(b)是Fast-match算法的点集采样方法,其点集采样是杂乱无序的,并不包含特定的形状信息。

图 1. 两种相似性度量点集采样方法。 (a)本文方法;(b)Fast-match算法

Fig. 1. Two similarity measure point set sampling methods. (a) Proposed method; (b) Fast-match algorithm

下载图片查看所有图片

此时,模板人脸图像和目标人脸图像对应位置的像素SAD可以表示为

\begin{matrix} d_{T} (I_{1}, I_{2}) = \frac{1}{(2 N_{x})^{2}} \overset{2 N_{x}}{\sum_{i = 1}} |I_{1} (m_{i}) - I_{2} [T(m_{i})]|, (1) \end{matrix}

式中I₁和I₂分别为模板人脸图像和目标人脸图像的灰度矩阵;m_i为相似性度量点集中第i个点的位置坐标;T(m_i)为m_i经过仿射映射后在目标人脸图像中的位置坐标。在满足模板人脸图像到目标人脸图像的任意仿射变换都接近于集合S中的仿射变换这一条件下,建立仿射变换集合S={T_j $\begin{matrix} }_{j = 1}^{N} \end{matrix}$ ,其中N为集合S中的仿射变换个数。

基于颜色特征的人脸粗搜索算法采用迭代更新的方法,从仿射变换集合S中寻找使(1)式达到最小值的仿射变换T_best。假设第k次迭代时的仿射变换集合为S^k={ $\begin{matrix} T_{j}^{k} \end{matrix} \begin{matrix} }_{j = 1}^{N_{k}} \end{matrix}$ ,则第k次迭代包括以下步骤。

1) 在形状点集{p_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ 附近随机采样N_p个点,构成随机点集{r_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ ,合并{p_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ 和{r_i $\begin{matrix} }_{i = 1}^{N_{p}} \end{matrix}$ ,得到相似性度量点集{ $\begin{matrix} m_{i}^{k} \end{matrix} \begin{matrix} }_{i = 1}^{2 N_{p}} \end{matrix}$ 。

2) 利用(1)式计算每一个仿射变换 $\begin{matrix} T_{j}^{k} \end{matrix}$ 所对应的像素SAD,从中选择误差较小的仿射变换,构成新的仿射变换集合 $\begin{matrix} {\hat{S}}^{k} \end{matrix}$ ={ $\begin{matrix} {\hat{T}}_{j}^{k} \end{matrix} \begin{matrix} }_{j = 1}^{{\hat{N}}_{k}} \end{matrix}$ ,其表达式为

\begin{matrix} {\hat{S}}^{k} = {T_{j}^{k} \in S^{k} : d_{T_{j}^{k}} (I_{1}, I_{2}) - d_{T_{best}^{k}} (I_{1}, I_{2}) < T_{t h} \cdot δ_{k}}, (2) \end{matrix}

式中 $\begin{matrix} d_{T_{best}^{k}} \end{matrix}$ (I₁,I₂)为第k次迭代时,最佳仿射变换 $\begin{matrix} T_{best}^{k} \end{matrix}$ 所对应的像素SAD;T_th为选择阈值;δ_k为第k次迭代时的精度因子。

3) 更新精度因子δ_k₊₁=f_fact·δ_k(0<f_fact<1),利用精度因子δ_k₊₁将集合 $\begin{matrix} {\hat{S}}^{k} \end{matrix}$ 中的每一个仿射变换 $\begin{matrix} {\hat{T}}_{j}^{k} \end{matrix}$ 都扩充为一个子仿射变换集合 $\begin{matrix} Q_{j}^{k} \end{matrix}$ ={ $\begin{matrix} T_{ji}^{k} \end{matrix} \begin{matrix} }_{i = 1}^{10} \end{matrix}$ ,该步骤的前提条件是要求满足公式

\begin{matrix} Q_{j}^{k} = {T_{ji}^{k} \in Q_{j}^{k} ∶ d_{T_{ji}^{k}} (I_{1}, I_{2}) - d_{{\hat{T}}_{j}^{k}} (I_{1}, I_{2}) < T_{t h} \cdot δ_{k + 1}}, (3) \end{matrix}

式中 $\begin{matrix} T_{ji}^{k} \end{matrix}$ 为对 $\begin{matrix} {\hat{T}}_{j}^{k} \end{matrix}$ 进行一个微小的随机增量而得到的第i个仿射变换。

4) 合并所有扩充后的子仿射变换集合,得到新的仿射变换集合S^k+¹={ $\begin{matrix} T_{j}^{k + 1} \end{matrix} \begin{matrix} }_{j = 1}^{N_{k + 1}} \end{matrix}$ ,其表达式为

\begin{matrix} S^{k + 1} = Q_{1}^{k} + \dots + Q_{j}^{k} + \dots Q_{{\hat{N}}_{k}}^{k} 。 (4) \end{matrix}

重复上述步骤,直到 $\begin{matrix} |d_{T_{b est}^{k + 1}} (I_{1}, I_{2}) \end{matrix}$ - $\begin{matrix} d_{T_{best}^{k}} (I_{1}, I_{2})| \end{matrix}$ ≤ε时,输出最终的仿射变换 $\begin{matrix} T_{best}^{k + 1} \end{matrix}$ 。

2.2 FSFR算法

由于最相似的颜色通常不代表最相似的形状,人脸粗搜索阶段得到的仿射变换 $\begin{matrix} T_{best}^{k + 1} \end{matrix}$ 并不代表最佳的仿射变换。因此,本文首先利用仿射变换 $\begin{matrix} T_{best}^{k + 1} \end{matrix}$ 对模板人脸图像进行仿射映射,得到模板人脸图像在目标人脸图像中的对应区域,接着利用Fast角点检测从该区域内提取目标点集{q_j $\begin{matrix} }_{j = 1}^{N_{q}} \end{matrix}$ ,以进行形状点集的精确配准。将仿射变换T分解为一个仿射矩阵A∈ℝ^m×m和一个平移矢量t∈ℝ^m,则传统AICP算法的目标函数可以表示为

\begin{matrix} \min_{A, t, j \in {1,2, \dots, N_{q}}} [\overset{N_{p}}{\sum_{i = 1}} {((A x_{i} + t) - y_{j})}_{2}^{2}], (5) \end{matrix}

式中N_p为形状点集的点个数;N_q为目标点集的点个数。由于传统AICP算法的目标函数缺乏形状约束,因此当其处理人脸仿射配准问题时容易陷入局部最小值问题。为了克服这一问题,本文引入人脸粗搜索阶段得到的仿射变换 $\begin{matrix} T_{best}^{k + 1} \end{matrix}$ ,并将其作为初始约束,建立前步仿射约束下的FSFR算法目标函数,该函数为

\begin{matrix} \begin{matrix} \min_{A_{k}, t_{k}} [\frac{1}{N_{p}} \overset{N_{p}}{\sum_{i = 1}} {((A_{k} x_{i} + t_{k}) - y_{c_{k} (i)})}_{2}^{2} + \frac{α}{N_{p}} \overset{N_{p}}{\sum_{i = 1}} {((A_{k} x_{i} + t_{k}) - (A_{k - 1} x_{i} + t_{k - 1}))}_{2}^{2}], (6) \end{matrix} \end{matrix}

式中α为前一步仿射变换(A_k-₁,t_k-₁)的约束系数。当α增大时,第k-1次仿射变换的约束作用也在增大。通过改变α的大小,可以利用第k-1次的仿射变换,约束第k次仿射变换的形变程度,从而有效克服因(A_k,t_k)偏离(A_k-₁,t_k-₁)过远而导致人脸仿射配准陷入局部最小值的问题。由(6)式可以看出,人脸形状的精确配准可以看作一个约束优化问题,本文采用两步迭代策略对其进行求解。

1) 根据k-1步的仿射变换(A_k-₁,t_k-₁),建立形状点集和目标点集之间的对应关系为

\begin{matrix} \begin{matrix} c_{k} (i) = \underset{j \in {1,2, \dots, N_{q}}}{ar g_{} \min} [{((A_{k - 1} p_{i} + t_{k - 1}) - q_{j})}_{2}^{2}], \\ i = 1,2, \dots, N_{p} 。 (7) \end{matrix} \end{matrix}

2) 根据对应关系c_k(i)和前一步的仿射变换(A_k-₁,t_k-₁),求解两点集之间新的仿射变换(A_k,t_k)为

\begin{matrix} \begin{matrix} (A_{k}, t_{k}) = & \underset{A_{k}, t_{k}}{ar g_{} \min} [\frac{1}{N_{p}} \overset{N_{p}}{\sum_{i = 1}} {((A_{k} p_{i} + t_{k}) - q_{c_{k} (i)})}_{2}^{2} + \frac{α}{N_{p}} \overset{N_{p}}{\sum_{i = 1}} {((A_{k} p_{i} + t_{k}) - (A_{k - 1} p_{i} + t_{k - 1}))}_{2}^{2}] 。 \end{matrix} (8) \end{matrix}

由于每次迭代的步骤1可以通过k-d树^[22-23]或基于Delaunay三角分解的最近点搜索算法^[24-25]完成,因此FSFR算法的关键是求解每次迭代的步骤2。将(8)式重写为

\begin{matrix} \begin{matrix} F (A_{k}, t_{k}) = & \frac{1}{N_{p}} \overset{N_{p}}{\sum_{i = 1}} {((A_{k} p_{i} + t_{k}) - q_{c_{k} (i)})}_{2}^{2} + \frac{α}{N_{p}} \overset{N_{p}}{\sum_{i = 1}} {((A_{k} p_{i} + t_{k}) - (A_{k - 1} p_{i} + t_{k - 1}))}_{2}^{2} 。 \end{matrix} (9) \end{matrix}

令dF(A_k,t_k)/dt_k=0,可以解得

\begin{matrix} t_{k} = \frac{\overset{N_{p}}{\sum_{i = 1}} q_{c_{k} (i)} + (α A_{k - 1} - α A_{k} - A_{k}) \overset{N_{p}}{\sum_{i = 1}} p_{i} + α N_{x} t_{k - 1}}{N_{p} (1 + α)} 。 (10) \end{matrix}

将t_k代入(9)式,并令

\begin{matrix} \{\begin{matrix} p_{i}^{1} = (1 / N_{p})^{\frac{1}{2}} \cdot (p_{i} - \overset{N_{p}}{\sum_{i = 1}} p_{i} / N_{p}) \\ q_{c_{k} (i)}^{1} = (1 / N_{p})^{\frac{1}{2}} \cdot {q_{c_{k} (i)} - (\overset{N_{p}}{\sum_{i = 1}} q_{c_{k} (i)} + \\ α A_{k - 1} \overset{N_{p}}{\sum_{i = 1}} p_{i} + α N_{p} t_{k - 1} \frac{)}{[} N_{p} (1 + α)]} \\ p_{i}^{2} = (α / N_{p})^{\frac{1}{2}} \cdot (p_{i} - \overset{N_{p}}{\sum_{i = 1}} p_{i} / N_{p}) \\ q_{c_{k} (i)}^{2} = (α / N_{p})^{\frac{1}{2}} \cdot {A_{k - 1} p_{i} + t_{k - 1} - (\overset{N_{p}}{\sum_{i = 1}} q_{c_{k} (i)} + \\ α A_{k - 1} \overset{N_{p}}{\sum_{i = 1}} p_{i} + α N_{p} t_{k - 1} \frac{)}{[} N_{p} (1 + α)]} \end{matrix}, (11) \end{matrix}

则目标函数F(A_k,t_k)可被化简为

\begin{matrix} F (A_{k}) = \overset{N_{p}}{\sum_{i = 1}} {(A_{k} p_{i}^{1} - q_{c_{k} (i)}^{1})}_{2}^{2} + \overset{N_{p}}{\sum_{i = 1}} {(A_{k} p_{i}^{2} - q_{c_{k} (i)}^{2})}_{2}^{2} 。 (12) \end{matrix}

令E={e_j $\begin{matrix} }_{1}^{2 N_{p}} \end{matrix}$ ,F={f_j $\begin{matrix} }_{1}^{2 N_{p}} \end{matrix}$ ,其中e_j和f_j定义为

\begin{matrix} \{\begin{matrix} e_{j} = \{\begin{matrix} p_{j}^{1}, & 1 \leq j \leq N_{p} \\ p_{j - N_{x}}^{2}, & N_{p} + 1 \leq j \leq 2 N_{p} \end{matrix} \\ f_{j} = \{\begin{matrix} q_{c_{k} (j)}^{1}, & 1 \leq j \leq N_{p} \\ q_{c_{k} (j - N_{x})}^{2}, & N_{p} + 1 \leq j \leq 2 N_{p} \end{matrix} \end{matrix}, (13) \end{matrix}

则(12)式可被进一步化简为

\begin{matrix} F (A_{k}) = \overset{2 N_{p}}{\sum_{j = 1}} {(A_{k} e_{j} - f_{j})}_{2}^{2} 。 (14) \end{matrix}

为了最小化目标函数F(A_k),对dF(A_k)/dA_k=0进行求解,得到仿射矩阵A_k为

\begin{matrix} A_{k} = (\overset{2 N_{p}}{\sum_{j = 1}} f_{j} {e^{T}}_{j}) {(\overset{2 N_{p}}{\sum_{j = 1}} e_{j} {e^{T}}_{j})}^{- 1} 。 (15) \end{matrix}

将仿射矩阵A_k代入(10)式,可以进一步求解出平移向量t_k。

直到 $\begin{matrix} |F (A_{k}, t_{k}) - F (A_{k - 1}, t_{k - 1})| \end{matrix}$ ≤ε或者算法达到最大迭代次数K,循环结束并输出最终的仿射变换(A_k,t_k)。

3 实验结果与分析

为了验证本文算法的稳健性和精确性,选择Stereo人脸数据库^[26]和麻省理工学院生物和计算学习中心(MIT-CBCL)人脸数据库^[27]进行实验。设置了3组人脸仿射配准实验:第一组实验研究了FSFR算法的配准性能;第二组实验研究了噪声干扰对FSFR算法配准精度的影响;第三组实验研究了约束系数α对FSFR算法配准精度的影响。实验中选择SIFT^[17]、SURF^[18]、ORB^[20]和Fast-match^[13]算法作为对比算法。本文所有的实验均在配置为Intel Core 3.1 GHz CPU和16 GB RAM的电脑上运行。

3.1 实验设置

首先从Stereo人脸数据库和MIT-CBCL人脸数据库中,各分别选择3对具有局部形变和视角变换的人脸图像。接着对每对图像中的目标人脸图像进行旋转和尺度变换,旋转和尺度变换共有9种组合方式:旋转0°、旋转45°、旋转90°、旋转135°、旋转180°、缩小为0.5倍、扩大为1.5倍、旋转45°并缩小为0.5倍、旋转45°并扩大为1.5倍。这样,可以得到54对包含旋转和尺度变换的人脸图像。为了更好地比较人脸仿射配准结果,为所有人脸图像都手动标注了42个人脸特征点,并利用这些人脸特征点来验证最终仿射变换(A,t)的准确性。图2显示了42个人脸特征点的标注顺序。

图 2. 42个人脸特征点的标注顺序

Fig. 2. Annotation order of 42 facial feature points

下载图片查看所有图片

基于这些人脸特征点,定义人脸仿射配准误差(FARE)为

\begin{matrix} E = \frac{\frac{1}{N} \overset{N}{\sum_{i = 1}} {(A p_{i} + t - q_{i})}_{2}}{{(q_{12} - q_{17})}_{2}}, (16) \end{matrix}

式中p_i为模板人脸图像中的第i个人脸特征点;q_i为目标人脸图像中的第i个人脸特征点;(A,t)为算法输出的仿射变换;N为人脸特征点的个数; $\begin{matrix} {(q_{12} - q_{17})}_{2} \end{matrix}$ 为目标人脸图像上2个最近眼角之间的距离。当E<0.05时,认为配准成功。平均人脸仿射配准误差(AFARE)是通过对54对人脸图像的FARE求和并取平均值而得到的。

3.2 FSFR算法的配准性能

第一组实验研究了FSFR算法的配准性能,选择54对包含旋转和尺度变换的人脸图像进行人脸形状的精确配准实验。不同人脸配准算法的仿射配准结果如表1所示。

由表1可以看出,FSFR算法的AFARE远远低于其他配准算法,在处理具有旋转和尺度变换的人脸图像时,FSFR算法的配准成功率也是最高的。FSFR算法对54对人脸图像的整体配准时间处于SIFT和SURF算法之间,具有一定的运算复杂度。与Fast-match算法相比,FSFR算法通过在人脸精配准阶段引入形状信息进行精确配准,减小了人脸粗搜索阶段的迭代次数,提高了人脸仿射配准的精度和速度。不同人脸配准算法的部分仿射配准效果如图3所示;不同人脸配准算法的部分仿射配准结果如图4所示。

表 1. 不同人脸配准算法的仿射配准结果

Table 1. Affine registration results for different face registration algorithms

Algorithm	AFARE	Success rate /%	Registration time /s
SIFT^[17]	0.0519	77.78	34.6940
SURF^[18]	0.2990	44.44	9.1800
ORB^[20]	0.1763	48.42	4.5140
Fast-match^[13]	0.0677	47.22	61.6080
FSFR	0.0230	100.00	30.0216

查看所有表

图 3. 不同人脸配准算法的部分仿射配准效果图。(a)旋转90°;(b)旋转0°;(c)缩小为一半;(d)旋转45°并扩大为1.5倍

Fig. 3. Partial affine registration effect graphs for different face registration algorithms. (a) Rotate 90°; (b) Rotate 0°; (c) shrink to the half; (d) Rotate 45° and expand to 1.5 times

下载图片查看所有图片

图 4. 不同人脸配准算法的部分仿射配准结果

Fig. 4. Partial affine registration results for different face registration algorithms

下载图片查看所有图片

由图3可以看出,与其他4种人脸配准算法相比,FSFR算法实现了最佳的人脸仿射配准效果。在图4的部分配准结果中,FSFR算法的FARE也是最低的,与Fast-match算法相比,FSFR算法将人脸配准的精度提高到原来的2倍,这说明FSFR算法对旋转和尺度变换数据具有很强的处理能力。

3.3 噪声干扰对FSFR算法配准精度的影响

第二组实验研究了噪声干扰对FSFR算法配准精度的影响。选择第19对人脸图像进行仿射配准实验。在实验中,分别在目标人脸图像上加入方差为0.01,0.05,0.1,0.2,0.4,0.6,0.8和1的高斯噪声。表2为不同噪声干扰下各人脸配准算法的人脸仿射配准误差结果。

表 2. 不同高斯噪声干扰下各人脸配准算法的人脸仿射配准误差结果

Table 2. Face affine registration error results for different face registration algorithms with different Gaussian noise interferences

Variance of Gaussian noise interferences	FARE
Variance of Gaussian noise interferences	SIFT^[17]algorithm	SURF^[18]algorithm	ORB^[20]algorithm	Fast-match^[13]algorithm	FSFR algorithm
0.01	0.0368	0.0408	0.0512	0.0571	0.0323
0.05	0.0491	0.0559	0.8195	0.0588	0.0475
0.1	0.8231	0.0558	1.0604	0.0636	0.0551
0.2	0.7412	0.0679	1.0006	0.0689	0.0637
0.4	1.6763	0.9579	1.1837	0.0742	0.0713
0.6	1.6763	1.1650	1.3154	0.0847	0.0781
0.8	1.6763	2.4750	1.0020	0.0974	0.0936
1.0	1.6763	3.8865	1.7044	0.4623	0.4636

查看所有表

由表2可以看出,随着高斯噪声方差的增加,SIFT、SURF和ORB算法的FARE急剧上升,而Fast-match和FSFR算法的FARE先缓慢上升再快速增加。这是因为基于特征的人脸配准算法在噪声干扰时难以建立稳定的特征点描述符,进而导致人脸仿射配准的精度下降;而Fast-match和FSFR算法通过对模板人脸图像进行多次随机点采样并比较这些采样点和目标人脸图像对应点的像素SAD,从而进行人脸搜索,在一定程度上降低了由于噪声干扰而导致的两幅人脸图像的不相似性,提高了人脸仿射配准的精度。随着高斯噪声方差的增加,Fast角点检测难以在两幅人脸图像上检测到准确的形状点集和目标点集,这影响了FSFR算法在人脸精确配准阶段的精度,使得FSFR算法在高噪声干扰时的FARE与Fast-match算法的FARE相差不大。图5为不同噪声干扰下FSFR算法的人脸配准效果图。

在图5中,虽然人脸仿射配准的精度随着高斯噪声方差的增加而不断降低,但是直到高斯噪声方差超过0.8时,人脸仿射配准结果才显示出较大的配准误差。当高斯噪声方差小于0.8时,FSFR算法取得了良好的配准效果,这再一次证明了FSFR算法具有较高的精确性和稳健性。

3.4 约束系数对FSFR算法配准精度的影响

第三组实验研究了约束系数α对FSFR算法配准精度的影响。选择第1对人脸图像进行仿射配准实验。约束系数α分别被设置为0,0.5,1,1.5,2和2/k,其中k表示迭代次数,随着迭代次数k的增加,约束系数2/k不断减小。图6为不同约束系数下FSFR算法的人脸仿射配准误差曲线;图7为不同约束系数下FSFR算法的人脸仿射配准效果图。

图 5. 不同高斯噪声干扰下FSFR算法的人脸仿射配准效果图。 (a)模板人脸图像;(b)方差为0.01;(c)方差为0.05;(d)方差为0.1;(e)方差为0.2;(f)方差为0.4;(g)方差为0.6;(h)方差为0.8;(i)方差为1.0

Fig. 5. Face affine registration effect graphs of FSFR algorithm with different Gaussian noise interferences. (a) Template face image; (b) variance of 0.01; (c) variance of 0.05; (d) variance of 0.1; (e) variance of 0.2; (f) variance of 0.4; (g) variance of 0.6; (h) variance of 0.8; (i) variance of 1.0

下载图片查看所有图片

图 6. 不同约束系数下FSFR算法的人脸仿射配准误差曲线

Fig. 6. Face affine registration error curves of FSFR algorithm with different constraint coefficients

下载图片查看所有图片

由图6可以看出,当约束系数α=0时,由于缺乏前一步仿射变换的约束,因此人脸配准结果陷入了局部最小值问题,导致仿射配准失败。随着约束系数α从0.5增加到2,FSFR算法的收敛次数不断增加。其原因是前一步仿射变换的约束过大,减缓了模板人脸形变到目标人脸的过程。因此,设置了一个随着迭代次数增加而不断减小的约束系数α=2/k,当迭代次数k较小时,模板人脸形状可以快速地与目标人脸形状粗略配准。当迭代次数k增大时,k-1步仿射变换的约束作用不断降低,收敛速度进一步加快。由α=2/k时的误差曲线可以看出,这种约束系数设置方法在保持人脸配准误差不变的同时,大大降低了FSFR算法的收敛次数。图7同样证明了这种约束系数设置方法的有效性。

图 7. 不同约束系数下FSFR算法的人脸仿射配准效果图。(a) α=0; (b) α=0.5; (c) α=1; (d) α=1.5; (e) α=2; (f) α=2/k

Fig. 7. Face affine registration effect graphs of FSFR algorithm with different constraint coefficients. (a) α=0; (b) α=0.5; (c) α=1; (d) α=1.5; (e) α=2; (f) α=2/k

下载图片查看所有图片

4 结论

提出了一种基于单一匹配模板的人脸仿射配准理论。首先,为了综合考虑两幅人脸图像的颜色相似性和形状错配率,提出了一种基于颜色特征的人脸粗搜索算法。接着,以人脸粗搜索算法得到的仿射变换为初始约束,建立了前步仿射约束下的FSFR算法。实验结果表明,本文算法成功解决了旋转、尺度变换和噪声干扰下人脸形状难以配准的问题。与传统的人脸配准算法相比,本文算法的稳健性和精确性都有了很大提高。在后续工作中,本文算法将被扩展为3D人脸配准算法,并且应用到三维人脸重建中。

参考文献

[1] Sun Z L, Lam K M, Dong Z Y, et al. Face recognition with multi-resolution spectral feature images[J]. Plos One, 2013, 8(2): e55700.

Sun Z L, Lam K M, Dong Z Y, et al. Face recognition with multi-resolution spectral feature images[J]. Plos One, 2013, 8(2): e55700.

[2] 周亮基, 李庆武, 霍冠英, 等. 基于NSCT和仿生模式的人脸图像识别方法[J]. 激光与光电子学进展, 2015, 52(3): 031001.

周亮基, 李庆武, 霍冠英, 等. 基于NSCT和仿生模式的人脸图像识别方法[J]. 激光与光电子学进展, 2015, 52(3): 031001.

Zhou L J, Li Q W, Huo G Y, et al. Face image recognition method based on the NSCT and bionic pattern[J]. Laser & Optoelectronics Progress, 2015, 52(3): 031001.

[3] Wang L P, Chen S C. Joint representation classification for collective face recognition[J]. Pattern Recognition, 2017, 63(5): 182-192.

Wang L P, Chen S C. Joint representation classification for collective face recognition[J]. Pattern Recognition, 2017, 63(5): 182-192.

[4] YeM, Wang XW, Yang RG, et al. Accurate 3D pose estimation from a single depth image[C]. International Conference on Computer Vision, 2011, 24( 4): 731- 738.

YeM, Wang XW, Yang RG, et al. Accurate 3D pose estimation from a single depth image[C]. International Conference on Computer Vision, 2011, 24( 4): 731- 738.

[5] Chen C L, Jian B L. Infrared thermal facial image sequence registration analysis and verification[J]. Infrared Physics & Technology, 2015, 69: 1-6.

Chen C L, Jian B L. Infrared thermal facial image sequence registration analysis and verification[J]. Infrared Physics & Technology, 2015, 69: 1-6.

[6] Sariyanidi E, Gunes H, Cavallaro A. Robust registration of dynamic facial sequences[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1708-1722.

Sariyanidi E, Gunes H, Cavallaro A. Robust registration of dynamic facial sequences[J]. IEEE Transactions on Image Processing, 2017, 26(4): 1708-1722.

[7] HoJ, Yang MH, RangarajanA, et al. A new affine registration algorithm for matching 2D point sets[C]. IEEE Workshop on Applications of Computer Vision, 2007: 25.

HoJ, Yang MH, RangarajanA, et al. A new affine registration algorithm for matching 2D point sets[C]. IEEE Workshop on Applications of Computer Vision, 2007: 25.

[8] 韦盛斌, 王少卿, 周常河, 等. 用于三维重建的点云单应性迭代最近点配准算法[J]. 光学学报, 2015, 35(5): 0515003.

韦盛斌, 王少卿, 周常河, 等. 用于三维重建的点云单应性迭代最近点配准算法[J]. 光学学报, 2015, 35(5): 0515003.

Wei S B, Wang S Q, Zhou C H, et al. An iterative closest point algorithm based on biunique correspondence of point clouds for 3D reconstruction[J]. Acta Optica Sinica, 2015, 35(5): 0515003.

[9] 周文振, 陈国良, 杜珊珊, 等. 一种聚类改进的迭代最近点配准算法[J]. 激光与光电子学进展, 2016, 53(5): 051202.

周文振, 陈国良, 杜珊珊, 等. 一种聚类改进的迭代最近点配准算法[J]. 激光与光电子学进展, 2016, 53(5): 051202.

Zhou W Z, Chen G L, Du S S, et al. An improved iterative closest point algorithm using clustering[J]. Laser & Optoelectronics Progress, 2016, 53(5): 051202.

[10] Baker S, Matthews I. Lucas-Kanade 20 years on: a unifying framework[J]. International Journal of Computer Vision, 2004, 56(3): 221-255.

Baker S, Matthews I. Lucas-Kanade 20 years on: a unifying framework[J]. International Journal of Computer Vision, 2004, 56(3): 221-255.

[11] Yang Y, Liu Y H, Liu J Y. Automatic face image annotation based on a single template with constrained warping deformation[J]. IET Computer Vision, 2013, 7(1): 20-28.

Yang Y, Liu Y H, Liu J Y. Automatic face image annotation based on a single template with constrained warping deformation[J]. IET Computer Vision, 2013, 7(1): 20-28.

[12] DekelT, OronS, RubinsteinM, et al. Best-buddies similarity for robust template matching[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2015: 2021- 2029.

DekelT, OronS, RubinsteinM, et al. Best-buddies similarity for robust template matching[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2015: 2021- 2029.

[13] KormanS, ReichmanD, TsurG, et al. Fast-match: fast affine template matching[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2013: 2331- 2338.

KormanS, ReichmanD, TsurG, et al. Fast-match: fast affine template matching[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2013: 2331- 2338.

[14] CristinacceD, Cootes TF. Feature detection and tracking with constrained local models[C]. British Machine Vision Conference, 2006: 929- 938.

CristinacceD, Cootes TF. Feature detection and tracking with constrained local models[C]. British Machine Vision Conference, 2006: 929- 938.

[15] LiangL, XiaoR, WenF, et al. Face alignment via component-based discriminative search[C]. 10th European Conference on Computer Vision, 2008: 72- 85.

LiangL, XiaoR, WenF, et al. Face alignment via component-based discriminative search[C]. 10th European Conference on Computer Vision, 2008: 72- 85.

[16] GrittiT, Shan CF, JeanneV, et al. Local features based facial expression recognition with face registration errors[C]. 8th IEEE International Conference on Automatic Face & Gesture Recognition, 2008: 1- 8.

GrittiT, Shan CF, JeanneV, et al. Local features based facial expression recognition with face registration errors[C]. 8th IEEE International Conference on Automatic Face & Gesture Recognition, 2008: 1- 8.

[17] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[18] BayH, Tuytelaars T, van Gool L. SURF: speeded up robust features[C]. 9th European conference on Computer Vision, 2006: 404- 417.

BayH, Tuytelaars T, van Gool L. SURF: speeded up robust features[C]. 9th European conference on Computer Vision, 2006: 404- 417.

[19] DalalN, TriggsB. Histograms of oriented gradients for human detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2005: 886- 893.

DalalN, TriggsB. Histograms of oriented gradients for human detection[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2005: 886- 893.

[20] RubleeE, RabaudV, KonoligeK, et al. ORB: an efficient alternative to SIFT or SURF[C]. IEEE International Conference on Computer Vision, 2012: 2564- 2571.

RubleeE, RabaudV, KonoligeK, et al. ORB: an efficient alternative to SIFT or SURF[C]. IEEE International Conference on Computer Vision, 2012: 2564- 2571.

[21] RostenE, DrummondT. Machine learning for high-speed corner detection[C]. 9th European Conference on Computer Vision, 2006: 430- 443.

RostenE, DrummondT. Machine learning for high-speed corner detection[C]. 9th European Conference on Computer Vision, 2006: 430- 443.

[22] NuchterA, LingemannK, HertzbergJ. Cached k-d tree search for ICP algorithms[C]. 6th International Conference on 3-D Digital Imaging and Modeling, 2007: 419- 426.

NuchterA, LingemannK, HertzbergJ. Cached k-d tree search for ICP algorithms[C]. 6th International Conference on 3-D Digital Imaging and Modeling, 2007: 419- 426.

[23] Dasgupta S, Sinha K. Randomized partition trees for nearest neighbor search[J]. Algorithmica, 2015, 72(1): 237-263.

Dasgupta S, Sinha K. Randomized partition trees for nearest neighbor search[J]. Algorithmica, 2015, 72(1): 237-263.

[24] Chen H, Lin T. An algorithm to build convex hulls for 3D objects[J]. Journal of the Chinese Institute of Engineers, 2006, 29(6): 945-952.

Chen H, Lin T. An algorithm to build convex hulls for 3D objects[J]. Journal of the Chinese Institute of Engineers, 2006, 29(6): 945-952.

[25] Alexander C. Delineating tree crowns from airborne laser scanning point cloud data using Delaunay triangulation[J]. International Journal of Remote Sensing, 2009, 30(14): 3843-3848.

Alexander C. Delineating tree crowns from airborne laser scanning point cloud data using Delaunay triangulation[J]. International Journal of Remote Sensing, 2009, 30(14): 3843-3848.

[26] FransensR, Strecha C, van Gool L. Parametric stereo for multi-pose face recognition and 3d-face modeling[C]. 2nd International Conference on Analysis and Modeling of Faces and Gestures, 2005: 109- 124.

FransensR, Strecha C, van Gool L. Parametric stereo for multi-pose face recognition and 3d-face modeling[C]. 2nd International Conference on Analysis and Modeling of Faces and Gestures, 2005: 109- 124.

[27] Rowley H A, Baluja S, Kanade T. Neural network-based face detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(1): 23-38.

Rowley H A, Baluja S, Kanade T. Neural network-based face detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(1): 23-38.

3.3 噪声干扰对FSFR算法配准精度的影响

3.4 约束系数对FSFR算法配准精度的影响

4 结论

吴礼洋, 熊磊, 杜少毅, 毕笃彦, 方挺. 基于快速仿射模板匹配和改进仿射迭代最近点算法的人脸稳健精确仿射配准[J]. 光学学报, 2018, 38(2): 0210004. Liyang Wu, Lei Xiong, Shaoyi Du, Duyan Bi, Ting Fang. Robust and Precise Affine Registration for Faces Based on Fast Affine Template Matching and Modified Affine Iterative Closet Point Algorithm[J]. Acta Optica Sinica, 2018, 38(2): 0210004.

基于快速仿射模板匹配和改进仿射迭代最近点算法的人脸稳健精确仿射配准下载： 803次

1 引言

2 人脸仿射配准理论

2.1 基于颜色特征的人脸粗搜索算法

图 1. 两种相似性度量点集采样方法。 (a)本文方法;(b)Fast-match算法

Fig. 1. Two similarity measure point set sampling methods. (a) Proposed method; (b) Fast-match algorithm

2.2 FSFR算法

3 实验结果与分析

3.1 实验设置

图 2. 42个人脸特征点的标注顺序

Fig. 2. Annotation order of 42 facial feature points

3.2 FSFR算法的配准性能

表 1. 不同人脸配准算法的仿射配准结果

Table 1. Affine registration results for different face registration algorithms

图 3. 不同人脸配准算法的部分仿射配准效果图。(a)旋转90°;(b)旋转0°;(c)缩小为一半;(d)旋转45°并扩大为1.5倍

Fig. 3. Partial affine registration effect graphs for different face registration algorithms. (a) Rotate 90°; (b) Rotate 0°; (c) shrink to the half; (d) Rotate 45° and expand to 1.5 times

图 4. 不同人脸配准算法的部分仿射配准结果

Fig. 4. Partial affine registration results for different face registration algorithms

3.3 噪声干扰对FSFR算法配准精度的影响

表 2. 不同高斯噪声干扰下各人脸配准算法的人脸仿射配准误差结果

Table 2. Face affine registration error results for different face registration algorithms with different Gaussian noise interferences

3.4 约束系数对FSFR算法配准精度的影响

图 5. 不同高斯噪声干扰下FSFR算法的人脸仿射配准效果图。 (a)模板人脸图像;(b)方差为0.01;(c)方差为0.05;(d)方差为0.1;(e)方差为0.2;(f)方差为0.4;(g)方差为0.6;(h)方差为0.8;(i)方差为1.0

图 6. 不同约束系数下FSFR算法的人脸仿射配准误差曲线

Fig. 6. Face affine registration error curves of FSFR algorithm with different constraint coefficients

图 7. 不同约束系数下FSFR算法的人脸仿射配准效果图。(a) α=0; (b) α=0.5; (c) α=1; (d) α=1.5; (e) α=2; (f) α=2/k

Fig. 7. Face affine registration effect graphs of FSFR algorithm with different constraint coefficients. (a) α=0; (b) α=0.5; (c) α=1; (d) α=1.5; (e) α=2; (f) α=2/k

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于快速仿射模板匹配和改进仿射迭代最近点算法的人脸稳健精确仿射配准 下载： 803次

1 引言

2 人脸仿射配准理论

2.1 基于颜色特征的人脸粗搜索算法

图 1. 两种相似性度量点集采样方法。 (a)本文方法;(b)Fast-match算法

Fig. 1. Two similarity measure point set sampling methods. (a) Proposed method; (b) Fast-match algorithm

2.2 FSFR算法

3 实验结果与分析

3.1 实验设置

图 2. 42个人脸特征点的标注顺序

Fig. 2. Annotation order of 42 facial feature points

3.2 FSFR算法的配准性能

表 1. 不同人脸配准算法的仿射配准结果

Table 1. Affine registration results for different face registration algorithms

图 3. 不同人脸配准算法的部分仿射配准效果图。(a)旋转90°;(b)旋转0°;(c)缩小为一半;(d)旋转45°并扩大为1.5倍

Fig. 3. Partial affine registration effect graphs for different face registration algorithms. (a) Rotate 90°; (b) Rotate 0°; (c) shrink to the half; (d) Rotate 45° and expand to 1.5 times

图 4. 不同人脸配准算法的部分仿射配准结果

Fig. 4. Partial affine registration results for different face registration algorithms

3.3 噪声干扰对FSFR算法配准精度的影响

表 2. 不同高斯噪声干扰下各人脸配准算法的人脸仿射配准误差结果

Table 2. Face affine registration error results for different face registration algorithms with different Gaussian noise interferences

3.4 约束系数对FSFR算法配准精度的影响

图 5. 不同高斯噪声干扰下FSFR算法的人脸仿射配准效果图。 (a)模板人脸图像;(b)方差为0.01;(c)方差为0.05;(d)方差为0.1;(e)方差为0.2;(f)方差为0.4;(g)方差为0.6;(h)方差为0.8;(i)方差为1.0

图 6. 不同约束系数下FSFR算法的人脸仿射配准误差曲线

Fig. 6. Face affine registration error curves of FSFR algorithm with different constraint coefficients

图 7. 不同约束系数下FSFR算法的人脸仿射配准效果图。(a) α=0; (b) α=0.5; (c) α=1; (d) α=1.5; (e) α=2; (f) α=2/k

Fig. 7. Face affine registration effect graphs of FSFR algorithm with different constraint coefficients. (a) α=0; (b) α=0.5; (c) α=1; (d) α=1.5; (e) α=2; (f) α=2/k

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于快速仿射模板匹配和改进仿射迭代最近点算法的人脸稳健精确仿射配准下载： 803次