1 重庆邮电大学通信与信息工程学院，重庆 400065
2 重庆邮电大学移动通信技术重庆市重点实验室，重庆 400065
3 重庆邮电大学国际学院，重庆 400065
由于人脸表情特有的微妙性和复杂性，对全局面部进行研究时无法突出表情特性。为了增强表情识别在自然环境下的鲁棒性并且优化模型参数，提出一种基于多区域融合的轻量级人脸表情识别方法，融合局部细节特征和全局整体特征，实现粗细粒度结合，增强模型对表情细微变化的判别能力。首先，通过一个分支从人脸子区域提取局部特征，以眼部和嘴部作为细节区域输入，描述面部细节。其次，通过另一个分支从人脸全局自适应地获取面部整体特征，以关键点生成掩模，辅助调节面部注意力图。注意力图作用于全局特征，突出未遮挡部位权重，描述整体高级语义信息。并且，采用剪枝算法对整体模型进行轻量级优化，使用更少的运行内存和计算操作，得到更紧凑的网络。最后，在公开数据集RAF-DB和AffectNet上，所提方法对表情的识别精度分别达85.39%和58.81%。实验结果表明：所提方法的识别精度高于其他先进方法，并显著减少了参数量，有效性和先进性得到证明。
图像处理 人脸表情识别 注意力图 轻量级网络 剪枝算法 多区域融合 激光与光电子学进展
2023, 60(6): 0610006
1 河南工学院 计算机科学与技术学院, 河南 新 乡 453003
2 河南省生产制造物联大数据工程技术研究中心, 河南 新乡 453003
3 武汉理工大学 计算机科学与技术学院, 湖北 武汉 430063
近年来, 人脸表情识别(FER)方法已经取得比较好的识别准确度, 但实际环境中由于姿态、遮挡、光照等因素, 会对其检测准确度有不小的减弱效果。针对这些问题, 提出了一种新的基于双流卷积神经网络(CNN)的FER算法。从外观和几何特征差异两方面入手, 建立双流CNN, 基于外观特征的网络是提取预处理后图像的局部方向模式(LDP)特征作为该网络的输入, 而基于几何特征的网络主要是基于动作单元(AUs)标志点的坐标变化, AUs标志点主要是标志面部做表情时运动肌肉的位置。此外, 利用了一种自动编码器技术生成具有中性情绪的面部图像的技术。算法在CK+和JAFFE数据集上进行了验证, 检测准确度分别为98.81%和96.05%, 与其他最新方法比较均显示出更好的效果。
人脸表情识别 双流卷积神经网络 LDP特征 几何特征 深度学习 facial expression recognition Dual-stream convolutional neural network LDP features geometric characteristics deep learning
1 内蒙古科技大学信息工程学院模式识别与智能图像处理重点实验室, 内蒙古 包头 014010
2 内蒙古工业大学信息工程学院, 内蒙古 呼和浩特 010051
3 上海大学计算机工程与科学学院, 上海 200444
4 大连海事大学信息科学技术学院, 辽宁 大连 116026
针对传统机器学习中人工提取特征复杂度高,以及单卷积网络提取特征不充分导致识别率不高的问题,提出了一种基于集成卷积神经网络的面部表情识别新方法。该方法是将VGGNet-19改进后的VGGNet-19GP模型和ResNet-18模型进行集成,构建了集成网络(EnsembleNet)模型。该模型首先在训练集上对单模型进行训练,使单模型达到实验最优,然后在测试集上进行集成测试。在FER2013和CK+数据集上分别获得了73.854%和97.611%的平均准确率。与VGGNet-19GP和ResNet-18模型以及现有方法进行对比,结果表明,基于集成的面部表情分类方法具有分类更加准确和泛化能力更强的优点。
机器视觉 人脸表情识别 卷积神经网络 集成学习 激光与光电子学进展
2020, 57(14): 141501
1 阜阳师范学院计算机与信息工程学院, 安徽 阜阳 236037
2 安徽大学计算机科学与技术学院, 安徽 合肥 230601
传统表情识别往往是基于单一图像进行特征提取、训练及识别,缺乏在动态时间上的细微表情变化提取。利用时间前后的人脸表情变化信息,提出了一种基于概率协作表示的多视频序列融合表情识别方法。先采用主动外观模型(AAM)定位出人脸表情的68个特征点,利用提出的融合策略将相邻3帧表情图像的AAM特征进行融合,最后利用概率协作表示的分类优势进行识别。实验结果表明,在CK+表情数据库上,所提出的方法能够把握表情的时间变化信息,相比于近几年的表情识别算法,在识别率上取得了较好的效果。
机器视觉 人脸表情识别 主动外观模型 多序列融合 概率协作表示 激光与光电子学进展
2019, 56(13): 131004
南京工业大学电气工程与控制科学学院， 江苏 南京 211816
在人脸表情识别任务中，传统的机器学习方法是基于人工来提取特征，其特征提取过程时间复杂度高且稳健性差，而现有依赖单通道卷积核的卷积神经网络提取特征不够充分，进而导致识别率不高。针对这些问题，提出一种多分辨率特征融合的卷积神经网络。利用两个相互独立且深度不同的通道对图片进行特征提取，使卷积神经网络自主学习同一图像下不同分辨率的特征，然后将不同分辨率的特征送入全连接层并进行特征融合，最后经过softmax分类器进行表情分类。在JAFFE和CK+表情数据库上进行了多次实验，结果表明，与传统的机器学习方法和现有的卷积神经网络结构相比，所提卷积神经网络结构模型具有稳健性好、泛化能力强、收敛速度快的优点。
机器视觉 人脸表情识别 特征提取 卷积神经网络 多分辨率特征融合 激光与光电子学进展
2018, 55(7): 071503
1 暨南大学 理工学院, 广州 510632
2 暨南大学 电气自动化研究所, 广东 珠海 519070
为了有效地对图像序列进行面部表情识别, 提出一种基于主动形状模型(active shape model, ASM)结合Lucas-Kanade(LK)光流法的方法提取位移特征, 采用随机森林分类器对提取到的位移特征进行分类与识别。在Extended Cohn-Kanade(CK+)人脸表情数据库上的实验表明, 该特征提取方法能够很好地描述图像序列中所包含的表情信息和特征点运动变化信息, 比常用的K-近邻、贝叶斯网络和支持向量机等分类器所表现出来的效果要好, 其识别率达到95.1%。
人脸表情识别 位移特征 主动形状模型 随机森林 LK光流法 facial expression recognition displacement feature active shape model random forest LK optical flow
山东大学 信息科学与工程学院, 济南 250100
提出一种基于提升小波和Fisher线性判别法(FLD)相结合的人脸表情特征提取方法。提升小波是完全基于时空域的变换, 具有多分辨率的特征, 更有利于表情细节信息的提取, 并且运算时间短, 便于实现。图像经过提升小波变换后, 取其低频分量和高频分量相结合作为整体特征, 实验证明保存了绝大部分的表情分量, 然后用Fisher线性判别法(FLD)进行特征提取, 采用K-近邻法进行分类。在JAFFE数据库中, 分辨率达到94.3%, 识别时间为2.9s, 证明了方法的有效性。
人脸表情识别 特征提取 提升小波 facial expression recognition feature extraction lifting wavelet FLD(Fisher linear discriminant) FLD(Fisher linear discriminant)
