陕西科技大学 电子信息与人工智能学院，陕西 西安710021
针对ResNet18网络模型在面部表情识别时存在网络模型大、准确率低等问题，提出了一种基于注意力机制ResNet轻量网络模型（Multi-Scale CBAM Lightweight ResNet，MCLResNet），能够以较少的参数量、较高的准确率实现面部表情的识别。首先，采用ResNet18作为主干网络提取特征，引入分组卷积减少ResNet18的参数量；利用倒残差结构增加网络深度，优化了图像特征提取效果。其次，将CBAM（Convolutional Block Attention Module）通道注意力模块中的共享全连接层替换为1×3的卷积模块，有效减少了通道信息的丢失；在CBAM空间注意力模块中添加多尺度卷积模块获得了不同尺度的空间特征信息。最后，将多尺度空间特征融合的CBAM模块（Multi-Scale CBAM，MSCBAM）添加到轻量的ResNet模型中，有效增加了网络模型的特征表达能力，另外在引入MSCBAM的网络模型输出层增加一层全连接层，以此增加模型在输出时的非线性表示。该模型在FER2013和CK+数据集上的实验结果表明，本文提出的模型参数量相比ResNet18下降82.58%，并且有较好的识别准确率。
ResNet轻量网络 多尺度空间特征融合 面部表情识别 注意力机制 lightweight resnet network multi-scale spatial feature fusion facial expression recognition attention mechanism
1 重庆邮电大学通信与信息工程学院，重庆 400065
2 重庆邮电大学移动通信技术重庆市重点实验室，重庆 400065
3 重庆邮电大学国际学院，重庆 400065
由于人脸表情特有的微妙性和复杂性，对全局面部进行研究时无法突出表情特性。为了增强表情识别在自然环境下的鲁棒性并且优化模型参数，提出一种基于多区域融合的轻量级人脸表情识别方法，融合局部细节特征和全局整体特征，实现粗细粒度结合，增强模型对表情细微变化的判别能力。首先，通过一个分支从人脸子区域提取局部特征，以眼部和嘴部作为细节区域输入，描述面部细节。其次，通过另一个分支从人脸全局自适应地获取面部整体特征，以关键点生成掩模，辅助调节面部注意力图。注意力图作用于全局特征，突出未遮挡部位权重，描述整体高级语义信息。并且，采用剪枝算法对整体模型进行轻量级优化，使用更少的运行内存和计算操作，得到更紧凑的网络。最后，在公开数据集RAF-DB和AffectNet上，所提方法对表情的识别精度分别达85.39%和58.81%。实验结果表明：所提方法的识别精度高于其他先进方法，并显著减少了参数量，有效性和先进性得到证明。
图像处理 人脸表情识别 注意力图 轻量级网络 剪枝算法 多区域融合 激光与光电子学进展
2023, 60(6): 0610006
1 贵州大学大数据与信息工程学院，贵州 贵阳 550025
2 贵阳铝镁设计研究院有限公司，贵州 贵阳 550009
人脸表情识别是神经网络应用于模式识别上一项极具挑战性的任务，而表情识别过程中特征提取尤为重要。因此，提出了一种注意力拆分卷积残差网络来增强特征表现。该网络以ResNet18为骨干网络，用Coordinate Attention Split Convolution Block（CASCBlock）替换ResNet18中的basic block。CASCBlock首先使用两个拆分卷积将特征在通道维度先拆分后融合降低冗余特征表现；然后在第2个拆分卷积后融入坐标注意力机制；最后构建一个全连接分类器进行表情识别。将所提方法在FER2013和RAF-DB数据集上进行了实验，实验结果表明，所提方法在FER2013和RAF-DB数据集上识别准确率相较于ResNet18分别提高了2.897个百分点和2.575个百分点，且模型的参数量下降了60%左右。
机器视觉 拆分卷积 残差网络 特征融合 表情识别 注意力机制 激光与光电子学进展
2022, 59(18): 1815009
1 河南工学院 计算机科学与技术学院, 河南 新 乡 453003
2 河南省生产制造物联大数据工程技术研究中心, 河南 新乡 453003
3 武汉理工大学 计算机科学与技术学院, 湖北 武汉 430063
近年来, 人脸表情识别(FER)方法已经取得比较好的识别准确度, 但实际环境中由于姿态、遮挡、光照等因素, 会对其检测准确度有不小的减弱效果。针对这些问题, 提出了一种新的基于双流卷积神经网络(CNN)的FER算法。从外观和几何特征差异两方面入手, 建立双流CNN, 基于外观特征的网络是提取预处理后图像的局部方向模式(LDP)特征作为该网络的输入, 而基于几何特征的网络主要是基于动作单元(AUs)标志点的坐标变化, AUs标志点主要是标志面部做表情时运动肌肉的位置。此外, 利用了一种自动编码器技术生成具有中性情绪的面部图像的技术。算法在CK+和JAFFE数据集上进行了验证, 检测准确度分别为98.81%和96.05%, 与其他最新方法比较均显示出更好的效果。
人脸表情识别 双流卷积神经网络 LDP特征 几何特征 深度学习 facial expression recognition Dual-stream convolutional neural network LDP features geometric characteristics deep learning
1 内蒙古科技大学信息工程学院模式识别与智能图像处理重点实验室, 内蒙古 包头 014010
2 内蒙古工业大学信息工程学院, 内蒙古 呼和浩特 010051
3 上海大学计算机工程与科学学院, 上海 200444
4 大连海事大学信息科学技术学院, 辽宁 大连 116026
针对传统机器学习中人工提取特征复杂度高,以及单卷积网络提取特征不充分导致识别率不高的问题,提出了一种基于集成卷积神经网络的面部表情识别新方法。该方法是将VGGNet-19改进后的VGGNet-19GP模型和ResNet-18模型进行集成,构建了集成网络(EnsembleNet)模型。该模型首先在训练集上对单模型进行训练,使单模型达到实验最优,然后在测试集上进行集成测试。在FER2013和CK+数据集上分别获得了73.854%和97.611%的平均准确率。与VGGNet-19GP和ResNet-18模型以及现有方法进行对比,结果表明,基于集成的面部表情分类方法具有分类更加准确和泛化能力更强的优点。
机器视觉 人脸表情识别 卷积神经网络 集成学习 激光与光电子学进展
2020, 57(14): 141501
台州学院 智能信息处理研究所, 浙江 台州 318000
由于视频中的手工特征和主观情感之间的直接相关性很小, 识别视频序列中的面部表情是一项很有挑战性的任务, 为了克服这个缺陷, 有效提高视频中的人脸表情识别性能。本方法采用两个深度卷积神经网络, 即空间卷积神经网络和时间卷积神经网络, 用于视频中的时空表情特征学习。其中, 空间卷积神经网络用于提取视频中每一帧静态的表情图像的空间信息特征, 而时间卷积神经网络用于从视频中多帧表情图像的光流信息中提取动态信息特征。然后, 将这两个深度卷积神经网络学习到的时空特征进行基于深度信念网络(DBN)的特征层融合, 输入到支持向量机实现视频中的人脸表情分类任务。在公共的RML和BAUM-1s视频情感数据集的测试结果表明, 该方法分别取得了71.06%和5218%的正确识别率, 明显优于现有文献报导的结果。多模深度卷积神经网络的人脸表情识别方法能提高视频中人脸表情的识别性能。
深度卷积神经网络 多模深度学习 表情识别 时空特征 深度信念神经网络 deep convolutional neural network multimodal deep learning facial expression recognition temporal-spatial features Deep Belief Network(DBN)
1 阜阳师范学院计算机与信息工程学院, 安徽 阜阳 236037
2 安徽大学计算机科学与技术学院, 安徽 合肥 230601
传统表情识别往往是基于单一图像进行特征提取、训练及识别,缺乏在动态时间上的细微表情变化提取。利用时间前后的人脸表情变化信息,提出了一种基于概率协作表示的多视频序列融合表情识别方法。先采用主动外观模型(AAM)定位出人脸表情的68个特征点,利用提出的融合策略将相邻3帧表情图像的AAM特征进行融合,最后利用概率协作表示的分类优势进行识别。实验结果表明,在CK+表情数据库上,所提出的方法能够把握表情的时间变化信息,相比于近几年的表情识别算法,在识别率上取得了较好的效果。
机器视觉 人脸表情识别 主动外观模型 多序列融合 概率协作表示 激光与光电子学进展
2019, 56(13): 131004
1 合肥工业大学计算机与信息学院 情感计算与先进智能机器安徽省重点实验室, 安徽 合肥 230009
2 德岛大学先端技术科学教育部, 日本 德岛 7708502
针对非约束环境下,局部遮挡可能会对表情识别造成干扰并影响最终判别结果的问题,提出一种基于非对称邻域韦伯局部描述子(AR-WLD)和分块相似度加权的表情识别算法。在特征描述上,相比传统的韦伯局部描述子 (WLD),AR-WLD将原有的方形邻域扩展成非对称邻域,并进行了多尺度分析,增强了算子的表征能力。在分类判别时,为了区分不同面部区域对表情识别的贡献度,对表情区域进行了不重叠分块;引入了信息熵来衡量不同子块包含的不确定信息,依据信息量定义相似性距离的权重;通过分块相似度加权求和,实现表情判别。在JAFFE库和CK库上的实验结果表明:当表情图像存在遮挡时,AR-WLD可以有效地提高WLD的分类能力和稳健性,分块相似度加权的分类算法则进一步降低遮挡区域对表情识别的干扰。
图像处理 遮挡表情识别 非对称邻域韦伯局部描述子 分块相似度 信息熵加权 激光与光电子学进展
2018, 55(4): 041013
南京工业大学电气工程与控制科学学院， 江苏 南京 211816
在人脸表情识别任务中，传统的机器学习方法是基于人工来提取特征，其特征提取过程时间复杂度高且稳健性差，而现有依赖单通道卷积核的卷积神经网络提取特征不够充分，进而导致识别率不高。针对这些问题，提出一种多分辨率特征融合的卷积神经网络。利用两个相互独立且深度不同的通道对图片进行特征提取，使卷积神经网络自主学习同一图像下不同分辨率的特征，然后将不同分辨率的特征送入全连接层并进行特征融合，最后经过softmax分类器进行表情分类。在JAFFE和CK+表情数据库上进行了多次实验，结果表明，与传统的机器学习方法和现有的卷积神经网络结构相比，所提卷积神经网络结构模型具有稳健性好、泛化能力强、收敛速度快的优点。
机器视觉 人脸表情识别 特征提取 卷积神经网络 多分辨率特征融合 激光与光电子学进展
2018, 55(7): 071503
1 暨南大学 理工学院, 广州 510632
2 暨南大学 电气自动化研究所, 广东 珠海 519070
为了有效地对图像序列进行面部表情识别, 提出一种基于主动形状模型(active shape model, ASM)结合Lucas-Kanade(LK)光流法的方法提取位移特征, 采用随机森林分类器对提取到的位移特征进行分类与识别。在Extended Cohn-Kanade(CK+)人脸表情数据库上的实验表明, 该特征提取方法能够很好地描述图像序列中所包含的表情信息和特征点运动变化信息, 比常用的K-近邻、贝叶斯网络和支持向量机等分类器所表现出来的效果要好, 其识别率达到95.1%。
人脸表情识别 位移特征 主动形状模型 随机森林 LK光流法 facial expression recognition displacement feature active shape model random forest LK optical flow
