陕西科技大学 电子信息与人工智能学院，陕西 西安710021
针对ResNet18网络模型在面部表情识别时存在网络模型大、准确率低等问题，提出了一种基于注意力机制ResNet轻量网络模型（Multi-Scale CBAM Lightweight ResNet，MCLResNet），能够以较少的参数量、较高的准确率实现面部表情的识别。首先，采用ResNet18作为主干网络提取特征，引入分组卷积减少ResNet18的参数量；利用倒残差结构增加网络深度，优化了图像特征提取效果。其次，将CBAM（Convolutional Block Attention Module）通道注意力模块中的共享全连接层替换为1×3的卷积模块，有效减少了通道信息的丢失；在CBAM空间注意力模块中添加多尺度卷积模块获得了不同尺度的空间特征信息。最后，将多尺度空间特征融合的CBAM模块（Multi-Scale CBAM，MSCBAM）添加到轻量的ResNet模型中，有效增加了网络模型的特征表达能力，另外在引入MSCBAM的网络模型输出层增加一层全连接层，以此增加模型在输出时的非线性表示。该模型在FER2013和CK+数据集上的实验结果表明，本文提出的模型参数量相比ResNet18下降82.58%，并且有较好的识别准确率。
ResNet轻量网络 多尺度空间特征融合 面部表情识别 注意力机制 lightweight resnet network multi-scale spatial feature fusion facial expression recognition attention mechanism
1 重庆邮电大学通信与信息工程学院，重庆 400065
2 重庆邮电大学移动通信技术重庆市重点实验室，重庆 400065
3 重庆邮电大学国际学院，重庆 400065
由于人脸表情特有的微妙性和复杂性，对全局面部进行研究时无法突出表情特性。为了增强表情识别在自然环境下的鲁棒性并且优化模型参数，提出一种基于多区域融合的轻量级人脸表情识别方法，融合局部细节特征和全局整体特征，实现粗细粒度结合，增强模型对表情细微变化的判别能力。首先，通过一个分支从人脸子区域提取局部特征，以眼部和嘴部作为细节区域输入，描述面部细节。其次，通过另一个分支从人脸全局自适应地获取面部整体特征，以关键点生成掩模，辅助调节面部注意力图。注意力图作用于全局特征，突出未遮挡部位权重，描述整体高级语义信息。并且，采用剪枝算法对整体模型进行轻量级优化，使用更少的运行内存和计算操作，得到更紧凑的网络。最后，在公开数据集RAF-DB和AffectNet上，所提方法对表情的识别精度分别达85.39%和58.81%。实验结果表明：所提方法的识别精度高于其他先进方法，并显著减少了参数量，有效性和先进性得到证明。
图像处理 人脸表情识别 注意力图 轻量级网络 剪枝算法 多区域融合 激光与光电子学进展
2023, 60(6): 0610006
1 贵州大学大数据与信息工程学院，贵州 贵阳 550025
2 贵阳铝镁设计研究院有限公司，贵州 贵阳 550009
人脸表情识别是神经网络应用于模式识别上一项极具挑战性的任务，而表情识别过程中特征提取尤为重要。因此，提出了一种注意力拆分卷积残差网络来增强特征表现。该网络以ResNet18为骨干网络，用Coordinate Attention Split Convolution Block（CASCBlock）替换ResNet18中的basic block。CASCBlock首先使用两个拆分卷积将特征在通道维度先拆分后融合降低冗余特征表现；然后在第2个拆分卷积后融入坐标注意力机制；最后构建一个全连接分类器进行表情识别。将所提方法在FER2013和RAF-DB数据集上进行了实验，实验结果表明，所提方法在FER2013和RAF-DB数据集上识别准确率相较于ResNet18分别提高了2.897个百分点和2.575个百分点，且模型的参数量下降了60%左右。
机器视觉 拆分卷积 残差网络 特征融合 表情识别 注意力机制 激光与光电子学进展
2022, 59(18): 1815009
上海工程技术大学电子电气工程学院，上海 201620
针对传统算法对多角度人脸表情识别效果不佳、偏转角下生成的人脸正面化图像质量低等问题，提出了一种结合双通道WGAN-GP的多角度人脸表情识别算法。传统模型仅利用侧脸特征对多角度人脸进行表情识别，特征差异小导致识别精度低。因此，引入生成对抗网络对人脸进行转正，消除姿态角的影响。为了使模型稳定训练的同时提升人脸生成质量，以WGAN-GP作为基础网络，并将其改进为双通道结构，融合五官特征及人脸全局特征来进行正面化生成。最后，构建轻量级网络MobileNetV3对生成出的正面人脸表情图像进行识别，保证分类精度并且大幅减小参数运算量。实验结果表明，所提算法在任意角度下，都能较好地复原出正面化人脸表情图像，提高了多角度人脸表情的识别率。
图像处理 生成对抗网络 卷积神经网络 多角度人脸表情 人脸正面化 双通道 激光与光电子学进展
2022, 59(18): 1810013
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 中国科学院大学, 北京 100049
微表情是指当人们想要隐藏其真实情绪时, 所自发产生的表情, 持续时间在1/5 s之内, 其面部肌肉运动短暂、幅度微小, 有限的数据集使得特征提取变得困难, 给其识别带来巨大的挑战。针对这些问题, 本文提出一种基于图像预处理技术和双分支网络的识别方法, 首先利用先进的人脸对齐网络获取有效的面部表情区域, 再采取欧拉视频放大技术捕捉面部动作的微弱变化, 以及提取光流信息作为视频序列的特征, 然后将光流信息不同组合的特征图输入到双分支分类网络中得到表情标签输出。在SMIC和CASME Ⅱ两个公开的数据集上进行实验, 采用留一法交叉验证, 准确率分别达到0.545和0.584, 实验结果的定量分析和定性分析均验证了所提出识别模型的有效性。
微表情 视频放大 光流 双分支网络 micro-expression video magnification optical flow dual-branch network
南京航空航天大学 自动化学院, 南京 210016
表情识别作为计算机视觉领域的研究热点, 在情感识别、人机交互、智能安防等领域有着重要的应用。文章针对VGG19在训练人脸表情数据集时由于全连接层参数量过大而易过拟合的问题, 利用胶囊网络CapsNet对VGG19的全连接层进行替换, 以实现VGG19与CapsNet相级联, 从而改善训练时过拟合的问题, 同时使得级联后的模型在RAF-DB数据集上的精度提高了5.28%。针对VGG19特征提取网络的MaxPool易丢失人脸特征图信息的问题, 利用SoftPool对MaxPool进行替换, 从而在最大程度上保留了人脸的细粒度特征。实验结果表明, 改进后的模型在RAF-DB数据集上取得了84.21%的精度, 在FER2013数据集上取得了73.16%的精度, 表情识别效果更优。
表情识别 expression recognition VGG19 VGG19 CapsNet CapsNet SoftPool SoftPool
新疆师范大学计算机科学技术学院, 新疆 乌鲁木齐 830054
为了解决深度学习模型在人脸表情识别研究中存在的数据集需求量大、硬件配置要求高等问题,提出了一种基于卷积注意力的轻量级人脸表情识别方法。首先,用分解卷积对模型参数进行降维处理;然后,在模型中嵌入卷积注意力机制模块,以提高模型的特征提取能力;其次,针对数据集中的类别不平衡问题,采取代价敏感的损失函数对模型进行优化;最后,进行表情识别任务前将模型在人脸识别数据集上进行预训练,以提高模型提取人脸特征的能力。实验结果表明,本方法能在有效降低模型复杂度的同时保持较高水平的检测效果,且具有较强的实用性。
图像处理 注意力机制 分解卷积 轻量级模型 表情识别 代价敏感 激光与光电子学进展
2021, 58(12): 1210023
江苏商贸职业学院 电子与信息学院, 江苏 南通 226011
为了提高视频识别领域中微表情识别的准确率, 提出了一种基于长短期记忆网络与特征融合的微表情识别算法。提取微表情图像的颜色特征和纹理特征, 将所提取的空间特征传入卷积神经网络进行融合。设计了学习时域相关性的长短期记忆网络结构, 将融合的特征集传入长短期记忆网络学习微表情的时域特征, 将长短期记忆网络接入分类器网络识别出微表情的类标签。在两个公开的微表情识别数据集上完成了验证实验, 结果显示算法实现了较好的微表情识别性能, 在SMIC数据集和CASME Ⅱ数据集上的准确率分别达到64.7%和65.8%.
长短期记忆网络 模式识别 微表情识别 卷积神经网络 特征提取 特征融合 long short-term memory networks pattern recognition micro-expression recognition convolution neural networks feature extraction feature fusion
1 天津大学电气自动化与信息工程学院, 天津 300072
2 天津大学机器人与自主系统研究所, 天津 300072
3 天津市过程检测与控制重点实验室, 天津 300072
基于深度学习的表情识别方法存在参数量大、实时性差等问题,针对此问题,提出一种基于轻量卷积网络的多层特征融合的人脸表情识别方法。首先使用改进的倒置残差网络为基本单元搭建轻量卷积网络模型,然后采用池化、1×1卷积、全局平均池化法筛选卷积网络中的浅层特征,并对这些筛选的浅层特征与深层特征进行融合用于表情识别。在两个常用的真实表情数据集RAF-DB和AffectNet上对所提方法进行测试,识别准确率分别达85.49%和57.70%,且模型参数量仅有0.2×10 6。
图像处理 表情识别 卷积神经网络 浅层特征 深层特征 多层特征融合 激光与光电子学进展
2021, 58(6): 0610005
