陕西科技大学 电子信息与人工智能学院，陕西 西安710021
针对ResNet18网络模型在面部表情识别时存在网络模型大、准确率低等问题，提出了一种基于注意力机制ResNet轻量网络模型（Multi-Scale CBAM Lightweight ResNet，MCLResNet），能够以较少的参数量、较高的准确率实现面部表情的识别。首先，采用ResNet18作为主干网络提取特征，引入分组卷积减少ResNet18的参数量；利用倒残差结构增加网络深度，优化了图像特征提取效果。其次，将CBAM（Convolutional Block Attention Module）通道注意力模块中的共享全连接层替换为1×3的卷积模块，有效减少了通道信息的丢失；在CBAM空间注意力模块中添加多尺度卷积模块获得了不同尺度的空间特征信息。最后，将多尺度空间特征融合的CBAM模块（Multi-Scale CBAM，MSCBAM）添加到轻量的ResNet模型中，有效增加了网络模型的特征表达能力，另外在引入MSCBAM的网络模型输出层增加一层全连接层，以此增加模型在输出时的非线性表示。该模型在FER2013和CK+数据集上的实验结果表明，本文提出的模型参数量相比ResNet18下降82.58%，并且有较好的识别准确率。
ResNet轻量网络 多尺度空间特征融合 面部表情识别 注意力机制 lightweight resnet network multi-scale spatial feature fusion facial expression recognition attention mechanism
1 重庆邮电大学通信与信息工程学院，重庆 400065
2 重庆邮电大学移动通信技术重庆市重点实验室，重庆 400065
3 重庆邮电大学国际学院，重庆 400065
由于人脸表情特有的微妙性和复杂性，对全局面部进行研究时无法突出表情特性。为了增强表情识别在自然环境下的鲁棒性并且优化模型参数，提出一种基于多区域融合的轻量级人脸表情识别方法，融合局部细节特征和全局整体特征，实现粗细粒度结合，增强模型对表情细微变化的判别能力。首先，通过一个分支从人脸子区域提取局部特征，以眼部和嘴部作为细节区域输入，描述面部细节。其次，通过另一个分支从人脸全局自适应地获取面部整体特征，以关键点生成掩模，辅助调节面部注意力图。注意力图作用于全局特征，突出未遮挡部位权重，描述整体高级语义信息。并且，采用剪枝算法对整体模型进行轻量级优化，使用更少的运行内存和计算操作，得到更紧凑的网络。最后，在公开数据集RAF-DB和AffectNet上，所提方法对表情的识别精度分别达85.39%和58.81%。实验结果表明：所提方法的识别精度高于其他先进方法，并显著减少了参数量，有效性和先进性得到证明。
图像处理 人脸表情识别 注意力图 轻量级网络 剪枝算法 多区域融合 激光与光电子学进展
2023, 60(6): 0610006
1 贵州大学大数据与信息工程学院，贵州 贵阳 550025
2 贵阳铝镁设计研究院有限公司，贵州 贵阳 550009
人脸表情识别是神经网络应用于模式识别上一项极具挑战性的任务，而表情识别过程中特征提取尤为重要。因此，提出了一种注意力拆分卷积残差网络来增强特征表现。该网络以ResNet18为骨干网络，用Coordinate Attention Split Convolution Block（CASCBlock）替换ResNet18中的basic block。CASCBlock首先使用两个拆分卷积将特征在通道维度先拆分后融合降低冗余特征表现；然后在第2个拆分卷积后融入坐标注意力机制；最后构建一个全连接分类器进行表情识别。将所提方法在FER2013和RAF-DB数据集上进行了实验，实验结果表明，所提方法在FER2013和RAF-DB数据集上识别准确率相较于ResNet18分别提高了2.897个百分点和2.575个百分点，且模型的参数量下降了60%左右。
机器视觉 拆分卷积 残差网络 特征融合 表情识别 注意力机制 激光与光电子学进展
2022, 59(18): 1815009
南京航空航天大学 自动化学院, 南京 210016
表情识别作为计算机视觉领域的研究热点, 在情感识别、人机交互、智能安防等领域有着重要的应用。文章针对VGG19在训练人脸表情数据集时由于全连接层参数量过大而易过拟合的问题, 利用胶囊网络CapsNet对VGG19的全连接层进行替换, 以实现VGG19与CapsNet相级联, 从而改善训练时过拟合的问题, 同时使得级联后的模型在RAF-DB数据集上的精度提高了5.28%。针对VGG19特征提取网络的MaxPool易丢失人脸特征图信息的问题, 利用SoftPool对MaxPool进行替换, 从而在最大程度上保留了人脸的细粒度特征。实验结果表明, 改进后的模型在RAF-DB数据集上取得了84.21%的精度, 在FER2013数据集上取得了73.16%的精度, 表情识别效果更优。
表情识别 expression recognition VGG19 VGG19 CapsNet CapsNet SoftPool SoftPool
新疆师范大学计算机科学技术学院, 新疆 乌鲁木齐 830054
为了解决深度学习模型在人脸表情识别研究中存在的数据集需求量大、硬件配置要求高等问题,提出了一种基于卷积注意力的轻量级人脸表情识别方法。首先,用分解卷积对模型参数进行降维处理;然后,在模型中嵌入卷积注意力机制模块,以提高模型的特征提取能力;其次,针对数据集中的类别不平衡问题,采取代价敏感的损失函数对模型进行优化;最后,进行表情识别任务前将模型在人脸识别数据集上进行预训练,以提高模型提取人脸特征的能力。实验结果表明,本方法能在有效降低模型复杂度的同时保持较高水平的检测效果,且具有较强的实用性。
图像处理 注意力机制 分解卷积 轻量级模型 表情识别 代价敏感 激光与光电子学进展
2021, 58(12): 1210023
江苏商贸职业学院 电子与信息学院, 江苏 南通 226011
为了提高视频识别领域中微表情识别的准确率, 提出了一种基于长短期记忆网络与特征融合的微表情识别算法。提取微表情图像的颜色特征和纹理特征, 将所提取的空间特征传入卷积神经网络进行融合。设计了学习时域相关性的长短期记忆网络结构, 将融合的特征集传入长短期记忆网络学习微表情的时域特征, 将长短期记忆网络接入分类器网络识别出微表情的类标签。在两个公开的微表情识别数据集上完成了验证实验, 结果显示算法实现了较好的微表情识别性能, 在SMIC数据集和CASME Ⅱ数据集上的准确率分别达到64.7%和65.8%.
长短期记忆网络 模式识别 微表情识别 卷积神经网络 特征提取 特征融合 long short-term memory networks pattern recognition micro-expression recognition convolution neural networks feature extraction feature fusion
1 天津大学电气自动化与信息工程学院, 天津 300072
2 天津大学机器人与自主系统研究所, 天津 300072
3 天津市过程检测与控制重点实验室, 天津 300072
基于深度学习的表情识别方法存在参数量大、实时性差等问题,针对此问题,提出一种基于轻量卷积网络的多层特征融合的人脸表情识别方法。首先使用改进的倒置残差网络为基本单元搭建轻量卷积网络模型,然后采用池化、1×1卷积、全局平均池化法筛选卷积网络中的浅层特征,并对这些筛选的浅层特征与深层特征进行融合用于表情识别。在两个常用的真实表情数据集RAF-DB和AffectNet上对所提方法进行测试,识别准确率分别达85.49%和57.70%,且模型参数量仅有0.2×10 6。
图像处理 表情识别 卷积神经网络 浅层特征 深层特征 多层特征融合 激光与光电子学进展
2021, 58(6): 0610005
1 河南工学院 计算机科学与技术学院, 河南 新 乡 453003
2 河南省生产制造物联大数据工程技术研究中心, 河南 新乡 453003
3 武汉理工大学 计算机科学与技术学院, 湖北 武汉 430063
近年来, 人脸表情识别(FER)方法已经取得比较好的识别准确度, 但实际环境中由于姿态、遮挡、光照等因素, 会对其检测准确度有不小的减弱效果。针对这些问题, 提出了一种新的基于双流卷积神经网络(CNN)的FER算法。从外观和几何特征差异两方面入手, 建立双流CNN, 基于外观特征的网络是提取预处理后图像的局部方向模式(LDP)特征作为该网络的输入, 而基于几何特征的网络主要是基于动作单元(AUs)标志点的坐标变化, AUs标志点主要是标志面部做表情时运动肌肉的位置。此外, 利用了一种自动编码器技术生成具有中性情绪的面部图像的技术。算法在CK+和JAFFE数据集上进行了验证, 检测准确度分别为98.81%和96.05%, 与其他最新方法比较均显示出更好的效果。
人脸表情识别 双流卷积神经网络 LDP特征 几何特征 深度学习 facial expression recognition Dual-stream convolutional neural network LDP features geometric characteristics deep learning
1 河北公安警察职业学院 警务科研处, 河北 石家庄 050091
2 河北师范大学 计算机与网络空间安全学院, 河北 石家庄 050024)
3 河北师范大学 河北省网络与信息安全重点实验室, 河北 石家庄 050024)
4 河北师范大学 河北省供应链大数据分析与数据安全工程研究中心, 河北 石家庄 050024
传统表情识别技术采用单一类型的特征表示方法, 由于每个特征类型对不同数据集的表示效果存在差异, 导致传统技术对不同数据集的表情识别效果也存在较大的差异。设计一种多类型混合特征的选择方案,用以提高不同数据集的表情识别准确率。将面部不同区域、不同类型的特征集作为基础特征集, 利用重引力搜索算法从基础特征集中选择优化的特征子集。将优化的特征子集输入深度信念网络进行训练和半监督学习, 采用训练的网络模型对表情进行识别。实验结果表明,在不同数据集条件下, 采用该方法均能够保持较高的识别准确率。
深度学习 深度神经网络 重引力搜索算法 表情识别 特征选择 表达式目录树 deep learning deep neural networks gravity search algorithm expression recognition feature selection expression tree
南京师范大学 信息化建设管理处, 江苏 南京 210046
针对受控场景下人脸表情识别率低的问题, 提出了一种受控场景下基于残差整流增强卷积神经网络的表情识别算法。该方法以卷积神经网络为原型, 在训练模型的过程中, 引入残差网络的思想, 修正测试集效果与训练集效果之间的差。通过内嵌于卷积层中的激励函数对残差块的线性整流操作, 协助表达复杂特征。同时, 通过数据增强方法抑制深度神经网络模型在训练过程中过快的拟合, 提升其在给定识别任务上的泛化性能, 进而提高模型学习效果的鲁棒性。实验中通过将该方法运用于模拟在线授课环境中, 最终达到受控场景下有效人脸表情识别的效果。实验结果表明, 该方法可以有效对受控情况下的人脸图像输入进行表情分类, 最高准确率达到了91.7%。该研究对人脸表情识别领域及人机交互领域的发展具有积极意义。
受控场景 卷积神经网络 残差整流 数据增强 激励函数 表情识别 controlled scene convolutional neural network residual rectification data enhancement excitation function expression recognition
