基于集成卷积神经网络的面部表情分类

周涛; 吕晓琪; 任国印; 谷宇; 张明; 李菁

doi:doi:10.3788/LOP57.141501

激光与光电子学进展, 2020, 57 (14): 141501, 网络出版: 2020-07-28

基于集成卷积神经网络的面部表情分类下载： 1810次

Facial Expression Classification Based on Ensemble Convolutional Neural Network

周涛 ¹吕晓琪 ^1,2,3,*任国印 ¹谷宇 ^1,3张明 ^1,4李菁 ¹

作者单位

¹ 内蒙古科技大学信息工程学院模式识别与智能图像处理重点实验室, 内蒙古包头 014010

² 内蒙古工业大学信息工程学院, 内蒙古呼和浩特 010051

³ 上海大学计算机工程与科学学院, 上海 200444

⁴ 大连海事大学信息科学技术学院, 辽宁大连 116026

图 & 表

图 1. VGGNet-19GP模型结构

Fig. 1. Model structure of VGGNet-19GP

下载图片查看原文

图 2. EnsembleNet模型结构

Fig. 2. Model structure of EnsembleNet

下载图片查看原文

图 3. CK+数据库的示例图像

Fig. 3. Example images from the CK+ dataset

下载图片查看原文

图 4. 来自于FER2013数据集的示例图像

Fig. 4. Example images from the FER2013 dataset

下载图片查看原文

图 5. 训练集数据增强示意图

Fig. 5. Schematic of the training set data enhancement

下载图片查看原文

图 6. 测试集数据增强示意图

Fig. 6. Schematic of the test set data enhancement

下载图片查看原文

图 7. 简单平均实验结果图。在(a) PublicTest和(b) PrivateTest下,EnsembleNet、ResNet-18、VGGNet-19GP的平均准确率随着epoch增加的变化对比情况

Fig. 7. Result graphs of simple average experiment. Comparison of the average accuracy of EnsembleNet, ResNet-18, and VGGNet-19GP under (a) PublicTest and (b) PrivateTest with the increase of epoch

下载图片查看原文

图 8. 加权平均实验结果图。在(a) PublicTest和(b) PrivateTest下,EnsembleNet随着ResNet-18权重变化的波动情况,以及与ResNet-18、VGGNet-19GP的对比情况

Fig. 8. Result graphs of weighted average.Fluctuations of EnsembleNet with the change of ResNet-18 weights under (a) PublicTest and (b) PrivateTest, and the comparison with ResNet-18 and VGGNet-19GP

下载图片查看原文

图 9. PublicTest上VGGNet-19GP、ResNet-18、EnsembleNet准确率变化

Fig. 9. VGGNet-19GP, ResNet-18, and EnsembleNet accuracy curves on PublicTest dataset

下载图片查看原文

图 10. PrivateTest上VGGNet-19GP、ResNet-18、EnsembleNet准确率变化

Fig. 10. VGGNet-19GP, ResNet-18, and EnsembleNet accuracy curves on PrivateTest dataset

下载图片查看原文

图 11. CK+数据集上VGGNet-19GP、ResNet-18、EnsembleNet准确率变化

Fig. 11. VGGNet-19GP, ResNet-18, and EnsembleNet accuracy curves on CK+ dataset

下载图片查看原文

图 12. EnsembleNet在FER2013数据集上的混淆矩阵。(a) PublicTest Confusion Matrix;(b) PrivateTest Confusion Matrix

Fig. 12. Confusion matrix of EnsembleNet on the FER2013 dataset. (a) PublicTest Confusion Matrix; (b) PrivateTest Confusion Matrix

下载图片查看原文

图 13. EnsembleNet在CK+数据集上的混淆矩阵

Fig. 13. Confusion matrix of EnsembleNet on the CK+ dataset

下载图片查看原文

图 14. PrivateTest上正确和错误分类的部分示例

Fig. 14. Examples of correct classification and misclassification of PrivateTest

下载图片查看原文

表 1FER2013和CK+数据集平均准确率

Table1. Average accuracy on the FER2013 and CK+ datasets%

Model	FER2013		CK+
Model	Public_Avg_Acc	Private_Avg_Acc	Avg_Acc
VGGNet-19GP	70.616	71.848	91.107
ResNet-18	71.327	72.271	92.845
EnsembleNet	71.697	73.854	97.611

查看原文

表 2本文方法与现有方法在FER2013和CK+数据集上识别率对比

Table2. Comparison of proposed model with existing methods on the FER2013 and CK+datasets

Source	Method	Dataaugmented	Dropout	Accuracy /%
Source	Method	Dataaugmented	Dropout	FER2013	CK+
Ref. [8]	Pre-processing+5_Layer_CNN	-	-	-	97.75
Ref. [9]	Landmark+5_Layer_CNN	-	-	-	97.25
Ref. [10]	CSACNN	√	-	-	97.45
Ref. [11]	7_CNN	-	-	-	81.50
Ref. [11]	7_CNN	-	√		82.90
Ref. [11]	7_CNN	√			84.42
Ref. [11]	7_CNN	√	√		84.55
Ref. [12]	Cross-connect LeNet-5	-	-	-	83.74
Ref. [13]	Siamese network with multiple channels	-	-	-	92.06
Ref. [14]	Multi-resolution feature fusion	-	-	-	92.10
Ref. [15]	Local feature fusion	-	-	-	94.56
Ref. [16]	Parallel CNN	√	-	65.6	94.03
Ref. [17]	Ensemble CNNs+L2_Loss	-	-	71.16	-
Ref. [23]	CNN+FACS+AU	-	-	72.1	98.62
Ref. [24]	11_Layer_CNN	-	√	65.3	-
Ref. [25]	Fully-convolution neural network	-	-	66	-
Ref. [26]	8_CNN(filters decreases with net depth)	-	-	65	-
Proposed	VGGNet-19GP	√	√	71.848	91.107
Proposed	ResNet-18	√	√	72.271	92.845
Proposed	EnsembleNet	√	√	73.854	97.611

查看原文

周涛, 吕晓琪, 任国印, 谷宇, 张明, 李菁. 基于集成卷积神经网络的面部表情分类[J]. 激光与光电子学进展, 2020, 57(14): 141501. Tao Zhou, Xiaoqi Lü, Guoyin Ren, Yu Gu, Ming Zhang, Jing Li. Facial Expression Classification Based on Ensemble Convolutional Neural Network[J]. Laser & Optoelectronics Progress, 2020, 57(14): 141501.

基于集成卷积神经网络的面部表情分类下载： 1810次

图 1. VGGNet-19GP模型结构

Fig. 1. Model structure of VGGNet-19GP

图 2. EnsembleNet模型结构

Fig. 2. Model structure of EnsembleNet

图 3. CK+数据库的示例图像

Fig. 3. Example images from the CK+ dataset

图 4. 来自于FER2013数据集的示例图像

Fig. 4. Example images from the FER2013 dataset

图 5. 训练集数据增强示意图

Fig. 5. Schematic of the training set data enhancement

图 6. 测试集数据增强示意图

Fig. 6. Schematic of the test set data enhancement

图 7. 简单平均实验结果图。在(a) PublicTest和(b) PrivateTest下,EnsembleNet、ResNet-18、VGGNet-19GP的平均准确率随着epoch增加的变化对比情况

Fig. 7. Result graphs of simple average experiment. Comparison of the average accuracy of EnsembleNet, ResNet-18, and VGGNet-19GP under (a) PublicTest and (b) PrivateTest with the increase of epoch

图 8. 加权平均实验结果图。在(a) PublicTest和(b) PrivateTest下,EnsembleNet随着ResNet-18权重变化的波动情况,以及与ResNet-18、VGGNet-19GP的对比情况

Fig. 8. Result graphs of weighted average.Fluctuations of EnsembleNet with the change of ResNet-18 weights under (a) PublicTest and (b) PrivateTest, and the comparison with ResNet-18 and VGGNet-19GP

图 9. PublicTest上VGGNet-19GP、ResNet-18、EnsembleNet准确率变化

Fig. 9. VGGNet-19GP, ResNet-18, and EnsembleNet accuracy curves on PublicTest dataset

图 10. PrivateTest上VGGNet-19GP、ResNet-18、EnsembleNet准确率变化

Fig. 10. VGGNet-19GP, ResNet-18, and EnsembleNet accuracy curves on PrivateTest dataset

图 11. CK+数据集上VGGNet-19GP、ResNet-18、EnsembleNet准确率变化

Fig. 11. VGGNet-19GP, ResNet-18, and EnsembleNet accuracy curves on CK+ dataset

图 12. EnsembleNet在FER2013数据集上的混淆矩阵。(a) PublicTest Confusion Matrix;(b) PrivateTest Confusion Matrix

Fig. 12. Confusion matrix of EnsembleNet on the FER2013 dataset. (a) PublicTest Confusion Matrix; (b) PrivateTest Confusion Matrix

图 13. EnsembleNet在CK+数据集上的混淆矩阵

Fig. 13. Confusion matrix of EnsembleNet on the CK+ dataset

图 14. PrivateTest上正确和错误分类的部分示例

Fig. 14. Examples of correct classification and misclassification of PrivateTest

表 1FER2013和CK+数据集平均准确率

Table1. Average accuracy on the FER2013 and CK+ datasets%

表 2本文方法与现有方法在FER2013和CK+数据集上识别率对比

Table2. Comparison of proposed model with existing methods on the FER2013 and CK+datasets

关于本站 Cookie 的使用提示

全站搜索

基于集成卷积神经网络的面部表情分类 下载： 1810次

图 1. VGGNet-19GP模型结构

Fig. 1. Model structure of VGGNet-19GP

图 2. EnsembleNet模型结构

Fig. 2. Model structure of EnsembleNet

图 3. CK+数据库的示例图像

Fig. 3. Example images from the CK+ dataset

图 4. 来自于FER2013数据集的示例图像

Fig. 4. Example images from the FER2013 dataset

图 5. 训练集数据增强示意图

Fig. 5. Schematic of the training set data enhancement

图 6. 测试集数据增强示意图

Fig. 6. Schematic of the test set data enhancement

图 7. 简单平均实验结果图。在(a) PublicTest和(b) PrivateTest下,EnsembleNet、ResNet-18、VGGNet-19GP的平均准确率随着epoch增加的变化对比情况

Fig. 7. Result graphs of simple average experiment. Comparison of the average accuracy of EnsembleNet, ResNet-18, and VGGNet-19GP under (a) PublicTest and (b) PrivateTest with the increase of epoch

图 8. 加权平均实验结果图。在(a) PublicTest和(b) PrivateTest下,EnsembleNet随着ResNet-18权重变化的波动情况,以及与ResNet-18、VGGNet-19GP的对比情况

Fig. 8. Result graphs of weighted average.Fluctuations of EnsembleNet with the change of ResNet-18 weights under (a) PublicTest and (b) PrivateTest, and the comparison with ResNet-18 and VGGNet-19GP

图 9. PublicTest上VGGNet-19GP、ResNet-18、EnsembleNet准确率变化

Fig. 9. VGGNet-19GP, ResNet-18, and EnsembleNet accuracy curves on PublicTest dataset

图 10. PrivateTest上VGGNet-19GP、ResNet-18、EnsembleNet准确率变化

Fig. 10. VGGNet-19GP, ResNet-18, and EnsembleNet accuracy curves on PrivateTest dataset

图 11. CK+数据集上VGGNet-19GP、ResNet-18、EnsembleNet准确率变化

Fig. 11. VGGNet-19GP, ResNet-18, and EnsembleNet accuracy curves on CK+ dataset

图 12. EnsembleNet在FER2013数据集上的混淆矩阵。(a) PublicTest Confusion Matrix;(b) PrivateTest Confusion Matrix

Fig. 12. Confusion matrix of EnsembleNet on the FER2013 dataset. (a) PublicTest Confusion Matrix; (b) PrivateTest Confusion Matrix

图 13. EnsembleNet在CK+数据集上的混淆矩阵

Fig. 13. Confusion matrix of EnsembleNet on the CK+ dataset

图 14. PrivateTest上正确和错误分类的部分示例

Fig. 14. Examples of correct classification and misclassification of PrivateTest

表 1FER2013和CK+数据集平均准确率

Table1. Average accuracy on the FER2013 and CK+ datasets%

表 2本文方法与现有方法在FER2013和CK+数据集上识别率对比

Table2. Comparison of proposed model with existing methods on the FER2013 and CK+datasets

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于集成卷积神经网络的面部表情分类下载： 1810次