面向人脸表情分析的人脸图像正脸化方法
Face image frontalization method for face expression analysis
上海理工大学 光电信息与计算机工程学院，上海 200093
图 & 表
图 1. 本文方法流程图
Fig. 1. Flow chart of the method in this paper
下载图片 查看原文
图 2. 人脸68点关键点+多加的3个点
Fig. 2. 68-point landmark in face + another 3 points
下载图片 查看原文
图 3. 关键点正脸化
Fig. 3. Landmark frontalization
下载图片 查看原文
图 4. 不同方法变形后平均脸的变化
Fig. 4. The change of average faces under different methods
下载图片 查看原文
图 5. 人脸粗对齐
Fig. 5. Face rough alignment
下载图片 查看原文
图 6. 人脸变形
Fig. 6. Face deformation
下载图片 查看原文
图 7. 人脸信息处理
Fig. 7. Face information processing
下载图片 查看原文
图 8. 第1批实验
Fig. 8. Batch 1 experiments
下载图片 查看原文
图 9. 第2批实验
Fig. 9. Batch 2 experiments
下载图片 查看原文
图 10. 第3批实验
Fig. 10. Batch 3 experiments
下载图片 查看原文
图 11. 第4批实验
Fig. 11. Batch 4 experiments
下载图片 查看原文
图 12. 第5批实验
Fig. 12. Batch 5 experiments
下载图片 查看原文
图 13. 综合场景下各种操作最高准确率排序
Fig. 13. Ranking of the highest accuracy of various operations in a combined scenario
下载图片 查看原文
表 1数据集分配
Table1. Data set allocation
| 数据集 | 训练集/张 | 验证集/张 | 总计/张 | | RAF-DB | 7801 | 3381 | 11182 | | ExpW | 14195 | 6086 | 20281 |
|
查看原文
表 2实验设计
Table2. Experimental design
| 实验批次 | 数据集 | 网络模型 | 信息比（a）
| 操作 | | 1 | RAFDB | VGG16 | ≤1 | 简单裁剪、传统对齐、Hassner方法、变形、对称、融合 | | 2 | RAFDB | VGG16 | <0.5 | 传统对齐、变形、对称、融合 | | 3 | RAFDB | VGG16 | ≥0.5 | 传统对齐、Hassner方法、
变形、对称、融合、变形增强、对称增强、融合增强
| | 4 | RAFDB | ResNet50 | ≥0.5 | 传统对齐、Hassner方法、变形、对称、融合 | | 5 | ExpW | VGG16 | ≥0.5 | 传统对齐、Hassner方法、变形、对称、融合 |
|
查看原文
表 3第1批实验：综合场景下的准确率
Table3. Batch 1 experiments: accuracy in combined scenarios
| 操作 | Best_Acc/% | Mean_Acc/% | | 简单裁剪 | 70.7 | 68.7 | | 传统对齐 | 70.6 | 67.9 | | Hassner方法 | 67.7 | 65.8 | | 变形（本文方法） | 73.5 | 71.6 | | 对称（本文方法） | 74.2 | 72.5 | | 融合（本文方法） | 75.2 | 73.6 |
|
查看原文
表 4第2批实验：大偏转角度场景下的准确率
Table4. Batch 2 experiments: accuracy in scenarios with large deflection angles
| 操作 | Best _Acc/% | Mean_Acc/% | | 传统对齐 | 58.2 | 52.7 | | 变形（本文方法） | 70.0 | 66.0 | | 对称（本文方法） | 71.7 | 69.4 | | 融合（本文方法） | 70.4 | 67.9 |
|
查看原文
表 5第3批实验：小偏转角度场景下的准确率
Table5. Batch 3 experiments: accuracy in scenarios with small deflection angles
| 操作 | Best _Acc/% | Mean_Acc/% | | 传统对齐 | 69.0 | 66.1 | | Hassner方法 | 68.8 | 66.7 | | 变形（本文方法） | 74.9 | 73.6 | | 对称（本文方法） | 72.5 | 70.5 | | 融合（本文方法） | 74.3 | 72.7 | | 变形增强（本文方法） | 75.6 | 73.8 | | 对称增强（本文方法） | 75.6 | 73.4 | | 融合增强（本文方法） | 73.6 | 71.4 |
|
查看原文
表 6第4批实验：其他模型场景下的准确率
Table6. Batch 4 experiments: accuracy in other model scenarios
| 操作 | Best _Acc（%） | Mean_Acc（%） | | 传统对齐 | 70.9 | 68.3 | | Hassner方法 | 69.4 | 65.4 | | 变形（本文方法） | 74.7 | 72.0 | | 对称（本文方法） | 71.8 | 69.9 | | 融合（本文方法） | 73.7 | 72.0 |
|
查看原文
表 7第5批实验：其他数据集场景下的准确率
Table7. Batch 5 experiments: accuracy in other dataset scenarios
| 操作编号 | Best _Acc/% | Mean_Acc/% | | 传统对齐 | 57.7 | 52.3 | | Hassner方法 | 58.9 | 53.5 | | 变形（本文方法） | 61.1 | 55.0 | | 对称（本文方法） | 60.0 | 55.2 | | 融合（本文方法） | 62.4 | 55.8 |
|
查看原文
表 8预训练模型重新训练得到的最高准确率
Table8. The highest accuracy obtained by retraining the pre-trained model
| 操作 | 原图 | 简单对齐 | Hassner方法 | 粗对齐（本文方法） | | Best _Acc/% | 81.1 | 83.7 | 81.2 | 84.4 |
|
查看原文
张学典, 陈钟军, 秦晓飞. 面向人脸表情分析的人脸图像正脸化方法[J]. 光学仪器, 2023, 45(1): 8. Xuedian ZHANG, Zhongjun CHEN, Xiaofei QIN. Face image frontalization method for face expression analysis[J]. Optical Instruments, 2023, 45(1): 8.
PDF全文
