本文通过引入线性核的主成分分析和极端梯度提升(XGBoost)模型，给出了一种连续视听刺激下脑电(EEG)情感四分类识别算法。为体现适普性，文中使用传统的功率谱密度(PSD)作为脑电信号特征，并结合XGBoost学习得到weight指标下的特征重要性度量，然后使用线性核的主成分分析对经阈值选择的重要特征进行处理后送入XGBoost模型进行识别。通过实验分析，gamma频段在XGBoost模型识别的参与重要度明显高于其他频段；另外，从通道分布上看，中央、顶叶和右枕区相对于其他脑区发挥着较为重要的作用。本文算法在所有被试参与(SAP)和被试单独依赖(SSD)两种识别方案下的识别准确率分别达到78.4%和92.6%，相对其他文献的识别算法取得了较大的提升。本文提出的方案有助于改善视听激励下脑机情感系统的识别性能。

对于语音的情感识别,针对单层长短期记忆(LSTM)网络在解决复杂问题时的泛化能力不足,提出一种嵌入自注意力机制的堆叠LSTM模型,并引入惩罚项来提升网络性能。对于视频序列的情感识别,引入注意力机制,根据每个视频帧所包含情感信息的多少为其分配权重后再进行分类。最后利用加权决策融合方法融合表情和语音信号,实现最终的情感识别。实验结果表明,与单模态情感识别相比,所提方法在所选数据集上的识别准确率提升4%左右,具有较好的识别结果。

针对MFCC滤波器存在语音高频信号泄露的问题, 为避免基于MFCC特征对语音进行情感识别时存在有效情感特征丢失的局限性, 结合MFCC的高准确性和GFCC的强鲁棒性, 提出了基于MFCC与GFCC混合特征训练CNN对语音进行情感识别的方法, 有效提高了语音情感识别的准确率, 改善了CNN模型的识别性能。实验结果表明, 所设计的混合特征识别方法较传统识别方法识别率明显升高并达到了83%, 实现了语言情感识别准确率的有效提升。

针对视频情感识别中存在运算复杂度高的缺点，提出一种基于时空局部二值模式矩(Temporal-Spatial LocalBinary Pattern Moment，TSLBPM)的双模态情感识别方法。首先对视频进行预处理获得表情和姿态序列；然后对表情和姿态序列分别提取TSLBPM 特征，计算测试序列与已标记的情感训练集特征间的最小欧氏距离，并将其作为独立证据来构造基本概率分配(Basic Probability Assignment，BPA)；最后使用Dempster-Shafer 证据理论联合规则得到情感识别结果。在双模态表情和姿态情感数据库上的实验结果表明，本文提出的时空局部二值模式矩可以快速提取视频图像的时空特征，能有效识别情感状态。与其他方法的对比实验也验证了本文融合方法的优越性。