本文通过引入线性核的主成分分析和极端梯度提升(XGBoost)模型，给出了一种连续视听刺激下脑电(EEG)情感四分类识别算法。为体现适普性，文中使用传统的功率谱密度(PSD)作为脑电信号特征，并结合XGBoost学习得到weight指标下的特征重要性度量，然后使用线性核的主成分分析对经阈值选择的重要特征进行处理后送入XGBoost模型进行识别。通过实验分析，gamma频段在XGBoost模型识别的参与重要度明显高于其他频段；另外，从通道分布上看，中央、顶叶和右枕区相对于其他脑区发挥着较为重要的作用。本文算法在所有被试参与(SAP)和被试单独依赖(SSD)两种识别方案下的识别准确率分别达到78.4%和92.6%，相对其他文献的识别算法取得了较大的提升。本文提出的方案有助于改善视听激励下脑机情感系统的识别性能。

针对非约束环境下,局部遮挡可能会对表情识别造成干扰并影响最终判别结果的问题,提出一种基于非对称邻域韦伯局部描述子(AR-WLD)和分块相似度加权的表情识别算法。在特征描述上,相比传统的韦伯局部描述子 (WLD),AR-WLD将原有的方形邻域扩展成非对称邻域,并进行了多尺度分析,增强了算子的表征能力。在分类判别时,为了区分不同面部区域对表情识别的贡献度,对表情区域进行了不重叠分块;引入了信息熵来衡量不同子块包含的不确定信息,依据信息量定义相似性距离的权重;通过分块相似度加权求和,实现表情判别。在JAFFE库和CK库上的实验结果表明:当表情图像存在遮挡时,AR-WLD可以有效地提高WLD的分类能力和稳健性,分块相似度加权的分类算法则进一步降低遮挡区域对表情识别的干扰。

针对时空局部方向角模式应用到视频情感识别时，出现的特征稀疏、噪声敏感等问题，提出了一种新的特征提取算法——时空局部三值方向角模式(SLTOP)。考虑到表情和姿态特征的互补性，提出云加权决策融合的分类方法。对视频图像进行预处理，得到表情和姿态两种模态的序列；分别提取表情序列和姿态序列的SLTOP特征，并借鉴灰度矩阵思想解决特征直方图过于稀疏的问题；在决策分类阶段，引入云模型对表情和姿态两种模态进行云加权决策融合，实现双模态情感的最终识别。在FABO数据库中，表情和姿态单模态分别取得了92.21%和96.76%的平均识别率；与体积局部二值模式、三正交平面局部二值模式(LBP-TOP)、时空局部三值模式矩(TSLTPM)比较时，在表情模态上分别高约18.42%、22.01%、9.15%，而在姿态模态上分别高约26.59%、29.53%、1.98%。通过云加权融合得到平均识别率为97.54%，均高于其他实验得到的数据。所提出的SLTOP，对噪声和光照具有很好的稳健性。利用云模型的加权决策融合方法可以较好地发挥表情和姿态分类器的性能，得到较好的识别结果，与其他分类识别方法进行对比实验，结果同样表现出优越性。

针对视频情感识别中存在运算复杂度高的缺点，提出一种基于时空局部二值模式矩(Temporal-Spatial LocalBinary Pattern Moment，TSLBPM)的双模态情感识别方法。首先对视频进行预处理获得表情和姿态序列；然后对表情和姿态序列分别提取TSLBPM 特征，计算测试序列与已标记的情感训练集特征间的最小欧氏距离，并将其作为独立证据来构造基本概率分配(Basic Probability Assignment，BPA)；最后使用Dempster-Shafer 证据理论联合规则得到情感识别结果。在双模态表情和姿态情感数据库上的实验结果表明，本文提出的时空局部二值模式矩可以快速提取视频图像的时空特征，能有效识别情感状态。与其他方法的对比实验也验证了本文融合方法的优越性。

提出一种多特征描述及局部决策融合的人脸识别方法。首先利用独立成分分析算法构造全局互补子空间,对待测样本进行粗分类。然后利用三种不同定义的纹理描述算法构造局部互补子空间，获取粗分类难识别样本的后验概率值，最后依据其大小设置等级分数，得到待测样本在局部互补子空间上的精确分类。在ORL、Yale 和FERET 人脸库上的实验结果表明，本文方法能较好的描述图像特征且具有较高的识别率和较低的时间复杂度，与其他方法对比也表明了本文方法的有效性。

针对主成分分析 (Principal Component Analysis, PCA)降维过程中由于特征值相对集中而造成维数仍然偏高的不足，本文提出了基于最优样本的主成分分析 (Optimal Sample-PCA, OS-PCA)降维方法。 OS-PCA通过选择训练样本、优化协方差矩阵，从而达到进一步降维的目的。鉴于离散余弦变换 (Discrete Cosine Transform，DCT)对光照的鲁棒性，以及局部二值模式 (Local Binary Patterns，LBP)对局部纹理特征的有效描述，本文结合 DCT和 LBP特征来弥补单一 OS-PCA特征在人脸表情表征方面的局限性。为了更好地发挥特征与分类器的协作优势，文章构造了一个三层多分类器最优集成的人脸表情识别模型。该模型首先对表情图像进行预处理操作；然后提取 OS-PCA、 DCT和 LBP特征送入三层模型；最后基于单一特征和相应单一分类器的最佳匹配组合，完成多特征与多分类器的最优集成；在执行粗分类结果投票表决的基础上，进一步对仍有分歧的表情图像进行自适应决策，从而得到最终识别结果。实验表明， OS-PCA较 PCA进一步有效地降低了特征维数；同时，基于多特征多分类器的三层识别模型在 JAFFE和 CK库上分别获得了高于 95%和 96%的识别率，并表现出比较优越的时间性能。