基于视频信息的人体行为识别得到了越来越多的关注。针对人体行为的局部表达，提出了一种新的局部轮廓特征来描述人体的外观姿势，可以同时利用水平和竖直方向上的轮廓变化信息。该特征能有效区分不同动作，与轮廓起始点无关，具有平移、尺度和旋转不变性。针对该特征，提出了一种基于随机森林的两阶段分类方法，使用随机森林分类器对行为视频的局部轮廓进行初分类，并根据每个局部轮廓对应决策类的分类树数目占总分类树数目的比例，提出了一种基于袋外（OOB）数据误差加权投票准则的行为视频分类算法。在测试数据集上的实验结果证实了该方法的有效性。

提出一种基于人体轮廓表达的姿势学习框架来进行人体行为识别。通过一种基于Procrustes形状分析和局部保持投影的姿势特征表示方法，从人体运动视频中提取具有平移、旋转和放缩不变性的姿势特征，在保留人体姿势的局部流形结构的同时尽量提取子空间上的判别信息。针对该特征还提出了一种基于姿势字典学习的人体行为识别框架，对每类行为分别学习一个对应于该类的字典，通过串联所有类的字典来得到整个姿势字典；并通过最小重构误差准则来分类测试视频。在Weizmann和MuHAVi-MAS14数据集上的实验结果证实了该方法的识别率高于大部分经典方法。特别是在MuHAVi-MAS14数据集上的识别率对比已有的结果上有巨大的提升。