提出了一种基于二维(2D)转三维(3D)骨架的实时检测双分支子网络,可实现2D骨架关键点的3D估计和2D、3D骨架特征融合的人体3D动作识别。在检测过程采用OpenPose框架实时获取视频中人体骨架的2D关键点坐标。在2D转3D骨架估计过程中,设计了一种输入为难样本且具有反馈功能的孪生网络。在3D动作识别过程中设计了一种2D、3D骨架特征双分支孪生网络,以完成3D姿态识别任务。在Human3.6M数据集上训练3D骨架估计网络,在基于欧拉变换的NTU RGB+D 60多视角增强数据集上训练骨架动作识别网络,最终得到的3D骨架动作识别交叉受试者准确率为88.2%,交叉视野准确率为95.6%。实验结果表明,该方法对3D骨架的预测精度较高,且具有实时反馈能力,可适用于实时监控中的动作识别。

为了更好地对人体动作的长时时域信息进行建模,提出了一种结合时序动态图和双流卷积网络的人体行为识别算法。首先,利用双向顺序池化算法来构建时序动态图,实现视频从三维空间到二维空间的映射,用来提取动作的表观和长时时序信息;然后提出了基于inceptionV3的双流卷积网络,包含表观及长时运动流和短时运动流,分别以时序动态图和堆叠的光流帧序列作为输入,且结合数据增强、模态预训练、稀疏采样等方式;最后将各支流输出的类别判定分数通过平均池化的方式进行分数融合。在UCF101和HMDB51数据集的实验结果表明:与传统双流卷积网络相比,该方法可以有效利用动作的时空信息,识别率得到较大的提升,具有有效性和鲁棒性。

深度神经网络在静态图像领域已取得突破性进展,并逐步扩展到视频识别领域。人体动作识别是视频识别领域的研究热点和难点,因此,提出了一种基于双流快速区域卷积神经网络(Faster RCNN)改进的人体动作识别算法。首先,用RGB(Red,Green,Blue)图像和光流数据作为网络的输入,分别训练Faster RCNN;然后,将训练好后的网络模型进行融合,并引入改进的压缩和激励模块对特征通道进行处理,以突出重要特征;最后,用完全的交并比损失函数作为边框回归损失函数,以优化某些预测框与真实框不能相交等问题。实验结果表明,相比传统的Faster RCNN,本算法在动作识别数据集UCF101上的准确率得到了一定的提高。

为克服方向梯度直方图(HOG)特征在人体行为识别中仅表征动作的全局梯度特征、缺乏局部细节信息、对遮挡表现不佳的问题,改进了一种基于全局特征和局部特征的方法来实现人体行为识别。该算法首先使用背景减法获得人体运动区域;方向可控滤波器能有效描述动作边缘特征,通过引入方向可控滤波器改进HOG特征以增强局部边缘信息,同时对加速稳健特征进行k-means聚类获得词袋模型;最后将融合后的行为特征输入支持向量机对行为特征进行分类识别。在数据集KTH、UCF Sports和SBU Kinect Interaction上进行仿真模拟,结果表明改进的算法识别准确率分别达到了96.7%、94.2%和90.8%。

人体行为识别是计算机视觉和模式识别领域的研究热点之一。作为人体行为识别的一个重要分支, 人体异常行为检测近年来也不断得到学界及工业界的重视。人体行为识别研究从早期的依赖人体形状特征发展到基于梯度设计的特征检测, 再到当前随着神经网络的新发展, 深度学习开始广泛应用于行为识别。同时由于红外波段具有适应弱光照环境、可全天候检测等优点, 基于该波段的人体行为识别研究开始兴起, 它也必将成为人体行为识别领域中一个新的研究热点。

针对红外视频人体行为识别问题, 提出了一种基于时空双流卷积神经网络的红外人体行为识别方法。通过将整个红外视频进行平均分段, 然后将每一段视频中随机抽取的红外图像和对应的光流图像输入空间卷积神经网络, 空间卷积神经网络通过融合光流信息可以有效地学习到红外图像中真正发生运动的空间信息, 再将每一小段的识别结果进行融合得到空间网络结果。同时将每一段视频中随机抽取的光流图像序列输入时间卷积神经网络, 融合每一小段的结果后得到时间网络结果。最后再将空间网络结果和时间网络结果进行加权求和, 从而得到最终的视频分类结果。实验中, 采用此方法对包含23种红外行为动作类别的红外视频数据集上的动作进行识别, 正确识别率为92.0%。结果表明, 该算法可以有效地对红外视频行为进行准确识别。

为解决由视角、尺度等变化造成的行为类内差别大的问题,提出一种基于时空方向主成分直方图(HSTOPC)的人体行为识别方法。首先,将深度图序列转换为三维(3D)点云序列,对此序列采用新颖的图像预处理方法获得新的深度图序列,即在空间和时间维度上对采样获得的深度图序列进行限制,除去一些动作信息量较少的序列和空间,从而降低输入数据的冗余减少空间尺度变化的影响;其次,为了解决帧间关联性较弱的问题,采用时空方向主成分方法描述新的点云序列,获得3D点云序列中每点的方向特征;然后,对3D点云序列中所有方向特征进行多层时域重叠分割,获得HSTOPC特征描述子;最后,采用支持向量机分类器进行训练、测试。在3个标准数据库上的实验结果表明,提出的HSTOPC特征描述子对噪声、运动速度变化、视角变化和时域不对齐具有很好的稳健性,可以显著提高人体行为识别的准确率。

为了准确地描述人体骨骼的运动细节以及3D骨骼间的几何关系,提出一种基于四元数3D骨骼表示的人体行为识别方法。首先,在已捕获的关键帧集合的基础上,对普通关键帧和变速关键帧分别采用线性插值和二次多项式插值,获得相同帧数的骨骼序列;然后,针对所得的骨骼序列,采用四元数对每帧中3D骨骼间的几何关系进行描述,获得四元数骨骼特征描述子;最后,采用支持向量机分类器对这一系列特征描述子进行训练和测试,得到最终的识别结果。在3个标准数据库上的实验结果均显示,四元数骨骼特征描述子对噪声、运动速度变化、视角变化和时域不对齐都具有很好的稳健性,可以显著提高人体行为识别的准确率。

为了解决协作表征分类器(CRC)对相似样本误分类概率高的问题,提出一种判别协作表征分类器(DCRC)。该分类器考虑了所有训练样本和每一类样本对协作表征系数的影响,得到判别性强的协作表征系数,提升了对相似样本的判别性。基于DCRC进行人体行为识别研究。首先用深度运动映射图(DMMs)提取深度动作序列特征,得到DMMs特征描述子,然后利用DCRC对特征描述子进行协作表征编码,最后利用新的判别规则进行分类识别。在人体行为识别数据集上的实验结果表明,DCRC对相似动作具有一定的判别性,且识别精度优于现有的方法。

基于3D视频的人体动作识别近年来受到越来越广泛的关注。基于动态时间规整的算法考虑了动作的时序信息, 并能较好地解决人体运动在时间上的不确定性, 但是随着训练样本增加, 效率会变得较低。本文提出了一种基于动作标准序列的动作识别方法。通过特征提取将3D动作视频样本构建为动作序列, 在动态时间规整度量下将动作标准序列学习建模成一个序列平均的优化问题, 并使用动态时间规整重心平均算法(DBA)求解。对于动作类别类中存在显著差异的场景, 研究了多重动作标准序列学习, 并针对无监督学习的情况, 提出了DBA-K-means聚类算法。实验结果表明, 该方法可进一步提高动作识别的效率和准确率。