为解决由视角、尺度等变化造成的行为类内差别大的问题,提出一种基于时空方向主成分直方图(HSTOPC)的人体行为识别方法。首先,将深度图序列转换为三维(3D)点云序列,对此序列采用新颖的图像预处理方法获得新的深度图序列,即在空间和时间维度上对采样获得的深度图序列进行限制,除去一些动作信息量较少的序列和空间,从而降低输入数据的冗余减少空间尺度变化的影响;其次,为了解决帧间关联性较弱的问题,采用时空方向主成分方法描述新的点云序列,获得3D点云序列中每点的方向特征;然后,对3D点云序列中所有方向特征进行多层时域重叠分割,获得HSTOPC特征描述子;最后,采用支持向量机分类器进行训练、测试。在3个标准数据库上的实验结果表明,提出的HSTOPC特征描述子对噪声、运动速度变化、视角变化和时域不对齐具有很好的稳健性,可以显著提高人体行为识别的准确率。