基于自然场景图像的人体行为识别方法中遮挡、背景干扰、光照不均匀等因素影响识别结果, 利用人体三维骨架序列的行为识别方法可以克服上述缺点。首先, 考虑人体行为的时空特性, 提出一种时空特征融合深度学习网络人体骨架行为识别方法; 其次, 根据骨架几何特征建立视角不变性特征表示, CNN(Convolutional Neural Network)网络学习骨架的局部空域特征, 作用于空域的LSTM(Long Short Term Memory)网络学习骨架空域节点之间的相关性特征, 作用于时域的LSTM网络学习骨架序列时空关联性特征; 最后, 利用NTU RGB+D数据库验证文中算法。实验结果表明: 算法识别精度有所提高, 对于多视角骨架具有较强的鲁棒性。