手语识别广泛应用于聋哑人与正常人之间的交流中。针对手语识别任务中时空特征提取不充分而导致识别率低的问题, 提出了一种新颖的基于时空注意力的手语识别模型。首先提出了基于残差3D卷积网络(Residual 3D Convolutional Neural Network, Res3DCNN)的空间注意力模块, 用来自动关注空间中的显著区域; 随后提出了基于卷积长短时记忆网络(Convolutional Long Short-Term Memory, ConvLSTM)的时间注意力模块, 用来衡量视频帧的重要性。所提算法的关键在于在空间中关注显著区域, 并且在时间上自动选择关键帧。最后, 在CSL手语数据集上验证了算法的有效性。

手语特征提取的传统算法仅仅依靠底层特征完成识别,难以获得高层语义特征,进而对手语理解产生分歧。针对这一问题,将图像语义分析的思维引入手语识别研究中,提出一种优化全卷积神经网络算法。采用全卷积神经网络提取手语图像的语义特征,并通过判别随机场进行语义标注做后期平滑处理,恢复像素间的细节信息,从而完成手语识别。实验结果表明,所提出的算法具有较强的稳健性,能有效学习到语义特征。与传统算法对比分析表明,此方法能精准的识别到手语,其平均识别率达97.41%。