1 上海大学通信与信息工程学院，上海 200444
2 上海先进通信与数据科学研究院，上海 200444
针对人体骨架行为识别中因时空特征提取不充分、网络计算量大和计算效率低导致相似行为识别结果不理想的问题，提出一种基于密集残差移位图卷积网络的骨架行为识别算法。使用姿态估计算法提取人体骨架信息，经坐标向量计算得到骨架的关节、骨骼以及各自的运动信息，并分别输入网络中。在移位图卷积模块间引入密集残差结构，提高网络性能和提取时空特征的效率。所提算法可应用于日常行为场景，例如：行走、坐下、站起、脱衣服、穿衣服、扔以及摔倒等。其在自制数据集上的识别准确率达到81.7%，在NTU60 RGB+D数据集两种评估标准下的准确率也分别达88.1%和95.3%，验证了算法具有优秀的识别精度。
图像处理 时空特征 图卷积 密集残差 日常行为 激光与光电子学进展
2023, 60(10): 1010012
1 西安思源学院 电子信息工程学院, 陕西 西安 710038
2 西安交通大学 理学院, 陕西 西安 710049
3 郑州轻工业大学 软件学院, 河南 郑州 450002
传统基于卷积神经网络(CNN)算法的人群异常行为检测方法由于采用二维卷积核提取图像特征, 故无法准确捕捉视频流在时序上的动态特征。为此, 提出一种基于改进C3D网络与随机森林(RF)算法相结合的检测方法。利用具有时间特征捕捉能力的C3D网络进行视频流梯度方向直方图(HOG)特征提取, 并作为三维卷积核输入以实现对视频时空特征的提取;使用随机森林分类器替代softmax全连接层以避免训练过程中繁琐的梯度计算操作, 并降低对训练数据集样本规模的要求;基于基准数据集的算例结果表明, 所提出的改进C3D-RF方案对人群异常行为的检测准确率保持在90%以上, 且与传统C3D网络、支持向量数据描述模型(SVDD)、编码深度卷积神经网络(CAE)等方法相比, 其训练时间缩短了15.34%以上。
信息光学 异常行为检测 C3D网络 随机森林 视频监控 时空特征提取 information optics abnormal behavior detection C3D network random forest video surveillance spatio-temporal feature extraction
1 辽宁石油化工大学 信息与控制工程学院, 辽宁 抚顺 113001
2 中国科学院沈阳自动化研究所 机器人学国家重点实验室, 辽宁 沈阳 110016
基于自然场景图像的人体行为识别方法中遮挡、背景干扰、光照不均匀等因素影响识别结果, 利用人体三维骨架序列的行为识别方法可以克服上述缺点。首先, 考虑人体行为的时空特性, 提出一种时空特征融合深度学习网络人体骨架行为识别方法; 其次, 根据骨架几何特征建立视角不变性特征表示, CNN(Convolutional Neural Network)网络学习骨架的局部空域特征, 作用于空域的LSTM(Long Short Term Memory)网络学习骨架空域节点之间的相关性特征, 作用于时域的LSTM网络学习骨架序列时空关联性特征; 最后, 利用NTU RGB+D数据库验证文中算法。实验结果表明: 算法识别精度有所提高, 对于多视角骨架具有较强的鲁棒性。
时空特征 融合 骨架 视角不变 spatio-temporal feature fusion skeleton view invariant 红外与激光工程
2018, 47(2): 0203007
