张磊 1,2韩广良 1,*
作者单位
摘要
1 中国科学院 长春光学精密机械与物理研究所,吉林 长春 130033
2 中国科学院大学,北京 100049
针对基于人体骨架序列的动作识别存在的特征提取不充分、不全面及识别准确率不高的问题,本文提出了基于多分支特征和多尺度时空特征的动作识别模型。首先,利用多种算法的结合对原始数据进行了特征增强;其次,将多分支的特征输入形式改进为多分支的融合特征信息并分别输入到网络中,经过一定深度的网络模块后融合在一起;然后,构建多尺度的时空卷积模块作为网络的基本模块,用来提取多尺度的时空特征;最后,构建整体网络模型输出动作类别。实验结果表明,在NTU RGB-D 60数据集的两种划分标准Cross-subject和Cross-view上的识别准确率分别为89.6%和95.1%,在NTU RGB-D 120数据集的两种划分标准Cross-subject和Cross-setup上的识别准确率分别为84.1%和86.0%。与其他算法相对比,本文算法提取到了更为多样化、多尺度的动作特征,动作类别的识别准确率有一定的提升。
动作识别 多尺度特征 多分支特征 特征融合 action recognition multi-scale features multi-branch features feature fusion 
液晶与显示
2022, 37(12): 1614
作者单位
摘要
1 上海理工大学 光电信息与计算机工程学院,上海 200093
2 上海宇航系统工程研究所,上海 201109
动作识别是计算机视觉基础任务之一,骨架序列包含了大部分的动作信息,因此基于骨架的动作识别算法受到很多学者关注。人体骨架在数学上是一个天然的图,所以图卷积被广泛应用于动作识别。但普通的图卷积只聚合两两节点间的低阶信息,不能建模多节点间的高阶复杂关系。针对此问题,本文提出一种多尺度超图卷积网络,在空间和时间两个维度聚合更丰富的信息,提高动作识别准确度。多尺度超图卷积网络采用编解码结构,编码器使用超图卷积模块聚合超边中多个节点间的相关信息,解码器使用超图融合模块恢复原始骨架结构,另外基于空洞卷积设计了多尺度时间图卷积模块以更好地聚合时间维度运动信息。NTU-RGB+D和Kinetics数据集上的实验结果验证了算法的有效性。
动作识别 图卷积 超图卷积 空洞卷积 action recognition graph convolution hypergraph convolution dilated convolution 
光学仪器
2022, 44(4): 39
作者单位
摘要
1 上海理工大学 光电信息与计算机工程学院,上海 200093
2 上海宇航系统工程研究所,上海 201109
动作识别是计算机视觉领域的一项重要任务,主要有基于RGB视频和人体骨架两种数据模态的领域,主流方法分别是3D卷积神经网络和图卷积神经网络。针对视频和人体骨架两种数据模态的不同特点,设计了双分支网络分别对两种数据模态进行建模。对于人体骨架数据,基于自注意力机制设计了图卷积神经网络,该算法能在基于骨架的动作识别任务中达到先进的性能。对于视频数据,采用3D卷积网络进行特征提取。同时,利用深监督方法对两种数据模态的中间特征进行监督,提高两种数据特征的耦合度,进一步提高网络效率。这种算法的网络结构简单,在NTU-RGBD60(CS)数据集上仅用3.37×107的参数量可达到95.6%的精度。
基于人体骨架的动作识别 图卷积神经网络 自注意力机制 3D卷积神经网络 skeleton-based action recognition graph convolutional neural network self-attention mechanism 3D convolution neural network 
光学仪器
2022, 44(4): 16
作者单位
摘要
合肥工业大学 电气与自动化工程学院,安徽 合肥 230009
针对目前人体动作识别技术中存在的隐私暴露、技术复杂度高和识别精度低等相关问题,提出了一种基于热释电红外(PIR)传感器的人体动作识别方法。首先,采用一组安置在天花板上经过视场调制的PIR传感器采集人体运动时散发的红外热辐射信号,将传感器输出的电压模拟信号进行滤波放大后通过ZigBee无线模块传送到PC端打包成原始数据集;其次,将原始数据的两路传感器输出数据进行特征融合,对融合后的数据做标准化处理封装为训练集和测试集;然后,基于数据的特征提出一种两层级联的混合深度学习网络模型作为人体动作的分类算法,第一层采用一维卷积神经网络(1DCNN)对数据进行特征提取,第二层采用门控循环单元(GRU)保存历史输入信息防止丢失有效特征;最后,利用训练集来训练该网络模型得出参数最优的分类模型,通过测试集验证模型的正确性。实验结果表明,提出的该动作识别技术模型对基本动作分类的准确率高于98%,与图像动作识别或穿戴式设备动作识别相比,实现了实时、便捷、低成本和高保密性的高精度人体动作识别。
热释电红外传感器 动作识别 一维卷积神经网络 门控循环单元 pyroelectric infrared sensor action recognition one-dimensional convolutional neural network gated recurrent unit 
红外与激光工程
2022, 51(4): 20210188
作者单位
摘要
1 上海大学特种光纤与光接入网重点实验室, 上海 200444
2 美国北爱荷华大学技术系, 爱荷华州锡达福尔斯市
近年来动作识别成为计算机视觉领域的研究热点, 不同于针对视频图像进行的研究, 本文针对低分辨率红外传感器采集到的温度数据, 提出了一种基于此类红外传感器的双流卷积神经网络动作识别方法。空间和时间数据分别以原始温度值的形式同时输入改进的双流卷积神经网络中, 最终将空间流网络和时间流网络的概率矢量进行加权融合, 得到最终的动作类别。实验结果表明, 在手动采集的数据集上, 平均识别准确率可达到 98.2%, 其中弯腰、摔倒和行走动作的识别准确率均达 99%, 可以有效地对其进行识别。
动作识别 双流卷积神经网络 低分辨率红外传感器 深度学习 action recognition, two-stream CNN, low resolution 
红外技术
2022, 44(3): 286
作者单位
摘要
上海大学特种光纤与光接入网重点实验室,上海 200444
如今,世界各国人口老龄化问题日益严重,为了避免独居老人发生意外,老人日常动作监测和识别算法成为了研究热点。本文设计了一种基于低分辨红外传感器的动作识别方法,通过红外传感器采集探测区的温度分布数据,对温度分布数据进行处理,从时间、温度、形变和轨迹 4个方面提取多个特征,最后通过 K近邻算法对“行走”、“弯腰”、“坐下”、“站起”和“摔倒” 5种动作进行分类。实验结果表明平均识别准确率可达到 97%,其中摔倒动作的识别准确率为 100%。
动作识别 特征提取 低分辨率红外传感器 K近邻算法 activity recognition, feature extraction, low reso 
红外技术
2022, 44(1): 47
任国印 1,2吕晓琪 1,2,3,*李宇豪 2
作者单位
摘要
1 内蒙古科技大学机械工程学院, 内蒙古 包头 014010
2 内蒙古科技大学信息工程学院, 内蒙古 包头 014010
3 内蒙古工业大学, 内蒙古 呼和浩特 010051
提出了一种基于二维(2D)转三维(3D)骨架的实时检测双分支子网络,可实现2D骨架关键点的3D估计和2D、3D骨架特征融合的人体3D动作识别。在检测过程采用OpenPose框架实时获取视频中人体骨架的2D关键点坐标。在2D转3D骨架估计过程中,设计了一种输入为难样本且具有反馈功能的孪生网络。在3D动作识别过程中设计了一种2D、3D骨架特征双分支孪生网络,以完成3D姿态识别任务。在Human3.6M数据集上训练3D骨架估计网络,在基于欧拉变换的NTU RGB+D 60多视角增强数据集上训练骨架动作识别网络,最终得到的3D骨架动作识别交叉受试者准确率为88.2%,交叉视野准确率为95.6%。实验结果表明,该方法对3D骨架的预测精度较高,且具有实时反馈能力,可适用于实时监控中的动作识别。
图像处理 三维骨架估计 人体动作识别 多分支网络 多特征融合 
激光与光电子学进展
2021, 58(24): 2410010
作者单位
摘要
1 信阳职业技术学院数学与计算机科学学院,河南 信阳 464000
2 信阳农林学院信息工程学院,河南信阳 464000
3 中国人民解放军空军第一航空学院研究生大队,河南 信阳 464000
为了提升复杂背景下红外序列的行人动作识别精度,本文提出了一种改进的空时双流网络,该网络首先采用深度差分网络代替时间信息网络,提高时空特征的表征能力与提取效率;然后,采用基于决策级特征融合机制的代价函数对模型进行训练,可以更大限度地保留不同网络帧间图像的时空特征,更加真实地反映行人的动作类别。仿真结果表明,本文提出的改进网络在自建的红外视频数据集上获得了81%的识别精度,且计算效率也提升了25%,具有较高的工程应用价值。
双流网络 红外序列 动作识别 光流图像 差分网络 深度学习 空时特征 two-stream network, infrared sequences, action rec 
红外技术
2021, 43(9): 852
作者单位
摘要
1 兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
2 甘肃省人工智能与图形图像工程研究中心, 甘肃 兰州 730070
3 甘肃省轨道交通装备系统动力学与可靠性重点实验室, 甘肃 兰州 730070
传统稠密轨迹算法在人体动作识别中取得了较大的成功,但是其在轨迹的形成过程中将动作产生的轨迹和背景运动导致的轨迹进行了相同处理,导致视频表示过于冗余,识别精度受限。为解决这一问题,首先分析背景运动与行为运动模式的差异性,以特征字典的稀疏系数矩阵为基础,利用低秩分解的方法得到稀疏误差矩阵,进一步求解出视频的显著图,然后以显著图作为依据仅在动作相关区域内形成显著性轨迹,并以此表征人体动作。最后基于公开数据集:UCF Sports数据集和YouTube数据集,验证了本文方法的有效性。
图像处理 动作识别 稠密轨迹 视频显著性 低秩矩阵分解 稀疏编码 
激光与光电子学进展
2020, 57(24): 241003
作者单位
摘要
天津大学电气自动化与信息工程学院, 天津 300072
深度神经网络在静态图像领域已取得突破性进展,并逐步扩展到视频识别领域。人体动作识别是视频识别领域的研究热点和难点,因此,提出了一种基于双流快速区域卷积神经网络(Faster RCNN)改进的人体动作识别算法。首先,用RGB(Red,Green,Blue)图像和光流数据作为网络的输入,分别训练Faster RCNN;然后,将训练好后的网络模型进行融合,并引入改进的压缩和激励模块对特征通道进行处理,以突出重要特征;最后,用完全的交并比损失函数作为边框回归损失函数,以优化某些预测框与真实框不能相交等问题。实验结果表明,相比传统的Faster RCNN,本算法在动作识别数据集UCF101上的准确率得到了一定的提高。
机器视觉 双流快速区域卷积神经网络 人体动作识别 压缩与激励 交并比损失函数 
激光与光电子学进展
2020, 57(24): 241506

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!