1 西安工业大学 兵器科学与技术学院，陕西 西安 710021
2 西安工业大学 发展规划处，陕西 西安 710021
3 西安工业大学 电子信息工程学院，陕西 西安 710021
4 西安工业大学 光电工程学院，陕西 西安 710021
针对现有人体姿态估计网络在追求高精度检测时，网络结构设计复杂、模型参数量较大、检测效率较低的问题，本文提出了一种基于自适应特征感知的轻量级人体姿态估计算法。首先利用轻量化Ghost模块重构人体姿态估计的特征提取网络，减少网络参数量；其次设计了一种轻量级自适应特征感知的注意力机制，在降低网络模型复杂度的同时加强通道间信息有效交流，有效改善关键点定位效果；最后采用Huber Loss损失函数优化模型训练，实现异常点的更优预测，增强模型鲁棒性。在COCO数据集上进行验证，实验结果表明，与基准RMPE算法相比，改进后模型的检测精度提升了约0.5%，参数量减少了56.0%，网络运算量降低了32.6%，模型体积压缩了约57.0%，模型检测速率提升约2.1倍。本文改进后的人体姿态估计模型在压缩模型体积的同时提高了检测效率，增强了模型鲁棒性。
人体姿态估计 轻量化 自适应特征感知 Ghost模块 Huber Loss human pose estimation lightweight adaptive feature perception ghost module Huber Loss
1 武汉科技大学 信息科学与工程学院，湖北 武汉 430081
2 武汉科技大学 教育部冶金自动化与检测技术工程研究中心，湖北 武汉 430081
现有的多数人体姿态估计算法通过设计复杂的网络结构以获得高精度而导致速度较低。YOLO-Pose人体姿态估计算法吸收了先进目标检测算法的优点同时获得了较高的精度和速度，然而仍然存在漏检和误检问题。本文对YOLO-Pose算法进一步改进，针对人体姿态非刚性和人体关键点分布多样性的特点提出一种新的轻量级人体姿态检测算法。首先，设计了轻量级通道和空间注意力网络LCSA-Net以提升模型的特征提取能力；其次，采用了基于距离自适应的加权策略在模型训练时计算人体关键点回归损失以增强模型对远距离人体关键点的回归能力。在COCO 2017人体姿态数据集上的实验结果表明，与基准模型相比，两种改进策略均有效提升了人体姿态估计性能，实现了2%的mAP提升、1.5%的AP50提升和1.7%的AR提升。
人体姿态估计 YOLO-Pose 注意力网络 自适应加权 回归损失 human pose estimation YOLO-Pose attention net adaptive weighting regression loss
湖南师范大学 信息科学与工程学院, 长沙 410000
通过研究一种基于多尺度卷积神经网络和人体姿态估计模型相结合的多任务步态识别方法,对神经网络识别结果做出一定的解释说明,同时提高其在面对协变量改变场景下的识别效果。该方法将卷积神经网络提取的步态空间特征和人体姿态估计模型得到人体关节时序特征融合,进行身份的识别。使用步态数据集CASIA-B中的正常行走序列和合成行走序列数据以及TUM-GAID步态数据集进行实验。结果表明,该方法在TUM-GAID步态数据集实验中,三种场景T1、T2和T3下的识别率分别达到95.2%、72.4%和84.5%。在CASIA-B步态数据集实验中,对于正常行走序列以及两种合成行走序列,该方法在识别精度上均有较好的表现,体现该模型有较强的鲁棒性。
步态识别 卷积神经网络 多任务 可解释性 人体姿态估计 时空图像融合 gait recognition convolutional neural network multi-task interpretability human posture estimation spatiotemporal image fusion
上海电力大学电子与信息工程学院，上海 200090
人体姿态估计通常使用高分辨率表示的方法来实现关键点的检测，但网络参数量较大，运算较为复杂。基于此，提出了一种轻量级高分辨率人体姿态估计算法。首先，使用稠密连接网络（DenseNet）并进行轻量化改进，提出密集连接层，使得各层之间连接更加紧密，从而降低网络的运算参数，优化网络的运算速度；其次，在降低参数且精度保持不变的情况下，在多尺度融合阶段使用上采样和反卷积模块结合的融合方式，使得输出的特征信息更加丰富，检测结果更加准确；最后，利用COCO 2017验证数据集及MPII数据集进行验证。实验结果表明，在保证准确率的情况下与其他人体姿态估计算法相比，所提算法的平均精度为74.8%，运算参数减少了63.8%，网络运算复杂度缩小了8.5%，同时也到达了实时性的效果。
图像处理 人体姿态估计 高分辨率表示 多尺度融合 轻量化 改进稠密连接网络 激光与光电子学进展
2022, 59(18): 1810012
西安工程大学电子信息学院, 陕西 西安 710048
全面综述了基于深度学习的人体姿态估计方法的研究进展。在比较分析各类单人姿态估计方法的基础上,从自上而下和自下而上两个方法角度总结了多人姿态估计算法。在自上而下方法中,着重介绍了局部区域重叠、关节点混淆、人体非典型部位关节点难以检测等问题的解决方案;在自下而上的方法中,重点关注聚类方法对关节点检测的贡献。对目前公共数据集上取得优异性能的代表性方法进行了对比和分析。这样做的目的是使研究者了解和熟悉该领域已有的研究成果,拓展研究思路和方法,并展望未来可能出现的研究方向。
机器视觉 深度学习 人体姿态估计 关节点检测 公共数据集 激光与光电子学进展
2021, 58(24): 2400005
河北工业大学电子信息工程学院, 天津 300401
堆栈沙漏网络(SHN)是人体姿态估计中的代表性研究成果,但该网络忽略了关节局部信息。因此,提出了一种基于改进沙漏网络的人体姿态估计模型。首先,利用多个残差模块及步长为2的卷积层获取低层次到高层次的特征,同时随着网络层数的加深,相应调整残差模块的数目和通道数,以突出局部细节特征信息。然后,为了提取遮挡部位的纹理和形状等局部特征,融合了在线困难关键点挖掘模块。最后,采用反卷积最大化恢复原始的局部特征。实验结果表明,本模型在COCO数据集上的平均精度达到了74.6%,**数量为1.5×10 7,比叠加8个SHN(8-SNH)的平均精度高5.1个百分点,且其**数量仅为8-SNH的1/3。
机器视觉 人体姿态估计 堆栈沙漏网络 残差模块 在线困难关键点挖掘 激光与光电子学进展
2021, 58(20): 2015004
贵州大学大数据与信息工程学院大数据与智能技术重点实验室, 贵州 贵阳 550025
针对人体姿态估计中因肢体、环境复杂性导致的估计结果不精确问题,提出了一种基于二次生成对抗的人体姿态估计方法,通过两个阶段对堆叠沙漏网络(SHN)进行生成对抗训练。首先将SHN作为第一个生成对抗网络模型的判别器,通过在线对抗数据加强训练,以提升SHN的估计性能;然后将SHN作为第二个生成对抗网络模型的生成器,将肢体几何约束作为判别器,通过第二次对抗训练再一次提升SHN的估计性能,得到最终的SHN。在公开数据集LSP和MPII上对本方法进行测试,结果表明,该方法能有效提升SHN的估计精确度。
人体姿态估计 生成对抗网络 模型再训练 肢体几何约束 激光与光电子学进展
2020, 57(20): 201509
1 河海大学 物联网工程学院, 江苏 常州 213022
2 常州市传感网与环境感知重点实验室, 江苏 常州 213022
基于混合部件模型的人体姿态估计方法忽视了人体结构的对称位姿约束关系, 从而导致对称部件容易被重复检测、人体姿态估计准确率较低, 为此, 提出一种基于位姿约束与轨迹寻优的姿态估计新方法。首先估计人体单部件和对称部件在单帧图像中的多个合理位置, 利用对称部件之间的位姿约束关系构建标识部件。然后根据单部件和标识部件各自的目标优化函数, 通过动态规划算法反复迭代获得初始轨迹候选集, 再结合轨迹的全局特征剔除检测得分较低的运动轨迹。最后引入树形合约模型, 联系时空上下文信息, 准确求解出视频序列光滑且兼容的最优轨迹。在N-best、Outdoor Pose和Scene数据集中的实验结果表明, 对于存在背景复杂、运动模糊、部件遮挡等问题的视频序列中, 该方法平均姿态估计准确率达87%以上, 有效减少了对称部件的误判, 提高了视频中人体姿态估计的准确率。
人体姿态估计 混合部件模型 位姿约束 最优轨迹 Human pose estimation mixed parts model pose constraint optimal trajectory
