1 西安工业大学 兵器科学与技术学院，陕西 西安 710021
2 西安工业大学 发展规划处，陕西 西安 710021
3 西安工业大学 电子信息工程学院，陕西 西安 710021
4 西安工业大学 光电工程学院，陕西 西安 710021
针对现有人体姿态估计网络在追求高精度检测时，网络结构设计复杂、模型参数量较大、检测效率较低的问题，本文提出了一种基于自适应特征感知的轻量级人体姿态估计算法。首先利用轻量化Ghost模块重构人体姿态估计的特征提取网络，减少网络参数量；其次设计了一种轻量级自适应特征感知的注意力机制，在降低网络模型复杂度的同时加强通道间信息有效交流，有效改善关键点定位效果；最后采用Huber Loss损失函数优化模型训练，实现异常点的更优预测，增强模型鲁棒性。在COCO数据集上进行验证，实验结果表明，与基准RMPE算法相比，改进后模型的检测精度提升了约0.5%，参数量减少了56.0%，网络运算量降低了32.6%，模型体积压缩了约57.0%，模型检测速率提升约2.1倍。本文改进后的人体姿态估计模型在压缩模型体积的同时提高了检测效率，增强了模型鲁棒性。
人体姿态估计 轻量化 自适应特征感知 Ghost模块 Huber Loss human pose estimation lightweight adaptive feature perception ghost module Huber Loss
1 武汉科技大学 信息科学与工程学院，湖北 武汉 430081
2 武汉科技大学 教育部冶金自动化与检测技术工程研究中心，湖北 武汉 430081
现有的多数人体姿态估计算法通过设计复杂的网络结构以获得高精度而导致速度较低。YOLO-Pose人体姿态估计算法吸收了先进目标检测算法的优点同时获得了较高的精度和速度，然而仍然存在漏检和误检问题。本文对YOLO-Pose算法进一步改进，针对人体姿态非刚性和人体关键点分布多样性的特点提出一种新的轻量级人体姿态检测算法。首先，设计了轻量级通道和空间注意力网络LCSA-Net以提升模型的特征提取能力；其次，采用了基于距离自适应的加权策略在模型训练时计算人体关键点回归损失以增强模型对远距离人体关键点的回归能力。在COCO 2017人体姿态数据集上的实验结果表明，与基准模型相比，两种改进策略均有效提升了人体姿态估计性能，实现了2%的mAP提升、1.5%的AP50提升和1.7%的AR提升。
人体姿态估计 YOLO-Pose 注意力网络 自适应加权 回归损失 human pose estimation YOLO-Pose attention net adaptive weighting regression loss
1 中国科学院光束控制重点实验室, 成都 610209
2 中国科学院光电技术研究所, 成都 610209
3 中国科学院大学, 北京 100049
针对现有单人姿态估计网络结果缺乏可靠性评估和鲁棒性保障等问题, 提出了一种基于偶然不确定性的测试时增强方法。该方法首先利用随机并行的数据增强和模型推理得到多样化输出, 随后通过计算该输出的偶然不确定性得到其可靠性评估, 最后根据可靠性将该输出及其不确定性进行加权融合以得到更准确鲁棒的结果及其评估。在MPII数据集上的实验表明, 该算法可即插即用地应用于任意现有单人姿态估计网络, 从而得到更精确鲁棒的结果及其不确定性评估。
单人姿态估计 关键点检测 偶然不确定性 测试时增强 single human pose estimation key points detection aleatoric uncertainty testing-time-augmentation
西安工程大学电子信息学院, 陕西 西安 710048
全面综述了基于深度学习的人体姿态估计方法的研究进展。在比较分析各类单人姿态估计方法的基础上,从自上而下和自下而上两个方法角度总结了多人姿态估计算法。在自上而下方法中,着重介绍了局部区域重叠、关节点混淆、人体非典型部位关节点难以检测等问题的解决方案;在自下而上的方法中,重点关注聚类方法对关节点检测的贡献。对目前公共数据集上取得优异性能的代表性方法进行了对比和分析。这样做的目的是使研究者了解和熟悉该领域已有的研究成果,拓展研究思路和方法,并展望未来可能出现的研究方向。
机器视觉 深度学习 人体姿态估计 关节点检测 公共数据集 激光与光电子学进展
2021, 58(24): 2400005
河北工业大学电子信息工程学院, 天津 300401
堆栈沙漏网络(SHN)是人体姿态估计中的代表性研究成果,但该网络忽略了关节局部信息。因此,提出了一种基于改进沙漏网络的人体姿态估计模型。首先,利用多个残差模块及步长为2的卷积层获取低层次到高层次的特征,同时随着网络层数的加深,相应调整残差模块的数目和通道数,以突出局部细节特征信息。然后,为了提取遮挡部位的纹理和形状等局部特征,融合了在线困难关键点挖掘模块。最后,采用反卷积最大化恢复原始的局部特征。实验结果表明,本模型在COCO数据集上的平均精度达到了74.6%,**数量为1.5×10 7,比叠加8个SHN(8-SNH)的平均精度高5.1个百分点,且其**数量仅为8-SNH的1/3。
机器视觉 人体姿态估计 堆栈沙漏网络 残差模块 在线困难关键点挖掘 激光与光电子学进展
2021, 58(20): 2015004
贵州大学大数据与信息工程学院大数据与智能技术重点实验室, 贵州 贵阳 550025
针对人体姿态估计中因肢体、环境复杂性导致的估计结果不精确问题,提出了一种基于二次生成对抗的人体姿态估计方法,通过两个阶段对堆叠沙漏网络(SHN)进行生成对抗训练。首先将SHN作为第一个生成对抗网络模型的判别器,通过在线对抗数据加强训练,以提升SHN的估计性能;然后将SHN作为第二个生成对抗网络模型的生成器,将肢体几何约束作为判别器,通过第二次对抗训练再一次提升SHN的估计性能,得到最终的SHN。在公开数据集LSP和MPII上对本方法进行测试,结果表明,该方法能有效提升SHN的估计精确度。
人体姿态估计 生成对抗网络 模型再训练 肢体几何约束 激光与光电子学进展
2020, 57(20): 201509
1 河海大学 物联网工程学院, 江苏 常州 213022
2 常州市传感网与环境感知重点实验室, 江苏 常州 213022
基于混合部件模型的人体姿态估计方法忽视了人体结构的对称位姿约束关系, 从而导致对称部件容易被重复检测、人体姿态估计准确率较低, 为此, 提出一种基于位姿约束与轨迹寻优的姿态估计新方法。首先估计人体单部件和对称部件在单帧图像中的多个合理位置, 利用对称部件之间的位姿约束关系构建标识部件。然后根据单部件和标识部件各自的目标优化函数, 通过动态规划算法反复迭代获得初始轨迹候选集, 再结合轨迹的全局特征剔除检测得分较低的运动轨迹。最后引入树形合约模型, 联系时空上下文信息, 准确求解出视频序列光滑且兼容的最优轨迹。在N-best、Outdoor Pose和Scene数据集中的实验结果表明, 对于存在背景复杂、运动模糊、部件遮挡等问题的视频序列中, 该方法平均姿态估计准确率达87%以上, 有效减少了对称部件的误判, 提高了视频中人体姿态估计的准确率。
人体姿态估计 混合部件模型 位姿约束 最优轨迹 Human pose estimation mixed parts model pose constraint optimal trajectory
