1 中国科学院 微小卫星创新研究院，上海 201203
2 中国科学院大学，北京 100049
3 中国科学院 空天信息创新研究院，北京 100049
传统的单目姿态估计算法采用卷积网络在图像中定位若干关键点，再基于2D-3D匹配技术估计目标的姿态，但卫星上的关键点分布较分散，卷积网络由于其受限的感受野导致关键点的定位精度低，影响后续姿态估计的精度。此外传统流程需要人工标注关键点位置和目标的掩膜，标注成本高。为了解决传统方法感受野受限问题，在卷积网络中引入自注意力机制，赋予其全局建模能力，提高了关键点的定位精度。为了改善传统方法需要大量人工标注的问题，通过空间雕刻，重构了目标的点云，再将点云重投影回像素平面，自动化获取所需标签，省略了人工标注过程，提高了算法实用性。实验结果表明：所提算法在SPEED数据集上进行验证，关键点定位精度为92%，姿态平移误差为0.236%，姿态旋转误差为9.8610-3弧度，在简化算法复杂度的同时提升了精度。可以有效应用于航天器之间的相对姿态估计。
计算机视觉 姿态估计 关键点检测 自注意力 空间雕刻 computer vision pose estimation landmark localization self-attention space carving
国防科技大学电子科学学院, 湖南长沙 410073
基于逆合成孔径雷达(ISAR)图像序列的卫星目标姿态估计是一项具有重大意义且富有挑战性的任务。现有的估计方法通常是基于图像中关键角点或线性部件的提取, 较难满足实时需求, 且都未能充分利用目标成像特性先验。本文提出一种基于成像特性与回归网络的卫星目标姿态估计方法: 提前确定各种姿态下的卫星目标成像特性, 并作为后续数据集标注的理论基础; 区别于传统的分类问题, 建立一种适用于姿态估计的回归网络与估计框架。采用毫米波频段的电测仿真计算数据对所提方法进行验证, 结果表明, 单张图像中估计的平均姿态误差可以控制在3.5 °以内。
逆合成孔径雷达 成像特性 回归网络 姿态估计 实时预估 Inverse Synthetic Aperture Radar(ISAR) imaging characteristics regression network attitude estimation real-time prediction 太赫兹科学与电子信息学报
2023, 21(4): 572
1 西安工业大学 兵器科学与技术学院，陕西 西安 710021
2 西安工业大学 发展规划处，陕西 西安 710021
3 西安工业大学 电子信息工程学院，陕西 西安 710021
4 西安工业大学 光电工程学院，陕西 西安 710021
针对现有人体姿态估计网络在追求高精度检测时，网络结构设计复杂、模型参数量较大、检测效率较低的问题，本文提出了一种基于自适应特征感知的轻量级人体姿态估计算法。首先利用轻量化Ghost模块重构人体姿态估计的特征提取网络，减少网络参数量；其次设计了一种轻量级自适应特征感知的注意力机制，在降低网络模型复杂度的同时加强通道间信息有效交流，有效改善关键点定位效果；最后采用Huber Loss损失函数优化模型训练，实现异常点的更优预测，增强模型鲁棒性。在COCO数据集上进行验证，实验结果表明，与基准RMPE算法相比，改进后模型的检测精度提升了约0.5%，参数量减少了56.0%，网络运算量降低了32.6%，模型体积压缩了约57.0%，模型检测速率提升约2.1倍。本文改进后的人体姿态估计模型在压缩模型体积的同时提高了检测效率，增强了模型鲁棒性。
人体姿态估计 轻量化 自适应特征感知 Ghost模块 Huber Loss human pose estimation lightweight adaptive feature perception ghost module Huber Loss
1 江南大学机械工程学院，江苏 无锡 214122
2 江苏省食品先进制造装备技术重点实验室，江苏 无锡 214122
枸杞槟榔的放料工序目前仍需工人手动完成，生产效率低且存在食品卫生问题。为了解决这个问题，设计了一种基于结构光3D视觉的槟榔姿态识别与定位系统。首先，由数字投影仪向槟榔投影蓝光正弦条纹，相机采集变形条纹图像后，通过计算机进行三维重建，获得高精度槟榔点云；然后，融合2D图像和3D点云信息，采用所提特征线法估计槟榔的姿态参数；最后，定位槟榔空腔中心并将其作为放料点，根据手眼标定将放料点坐标转换到机械臂基坐标系下，使机械臂自动放料。利用500个槟榔进行姿态识别与定位实验，并统计处理时间和分类准确率。实验结果表明，1个槟榔的处理时间为0.39~0.59 s。整体的识别准确率为95.6%。对放料点的定位误差在0.25 mm之内，低于放料要求的0.3 mm。所提方法能有效解决形状复杂且自由放置目标的姿态识别与定位问题，具有较高的定位精度以及良好的稳定性，满足实际生产要求。
机器视觉 结构光 三维定位 姿态估计 手眼标定 槟榔 激光与光电子学进展
2023, 60(16): 1615010
1 武汉科技大学 信息科学与工程学院，湖北 武汉 430081
2 武汉科技大学 教育部冶金自动化与检测技术工程研究中心，湖北 武汉 430081
现有的多数人体姿态估计算法通过设计复杂的网络结构以获得高精度而导致速度较低。YOLO-Pose人体姿态估计算法吸收了先进目标检测算法的优点同时获得了较高的精度和速度，然而仍然存在漏检和误检问题。本文对YOLO-Pose算法进一步改进，针对人体姿态非刚性和人体关键点分布多样性的特点提出一种新的轻量级人体姿态检测算法。首先，设计了轻量级通道和空间注意力网络LCSA-Net以提升模型的特征提取能力；其次，采用了基于距离自适应的加权策略在模型训练时计算人体关键点回归损失以增强模型对远距离人体关键点的回归能力。在COCO 2017人体姿态数据集上的实验结果表明，与基准模型相比，两种改进策略均有效提升了人体姿态估计性能，实现了2%的mAP提升、1.5%的AP50提升和1.7%的AR提升。
人体姿态估计 YOLO-Pose 注意力网络 自适应加权 回归损失 human pose estimation YOLO-Pose attention net adaptive weighting regression loss
1 中国科学院长春光学精密机械与物理研究所光电探测技术研究部，吉林 长春 130033
2 中国科学院大学，北京 100049
3 吉林省智能波前传感与控制重点实验室，吉林 长春 130033
4 中国科学院空间目标与碎片观测重点实验室，江苏 南京 210008
单光子计数成像技术在暗弱目标探测、激光遥感、自动驾驶等领域均展现出了极大的应用潜力。为了探究如何利用该技术得到更多维度的目标信息，提出并验证了一种获取目标姿态的方法。将目标处于不同姿态时的单光子计数三维成像图（深度图）建成数据库，作为先验信息，通过求取库中图像与目标实际的单光子计数成像深度图（姿态未知）的相关系数，选取相关性最强的库中姿态作为目标实际姿态。采用单光子阵列探测器搭建实验系统，激光发散照明目标，以20°为单位构建数据库中的-60°至40°的目标深度图。结合库中数据与姿态分别处于-45°和25°时的目标深度图，利用所提方法估计目标姿态并验证其准确性。在该两种姿态下，分别做出光子计数为10，50，100时的深度图，以探究目标实际姿态与库中对应姿态的相似度和光子计数间的关系。以15°和20°为单位对目标进行多轴旋转，以探究目标进行多轴姿态变化时所提方法的可行性。改变背景噪声，在信号光子与背景光子数比值（SBR）分别为8.13，4.83，3.21，0.72的条件下对目标进行三维成像，探究背景噪声对估计成功率的影响。以木头人玩具为目标，以30°为单位建立数据库，对处于-20°和20°的木头人玩具进行成像并验证所提方法对复杂目标姿态估计的可行性。实验结果表明：所提方法可成功对目标实际姿态进行估计。目标实际姿态与库中对应姿态的相关性和光子计数成正相关，高SBR有利于准确估计目标姿态。
三维成像 激光雷达 姿态估计 时间相关单光子计数 激光与光电子学进展
2023, 60(8): 0811031
湖南师范大学 信息科学与工程学院, 长沙 410000
通过研究一种基于多尺度卷积神经网络和人体姿态估计模型相结合的多任务步态识别方法,对神经网络识别结果做出一定的解释说明,同时提高其在面对协变量改变场景下的识别效果。该方法将卷积神经网络提取的步态空间特征和人体姿态估计模型得到人体关节时序特征融合,进行身份的识别。使用步态数据集CASIA-B中的正常行走序列和合成行走序列数据以及TUM-GAID步态数据集进行实验。结果表明,该方法在TUM-GAID步态数据集实验中,三种场景T1、T2和T3下的识别率分别达到95.2%、72.4%和84.5%。在CASIA-B步态数据集实验中,对于正常行走序列以及两种合成行走序列,该方法在识别精度上均有较好的表现,体现该模型有较强的鲁棒性。
步态识别 卷积神经网络 多任务 可解释性 人体姿态估计 时空图像融合 gait recognition convolutional neural network multi-task interpretability human posture estimation spatiotemporal image fusion
江南大学人工智能与计算机学院模式识别与计算智能工程实验室，江苏 无锡 214122
针对行人重识别场景复杂引起的局部特征不对齐，以及在背景杂乱情况下难以提取出具有不变性行人特征的问题，提出一种基于人体姿态估计算法和相似度矩阵引导的多尺度融合网络。网络引入姿态估计算法构造对齐的行人特征，通过多分支结构将低层局部特征和高层全局特征进行融合提升网络的表征能力；此外特征相似度矩阵将全局特征分割出相似度引导的背景、前景分支，再利用区域级的三元损失函数，提取出对复杂背景鲁棒的行人特征。在Market-1501、DukeMTMC-ReID、CUHK03和MSMT17四个主流数据集上的实验结果表明，本文提出的方法均能达到甚至超过当前主流算法的水平。在最具挑战的MSMT17数据集中，与目前精度领先的算法相比，首次命中精度提高了1.4个百分点，平均精度均值提高了3.4个百分点。
图像处理 行人重识别 局部特征 姿态估计 特征相似度 激光与光电子学进展
2023, 60(6): 0610001
1 中国科学院光束控制重点实验室, 成都 610209
2 中国科学院光电技术研究所, 成都 610209
3 中国科学院大学, 北京 100049
针对现有单人姿态估计网络结果缺乏可靠性评估和鲁棒性保障等问题, 提出了一种基于偶然不确定性的测试时增强方法。该方法首先利用随机并行的数据增强和模型推理得到多样化输出, 随后通过计算该输出的偶然不确定性得到其可靠性评估, 最后根据可靠性将该输出及其不确定性进行加权融合以得到更准确鲁棒的结果及其评估。在MPII数据集上的实验表明, 该算法可即插即用地应用于任意现有单人姿态估计网络, 从而得到更精确鲁棒的结果及其不确定性评估。
单人姿态估计 关键点检测 偶然不确定性 测试时增强 single human pose estimation key points detection aleatoric uncertainty testing-time-augmentation
