1 东南大学 自动化学院，江苏南京20096
2 东南大学 复杂工程系统测量与控制教育部重点实验室，江苏南京10096
3 南京航空航天大学 空间光电探测与感知工业和信息化部重点实验室， 江苏南京211106
为了在严重遮挡以及少纹理等具有挑战性的场景下，准确地估计物体在相机坐标系中的位置和姿态，同时进一步提高网络效率，简化网络结构，本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入，首先，利用双分支点云配准网络，分别得到模型空间和相机空间下的预测点云；接着，对于辅助学习网络，将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块，再进行由粗到细的位姿估计，并将估计结果作为先验用于优化损失计算。最后，在性能评估阶段，舍弃辅助学习分支，仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明：所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%；在LineMOD数据集上的平均ADD（-S）结果为99.4%；在LM-O数据集上的平均ADD（-S）结果为71.3%。与现有的其他六自由度位姿估计方法相比，采用辅助学习的方法在模型性能上具有优势，在位姿估计准确率上有较大提升。
六自由度位姿估计 辅助学习 深度图像 三维点云 6-DoF pose estimation auxiliary learning RGB-D image 3D point cloud
1 合肥工业大学仪器科学与光电工程学院，安徽 合肥 230009
2 合肥工业大学测量理论与精密仪器安徽省重点实验室，安徽 合肥 230009
针对传统位姿测量的不足，提出了一种基于三维数字图像相关（3D-DIC）法的空间刚体位姿估计方法，该方法利用双目相机拍摄待测物运动前后的图像序列，通过3D-DIC方法进行匹配计算，获得待测物运动前后的全场坐标信息，选择计算点坐标后对其进行奇异值分解，求得位姿参数。针对3D-DIC在测量大旋转时误差较大的情况，提出了一种增加中间图像的匹配计算方法。通过平移自由度和旋转自由度的实验验证，本文方法可实现空间刚体多个位姿参数的测量，三个平移自由度的测量误差均小于0.07 mm，测量角度小于10°时，偏航角和滚转角的测量误差均小于0.2°。
测量 数字图像相关法 位姿估计 六自由度
天津大学精密测试技术及仪器国家重点实验室，天津 300072
针对传统装配方法面向平面弱几何轮廓结构的工件装配任务表现出的数据配准成功率低、位姿控制精度不足的问题，提出一种基于平面点云配准与相对位姿控制的工业件装配方法。首先通过双目结构光传感器重建出工件点云信息，应用RANSAC-ICP算法对重建结果进行配准，并结合平面法向量特征与最大距离关系进行纠正，从而实现精准点云配准。然后，提出基于相对位姿关系的机械臂控制方法，省略了对工具坐标系的标定，直接利用相对位姿控制机械臂运动，并将相对位姿误差结果作为控制系统误差的评价标准，从而实现可靠装配。最后，在真实测试场景下使用大型工业机械臂进行实验。结果表明，所提方法较传统装配方法装配成功率提升85个百分点，自动化装配精度优于0.5 mm，即该方法可以有效解决平面工件装配问题。
机器视觉 点云配准 机械臂 装配 工业场景 相对位姿估计 激光与光电子学进展
2024, 61(4): 0415001
天津大学精密仪器与光电子工程学院精密测试技术及仪器国家重点实验室，天津 300072
单目视觉中的参考点共面问题是计算机视觉领域内一个基础而重要的问题。建立了针对共面参考点的PnP（Perspective-n-Point）问题模型，并提出了一种稳健的解决方法，具体包括直接法和迭代法两个部分。在直接法环节，针对位姿恢复过程中存在的尺度不统一问题，利用奇异值分解方法对旋转矩阵的恢复进行改进，获得相机位姿估计结果，并将此结果用作迭代法的初始值。在迭代法环节，介绍了以物方空间共线性误差为目标函数的正交迭代算法，为提升该算法的稳健性，研究了加权正交迭代算法，确立了重投影误差中外点的判定阈值并以此为依据引入了权重信息。实验结果表明，在参考点数量较少或少量异常值存在的条件下，所提方法具有良好的计算精度及稳健性，有较高实用价值。
单目视觉 共面参考点 位姿估计 共线性误差 激光与光电子学进展
2024, 61(4): 0411004
1 中国科学院 微小卫星创新研究院，上海 201203
2 中国科学院大学，北京 100049
3 中国科学院 空天信息创新研究院，北京 100049
传统的单目姿态估计算法采用卷积网络在图像中定位若干关键点，再基于2D-3D匹配技术估计目标的姿态，但卫星上的关键点分布较分散，卷积网络由于其受限的感受野导致关键点的定位精度低，影响后续姿态估计的精度。此外传统流程需要人工标注关键点位置和目标的掩膜，标注成本高。为了解决传统方法感受野受限问题，在卷积网络中引入自注意力机制，赋予其全局建模能力，提高了关键点的定位精度。为了改善传统方法需要大量人工标注的问题，通过空间雕刻，重构了目标的点云，再将点云重投影回像素平面，自动化获取所需标签，省略了人工标注过程，提高了算法实用性。实验结果表明：所提算法在SPEED数据集上进行验证，关键点定位精度为92%，姿态平移误差为0.236%，姿态旋转误差为9.8610-3弧度，在简化算法复杂度的同时提升了精度。可以有效应用于航天器之间的相对姿态估计。
计算机视觉 姿态估计 关键点检测 自注意力 空间雕刻 computer vision pose estimation landmark localization self-attention space carving 光学 精密工程
2023, 31(21): 3135
1 西安工业大学 兵器科学与技术学院，陕西 西安 710021
2 西安工业大学 发展规划处，陕西 西安 710021
3 西安工业大学 电子信息工程学院，陕西 西安 710021
4 西安工业大学 光电工程学院，陕西 西安 710021
针对现有人体姿态估计网络在追求高精度检测时，网络结构设计复杂、模型参数量较大、检测效率较低的问题，本文提出了一种基于自适应特征感知的轻量级人体姿态估计算法。首先利用轻量化Ghost模块重构人体姿态估计的特征提取网络，减少网络参数量；其次设计了一种轻量级自适应特征感知的注意力机制，在降低网络模型复杂度的同时加强通道间信息有效交流，有效改善关键点定位效果；最后采用Huber Loss损失函数优化模型训练，实现异常点的更优预测，增强模型鲁棒性。在COCO数据集上进行验证，实验结果表明，与基准RMPE算法相比，改进后模型的检测精度提升了约0.5%，参数量减少了56.0%，网络运算量降低了32.6%，模型体积压缩了约57.0%，模型检测速率提升约2.1倍。本文改进后的人体姿态估计模型在压缩模型体积的同时提高了检测效率，增强了模型鲁棒性。
人体姿态估计 轻量化 自适应特征感知 Ghost模块 Huber Loss human pose estimation lightweight adaptive feature perception ghost module Huber Loss
1 江南大学机械工程学院，江苏 无锡 214122
2 江苏省食品先进制造装备技术重点实验室，江苏 无锡 214122
枸杞槟榔的放料工序目前仍需工人手动完成，生产效率低且存在食品卫生问题。为了解决这个问题，设计了一种基于结构光3D视觉的槟榔姿态识别与定位系统。首先，由数字投影仪向槟榔投影蓝光正弦条纹，相机采集变形条纹图像后，通过计算机进行三维重建，获得高精度槟榔点云；然后，融合2D图像和3D点云信息，采用所提特征线法估计槟榔的姿态参数；最后，定位槟榔空腔中心并将其作为放料点，根据手眼标定将放料点坐标转换到机械臂基坐标系下，使机械臂自动放料。利用500个槟榔进行姿态识别与定位实验，并统计处理时间和分类准确率。实验结果表明，1个槟榔的处理时间为0.39~0.59 s。整体的识别准确率为95.6%。对放料点的定位误差在0.25 mm之内，低于放料要求的0.3 mm。所提方法能有效解决形状复杂且自由放置目标的姿态识别与定位问题，具有较高的定位精度以及良好的稳定性，满足实际生产要求。
机器视觉 结构光 三维定位 姿态估计 手眼标定 槟榔 激光与光电子学进展
2023, 60(16): 1615010
天津大学精密测试技术及仪器国家重点实验室，天津 300072
提出一种新型的关键点距离表征学习网络，该网络利用位姿变换过程的几何不变性信息，在网络中引入距离量的估计，进而推导出稳健关键点，以此来提升基于深度学习的六自由度物体位姿估计方法的精度。所提方法包含两个阶段。首先，设计了关键点距离表征网络，通过一种骨干网络模块和特征融合结构实现RGB-D图像特征提取，并结合多层感知机预测物体逐点相对于关键点的距离量、语义和置信度。其次，根据可视点投票法及四点距离定位法，利用网络输出的多维信息推理计算关键点坐标，并最终通过最小二乘拟合算法得到物体位姿。为了证明所提方法的有效性，在公开数据集LineMOD和YCB-Video上进行了测试，实验结果表明，所提方法相比于原PSPNet框架中的ResNet参数量减少一半且精度有所提升，在两个数据集上精度分别提升了1.1个百分点和5.8个百分点。
机器视觉 六自由度位姿估计 深度学习 关键点距离表征网络 特征提取 激光与光电子学进展
2023, 60(16): 1615008
