1 东南大学 自动化学院,江苏南京20096
2 东南大学 复杂工程系统测量与控制教育部重点实验室,江苏南京10096
3 南京航空航天大学 空间光电探测与感知工业和信息化部重点实验室, 江苏南京211106
为了在严重遮挡以及少纹理等具有挑战性的场景下,准确地估计物体在相机坐标系中的位置和姿态,同时进一步提高网络效率,简化网络结构,本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入,首先,利用双分支点云配准网络,分别得到模型空间和相机空间下的预测点云;接着,对于辅助学习网络,将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块,再进行由粗到细的位姿估计,并将估计结果作为先验用于优化损失计算。最后,在性能评估阶段,舍弃辅助学习分支,仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明:所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%;在LineMOD数据集上的平均ADD(-S)结果为99.4%;在LM-O数据集上的平均ADD(-S)结果为71.3%。与现有的其他六自由度位姿估计方法相比,采用辅助学习的方法在模型性能上具有优势,在位姿估计准确率上有较大提升。
六自由度位姿估计 辅助学习 深度图像 三维点云 6-DoF pose estimation auxiliary learning RGB-D image 3D point cloud
1 合肥工业大学仪器科学与光电工程学院,安徽 合肥 230009
2 合肥工业大学测量理论与精密仪器安徽省重点实验室,安徽 合肥 230009
针对传统位姿测量的不足,提出了一种基于三维数字图像相关(3D-DIC)法的空间刚体位姿估计方法,该方法利用双目相机拍摄待测物运动前后的图像序列,通过3D-DIC方法进行匹配计算,获得待测物运动前后的全场坐标信息,选择计算点坐标后对其进行奇异值分解,求得位姿参数。针对3D-DIC在测量大旋转时误差较大的情况,提出了一种增加中间图像的匹配计算方法。通过平移自由度和旋转自由度的实验验证,本文方法可实现空间刚体多个位姿参数的测量,三个平移自由度的测量误差均小于0.07 mm,测量角度小于10°时,偏航角和滚转角的测量误差均小于0.2°。
测量 数字图像相关法 位姿估计 六自由度
天津大学精密测试技术及仪器国家重点实验室,天津 300072
提出一种新型的关键点距离表征学习网络,该网络利用位姿变换过程的几何不变性信息,在网络中引入距离量的估计,进而推导出稳健关键点,以此来提升基于深度学习的六自由度物体位姿估计方法的精度。所提方法包含两个阶段。首先,设计了关键点距离表征网络,通过一种骨干网络模块和特征融合结构实现RGB-D图像特征提取,并结合多层感知机预测物体逐点相对于关键点的距离量、语义和置信度。其次,根据可视点投票法及四点距离定位法,利用网络输出的多维信息推理计算关键点坐标,并最终通过最小二乘拟合算法得到物体位姿。为了证明所提方法的有效性,在公开数据集LineMOD和YCB-Video上进行了测试,实验结果表明,所提方法相比于原PSPNet框架中的ResNet参数量减少一半且精度有所提升,在两个数据集上精度分别提升了1.1个百分点和5.8个百分点。
机器视觉 六自由度位姿估计 深度学习 关键点距离表征网络 特征提取 激光与光电子学进展
2023, 60(16): 1615008
合肥工业大学 仪器科学与光电工程学院 测量理论与精密仪器安徽省重点实验室, 安徽合肥230009
微位移工作台是实现高精度定位的关键部件,传统的工作台自由度少且分辨力不高,不能满足应用需求,因此提出一种六自由度高精度微位移工作台结构方案并验证了其性能。在整体结构上采用“串并联混合驱动”的方式和中空结构,将六个自由度的运动合理地分布在平动层,转动层和支撑层三层结构中,并设计开发了工作台的运动控制系统以及一套可搭配使用的运动控制软件。实验结果表明,X,Y,Z轴线位移分别优于20,20和37 μm,角位移行程分别优于39″,33″和27″;线位移分辨力均优于0.7 nm,角位移分辨力均优于0.1″。所提出的六自由度微位移工作台相比于传统工作台具有自由度多、极高分辨力等优点,有望在超精密加工,微电子制造等领域中获得广泛的应用。
微动工作台 亚纳米分辨力 六自由度 运动控制系统 micro-driving stage resolution with sub-nano 6-DOF motion control system 光学 精密工程
2023, 31(13): 1933
光学 精密工程
2023, 31(11): 1593
1 天津大学精密测试技术及仪器国家重点实验室,天津 300072
2 北京卫星制造厂有限公司,北京 100094
目前视觉测量技术针对工业目标的六自由度测量,存在难以兼顾测量效率、精度与范围的问题。为此,本文提出了一种基于扫摆式多相机跟踪的六自由度测量方法,通过同站位不同角度多图像观测联合构成大尺寸坐标计算的冗余约束量,来实现高效率、高精度、大范围位姿测量。首先,提出相机旋转扫摆运动模型,快速估计相机位姿,并作为先验信息进行图像匹配与空间后方交会,得到精确相机位姿,进行空间前方交会;然后,提出了基于像点平差的位姿估计方法,直接利用物体移动前后的像点信息作为观测值,进行物体位姿的最优化估计。实验结果表明,测量效率提高了4倍,单点精度的最大误差不超过0.2 mm,姿态精度的最大误差不超过0.043°,证实提出方法能有效测量物体的六自由度位姿,一定程度上平衡了测量效率、精度与范围的矛盾。
视觉测量 六自由度测量 罗德里格斯公式 光束法平差 扫摆式运动 激光与光电子学进展
2023, 60(3): 0312019
光子学报
2022, 51(12): 1212002
南京理工大学电子工程与光电技术学院,江苏 南京 210094
针对机器视觉中目标物体相对姿态的准确测量问题,提出了一种应用深度相机获取目标物体三维点云数据从而实现其相对姿态感知的方法。该方法根据目标物体空间结构先验知识选择同名点,应用单个的双目视觉测量系统获取目标物体三维点云数据,分析和处理该数据实现同名点识别,进而计算目标物体的三个同名点分别在物体坐标系与相机坐标系上的坐标值,利用奇异值分解(SVD)解相对姿态。该方法能够有效地解决三维物体姿态感知问题,提高了姿态感知的效率。实验数据表明,所提方法测量出的六自由度相对误差在±0.5°和±1 mm以内,满足了机器视觉姿态感知在工业生产中的应用要求。
机器视觉 相对姿态 深度相机 同名点 双目视觉 六自由度 激光与光电子学进展
2022, 59(14): 1415028
强激光与粒子束
2020, 32(1): 011021