1 东南大学 自动化学院,江苏南京20096
2 东南大学 复杂工程系统测量与控制教育部重点实验室,江苏南京10096
3 南京航空航天大学 空间光电探测与感知工业和信息化部重点实验室, 江苏南京211106
为了在严重遮挡以及少纹理等具有挑战性的场景下,准确地估计物体在相机坐标系中的位置和姿态,同时进一步提高网络效率,简化网络结构,本文基于RGB-D数据提出了采用辅助学习的六自由度位姿估计方法。网络以目标物体图像块、对应深度图以及CAD模型作为输入,首先,利用双分支点云配准网络,分别得到模型空间和相机空间下的预测点云;接着,对于辅助学习网络,将目标物体图像块和由深度图得到的Depth-XYZ输入多模态特征提取及融合模块,再进行由粗到细的位姿估计,并将估计结果作为先验用于优化损失计算。最后,在性能评估阶段,舍弃辅助学习分支,仅将双分支点云配准网络的输出利用点对特征匹配进行六自由度位姿估计。实验结果表明:所提方法在YCB-Video数据集上的AUC和ADD-S<2 cm结果分别为95.9%和99.0%;在LineMOD数据集上的平均ADD(-S)结果为99.4%;在LM-O数据集上的平均ADD(-S)结果为71.3%。与现有的其他六自由度位姿估计方法相比,采用辅助学习的方法在模型性能上具有优势,在位姿估计准确率上有较大提升。
六自由度位姿估计 辅助学习 深度图像 三维点云 6-DoF pose estimation auxiliary learning RGB-D image 3D point cloud
1 合肥工业大学仪器科学与光电工程学院,安徽 合肥 230009
2 合肥工业大学测量理论与精密仪器安徽省重点实验室,安徽 合肥 230009
针对传统位姿测量的不足,提出了一种基于三维数字图像相关(3D-DIC)法的空间刚体位姿估计方法,该方法利用双目相机拍摄待测物运动前后的图像序列,通过3D-DIC方法进行匹配计算,获得待测物运动前后的全场坐标信息,选择计算点坐标后对其进行奇异值分解,求得位姿参数。针对3D-DIC在测量大旋转时误差较大的情况,提出了一种增加中间图像的匹配计算方法。通过平移自由度和旋转自由度的实验验证,本文方法可实现空间刚体多个位姿参数的测量,三个平移自由度的测量误差均小于0.07 mm,测量角度小于10°时,偏航角和滚转角的测量误差均小于0.2°。
测量 数字图像相关法 位姿估计 六自由度
1 东南大学土木工程学院江苏省工程力学重点实验室,江苏 南京 211189
2 山东理工大学交通与车辆工程学院,山东 淄博 255090
对棱镜分光式单目立体视觉系统进行了深度方程的推导,修正了棱镜位姿偏移引入的成像误差,分析了位姿引起的成像视场变化。该系统由一个相机与两个具有相同参数的双棱镜组成,相机单次拍摄可获取两幅具有视差的子图像,这可视为两个具有一定夹角的虚拟相机同时成像。采用虚拟点模型与光线追踪法推导深度方程,建立视差与深度方程参数之间的关系,进一步研究了系统中物距与夹角对图像深度信息与视差的影响。棱镜组的人为放置,不可避免地引入位姿误差,进而影响每个成像通道中的成像视场。基于棱镜的旋转与偏移,建立了修正的虚拟点模型,并深入研究了棱镜组位姿对系统成像与视场产生的影响;最后通过实验验证了理论与推导的有效性与准确性。
测量 单目立体视觉 棱镜位姿 深度方程 系统误差 视场评估
中国计量大学计量测试工程学院,浙江 杭州 310018
为实现对流化床中目标颗粒空间位姿追踪测量,开发了一种基于单目视觉及彩色纹理编码球体的位姿测量系统。针对空间位置定位,建立了空间球体成像模型,并基于小孔平面成像模型及相机坐标转换模型,结合空间解析几何相关理论,分析了单目位置测量原理。考虑球体颗粒无法通过自身形状特征实现空间姿态测量,引入纹理特征,通过提取目标颗粒纹理,比较并建立其与合成库中已知方向图像之间的相似关系,实现空间姿态的测量。根据以上理论分析,搭建实验系统并进行了一系列实验。结果表明,位置测量综合误差率不大于0.5%,姿态测量误差不大于2°,验证了所提模型的有效性和可行性。
机器视觉 空间位姿 视觉模型 匹配算法 特征融合 激光与光电子学进展
2024, 61(4): 0415005
天津大学精密测试技术及仪器国家重点实验室,天津 300072
针对传统装配方法面向平面弱几何轮廓结构的工件装配任务表现出的数据配准成功率低、位姿控制精度不足的问题,提出一种基于平面点云配准与相对位姿控制的工业件装配方法。首先通过双目结构光传感器重建出工件点云信息,应用RANSAC-ICP算法对重建结果进行配准,并结合平面法向量特征与最大距离关系进行纠正,从而实现精准点云配准。然后,提出基于相对位姿关系的机械臂控制方法,省略了对工具坐标系的标定,直接利用相对位姿控制机械臂运动,并将相对位姿误差结果作为控制系统误差的评价标准,从而实现可靠装配。最后,在真实测试场景下使用大型工业机械臂进行实验。结果表明,所提方法较传统装配方法装配成功率提升85个百分点,自动化装配精度优于0.5 mm,即该方法可以有效解决平面工件装配问题。
机器视觉 点云配准 机械臂 装配 工业场景 相对位姿估计 激光与光电子学进展
2024, 61(4): 0415001
天津大学精密仪器与光电子工程学院精密测试技术及仪器国家重点实验室,天津 300072
单目视觉中的参考点共面问题是计算机视觉领域内一个基础而重要的问题。建立了针对共面参考点的PnP(Perspective-n-Point)问题模型,并提出了一种稳健的解决方法,具体包括直接法和迭代法两个部分。在直接法环节,针对位姿恢复过程中存在的尺度不统一问题,利用奇异值分解方法对旋转矩阵的恢复进行改进,获得相机位姿估计结果,并将此结果用作迭代法的初始值。在迭代法环节,介绍了以物方空间共线性误差为目标函数的正交迭代算法,为提升该算法的稳健性,研究了加权正交迭代算法,确立了重投影误差中外点的判定阈值并以此为依据引入了权重信息。实验结果表明,在参考点数量较少或少量异常值存在的条件下,所提方法具有良好的计算精度及稳健性,有较高实用价值。
单目视觉 共面参考点 位姿估计 共线性误差 激光与光电子学进展
2024, 61(4): 0411004
1 西安交通大学 机械工程学院 机械制造系统工程国家重点实验室,陕西西安70049
2 新拓三维技术(深圳)有限公司 创新实验室, 广东深圳518060
船舶、飞机等发动机为减小体积,采用斜口管路焊接代替弯头连接,管路系统中端头位姿是焊接对齐的前提。针对斜口管路端头位姿的高效高精度测量难题,提出了一种通过重建管路轴线以及管路端面进行端头位姿精确测量的方法。通过获取种子圆柱并设计非线性寻优算法提高圆柱拟合精度,通过高精度种子圆柱扩散重建得到管路轴线。通过双曲率阈值搜索方法对管路边缘进行搜索,得到管路端面边缘点整像素坐标。通过对端面提取得到的整像素坐标进行椭圆拟合结合射线求交方法求解端面边缘亚像素坐标,从而避免插值方法计算亚像素坐标受环境光源影响大的问题。最后,使用逐点最小二乘法重建空间投影平面并在平面上得到残差最小空间椭圆,空间椭圆中心即为管路端点,该投影平面即为端面所在平面,实现了对端头位姿的精确测量。实验结果表明,该方法的测量精度达到0.05 mm,角度测量误差小于0.1°,基本满足斜口管路端头的位姿测量精度要求,对管路的装配具有良好的指导意义。
空间投影平面 管路 端头位姿测量 端面重建 spatial projection plane pipeline endpoint pose measurement end face reconstruction
光学 精密工程
2023, 31(21): 3135
天津大学精密测试技术及仪器国家重点实验室,天津 300072
针对环境复杂的工业现场定位精度低、适应性差、鲁棒性低等问题,提出一种基于测量不确定度的视觉惯性自适应融合算法,分析基于隐函数模型的视觉定位测量不确定度,并依据视觉定位测量不确定度自适应调整卡尔曼滤波模型中的参数,校正视觉观测偏差,增强视觉惯性融合定位算法在不同观测条件下的鲁棒性。利用精密三轴转台及激光跟踪仪T-mac位姿测量系统对所提融合定位算法的定位精度进行实验验证。实验结果表明,相比传统扩展卡尔曼滤波方法,所提方法能满足视觉观测较差条件下的准确定位需求。
测量 卡尔曼滤波 不确定度分析 视觉惯性融合 位姿测量 光学学报
2023, 43(21): 2112003