1 江西理工大学 理学院,江西赣州34000
2 江西理工大学 电气工程与自动化学院,江西赣州341000
多视图立体重建(Multi-view stereo Reconstruction,MVS Reconstruction)的目标是根据一组已知摄像机参数的多视角图像来重建场景的三维模型,是近年来三维重建的一类主流方法。本文针对最新的近百个基于深度学习的MVS方法做了较为系统的算法评估对比。首先,对现有的基于监督学习的MVS方法,按照特征提取、代价体构建、代价体正则化和深度回归的重建流程对各算法进行梳理,重点对代价体构建和正则化这两阶段的改进策略进行归纳总结,对于无监督的MVS方法,主要分析各算法损失项的设计,并按照其训练方式进行分类;其次,总结了MVS方法常用的实验数据集及其对应的性能评价指标,进一步研究特征金字塔结构、注意力机制、由粗到精等策略的引入对MVS网络性能的影响;此外,介绍了MVS方法的具体应用场景,包括数字孪生、自动驾驶、机器人技术、遗产保护、生物科学等领域;最后,提出关于MVS改进方向的建议,并对多视图三维重建未来的技术难点与研究方向进行探讨。
多视图立体 三维重建 深度学习 深度估计 单应性变换 multi-view stereo 3D reconstruction deep learning depth estimation homography transformation 光学 精密工程
2023, 31(16): 2444
1 天津大学精密测试技术及仪器国家重点实验室,天津 300072
2 中国航发四川燃气涡轮研究院,四川 成都 611730
线结构光三维传感器需要结合扫描机构才能对物体进行三维重构,在使用前需要对扫描方向进行标定。由于各个标定图像的清晰度不同,传统标定方法会多次引入噪声,降低了标定精度。为了减小由图像清晰度不同多次引入的噪声,本文提出了基于联合估计的扫描方向标定方法。在标定过程中,需要使用位移台将平面靶标移动一个固定的距离,使每个拍摄位置处的靶标相对相机坐标系的旋转矩阵相同,同时平移向量的变化由位移台的运动步长约束。通过对旋转矩阵和平移向量增加约束,将平面靶标上的二维特征点拓展为三维特征点;联合所有标定图像进行统一的单应性估计,减小了由图像清晰度不同多次引入的噪声。通过测量量块尺寸进行了验证实验,实验结果表明:所提方法的测量误差相比传统方法减小了约30%,而且所提方法具有更好的重复性。所提方法实现了线结构光三维传感器扫描方向的高精度标定,减小了传感器三维重构的误差。
机器视觉 扫描方向标定 联合单应性估计 噪声分析 线结构光传感器
红外与激光工程
2022, 51(7): 20210611
光子学报
2022, 51(11): 1112001
孙丽君 1,2,3张丹丹 1,2,3陈天飞 1,2,3,*黄志远 1,2,3李石 1,2,3
1 河南工业大学粮食信息处理与控制教育部重点实验室,河南 郑州 450001
2 河南工业大学郑州市机器感知与智能系统重点实验室,河南 郑州 450001
3 河南工业大学信息科学与工程学院,河南 郑州 450001
在条纹投影轮廓术中,投影仪标定作为系统标定的重要组成部分,其标定精度是保证系统测量精度的关键。但投影仪不能直接捕捉图像,无法直接建立目标点与对应投影仪像素点之间的关系,标定过程复杂且精度不高。针对这一问题,分析了投影仪标定的影响因素,提出了一种基于局部单应性矩阵的投影仪标定新方法。首先,通过实验确定局部区域的最佳尺寸;然后,计算圆心所在区域的局部单应性矩阵,完成投影仪坐标的映射;最后,采用相机标定方法完成投影仪的标定。实验结果表明,该方法减小了圆心偏差和相位误差对投影仪标定精度的影响,并基于局部线性化的思想,建立了相机图像坐标到投影仪图像坐标的亚像素级映射,提高了投影仪标定的精度。
测量 条纹投影轮廓术 投影仪标定 局部单应性 圆心偏差 双四步相移 激光与光电子学进展
2022, 59(13): 1312003
针对单一成像系统获取RGB-D数据时视场过小难以满足大视场成像需求的问题,提出了基于空间信息聚类的RGB-D数据拼接融合方法。根据RGB-D数据中蕴含的空间信息定义物点距离,利用simple linear iterative clustering (SLIC)方法实现空间信息聚类。将场景分割成若干平面子块,每个子块具有单应性,可以进行准确的单应性矩阵计算,进而实现将小视场RGB-D数据准确拼接融合生成大视场RGB-D数据。实验结果表明,所提方法能够改善图像变换过程中产生的扭曲变形及拼接过程中在重叠区域产生的错位。峰值信噪比(PSNR)和结构相似性(SSIM)两个定量评价指标说明基于空间信息聚类的RGB-D数据拼接相较于全局拼接,结果质量得到了提升。
成像系统 计算成像 大视场 RGB-D数据 空间信息聚类 单应性 激光与光电子学进展
2022, 59(10): 1011004
1 中国科学院光电技术研究所, 成都 610209
2 中国科学院大学, 北京 100049
为提高单应性估计的准确性和解决真实标注难获取的问题, 提出一种具有修正功能的无监督单应性估计算法。该算法采用级联结构, 其思想类似于迭代, 其中每一级网络都保持相同的层数和参数量, 下一级网络输出的单应性矩阵为真实矩阵与之前输出单应矩阵和的残差。考虑到模型复杂度和实时性的需求, 文章采用两级网络级联。通过在COCO数据集中的5000张图片上进行验证, 结果表明, 相比传统方法和其他基于深度学习的方法, 所设计的级联无监督算法具有更准确的估计能力, 其在测试集中的平均像素误差为0.54, 较传统方法下降95.38%, 运行速度达到95f/s。
单应性估计 无监督学习 级联结构 回归网络 深度学习 homography estimation unsupervised learning cascade structure regression network deep learning
红外与激光工程
2021, 50(S2): 20200520