视觉传感器与激光雷达融合的SLAM方法是当下研究的热点, 实际效果优于单一传感器的SLAM方法。针对当下视觉传感器与激光雷达融合的算法仍然存在着用于定位的特征点不足导致定位精度不高的问题, 充分利用激光雷达提供的深度信息, 提出了一种多策略的视觉与激光融合的SLAM算法, 在估计帧间位姿前对上一帧中的特征点深度值进行判断, 通过特征点全部具有深度信息、部分具有深度信息、均不具有深度信息3种判断结果分别采取不同的位姿估计策略。最后在公共数据集KITTI上进行测试, 实验结果表明, 所提算法有效地提高了定位精度与鲁棒性。

针对现有基于单目相机的三点式激光器视觉测量系统易受激光特征点的2D图像检测误差、相机畸变误差、图像中心点坐标误差以及焦距等影响,提出一种新的测距及位姿估计方法,使姿态角的求解仅与距离值、相机固定参数和激光器安装位置相关。首先,控制三个激光器在平行射出光的情况下,对单目相机进行内参标定,初步解算相机中心点的位姿坐标;然后,根据不同距离下相机的标定参数,使用迭代法求解误差最小的深度值;最后,调整顶部激光器向下倾斜γ角,计算目标平面的偏航角和俯仰角。实验结果表明,在减少误差项影响的同时保证距离测量和姿态估计的准确度,在200 mm至600 mm之间的测距平均误差为0.65 mm,偏航角和俯仰角的误差均小于0.98°。

融合视觉传感器和激光雷达可以实现优于单一传感器的同时定位与建图(SLAM)系统,现有的视觉和激光雷达融合算法仍然存在计算复杂度高、系统精度及稳定性受错误的深度匹配影响等问题。为了更加高效、鲁棒地融合视觉和激光雷达的信息,充分利用图像和激光点云中的地平面信息,提出了高效的视觉辅助激光雷达SLAM算法。首先,从激光点云中分割出地面点云用于提取图像中的地面ORB特征点,并通过单应性变换中的交比不变性校验特征匹配,从而高效鲁棒地利用单应性矩阵分解实现绝对尺度相机运动估计。然后,将得到的相机运动估计以李群SE(3)形式进行插值,用于校正激光雷达在自身运动过程中产生的点云畸变。最后,单目相机的运动估计作为初值用于激光里程计的位姿优化。公共数据集KITTI和实际环境的测试结果表明,本文算法可以有效利用相机运动估计对激光点云畸变进行校正,实时准确地实现里程计和建图。

传统的多视图几何方法获取场景结构存在两个问题：一是因图片模糊和低纹理带来的特征点误匹配，从而导致重建精度降低；二是单目相机缺少尺度信息，重建结果只能确定未知的比例因子，无法获取准确的场景结构。针对这些问题本文提出一种基于深度学习的真实尺度运动恢复结构方法。首先使用卷积神经网络获取图片的深度信息；接着为了恢复单目相机的尺度信息，引入惯性传感单元(IMU)，将IMU获取的加速度和角速度与ORB-SLAM2获取的相机位姿进行时域和频域上的协同，在频域中获取单目相机的尺度信息；最后将图片的深度图和具有尺度因子的相机位姿进行融合，重建出场景的三维结构。实验表明，使用Depth CNN网络获取的单目图像深度图解决了多层卷积池化操作输出图像分辨率低和缺少重要特征信息的问题，绝对值误差达到了0.192，准确率高达0.959；采用多传感器融合的方法，在频域上获取单目相机的尺度能够达到0.24 m的尺度误差，相比于VIORB方法获取的相机尺度精度更高；重建的三维模型与真实大小具有0.2 m左右的误差，验证了本文方法的有效性。

针对无扫描三维(3D)激光雷达距离图像分辨率低、随机噪声大的问题,以高分辨率单目相机作为辅助,提出基于权值优化分块自适应灰度-距离马尔科夫随机场（MRF）的稀疏距离图像重构方法.在构建灰度-距离MRF 多层次相关图基础上,采用分块快速插值策略,克服纹理拷贝并提高重构速度；采用简单线性迭代聚类（SLIC）超像素分割边缘惩罚方法,有效保护图像结构细节；采用空域距离核函数和灰度相似核函数双重引导,并针对不同邻域系统自适应调整核函数标准差,保证算法稳健性；针对各邻域系统,采用共轭梯度法实现了全局能量函数快速优化.标准图像数据和真实图像实验表明所提出方法较双线性插值、双边滤波和标准MRF 方法具有更优的综合性能,可有效实现无扫描3D 激光雷达距离图像重构.

提出了一种应用单目机器视觉技术并结合Hough变换消失线检测和边界检测技术来构建距离深度图的方法, 并应用衰减-空气光去雾模型对图像进行了恢复。结果表明, 采用该方法恢复的道路图像色彩自然, 模型与实际道路完全匹配, 对于不同距离的景物都具有良好的恢复效果。