1 中国矿业大学 信息与控制工程学院,江苏 徐州 226
2 中国矿业大学 计算机与科学技术学院,江苏 徐州 1116
针对目前自监督单目深度估计网络在充斥着大量低纹理、低光照区域的室内复杂场景中存在预测深度信息不精确、物体边缘模糊以及细节丢失严重等问题,本文提出一种基于层级特征融合的室内自监督单目深度估计网络模型。首先,通过映射一致性图像增强模块来处理室内图像,提升低光照区域可见性并且保持亮度一致性,丰富纹理细节,一定程度上解决了训练网络时出现模糊假平面恶化模型的问题。然后,设计结合基于注意力机制的跨层级特征调整模块的深度估计网络,充分融合编码器以及编-解码器多层级特征信息,提升网络的特征利用能力,缩小预测深度与真实深度的语义差距。最后,设计基于图像风格特征的格拉姆矩阵相似性损失函数作为额外的自监督信号约束网络模型,提升网络预测深度的能力,进一步提高了预测深度的精度。在NYU Depth V2 和ScanNet室内数据集上进行训练与测试,正确预测深度像素的比例能够分别达到81.9%和76.0%。实验结果表明,相比现有主要的室内自监督单目深度估计网络,本文网络模型很好地保持了物体边缘和细节信息,有效地提高了预测深度的精度。
自监督 单目深度估计 图像增强 层级特征融合 格拉姆矩阵 self-supervision monocular depth estimation image enhancement feature fusion gram matrix 光学 精密工程
2023, 31(20): 2993
西安科技大学机械工程学院, 陕西 西安 710054
针对双目视觉深度估计成本高、体积大以及监督学习需要大量深度图进行训练的问题,为实现无人机在飞行过程中的场景理解,提出一种面向无人机自主飞行的无监督单目深度估计模型。首先,为减小不同尺寸目标对深度估计的影响,将输入的图像进行金字塔化处理;其次,针对图像重构设计一种基于ResNet-50进行特征提取的自编码神经网络,该网络基于输入的左视图或右视图以及生成对应的金字塔视差图,采用双线性插值的方法重构出与其对应的金字塔右视图或左视图;最后为提高深度估计的精度,将结构相似性引入到图像重构损失、视差图一致性损失中,并且联合视差图平滑性损失、图像重构损失、视差图一致性损失作为训练的总损失。实验结果表明,经过在KITTI数据集上的训练,该模型在KITTI和Make3D数据集上相比其他单目深度估计方法具有更高的准确性和实时性,基本满足无人机自主飞行对深度估计准确性和实时性的要求。
图像处理 无监督 自编码神经网络 图像重构 单目深度估计 激光与光电子学进展
2020, 57(2): 021012