1 中国科学院上海技术物理研究所红外探测与成像技术重点实验室，上海 200083
2 上海科技大学信息科学与技术学院，上海 201210
3 中国科学院大学，北京 100049
自动驾驶场景中，通常会用基于体素化的算法来完成点云3D目标检测任务，因为该类方法拥有计算量少、耗时少等方面的优势。但是当下常用的方法往往会带来双重信息损失，其一是体素化带来的量化误差造成的，其二则是对体素化后的点云信息利用不充分造成的。设计一个三阶段的网络结构来解决信息损失大的问题。第一阶段使用基于体素化的优秀算法完成输出边界框的任务；第二阶段利用一阶段特征图上的信息精修边界框，以解决一阶段对输入信息利用不充分的问题；第三阶段利用了原始点的精确位置信息再次精修边界框，以弥补体素化带来的点云信息损失。在Waymo Open Dataset上，所提多阶段3D目标检测算法的检测精度超过了CenterPoint等受工业界青睐的优秀算法，且满足自动驾驶落地的时间要求。
机器视觉 3D目标检测 激光点云 多阶段 信息增强 激光与光电子学进展
2024, 61(4): 0415003
1 安徽工程大学电气工程学院，安徽 芜湖 241000
2 检测技术与节能装置安徽省重点实验室，安徽 芜湖 241000
3 高端装备先进感知与智能控制教育部重点实验室，安徽 芜湖 241000
针对单目3D目标检测算法中存在图像缺乏深度信息以及检测精度不佳的问题，提出一种联合实例深度的多尺度单目3D目标检测算法。首先，为了增强模型对不同尺度目标的处理能力，设计基于空洞卷积的多尺度感知模块，同时考虑到不同尺度特征图之间的不一致性，从空间和通道两个方向对包含多尺度信息的深度特征进行重新精炼。其次，为了使模型获得更好的3D感知，将实例深度信息作为辅助学习任务来增强3D目标的空间深度特征，并使用稀疏实例深度来监督该辅助任务。最后，在KITTI测试集以及评估集上对所提算法进行验证。实验结果表明，所提算法相较于基线算法在汽车类别的平均精度提升了5.27%，有效提升了单目3D目标检测算法的检测性能。
测量 单目3D目标检测 实例深度学习 多尺度 注意力机制 辅助学习 激光与光电子学进展
2023, 60(16): 1612002
西安建筑科技大学 信息与控制工程学院，陕西西安710055
为了利用图像信息辅助点云数据提高3D目标检测精度，需要解决图像特征空间和点云特征空间自适应对齐融合的问题。本文提出了一种多模态特征自适应融合的3D目标检测深度学习网络。首先，对点云数据体素化，基于体素内的点云特征学习体素特征表示，用3D稀疏卷积神经网络获取点云数据的特征，同时用ResNet神经网络提取图像特征。然后通过引入互注意力模块自适应对齐图像特征和点云特征，得到基于图像特征增强后的点云特征。最后在此特征基础上应用区域提案网络和分类回归多任务学习网络实现3D目标检测。在KITTI 3D目标检测数据集上的实验结果表明：在小汽车的简易、中等、困难三个不同检测难度等级上，平均检测精度分别为88.76%，77.63%和76.14%。该方法能够有效融合图像信息和点云信息，提高3D目标检测的准确率。
3D目标检测 深度学习 点云数据 图像数据 注意力机制 3D object detection deep learning point cloud image data attention mechanism
1 东华大学信息科学与技术学院, 上海 201620
2 东华大学数字化纺织服装技术教育部工程研究中心, 上海 201620
提出对图像和激光雷达点云数据进行3D目标检测的改进F-PointNet(Frustum PointNet)。首先利用图像的2D目标检测模型提取目标2D区域,并将其映射到点云数据中,得到该目标的点云候选区域,然后预测候选区域的3D目标掩模,最后利用掩模对3D目标进行检测。当预测掩模时,提出的宽阈值掩模处理可以用来减少原始网络的信息损失;增加注意力机制可以获取需要被关注的点和通道层;使用Focal Loss可以解决目标与背景不平衡的问题。通过多次对比实验,证明宽阈值掩模处理可以提高3D目标检测的准确率,同时注意力机制和Focal Loss可以提高预测的准确率。
机器视觉 激光雷达 点云数据 3D目标检测 宽阈值掩模处理 激光与光电子学进展
2020, 57(20): 201508
