基于改进Frustum PointNet的3D目标检测 
下载： 908次
3D Object Detection Based on Improved Frustum PointNet
1 东华大学信息科学与技术学院, 上海 201620
2 东华大学数字化纺织服装技术教育部工程研究中心, 上海 201620
图 & 表
图 1. 改进的F-PointNet结构
Fig. 1. Improved F-PointNet structure
下载图片 查看原文
图 2. 锥形点云候选区域提取的网络结构
Fig. 2. Network structure for extracting candidate regions of frustum point cloud
下载图片 查看原文
图 3. 2D图像与3D点云的配准结果。(a) RGB图像;(b)3D点云数据;(c)图(a)与图(b)的配准效果
Fig. 3. Registration results of 2D images and 3D point clouds. (a) RGB image; (b) 3D point cloud data; (c) registration effect of Fig. (a) and Fig. (b)
下载图片 查看原文
图 4. 初步获取的3D目标视锥候选区域
Fig. 4. 3D target frustum candidate region initially obtained
下载图片 查看原文
图 5. 视锥朝向调整示意图
Fig. 5. Schematic of viewing frustum orientation adjustment
下载图片 查看原文
图 6. 3D目标掩模预测网络
Fig. 6. 3D target mask prediction network
下载图片 查看原文
图 7. 注意力机制实现流程
Fig. 7. Attention mechanism implementation process
下载图片 查看原文
图 8. 3D目标边界框预测网络
Fig. 8. 3D target bounding box prediction network
下载图片 查看原文
图 9. 目标实例点云的坐标转换
Fig. 9. Coordinate transformation of target instance point cloud
下载图片 查看原文
图 10. 可视化的3D目标边界框预测结果。(a) 2D目标检测结果;(b) 3D目标检测结果
Fig. 10. Visual 3D target bounding box prediction results. (a) 2D target detection result; (b) 3D target detection result
下载图片 查看原文
表 1实验配置
Table1. Experimental configuration
| Item | CPU | Computing memory | GPU | System | CUDA |
|---|
| Content | Intel i5-6600 | 8 GB | NVIDIA GTX 1070 | Ubuntu 16.04 | CUDA 9.0 |
|
查看原文
表 2各阈值下3D目标检测的AP值
Table2. AP values of 3D target detection under each threshold unit: %
| xmargin | Car | Pedestrian | Cyclist |
|---|
| Easy | Moderate | Hard | Easy | Moderate | Hard | Easy | Moderate | Hard |
|---|
| 0 | 82.05 | 68.46 | 62.42 | 65.94 | 58.35 | 50.87 | 74.10 | 55.54 | 52.09 | | 0.1 | 82.39 | 69.53 | 62.52 | 61.90 | 55.20 | 49.02 | 73.45 | 55.46 | 52.26 | | 0.2 | 82.79 | 70.85 | 63.49 | 67.05 | 59.16 | 51.82 | 76.04 | 57.09 | 53.33 | | 0.3 | 83.19 | 70.59 | 63.13 | 65.06 | 57.53 | 50.59 | 73.55 | 55.76 | 52.73 |
|
查看原文
表 3各处理部分对AP值的影响
Table3. Influence of each processing part on AP values
| Part | AP /% |
|---|
| Wide-threshold mask(xmargin=0.2) | Attention mechanism | Focal Loss | Easy | Moderate | Hard | | - | - | - | 82.05 | 68.46 | 62.42 | | √ | - | - | 82.79 | 70.85 | 63.49 | | - | √ | - | 81.89 | 69.23 | 62.54 | | - | - | √ | 82.73 | 69.89 | 63.27 | | √ | √ | √ | 83.04 | 71.25 | 63.82 |
|
查看原文
表 4不同模型的AP值对比
Table4. Comparison of AP values of different models
| Method | AP /% |
|---|
| Easy | Moderate | Hard |
|---|
| MV3D[4] | 71.29 | 62.28 | 56.56 | | F-PointNet[5] | 82.05 | 68.46 | 62.42 | | UberATG-ContFuse[14] | 82.54 | 66.22 | 64.04 | | MLOD[15] | 72.24 | 64.20 | 57.20 | | Proposed | 83.04 | 71.25 | 63.82 |
|
查看原文
刘训华, 孙韶媛, 顾立鹏, 李想. 基于改进Frustum PointNet的3D目标检测[J]. 激光与光电子学进展, 2020, 57(20): 201508. Xunhua Liu, Shaoyuan Sun, Lipeng Gu, Xiang Li. 3D Object Detection Based on Improved Frustum PointNet[J]. Laser & Optoelectronics Progress, 2020, 57(20): 201508.
PDF全文
