基于双流卷积神经网络的RGB-D图像联合检测 
下载： 1329次
Joint Detection of RGB-D Images Based on Double Flow Convolutional Neural Network
图 & 表
图 1. 卷积神经网络结构
Fig. 1. Convolution neural network structure
下载图片 查看原文
图 2. 神经元基本模型
Fig. 2. Basic model of neuron
下载图片 查看原文
图 3. 图像卷积过程
Fig. 3. Image convolution process
下载图片 查看原文
图 4. 平均池化操作
Fig. 4. Average pooling operation
下载图片 查看原文
图 5. 后向传播模型
Fig. 5. Backward propagation model
下载图片 查看原文
图 6. 早期融合结构
Fig. 6. Early fusion structure
下载图片 查看原文
图 7. 后期融合结构
Fig. 7. Late fusion structure
下载图片 查看原文
图 8. 全连接层融合结构
Fig. 8. Full connection layer fusion structure
下载图片 查看原文
图 9. 卷积层融合结构
Fig. 9. Convolution layer fusion structure
下载图片 查看原文
图 10. 测试中心位置误差和训练损失函数随训练步数的变化曲线
Fig. 10. Change curves of center position error and training loss function with the training steps
下载图片 查看原文
图 11. 不同算法下的检测结果。(a)基于RGB图像的检测;(b)基于后期融合的RGB-D联合检测;(c)基于卷积层融合的RGB-D联合检测
Fig. 11. Detection results at different algorithms. (a) Detection based on RGB images; (b) joint detection of RGB-D based on late fusion; (c) joint detection of RGB-D based on convolution layer fusion
下载图片 查看原文
表 1不同检测物体的融合权重
Table1. Fusion weight of different detection objects
| RGB-accuracy | D-accuracy | RGB-weight | D-weight |
|---|
| Flashlight | 82.8 | 77.2 | 0.518 | 0.482 | | Coffee cup | 80.4 | 75.8 | 0.514 | 0.486 | | Cereal boxes | 83.2 | 78.6 | 0.513 | 0.487 | | Bowl | 78.4 | 75.1 | 0.511 | 0.489 |
|
查看原文
表 2不同方法的检测结果
Table2. Detection results by different methods
| Method | Centralerror | Accuracyrate /% | Successrate /% | Detectiontime /s |
|---|
| RGB image | 0.0324 | 81.2 | 75.4 | 0.228 | | Depth image | 0.0371 | 76.7 | 71.9 | 0.177 | | Early fusion | 0.0292 | 85.6 | 79.4 | 0.248 | | Late fusion | 0.0277 | 87.1 | 81.3 | 0.325 | | FC-fusion | 0.0258 | 88.3 | 82.2 | 0.306 | | C-fusion | 0.0235 | 91.2 | 84.8 | 0.288 |
|
查看原文
刘帆, 刘鹏远, 张峻宁, 徐彬彬. 基于双流卷积神经网络的RGB-D图像联合检测[J]. 激光与光电子学进展, 2018, 55(2): 021503. fan Liu, Pengyuan Liu, Junning Zhang, Binbin Xu. Joint Detection of RGB-D Images Based on Double Flow Convolutional Neural Network[J]. Laser & Optoelectronics Progress, 2018, 55(2): 021503.
PDF全文
