基于双流加权Gabor卷积网络融合的室内RGB-D图像语义分割

王旭初; 刘辉煌; 牛彦敏

doi:doi:10.3788/AOS202040.1910001

光学学报, 2020, 40 (19): 1910001, 网络出版: 2020-09-23

基于双流加权Gabor卷积网络融合的室内RGB-D图像语义分割下载： 1113次

Indoor RGB-D Image Semantic Segmentation Based on Dual-Stream Weighted Gabor Convolutional Network Fusion

王旭初 ^1,2,*刘辉煌 ²牛彦敏 ³

作者单位

¹ 重庆大学光电技术及系统教育部重点实验室, 重庆 400040

² 重庆大学光电工程学院, 重庆 400040

³ 重庆师范大学计算机与信息科学学院, 重庆 401331

图 & 表

图 1. 双流加权Gabor卷积网络融合的RGB-D图像语义分割

Fig. 1. RGB-D image semantic segmentation by double-stream weighted Gabor convolution network fusion

下载图片查看原文

图 2. WGoFs调制过程

Fig. 2. Modulation process of WGoFs

下载图片查看原文

图 3. WGoFs卷积过程

Fig. 3. Convolution process of WGoFs

下载图片查看原文

图 4. 宽残差模块。(a)原始残差模块;(b)宽残差模块1;(c)宽残差模块2

Fig. 4. Wide residual blocks. (a) Original residual block; (b) wide residual block 1; (c) wide residual block 2

下载图片查看原文

图 5. WRN-WGCN模块结构

Fig. 5. Architecture of WRN-WGCN module

下载图片查看原文

图 6. 金字塔池化模块

Fig. 6. Pyramid pooling module

下载图片查看原文

图 7. 本文金字塔池化特征融合模块

Fig. 7. Proposed pyramid pooling feature fusion module

下载图片查看原文

图 8. 数据集中的彩色图像、深度图像以及语义标签。(a) RGB图像;(b)深度图像;(c)语义标签

Fig. 8. RGB and depth images and their corresponding semantic labels in dataset. (a) RGB images; (b) depth images; (c) semantic labels

下载图片查看原文

图 9. 训练过程中的损失曲线

Fig. 9. Loss curves in training process

下载图片查看原文

图 10. 不同尺度数量和方向数量对测试精度的影响。 (a)不同尺度数量下的测试精度;(b)不同方向数量下的测试精度

Fig. 10. Test accuracy versus number of scales and number of directions. (a) Test accuracy under different number of scales; (b) test accuracy under different number of directions

下载图片查看原文

图 11. NYUDv2数据集上各种方法得到的语义分割结果。(a) RGB;(b) depth;(c) GT;(d) baseline;(e) WRN-CNN;(f) WGCN;(g) PP-Fusion;(h) FCN;(i) SegNet;(j) ours

Fig. 11. Semantic segmentation results obtained by various methods on NYUDv2 dataset. (a) RGB; (b) depth; (c) GT; (d) baseline; (e) WRN-CNN; (f) WGCN; (g) PP-Fusion; (h) FCN; (i) SegNet; (j) ours

下载图片查看原文

图 12. 采用各种方法在SUN-RGBD数据集上得到的语义分割结果。(a) RGB;(b) depth;(c) GT;(d) baseline;(e) WRN-CNN;(f) WGCN;(g) PP-Fusion;(h) FCN;(i) SegNet;(j) ours

Fig. 12. Semantic segmentation results obtained by various methods on SUN-RGBD dataset. (a) RGB; (b) depth; (c) GT; (d) baseline; (e) WRN-CNN; (f) WGCN; (g) PP-Fusion; (h) FCN; (i) SegNet; (j) ours

下载图片查看原文

表 1WRN-WGCN结构参数设置

Table1. Structural parameter setting of WRN-WGCN

Group name	Output feature size	Block type
GCConv1	N×N	$[3 \times 38]$
GCConv2	N×N	$[\begin{array}{l} 3 \times 3 & 16 \times k \\ 3 \times 3 & 16 \times k \end{array}]$ ×L
GCConv3	N×N	$[\begin{array}{l} 3 \times 3 & 16 \times k \\ 3 \times 3 & 16 \times k \end{array}]$ ×L
GCConv4	(N/2)×(N/2)	$[\begin{array}{l} 3 \times 3 & 32 \times k \\ 3 \times 3 & 32 \times k \end{array}]$ ×L

查看原文

表 2不同滤波器大小下的模型大小

Table2. Model sizes with different filter sizes

Model name	Filter size	Model size /MB
Model 1	5×5	163
Model 2	5×5	124
Model 3	3×3	148
Model 4	3×3	117

查看原文

表 3不同分割算法在NYUDv2数据集上的结果对比

Table3. Comparison of results for different segmentation algorithms on NYUDv2 dataset

Method	Module			A_cc /%	m_Acc /%	m_IoU /%	F_WIoU /%
Method	WRN-CNN	WGCN	PP-Fusion	A_cc /%	m_Acc /%	m_IoU /%	F_WIoU /%
Ours	√	√	√	66.3	50.8	40.0	53.1
Variant 1				58.3	41.6	30.1	45.8
Variant 2	√			58.6	42.4	31.9	45.3
Variant 3		√		60.8	48.2	35.8	50.4
Variant 4			√	63.2	45.8	36.4	46.6
FCN^[2]				65.4	45.1	34.3	48.6
SegNet^[3]				56.2	47.6	35.1	50.1

查看原文

表 4不同分割算法在SUN-RGBD数据集上的结果对比

Table4. Comparison of results for different segmentation algorithms on SUN-RGBD dataset

Method	Module			A_cc /%	m_Acc /%	m_IoU /%	F_WIoU /%
Method	WRN-CNN	WGCN	PP-Fusion	A_cc /%	m_Acc /%	m_IoU /%	F_WIoU /%
Ours	√	√	√	58.2	38.5	28.2	42.0
Variant 1				45.2	33.7	21.8	37.4
Variant 2	√			44.8	34.5	23.1	38.6
Variant 3		√		54.6	35.1	27.3	37.7
Variant 4			√	56.1	34.6	26.0	36.3
FCN^[2]				49.5	36.5	23.7	35.8
SegNet^[3]				47.8	34.6	26.2	38.2

查看原文

表 5不同算法的推理时间和空间复杂度对比

Table5. Comparison of reasoning time and space complexity for different algorithms

Method	Module			Model size /MB	Reasoning time /ms
Method	WRN-CNN	WGCN	PP-Fusion	Model size /MB	Reasoning time /ms
Ours	√	√	√	117	42
Variant 1				381	76
Variant 2	√			115	35
Variant 3		√		187	48
Variant 4			√	245	51
FCN^[2]				549	43
SegNet^[3]				126	58

查看原文

王旭初, 刘辉煌, 牛彦敏. 基于双流加权Gabor卷积网络融合的室内RGB-D图像语义分割[J]. 光学学报, 2020, 40(19): 1910001. Xuchu Wang, Huihuang Liu, Yanmin Niu. Indoor RGB-D Image Semantic Segmentation Based on Dual-Stream Weighted Gabor Convolutional Network Fusion[J]. Acta Optica Sinica, 2020, 40(19): 1910001.

基于双流加权Gabor卷积网络融合的室内RGB-D图像语义分割下载： 1113次

图 1. 双流加权Gabor卷积网络融合的RGB-D图像语义分割

Fig. 1. RGB-D image semantic segmentation by double-stream weighted Gabor convolution network fusion

图 2. WGoFs调制过程

Fig. 2. Modulation process of WGoFs

图 3. WGoFs卷积过程

Fig. 3. Convolution process of WGoFs

图 4. 宽残差模块。(a)原始残差模块;(b)宽残差模块1;(c)宽残差模块2

Fig. 4. Wide residual blocks. (a) Original residual block; (b) wide residual block 1; (c) wide residual block 2

图 5. WRN-WGCN模块结构

Fig. 5. Architecture of WRN-WGCN module

图 6. 金字塔池化模块

Fig. 6. Pyramid pooling module

图 7. 本文金字塔池化特征融合模块

Fig. 7. Proposed pyramid pooling feature fusion module

图 8. 数据集中的彩色图像、深度图像以及语义标签。(a) RGB图像;(b)深度图像;(c)语义标签

Fig. 8. RGB and depth images and their corresponding semantic labels in dataset. (a) RGB images; (b) depth images; (c) semantic labels

图 9. 训练过程中的损失曲线

Fig. 9. Loss curves in training process

图 10. 不同尺度数量和方向数量对测试精度的影响。 (a)不同尺度数量下的测试精度;(b)不同方向数量下的测试精度

Fig. 10. Test accuracy versus number of scales and number of directions. (a) Test accuracy under different number of scales; (b) test accuracy under different number of directions

图 11. NYUDv2数据集上各种方法得到的语义分割结果。(a) RGB;(b) depth;(c) GT;(d) baseline;(e) WRN-CNN;(f) WGCN;(g) PP-Fusion;(h) FCN;(i) SegNet;(j) ours

Fig. 11. Semantic segmentation results obtained by various methods on NYUDv2 dataset. (a) RGB; (b) depth; (c) GT; (d) baseline; (e) WRN-CNN; (f) WGCN; (g) PP-Fusion; (h) FCN; (i) SegNet; (j) ours

图 12. 采用各种方法在SUN-RGBD数据集上得到的语义分割结果。(a) RGB;(b) depth;(c) GT;(d) baseline;(e) WRN-CNN;(f) WGCN;(g) PP-Fusion;(h) FCN;(i) SegNet;(j) ours

Fig. 12. Semantic segmentation results obtained by various methods on SUN-RGBD dataset. (a) RGB; (b) depth; (c) GT; (d) baseline; (e) WRN-CNN; (f) WGCN; (g) PP-Fusion; (h) FCN; (i) SegNet; (j) ours

表 1WRN-WGCN结构参数设置

Table1. Structural parameter setting of WRN-WGCN

表 2不同滤波器大小下的模型大小

Table2. Model sizes with different filter sizes

表 3不同分割算法在NYUDv2数据集上的结果对比

Table3. Comparison of results for different segmentation algorithms on NYUDv2 dataset

表 4不同分割算法在SUN-RGBD数据集上的结果对比

Table4. Comparison of results for different segmentation algorithms on SUN-RGBD dataset

表 5不同算法的推理时间和空间复杂度对比

Table5. Comparison of reasoning time and space complexity for different algorithms

关于本站 Cookie 的使用提示

全站搜索

基于双流加权Gabor卷积网络融合的室内RGB-D图像语义分割 下载： 1113次

图 1. 双流加权Gabor卷积网络融合的RGB-D图像语义分割

Fig. 1. RGB-D image semantic segmentation by double-stream weighted Gabor convolution network fusion

图 2. WGoFs调制过程

Fig. 2. Modulation process of WGoFs

图 3. WGoFs卷积过程

Fig. 3. Convolution process of WGoFs

图 4. 宽残差模块。(a)原始残差模块;(b)宽残差模块1;(c)宽残差模块2

Fig. 4. Wide residual blocks. (a) Original residual block; (b) wide residual block 1; (c) wide residual block 2

图 5. WRN-WGCN模块结构

Fig. 5. Architecture of WRN-WGCN module

图 6. 金字塔池化模块

Fig. 6. Pyramid pooling module

图 7. 本文金字塔池化特征融合模块

Fig. 7. Proposed pyramid pooling feature fusion module

图 8. 数据集中的彩色图像、深度图像以及语义标签。(a) RGB图像;(b)深度图像;(c)语义标签

Fig. 8. RGB and depth images and their corresponding semantic labels in dataset. (a) RGB images; (b) depth images; (c) semantic labels

图 9. 训练过程中的损失曲线

Fig. 9. Loss curves in training process

图 10. 不同尺度数量和方向数量对测试精度的影响。 (a)不同尺度数量下的测试精度;(b)不同方向数量下的测试精度

Fig. 10. Test accuracy versus number of scales and number of directions. (a) Test accuracy under different number of scales; (b) test accuracy under different number of directions

图 11. NYUDv2数据集上各种方法得到的语义分割结果。(a) RGB;(b) depth;(c) GT;(d) baseline;(e) WRN-CNN;(f) WGCN;(g) PP-Fusion;(h) FCN;(i) SegNet;(j) ours

Fig. 11. Semantic segmentation results obtained by various methods on NYUDv2 dataset. (a) RGB; (b) depth; (c) GT; (d) baseline; (e) WRN-CNN; (f) WGCN; (g) PP-Fusion; (h) FCN; (i) SegNet; (j) ours

图 12. 采用各种方法在SUN-RGBD数据集上得到的语义分割结果。(a) RGB;(b) depth;(c) GT;(d) baseline;(e) WRN-CNN;(f) WGCN;(g) PP-Fusion;(h) FCN;(i) SegNet;(j) ours

Fig. 12. Semantic segmentation results obtained by various methods on SUN-RGBD dataset. (a) RGB; (b) depth; (c) GT; (d) baseline; (e) WRN-CNN; (f) WGCN; (g) PP-Fusion; (h) FCN; (i) SegNet; (j) ours

表 1WRN-WGCN结构参数设置

Table1. Structural parameter setting of WRN-WGCN

表 2不同滤波器大小下的模型大小

Table2. Model sizes with different filter sizes

表 3不同分割算法在NYUDv2数据集上的结果对比

Table3. Comparison of results for different segmentation algorithms on NYUDv2 dataset

表 4不同分割算法在SUN-RGBD数据集上的结果对比

Table4. Comparison of results for different segmentation algorithms on SUN-RGBD dataset

表 5不同算法的推理时间和空间复杂度对比

Table5. Comparison of reasoning time and space complexity for different algorithms

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于双流加权Gabor卷积网络融合的室内RGB-D图像语义分割下载： 1113次