首页 > 论文 > 光学学报 > 38卷 > 8期(pp:815017--1)

基于深度卷积神经网络的双目立体视觉匹配算法

Stereo Matching Based on Convolutional Neural Network

  • 摘要
  • 论文信息
  • 参考文献
  • 被引情况
  • PDF全文
分享:

摘要

对于基于块进行立体匹配的深度学习方法而言,网络结构的设计对匹配代价的计算至关重要,同时,卷积神经网络(CNN)在图像处理时的耗时问题也亟待解决。提出一种基于“缩小型”网络的CNN立体匹配方法。利用CNN训练左右图像块的相似性,计算出立体匹配的匹配代价。其中,CNN特征提取阶段,通过对每个层增加相应的批归一化层,可以使训练使用更大的学习率,加快网络训练收敛速度。另外,网络设计中全连接层采用“逐层缩小”的形式,结合上述网络优化和损失函数改善,在保证精度的同时提高了运行速度。使用KITTI数据集对算法进行验证,实验结果证明,相比目前国内外先进方法,本文算法在精度方面有一定优势,相比部分方法,速度有较大提升。

Abstract

For the stereo matching method of deep learning based on patches, the network structure is vital for the calculation of the matching cost, and the time-consuming of convolutional neural network (CNN) in the image processing field also needs to be solved. We propose a stereo matching method of CNN based on a “shrink network”. The CNN method is utilized to train the similarity of the left and right image patches, and the matching cost of the stereo matching is obtained by the similarity. At the feature extraction stage, by adding batch normalization layers to each layer, the gradient dispersion in the backward propagation can be improved effectively. Besides, the full-connection layer adopts a "layer-by-layer reduction" form with other network optimizations to increase the speed while ensuring the accuracy. We utilize the KITTI datasets to test the algorithm. Experimental results demonstrate that the proposed method increases the accuracy and speed fairly compared to some other methods.

Newport宣传-MKS新实验室计划
补充资料

中图分类号:TP391.41

DOI:10.3788/aos201838.0815017

所属栏目:“机器视觉检测与应用”专题

基金项目:国家自然科学基金(61471272)、湖北省自然科学基金(2016CFB499)

收稿日期:2018-03-27

修改稿日期:2018-05-07

网络出版日期:2018-05-11

作者单位    点击查看

肖进胜:武汉大学电子信息学院, 湖北 武汉 430072地球空间信息技术协同创新中心, 湖北 武汉 430079
田红:武汉大学电子信息学院, 湖北 武汉 430072
邹文涛:武汉大学电子信息学院, 湖北 武汉 430072
童乐:武汉大学电子信息学院, 湖北 武汉 430072
雷俊锋:武汉大学电子信息学院, 湖北 武汉 430072

联系人作者:肖进胜(xiaojs@whu.edu.cn)

【1】Geiger A, Roser M, Urtasun R. Efficient large-scale stereo matching[C]. Tenth Asian Conference on Computer Vision, 2010: 25-38.

【2】Liu J, Zhang J X, Dai Y, et al. Dense stereo matching based on cross-scale guided image filtering[J]. Acta Optica Sinica, 2018, 38(1): 0115004.
刘杰, 张建勋, 代煜, 等. 基于跨尺度引导图像滤波的稠密立体匹配[J]. 光学学报, 2018, 38(1): 0115004.

【3】Ma N, Men Y B, Men C G, et al. A small baseline stereo matching method based on extended phase correlation[J]. Acta Electronica Sinica, 2017, 45(8): 1827-1835.
马宁, 门宇博, 门朝光, 等. 基于扩展相位相关的小基高比立体匹配方法[J]. 电子学报, 2017, 45(8): 1827-1835.

【4】Xu Y, Zhao Y, Ji M. Local stereo matching with adaptive shape support window based cost aggregation[J]. Applied Optics, 2014, 53(29): 6885-6892.

【5】Hirschmuller H. Accurate and efficient stereo processing by semi-global matching and mutual information[C]. IEEE Conference on Computer Vision and Pattern Recognition, 2005: 807-814.

【6】Zhou F Y, Jin L P, Dong J. Review of convolutional neural network[J]. Chinese Journal of Computers, 2017, 40(6): 1229-1251.
周飞燕, 金林鹏, 董军. 卷积神经网络研究综述[J]. 计算机学报, 2017, 40(6): 1229-1251.

【7】bontar J, LeCun Y. Stereo matching by training a convolutional neural network to compare image patches[J]. Journal of Machine Learning Research, 2016, 17(65): 1-32.

【8】Xiao J S, Liu E Y, Zhu L, et al. Improved image super-resolution algorithm based on convolutional neural network[J]. Acta Optica Sinica, 2017, 37(3): 0318011.
肖进胜, 刘恩雨, 朱力, 等. 改进的基于卷积神经网络的图像超分辨率算法[J]. 光学学报, 2017, 37(3): 0318011.

【9】Yamaguchi K, McAllester D, Urtasun R. Efficient joint segmentation, occlusion labeling, stereo and flow estimation[C]. European Conference on Computer Vision, 2014: 756-771.

引用该论文

Xiao Jinsheng,Tian Hong,Zou Wentao,Tong Le,Lei Junfeng. Stereo Matching Based on Convolutional Neural Network[J]. Acta Optica Sinica, 2018, 38(8): 0815017

肖进胜,田红,邹文涛,童乐,雷俊锋. 基于深度卷积神经网络的双目立体视觉匹配算法[J]. 光学学报, 2018, 38(8): 0815017

您的浏览器不支持PDF插件,请使用最新的(Chrome/Fire Fox等)浏览器.或者您还可以点击此处下载该论文PDF