基于改进代价计算和自适应引导滤波的立体匹配

闫利; 王芮; 刘华; 陈长军

doi:doi:10.3788/AOS201838.1115007

光学学报, 2018, 38 (11): 1115007, 网络出版: 2019-05-09

基于改进代价计算和自适应引导滤波的立体匹配下载： 1405次

Stereo Matching Method Based on Improved Cost Computation and Adaptive Guided Filter

论文大纲

闫利 ^*王芮 ^*刘华陈长军

作者单位

武汉大学测绘学院, 湖北武汉 430079

机器视觉立体匹配代价计算自适应引导滤波 Census变换 machine vision stereo matching cost computation adaptive guided filter Census transform

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对现有局部立体匹配算法在弱纹理区域匹配精度低的问题,提出一种基于改进代价计算和自适应引导滤波代价聚合的局部立体匹配算法。该算法首先将增强后的梯度信息与基于增强梯度的Census变换相结合,构建代价计算函数;然后对图像的每一个像素构建自适应形状十字交叉窗口,并基于自适应窗口进行引导滤波代价聚合;最后通过视差计算和多步视差精化得到最终的视差图。实验结果表明,改进后的算法在Middlebury测试平台上对标准立体图像对的平均误匹配率为4.80%,与基于传统引导滤波器的立体匹配算法相比,本文算法在弱纹理区域取得更好的匹配结果。

Abstract

To solve the problem of low matching accuracy in textureless regions, a local stereo matching method is proposed based on improved cost computation and adaptive shape guided filter. First, an efficient cost function combining enhanced image gradient and enhanced gradient-based Census transform is introduced for cost computation. Then, an adaptive shape cross-based window is constructed for each pixel, and guided filter aggregation is implemented based on this adaptive window. The final disparity map is obtained after disparity computation and multi-step disparity refinement. The experimental results demonstrate that the average matching error rate of the proposed algorithm is 4.80% for stardard image paris on Middlebury benchmark. Compared with traditional guided filter-based method, the proposed method has better matching results in textureless regions.

1 引言

立体匹配是通过寻找同一场景在不同视角下的两幅或多幅图像的像素匹配点,逐像素获取视差,从而恢复场景深度信息的过程,是摄影测量和计算机视觉领域的重要研究课题,在三维重建^[1]、数字表面模型生成^[2]、虚拟现实和无人驾驶^[3]等领域有着广泛的应用。Scharstein等^[4]对典型的立体匹配算法进行了研究和总结,形成了立体匹配算法的理论框架,将现有的立体匹配算法分为全局算法和局部算法两类。全局立体匹配算法通过全局能量函数最小化来求取视差,精度较高但是计算复杂,常见的全局算法有置信度传播匹配算法^[5-6]、图割法^[7]和动态规划匹配算法^[8-9]等。局部立体匹配算法利用窗口内的邻域信息来进行匹配,精度较全局算法差,但是计算复杂度低,易于实现。局部立体匹配算法通常可以分为4步:1)匹配代价计算;2)代价聚合;3)视差计算/优化;4)视差精化。

常见的匹配代价计算方法有基于像素的匹配代价、基于窗口的匹配代价、基于非参数变换的匹配代价,以及互信息^[10]。基于像素的匹配代价包括灰度差绝对值(AD)、灰度差平方(SD)、采样不敏感的BT(Birchfiedld-Tomasi)^[11]等;基于窗口的匹配代价包括灰度差绝对值和(SAD)、灰度差平方和和归一化互相关等;基于非参数变换^[12]的匹配代价包括Census和Rank。其中,基于图像颜色的算法(AD、SD等)对噪声和光照变化非常敏感,Census变换对光照变化具有较好的稳健性,但是在重复纹理区域效果较差;因此,将多种代价函数相结合构造新的匹配代价的方法被更广泛使用。Hosni等^[13]将SAD和梯度信息相结合作为新的匹配代价函数;Mei等^[14]结合AD和Census变换进行代价计算,在弱纹理区域和重复纹理结构区域都取得了很好的结果;Zhu等^[15]将AD、梯度信息和Census变换结合,提高了算法的匹配精度。

代价聚合是局部立体匹配算法中最重要的一步,通过对支持窗口内的初始匹配代价进行求和或取平均来提高匹配可靠性。目前常见的局部聚合方法主要分为自适应支持窗口法(VSW)^[16-17]和自适应支持权重法(ASW)^[18-20]。基于VSW的方法通过图像特征来寻找最佳的支持窗口。Zhang等^[17]提出了一种基于十字交叉的自适应窗口,利用相邻像素的颜色信息和空间距离关系在水平和垂直方向扩展邻域像素,形成一个十字交叉区域。Mei等^[14]在此基础上改进了像素扩展的判断准则,提出双距离阈值和双色彩阈值准则,提高了弱纹理区域的匹配精度。祝世平等^[21]提出一种基于线性可变阈值的臂长判断准则。基于ASW的方法则是通过对固定窗口内的相邻像素分配不同的权重来进行代价聚合。Yoon等^[18]首次提出了基于双边滤波器的立体匹配算法,并取得优异的性能,但其计算复杂度较高。Hosni等^[19]提出一种利用引导滤波器(GF)^[22]的代价聚合算法,与双边滤波器相比,引导滤波器可以更好地保持边缘,并且其计算复杂度与窗口大小无关,因此在实时系统中得到了广泛使用。Yang等^[23]基于此思想将VSW和ASW结合,提出了一种基于自适应矩形窗口进行滤波的立体匹配算法。

为提高弱纹理区域的匹配精度,本文提出一种基于改进代价计算和自适应引导滤波的立体匹配算法。首先,将增强后的梯度信息和基于增强梯度的Census变换相结合进行匹配代价计算;然后,在代价聚合阶段,对图像的每一个像素构建自适应十字交叉窗口,并基于自适应窗口进行引导滤波代价聚合;最后,采用Winner-Take-All(WTA)策略进行视差计算,对错误匹配点进行视差精化,得到最终的视差图。

2 算法描述

本文算法以经过立体校正后的立体影像对为输入,对立体影像对进行匹配代价计算、代价聚合、视差计算和多步视差精化后,输出视差图,算法的总体流程如图1所示。匹配代价计算采用增强梯度信息和基于增强梯度的Census变换相结合的代价计算方法,对校正后的立体像对逐像素逐视差地计算匹配代价;代价聚合首先对输入图像的每一个像素构建自适应形状的十字交叉窗口,然后基于该任意形状窗口进行引导滤波;视差计算采用WTA策略对每个像素选择其最小匹配代价对应的视差值,获得初始视差图;视差精化先对初始视差图进行左右一致性检测,获得视差异常点(遮挡点、误匹配点),然后进行异常点插值、加权中值滤波和子像素精化等后处理,获得最终精化后的视差图。

图 1. 算法流程图

Fig. 1. Diagram of proposed method

下载图片查看所有图片

2.1 匹配代价计算

匹配代价是左右两幅图像逐像素逐视差的相似性度量,可以用一个大小为H×W×D的三维矩阵来表示,其中H、W和D分别表示图像的高、宽和视差搜索范围。基于AD的匹配代价方法能快速计算左右图像待匹配点的灰度差,但是对噪声和光照变化非常敏感,且在弱纹理区域效果较差;基于梯度变化的代价函数^[24]可以突出视差不连续的区域;基于Census变换的方法对噪声和光照具有较好的稳健性^[25-26],且在弱纹理区域匹配效果较好,但是在图像纹理重复区域效果较差^[14]。为了在弱纹理区域获得更高的精度,并且考虑到实际环境中噪声和辐射测度变化是不可避免的,本文结合增强梯度信息和改进的Census变换来构建匹配代价函数。

为了获得更强的边缘信息,在代价计算之前进行图像增强处理,分别对左右图像进行限制对比度自适应直方图均衡(CLAHE)^[27]处理。对于每一个像素点p在视差d下的基于梯度信息的代价包括了水平方向和竖直方向的梯度:

\begin{matrix} \begin{matrix} C_{GRAD}^{CLAHE} (p, d) = & |\nabla_{x} I_{L} (p) - \nabla_{x} I_{R} (p - d)| + |\nabla_{y} I_{L} (p) - \nabla_{y} I_{R} (p - d)|, (1) \end{matrix} \end{matrix}

式中 $\begin{matrix} \nabla_{x} \end{matrix}$ I(p)和 $\begin{matrix} \nabla_{y} \end{matrix}$ I(p)分别表示像素p点沿x和y方向的梯度信息,I_L和I_R是左右图像。

传统Census变换选取中心像素的灰度值作为参考,将其与窗口中相邻各像素的灰度值进行比较,并用0和1表示大小关系,经过变换形成二进制码流。这种方法对中心像素的依赖性强,对图像噪声的抗干扰能力弱,而且对重复纹理结构匹配效果差。为了增强算法的稳健性,提高在重复纹理的匹配精度,本文使用基于增强梯度信息的Census变换来计算匹配代价。相比于传统Census变换,改进后的Census变换是对像素的梯度幅度进行比较,能有效改善重复纹理区域的匹配精度,改进后的Census变换可表示为

\begin{matrix} \begin{matrix} C_{CTg} (p) = \underset{q \in N_{p}}{\otimes} ξ [I_{GRAD}^{CLAHE} (p), I_{GRAD}^{CLAHE} (q)], (2) \\ ξ (p, q) = \{\begin{matrix} 1, & q < p \\ 0, & ot h erwise \end{matrix}, (3) \end{matrix} \end{matrix}

式中:⊗表示按位连接;N_p表示像素p的邻域; $\begin{matrix} I_{GRAD}^{CLAHE} \end{matrix}$ (p)和 $\begin{matrix} I_{GRAD}^{CLAHE} \end{matrix}$ (q)表示p和q的增强梯度信息。对于Census变换后得到的左图像素点的C_CTgL(p)和右图对应视差为d的像素点的C_CTgR(p),利用汉明距离计算两个像素点的相似性测度:

\begin{matrix} C_{CTg} (p, d) = Hamming [C_{CTgL} (p), C_{CTgR} (p - d)] 。 (4) \end{matrix}

将增强后的梯度代价和改进的Census变换进行加权融合,得到最终的匹配代价,具体表达公式为

\begin{matrix} \begin{matrix} C (p, d) = & 2 - \exp [- C_{GRAD}^{CLAHE} (p, d) / λ_{GRAD}] - \exp [- C_{CTg} (p, d) / λ_{CTg}], (5) \end{matrix} \end{matrix}

式中λ_GRAD和λ_CTg是正则化参数。

为了验证增强梯度代价函数和基于增强梯度的Census变换的有效性,对Middlebury数据集Tsukuba图像进行对比实验,实验采用相同的代价聚合方法,且没有进行视差精化,获得的视差图(图2)。从图2可以看出,增强后的梯度代价函数的边缘(红色框)保持效果明显优于原始梯度代价函数;基于增强梯度的Census变换的代价函数在重复纹理结构区域(蓝色框)的匹配精度高于传统Census变换。

图 2. 基于不同代价计算方法的Tsukuba图像的初始视差图。(a)原始梯度代价函数;(b)增强后的梯度代价函数;(c)原始Census变换;(d)基于增强梯度的Census变换

Fig. 2. Initial disparity maps based on different cost methods for Tsukuba. (a) Absolute difference in images gradients; (b) absolute difference in enhanced images gradients; (c) traditional Census transform; (d) Census transformation based on enhanced images gradients

下载图片查看所有图片

2.2 代价聚合

2.2.1 自适应形状十字交叉窗口构建

局部立体匹配代价聚合假设支持窗口内的像素视差平滑^[4]。对于弱纹理区域,需要选择一个较大的窗口来包含足够多的纹理信息;对于视差不连续的区域,需要较小的支持窗口来保持边缘细节信息。传统引导滤波器的窗口大小是固定的,为了提高弱纹理区域的匹配精度,本文采用一种基于自适应形状窗口的引导滤波器,并提出一种双约束的线性变化阈值的判定准则来构建自适应形状窗口,臂长的判断准则如下:

\begin{matrix} \{\begin{matrix} τ^{large} (l_{pq}) = - τ_{1} / L_{1} \times l_{pq} + τ_{1}, if l_{pq} \leq d_{Lim} \\ τ^{small} (l_{pq}) = - τ_{2} / L_{2} \times l_{pq} + τ_{2}, ot h erwise \end{matrix}, (6) \end{matrix}

式中:τ₁和L₁为深度不连续区域设定的颜色和距离阈值;τ₂和L₂为弱纹理区域设定的颜色和距离阈值;l_pq是像素p的当前臂长,q为待匹配像素的邻域像素;τ(l_pq)是当前像素与邻域的颜色阈值;d_Lim为深度不连续区域设定的最大距离。根据上述判定准则,对当前待匹配像素p在水平方向和垂直方向分别进行扩展,动态计算当前颜色阈值,当不满足上述任意条件时停止扩展,形成一个十字交叉区域,分别用H(p)和V(p)表示为

\begin{matrix} \begin{matrix} V (p) = {(x, y) | x \in [x_{p} - l_{v}^{-}, x_{p} + l_{v}^{+}], y = y_{p}}, (7) \\ H (p) = {(x, y) | y \in [y_{p} - l_{h}^{-}, y_{p} + l_{h}^{+}], x = x_{p}}, (8) \end{matrix} \end{matrix}

式中 $\begin{matrix} l_{v}^{-} \end{matrix}$ , $\begin{matrix} l_{v}^{+} \end{matrix}$ , $\begin{matrix} l_{h}^{-} \end{matrix}$ , $\begin{matrix} l_{h}^{+} \end{matrix}$ 分别为水平和垂直方向的4个臂长。对于垂直方向V(p)上的每一个像素q在水平方向上重复上述的像素扩展过程得到H(q),如图3(a)所示,从而构造自适应形状区域,用S(p)表示为

\begin{matrix} S (p) = \cup_{q}^{\in} H (q) 。 (9) \end{matrix}

基于颜色和距离约束的判定准则容易受到噪声影响,因此在构建自适应支持窗口前需要对图像进行高斯滤波。基于不同判定准则的自适应窗口的构建结果如图3所示,图中蓝色区域为不同像素的自适应窗口。从图中可以看出,图3(d)在大范围的弱纹理区域能获得更多的有效像素,图3(c)在弱纹理区域的效果优于图3(b)。

图 3. 自适应窗口构建示意图。(a)基于交叉的区域结构;(b)文献[ 17]的自适应窗口;(c)文献[ 14]的自适应窗口;(d)本文方法的自适应窗口

Fig. 3. Schematic of adaptive window construction. (a) Cross-based support region construction; (b) adaptive window in Ref. [17]; (c) adaptive window in Ref. [14]; (d) adaptive window in proposed method

下载图片查看所有图片

2.2.2 自适应引导滤波

传统引导滤波的局部窗口是固定大小的正方形窗口,主要思想是假设滤波器输出结果与输入的指导图像在局部范围内是符合线性模型的^[22]。所采用的滤波方法基于自适应形状的窗口,若输入图像为I,待滤波图像为P,滤波后结果为Q,则根据引导滤波器的线性模型计算可得到改进后引导滤波的线性系数a_k和b_k:

\begin{matrix} \begin{matrix} a_{k} = (\frac{1}{|N_{k}|} \sum_{i \in N_{k}} I_{i} P_{i} - μ_{k} {\bar{P}}_{k}) / (σ_{k}^{2} + ε), (10) \\ b_{k} = {\bar{P}}_{k} - a_{k} μ_{k}, (11) \end{matrix} \end{matrix}

式中:i和k为图像索引;N_k为像素k的自适应支持窗口; $\begin{matrix} |N_{k}| \end{matrix}$ 表示窗口内像素的总个数;μ_k和 $\begin{matrix} σ_{k}^{2} \end{matrix}$ 分别是I_i的均值和方差;ε为正则化参数。滤波后的结果用线性模型表示为

\begin{matrix} \begin{matrix} Q_{i} = & {\bar{a}}_{i} I_{i} + {\bar{b}}_{i} = \frac{1}{|N_{i}|} \sum_{k \in N_{i}} a_{k} I_{i} + \frac{1}{|N_{i}|} \sum_{k \in N_{i}} b_{k}, (12) \end{matrix} \end{matrix}

式中 $\begin{matrix} |N_{i}| \end{matrix}$ 和 $\begin{matrix} |N_{k}| \end{matrix}$ 分别表示自适应区域N_i和N_k内像素的总个数。为了提升代价聚合的计算效率,采用正交积分图像技术^[17],将二维不规则窗口分解为两个正交一维窗口,并通过预先计算水平积分图像和垂直积分图像来加速聚合效率。改进后的引导滤波器核函数可以表示为

\begin{matrix} \begin{matrix} W_{ij} (I) = & \frac{1}{|N_{i}|} \sum_{k \in N_{i}} {\frac{1}{|N_{k}|} \sum_{j \in N_{k}} [1+ \frac{(I_{i} - μ_{k}) (I_{j} - μ_{k})}{σ_{k}^{2} + ε}]} 。 (13) \end{matrix} \end{matrix}

2.3 代价计算

代价聚合后得到最终的匹配代价为C'(p,d)。利用WTA策略对每个像素选择最小匹配代价对应的视差值作为其初始视差:

\begin{matrix} d_{p} = \arg \min_{d \in D} [C' (p, d)], (14) \end{matrix}

式中D表示所有可能的视差值。

2.4 视差精化

通过上述WTA策略获得的初始视差图中仍包含很多错误匹配点,需要进行后处理。参考文献[ 14]和[19]的后处理方法,对初始视差图进行左右一致性检测、遮挡/误匹配处理、加权中值滤波和子像素精化等后处理来提高匹配精度。首先,通过左右一致性检测来获得左右视差图中的异常点:

\begin{matrix} |d_{L} (p) - d_{R} [p- d_{L} (p)]| < 1, (15) \end{matrix}

式中:d_L(p)为左视差图中p点的视差值;d_R[p-d_L(p)]为p点在右视差图的对应点的视差值。若不满足左右视差相等,则认为是异常点。根据对极几何原理将异常点分为遮挡点和错误匹配点^[10]。

分别对左右一致性检测获得的遮挡点和误匹配点采用不同的插值策略。对于遮挡像素,由于遮挡区域通常位于图像背景,因此需要来自背景区域的有效非遮挡像素的视差值来对遮挡点插值,在8个方向上搜索和遮挡像素最接近的有效像素,并选择其中最小的视差值作为当前遮挡像素的视差值;对于误匹配像素,在8个方向上将像素颜色最相似的有效像素的视差值作为误匹配像素的视差值,并采用加权中值滤波器^[28]对插值后的视差图进行平滑。为了减少离散视差引起的视差图不连续,基于二次多项式插值进行子像素估计^[29]。对于每个像素p,其最佳子像素视差值为

\begin{matrix} d_{sub} = d - \frac{S (p, d_{+}) - S (p, d_{-})}{2 [S (p, d_{+}) + S (p, d_{-}) - 2 S (p, d)]}, (16) \end{matrix}

式中:d为加权中值滤波后得到的像素p的视差值;S(p,d₊)和S(p,d_-)分别是像素p在视差为d+1和d-1时的聚合代价。

3 实验结果与分析

为了验证代价计算和代价聚合算法的有效性,采用Middlebury立体匹配评估测试平台^[30]提供的数据集进行实验,实验中涉及的参数设置如表1所示。采用误匹配率来定量评价算法的匹配精度,视差阈值为1,即视差图结果与真实视差图相差1 pixel以上时,认为该点为错误匹配点。

表 1. 实验参数设置

Table 1. Experimental parameter settings

Parameter	Value		Parameter	Value
λ_GRAD		25	λ_CTg	15
τ₁	30		L₁	31
τ₂	6		L₂	80
d_Lim	9		ε	0.012

查看所有表

3.1 匹配代价计算验证

为了验证本文算法的有效性和对图像失真的稳健性,选取3种代价函数进行对比,分别为SAD和梯度结合(SAD+Grad)^[13]、AD和Census变换结合(AD+Cen)^[14]、AD与梯度和Census变换结合(AD+Grad+Cen)^[15]。利用这3种混合代价函数与本文提出的代价函数对Middlebury 2006数据集中6组立体图像对(Aloe、Baby1、Bowling1、Cloth1、Flowerpots和Rocks1)分别在不同光照、曝光,以及无幅度失真的条件下进行实验。图4和图5分别为Aloe和Baby1在不同光照、曝光条件下的实验结果,实验中获得的所有视差图都没有进行后处理,并且均采用相同的代价聚合算法。

表2~4分别为不同代价计算方法在不同光照、不同曝光和无幅度失真条件下的6组图像的误匹配率,表中Avg为平均误匹配率。在不同的光照条件下,本文算法在Aloe、Baby1、Bowling1、Flowerpots和Rocks1这5组图像上均取得最好的匹配结果,在Cloth1图像上也取得与SAD+Grad算法相当的匹配精度。在不同的曝光条件下,本文算法在Aloe、Baby1、Cloth1、Flowerpots和Rocks1这5组图像上均获得最好的匹配精度,在Bowling1图像上仅次于AD+Cen算法。这是因为AD/SAD算法对左右图像的颜色失真和噪声非常敏感,当光照或曝光不一致时会大大增加错误匹配,导致匹配精度下降。Census变换对图像的颜色失真具有较强的稳健性,本文算法将改进后的Census变换与梯度结合,没有采用AD算法,增强了对幅度失真的稳健性。在左右影像完全没有幅度失真的情况下,基于AD的代价计算具有丰富的颜色信息,在重复纹理区域具有比Census变换更好的匹配精度^[14]。从表4可以看出,在没有幅度失真的条件下,SAD+Grad算法在Aloe、Cloth1、Rocks1图像上获得最好的结果。本文算法在Baby1、Bowling1和Flowerpots图像上取得最好的精度,在其他图像上也获得和另外3种算法相当的匹配精度。在不同条件下本文算法的平均误匹配率都低于其他算法,实验结果表明,本文算法能有效提高匹配精度,降低误匹配,并且能增强对幅度失真的稳健性。

图 4. Aloe和Baby1在不同光照下不同代价计算方法的视差图。(a)左图像;(b)右图像;(c)真实视差图;(d) SAD和梯度结合;(e) AD和Census变换结合;(f) AD、梯度和Census变换结合;(g)本文算法

Fig. 4. Disparity maps under different illumination conditions for Aloe and Baby1. (a) Left image; (b) right image; (c) ground truth; (d) SAD+Grad; (e) AD+Cen; (f) AD+Grad+Cen; (g) proposed cost computation

下载图片查看所有图片

图 5. Aloe和Baby1在不同曝光下不同代价计算方法的视差图。(a)左图像;(b)右图像;(c)真实视差图;(d) SAD和梯度结合;(e) AD和Census变换结合;(f) AD、梯度和Census变换结合;(g)本文算法

Fig. 5. Disparity maps with different exposures for Aloe and Baby1. (a) Left image; (b) right image; (c) ground truth; (d) SAD+Grad; (e) AD+Cen; (f) AD+Grad+Cen; (g) proposed cost computation

下载图片查看所有图片

表 2. 不同代价计算算法在不同光照下的误匹配率

Table 2. Error matching rates of various cost computations under different illuminations%

Algorithm	Aloe	Baby1	Bowling1	Cloth1	Flowerpots	Rocks1	Avg
SAD+Grad	32.175	16.882	40.900	10.829	53.528	27.238	30.259
AD+Cen	32.274	25.055	46.147	13.212	56.000	18.732	31.903
AD+Grad+Cen	37.149	23.175	46.658	12.690	72.106	32.375	37.359
Proposed	22.034	11.115	26.946	11.333	34.185	13.849	19.910

查看所有表

表 3. 不同代价计算算法在不同曝光下的误匹配率

Table 3. Error matching rates of various cost computations under different exposures%

Algorithm	Aloe	Baby1	Bowling1	Cloth1	Flowerpots	Rocks1	Avg
SAD+Grad	52.510	50.672	46.434	50.178	87.562	79.773	61.188
AD+Cen	16.173	11.118	20.022	11.096	41.021	15.329	19.127
AD+Grad+Cen	31.012	30.182	31.374	13.543	77.590	44.218	37.987
Proposed	15.205	10.658	22.782	11.060	29.834	14.094	17.272

查看所有表

表 4. 不同代价计算算法在无幅度失真条件下的误匹配率

Table 4. Error matching rates of various cost computations without radiometric changes%

Algorithm	Aloe	Baby1	Bowling1	Cloth1	Flowerpots	Rocks1	Avg
SAD+Grad	12.409	12.009	26.122	9.619	20.697	10.598	15.242
AD+Cen	13.610	11.811	23.859	10.475	22.676	12.766	15.866
AD+Grad+Cen	15.349	12.350	24.563	11.236	21.832	12.586	16.319
Proposed	14.478	9.749	18.663	11.085	18.644	12.008	14.104

查看所有表

3.2 代价聚合算法验证

为验证代价聚合算法的有效性,采用传统引导滤波器^[22]立体匹配算法和改进代价聚合算法对Middlebury测试平台的4幅标准图像,以及2006数据集的21组图像进行实验。实验均采用相同的后处理过程。表5为这两种算法在Tsukuba、Venus、Teddy、Cones标准图像上的误匹配率。其中,n-occ、all、disc分别表示图像在非遮挡区域、所有区域、视差不连续区域的误匹配率。从表5可以看出,改进算法的平均误匹配率为4.80%,在Tsukuba、Venus和Teddy图像上匹配精度都有所提高,仅在Cones图像上精度稍差,总体精度优于传统引导滤波器算法。

图6为Middlebury 2006数据集中的6组弱纹理图像Lampshade1、Lampshade2、Midd1、Midd2、Monopoly和Plastic的实验结果,图6(a)为原始左图像,图6(b)为真实视差图,图6(c)为传统引导滤波器算法的视差图,图6(d)为传统滤波器算法的误匹配像素图,其中白色区域是匹配正确的点,黑色区域表示匹配错误的点,图6(e)为改进算法的视差图,图6(f)为改进算法的误匹配像素图。表6为这两种算法在2006数据集的21组图像所有区域的误匹配率,相比传统引导滤波器代价聚合算法,改进算法的平均误匹配率有所下降,在Lampshade1、Lampshade2、Midd1、Midd2、Monopoly、Plastic和Wood2图像上匹配精度均明显提高,但在其他图像上精度降低。实验结果表明,改进算法相比传统引导滤波器在弱纹理区域的匹配精度有所提高,6组弱纹理图像的误匹配率均有所降低。本文算法在纹理相似的深度不连续区域由于窗口自适应扩展会增加误匹配,导致其他图像的匹配精度下降。

图 6. 不同代价聚合算法在弱纹理图像的视差图。(a)左图像;(b)真实视差图;(c)基于传统引导滤波器的视差图;(d)传统引导滤波器算法的误匹配像素图;(e)本文算法的视差图;(f)本文算法的误匹配像素图

Fig. 6. Disparity maps of different cost aggregation algorithms for textureless images. (a) Left images; (b) ground truth maps; (c) results of local stereo method based on guided filter; (d) error maps for method based on guided filter; (e) results of the proposed method; (f) error maps of the proposed method

下载图片查看所有图片

表 5. 不同算法的误匹配率

Table 5. Error matching rates of different algorithms for different images%

Algorithm	Tsukuba			Venus				Teddy				Cones			Avg
Algorithm	n-occ	all	disc			n-occ	all	disc		n-occ	all	disc		n-occ	all	disc
GF	2.21	2.59	8.56	0.32	0.68	4.31		4.77	8.62	13.1		2.53	7.90	7.67	5.27
Proposed	1.74	1.95	8.35	0.23	0.42	3.17		3.95	7.88	10.8		2.80	8.11	8.25	4.80

查看所有表

表 6. 所有区域不同算法的误匹配率

Table 6. Error matching rates of different algorithms in all regions%

Algorithm	Aloe	Baby1	Baby2	Baby3	Bowling1	Bowling2
GF	7.407	2.575	5.534	5.981	7.940	12.184
Proposed	8.626	4.092	10.635	6.197	14.636	14.794
Algorithm	Cloth1	Cloth2	Cloth3	Cloth4	Flowerpots	Lampshade1
GF	2.960	8.613	3.940	8.393	12.405	11.223
Proposed	3.225	10.418	4.332	8.454	12.696	9.540
Algorithm	Lampshade2	Midd1	Midd2	Monopoly	Plastic	Rocks1
GF	15.729	37.653	35.381	22.803	32.666	4.183
Proposed	8.570	13.857	16.270	7.335	25.724	4.968
Algorithm	Rocks2	Wood1	Wood2	Avg(all)
GF	3.587	3.829	0.965	11.712
Proposed	3.973	8.574	0.484	9.400

查看所有表

3.3 参数分析

为了分析不同参数取值对实验结果的影响,对所涉及的7种参数进行实验,其中正则化参数ε的取值参考Hosni等^[19]算法,这里不做分析。使用不同参数的匹配精度结果如图7所示,图7(a)和(b)的参数λ_GRAD和λ_CTg为代价计算的归一化参数,当参数λ_GRAD=25、λ_CTg=15时,可以获得较低的平均误匹配率。在代价聚合阶段,颜色阈值τ₁和臂长阈值L₁,以及距离阈值d_Lim为纹理丰富或视差不连续区域构造自适应窗口,其中,d_Lim为深度不连续区域设定的最大距离,图7(g)表明匹配精度会随着d_Lim的增大而降低,因此本文设置较小的距离阈值d_Lim=9。由图7(c)和(d)可知,参数τ₁和L₁的选择对大部分图像的匹配精度影响不大。这是因为对于大部分纹理比较丰富的区域,距离阈值d_Lim已经设置了一个比较小的窗口,因此颜色阈值τ₁和臂长阈值L₁仅用于调整小区域的窗口大小,对图像的精度影响不大。颜色阈值τ₂和臂长阈值L₂为弱纹理区域构造自适应窗口,由图7(e)和(f)可知,当颜色阈值τ₂=6、臂长阈值L₂=80时,可以取得较好的视差结果。

3.4 算法对比分析

图 7. 不同参数设置的实验结果

Fig. 7. Experimental results on different parameter settings

下载图片查看所有图片

表 7. 不同算法在弱纹理图像的误匹配率

Table 7. Error matching rates of different algorithms for textureless images%

Algorithm	Lampshade1	Lampshade2	Midd1	Midd2	Monopoly	Plastic	Avg
CostFilter	23.242	31.811	48.993	45.200	36.796	43.758	38.300
CS-GF	10.720	8.634	29.127	25.892	14.439	22.178	18.498
CS-MST	14.955	16.360	18.294	17.496	30.626	37.933	22.610
CS-ST	13.201	12.188	16.072	9.587	24.053	30.724	17.638
Proposed	9.540	8.570	13.857	16.270	7.335	25.724	13.549

查看所有表

表 8. 不同算法的运行时间比较

Table 8. Runtime comparison of different algorithms for benchmark stereo imagess

Algorithm	Tsukuba	Venus	Teddy	Cones
CostFilter	1.18	2.46	6.41	6.47
CS-GF	2.76	5.12	15.07	15.55
CS-MST	2.14	2.59	5.88	5.98
CS-ST	1.95	2.51	5.57	5.61
Proposed	3.42	5.85	14.469	14.253

查看所有表

4 结论

改进了传统引导滤波器的立体匹配算法。在代价计算阶段,提出一种增强梯度信息和基于增强梯度的Census变换结合的新的代价计算方法,提高了对重复纹理结构的匹配精度,并且对幅度失真具有较好的稳健性。在代价聚合阶段,构建自适应形状支持窗口,并基于该窗口采用引导滤波算法进行聚合,与传统引导滤波器相比,降低了在弱纹理区域的误匹配率。与其他算法相比,本文算法能有效提高弱纹理区域的匹配精度,但在视差不连续区域的精度还有待提高,今后研究将在视差不连续区域作进一步优化。

参考文献

[1] Shen S H. Accurate multiple view 3D reconstruction using patch-based stereo for large-scale scenes[J]. IEEE Transactions on Image Processing, 2013, 22(5): 1901-1914.

[2] d’AngeloP, ReinartzP. Semiglobal matching results on the ISPRS stereo matching benchmark[C]∥High-Resolution Earth Imaging for Geospatial Information, 2012: 79- 84.

[3] HowardA. Real-time stereo visual odometry for autonomous ground vehicles[C]∥IEEE/RSJ International Conference on Intelligent Robots and Systems, 2008: 3946- 3952.

[4] Scharstein D, Szeliski R. Ataxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision, 2002, 47(1/2/3): 7-42.

[5] SunJ, Shum HY, Zheng NN. Stereo matching using belief propagation[C]∥European Conference on Computer Vision, 2002: 510- 524.

[6] KlausA, SormannM, KarnerK. Segment-based stereo matching using belief propagation and a self-adapting dissimilarity measure[C]∥International Conference on Pattern Recognition, 2006: 15- 18.

[7] KolmogorovV, ZabihR. Computing visual correspondence with occlusions using graph cuts[C]∥Eighth IEEE International Conference on Computer Vision, 2001, 2: 508- 515.

[8] Meerbergen GV, VergauwenM, PollefeysM, et al. A hierarchical stereo algorithm using dynamic programming[C]. Stereo and Multi-Baseline Vision, 2002: 166- 174.

[9] 许金鑫, 李庆武, 刘艳, 等. 基于色彩权值和树形动态规划的立体匹配算[J]. 光学学报, 2017, 37(12): 1215007.

Xu J X, Li Q W, Liu Y, et al. Stereo matching algorithm based on color weights and tree dynamic programming[J]. Acta Optica Sinica, 2017, 37(12): 1215007.

[10] Hirschmuller H. Stereo processing by semiglobal matching and mutual information[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(2): 328-341.

[11] Birchfield S, Tomasi C. Depth discontinuities by pixel-to-pixel stereo[J]. International Journal of Computer Vision, 1999, 35(3): 269-293.

[12] ZabihR, WoodfillJ. Non-parametric local transforms for computing visual correspondence[C]∥European Conference on Computer Vision, 1994: 151- 158.

[13] Hosni A, Bleyer M, Gelautz M. Secrets of adaptive support weight techniques for local stereo matching[J]. Computer Vision and Image Understanding, 2013, 117(6): 620-632.

[14] MeiX, SunX, ZhouM, et al. On building an accurate stereo matching system on graphics hardware[C]∥IEEE International Conference on Computer Vision Workshops, 2011: 467- 474.

[15] Zhu S P, Yan L N. Local stereo matching algorithm with efficient matching cost and adaptive guided image filter[J]. Visual Computer, 2017, 33(9): 1087-1102.

[16] 周秀芝, 文贡坚, 王润生. 自适应窗口快速立体匹配[J]. 计算机学报, 2006, 29(3): 473-479.

Zhou X Z, Wen G J, Wang R S. Fast stereo matching using adaptive window[J]. Chinese Journal of Computers, 2006, 29(3): 473-479.

[17] Zhang K, Lu J B, Lafruit G. Cross-based local stereo matching using orthogonal integral images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2009, 19(7): 1073-1079.

[18] Yoon K J, Kweon I S. Adaptive support-weight approach for correspondence search[J]. IEEE Transactions on Pattern Analysisand Machine Intelligence, 2006, 28(4): 650-656.

[19] Hosni A, Rhemann C, Bleyer M, et al. Fast cost-volume filtering for visual correspondence and beyond[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(2): 504-511.

[20] 彭建建, 白瑞林. 基于水平树结构的可变权重代价聚合立体匹配算法[J]. 光学学报, 2018, 38(1): 0115002.

Peng J J, Bai R L. Variable weight cost aggregation algorithm for stereo matching based on horizontal tree structure[J]. Acta Optica Sinica, 2018, 38(1): 0115002.

[21] 祝世平, 李政. 基于改进梯度和自适应窗口的立体匹配算法[J]. 光学学报, 2015, 35(1): 0110003.

Zhu S P, Li Z. Astereo matching algorithm using improved gradient and adaptive window[J]. Acta Optica Sinica, 2015, 35(1): 0110003.

[22] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[23] Yang Q Q, Ji P, Li D X, et al. Fast stereo matching using adaptive guided filtering[J]. Image and Vision Computing, 2014, 32(3): 202-211.

[24] De-Maeztu L, Villanueva A, Cabeza R. Stereo matching using gradient similarity and locally adaptive support-weight[J]. Pattern Recognition Letters, 2011, 32(13): 1643-1651.

[25] HirschmullerH, ScharsteinD. Evaluation of cost functions for stereo matching[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2007: 1- 8.

[26] Hirschmuller H, Scharstein D. Evaluation of stereo matching costs on images with radiometric differences[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(9): 1582-1599.

[27] Zuiderveld K. Contrast limited adaptive histogram equalization[J]. Graphics Gems, 1994: 474-485.

[28] MaZ, HeK, WeiY, et al. Constant time weighted median filtering for stereo matching and beyond[C]∥Proceedings of the IEEE International Conference on Computer Vision, 2013: 49- 56.

[29] YangQ, YangR, DavisJ, et al. Spatial-depth super resolution for range images[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2007: 1- 8.

[30] Scharstein D, Szeliski R. Middlebury stereo evaluation-version 2[J]. The Middlebury Computer Vision Pages, 2011.

[31] ZhangK, FangY, MinD, et al. Cross-scale cost aggregation for stereo matching[C]∥Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2014: 1590- 1597.

闫利, 王芮, 刘华, 陈长军. 基于改进代价计算和自适应引导滤波的立体匹配[J]. 光学学报, 2018, 38(11): 1115007. Li Yan, Rui Wang, Hua Liu, Changjun Chen. Stereo Matching Method Based on Improved Cost Computation and Adaptive Guided Filter[J]. Acta Optica Sinica, 2018, 38(11): 1115007.

基于改进代价计算和自适应引导滤波的立体匹配 下载： 1405次

1 引言

2 算法描述

图 1. 算法流程图

Fig. 1. Diagram of proposed method

2.1 匹配代价计算

图 2. 基于不同代价计算方法的Tsukuba图像的初始视差图。(a)原始梯度代价函数;(b)增强后的梯度代价函数;(c)原始Census变换;(d)基于增强梯度的Census变换

Fig. 2. Initial disparity maps based on different cost methods for Tsukuba. (a) Absolute difference in images gradients; (b) absolute difference in enhanced images gradients; (c) traditional Census transform; (d) Census transformation based on enhanced images gradients

2.2 代价聚合

图 3. 自适应窗口构建示意图。(a)基于交叉的区域结构;(b)文献[ 17]的自适应窗口;(c)文献[ 14]的自适应窗口;(d)本文方法的自适应窗口

Fig. 3. Schematic of adaptive window construction. (a) Cross-based support region construction; (b) adaptive window in Ref. [17]; (c) adaptive window in Ref. [14]; (d) adaptive window in proposed method

2.3 代价计算

2.4 视差精化

3 实验结果与分析

表 1. 实验参数设置

Table 1. Experimental parameter settings

3.1 匹配代价计算验证

图 4. Aloe和Baby1在不同光照下不同代价计算方法的视差图。(a)左图像;(b)右图像;(c)真实视差图;(d) SAD和梯度结合;(e) AD和Census变换结合;(f) AD、梯度和Census变换结合;(g)本文算法

Fig. 4. Disparity maps under different illumination conditions for Aloe and Baby1. (a) Left image; (b) right image; (c) ground truth; (d) SAD+Grad; (e) AD+Cen; (f) AD+Grad+Cen; (g) proposed cost computation

图 5. Aloe和Baby1在不同曝光下不同代价计算方法的视差图。(a)左图像;(b)右图像;(c)真实视差图;(d) SAD和梯度结合;(e) AD和Census变换结合;(f) AD、梯度和Census变换结合;(g)本文算法

Fig. 5. Disparity maps with different exposures for Aloe and Baby1. (a) Left image; (b) right image; (c) ground truth; (d) SAD+Grad; (e) AD+Cen; (f) AD+Grad+Cen; (g) proposed cost computation

表 2. 不同代价计算算法在不同光照下的误匹配率

Table 2. Error matching rates of various cost computations under different illuminations%

表 3. 不同代价计算算法在不同曝光下的误匹配率

Table 3. Error matching rates of various cost computations under different exposures%

表 4. 不同代价计算算法在无幅度失真条件下的误匹配率

Table 4. Error matching rates of various cost computations without radiometric changes%

3.2 代价聚合算法验证

图 6. 不同代价聚合算法在弱纹理图像的视差图。(a)左图像;(b)真实视差图;(c)基于传统引导滤波器的视差图;(d)传统引导滤波器算法的误匹配像素图;(e)本文算法的视差图;(f)本文算法的误匹配像素图

表 5. 不同算法的误匹配率

Table 5. Error matching rates of different algorithms for different images%

表 6. 所有区域不同算法的误匹配率

Table 6. Error matching rates of different algorithms in all regions%

3.3 参数分析

3.4 算法对比分析

图 7. 不同参数设置的实验结果

Fig. 7. Experimental results on different parameter settings

表 7. 不同算法在弱纹理图像的误匹配率

Table 7. Error matching rates of different algorithms for textureless images%

表 8. 不同算法的运行时间比较

Table 8. Runtime comparison of different algorithms for benchmark stereo imagess

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于改进代价计算和自适应引导滤波的立体匹配下载： 1405次