基于区域先验信息的去遮挡立体匹配算法

陈先锋; 郭正华; 伍俊龙; 马帅; 杨平; 许冰

doi:doi:10.3788/LOP56.191001

激光与光电子学进展, 2019, 56 (19): 191001, 网络出版: 2019-10-12

基于区域先验信息的去遮挡立体匹配算法下载： 1271次

De-Occlusion Stereo Matching Algorithm Based on Regional Prior Information

论文大纲

陈先锋 ^1,2,3郭正华 ^1,2,3伍俊龙 ^1,2,3马帅 ^1,2,3杨平 ^1,2许冰 ^1,2,*

作者单位

¹ 中国科学院光电技术研究所自适应光学重点实验室, 四川成都 610209

² 中国科学院光电技术研究所, 四川成都 610209

³ 中国科学院大学, 北京 100049

图像处理遮挡立体匹配边缘检测区域分割 image processing occlusion stereo matching edge detection area segmentation

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

提出了一种基于区域先验信息的去遮挡立体匹配算法。该方法采用边缘检测和区域生长对参考图像进行区域分割,将分割后的同质区域作为区域先验信息引入代价计算中,减弱了代价函数对遮挡区域的敏感度,并使用区域一致性检测修正遮挡和误匹配像素,从而获得精确视差图。所提算法是一种加性算法,在不显著增加计算量的同时,可有效提升算法对遮挡区域的匹配效果。使用Middlebury数据集进行测试,测试结果表明,所提算法能够有效降低遮挡区域的误匹配率。

Abstract

This paper proposes a de-occlusion stereo matching algorithm using regional prior information. According to this algorithm, the reference image is segmented using edge detection and region growing. The homogeneous regions after segmentation are regarded as the regional prior information and introduced into the cost calculation for weakening the sensitivity of the cost function to occlusion regions. Area consistency detection is used for correcting occlusions and mismatched pixels to obtain an accurate disparity map. The proposed algorithm is an additive algorithm that can effectively improve the matching effect of the original algorithm when applied to occlusion areas without significantly increasing the amount of calculation. The result of testing the proposed algorithm on the Middlebury dataset proves that the algorithm can effectively reduce the mismatching rate when analyzing occlusion regions.

1 引言

双目立体视觉是一种系统简洁、非主动的三维成像测量方式,广泛用于交互式机器人导航、自动驾驶、三维重建等众多领域^[1-2]。在双目立体视觉中,通过在极线上搜索相同图像元素实现视差信息测量的过程被称为立体匹配^[3],其测量精度直接决定着双目立体视觉系统的性能,因此受到了国内外科研工作者的广泛关注。

立体匹配作为计算机视觉领域的基础性问题之一,经历了多年的发展,还存在许多问题亟待解决,如:光学失真、噪声干扰、弱纹理、重复纹理、透视失真、遮挡等^[4]。其中遮挡问题是指相机成像时,空间上一个物体表面被另一物体遮挡,导致物体被遮挡区域只能被单个相机成像,而在另一相机中搜索不到对应的图像信息。遮挡像素没有严格意义的匹配点,使得无法准确获得理论意义上的视差信息,进而可能严重降低双目立体视觉系统测量精度。为解决遮挡问题带来的负面影响,Bobick等^[5]提出了加入顺序约束条件的动态规划算法,但该方法受限于物体的大小,无法有效处理孔状和窄物体区域。此外,该方法需要对遮挡区域进行代价惩罚,修改后的代价函数对正确匹配像素的敏感性变低。Egnal等^[6]基于唯一性约束条件提出了交叉验证算法,该方法受限于唯一性约束,无法用于水平倾斜表面。Kolmogorov等^[7]使用基于马尔可夫随机场(MRF)的代价函数来惩罚遮挡像素,该算法对遮挡像素的惩罚依赖于唯一性约束。Ho等^[8]使用扭曲约束和左右一致性检验,在不变空间置信度传播(CSBP)算法的基础上处理遮挡问题。该方法速度快,但因受到CSBP算法的限制,误匹配率高。Liu等^[9]采用两步局部法处理遮挡问题,该方法首先依据对比度直方图计算初始匹配代价,然后使用基于分割的自适应支持权重法进行代价聚合。该方法需要准确检测出被遮挡的区域,而如何得到准确的区域信息是当前研究的一大难点。Oh等^[10]提出了一种基于图和曲面模型处理遮挡问题的方法,该方法利用顺序约束和分割约束建立图模型检测遮挡区域,使用曲面模型估计倾斜面遮挡视差。Jang等^[11]提出了一种检测和细化遮挡区域的方法,采用曲面模型、交叉验证和亮度差约束条件共同优化代价函数,该方法具有优异的遮挡检测效果,但是时间复杂度较高。

本文以视差的局部平滑特性作为约束条件,提出了一种基于区域先验信息的去遮挡立体匹配算法。相较于现有的方法,本文提出的算法通过在代价计算中引入区域信息,使得代价函数保留了对非遮挡区域的高敏感性,同时对遮挡区域表现出低敏感性,从而有效降低遮挡区域的误匹配率。

2 基于区域先验信息的去遮挡立体匹配算法

本文方法整体流程分为以下几个步骤:1)聚类同质区域;2)以区域信息修正代价函数;3)使用区域一致性检测修正遮挡和误匹配像素,获得精确视差图。本节将详细介绍引入区域先验信息的代价函数和区域一致性检测法。

为聚类同质区域,利用Canny算子^[12]提取获得的边缘信息作为区域生长^[13]的停止条件。本文方法通过随机初始化种子点实现区域生长,当区域生长的边界与Canny算子得到的边缘重合,且重合边缘的八邻域不包含Canny边缘点时,停止生长,即可获得原始图像各个同质区域。为避免Canny算子获得的边缘无法形成闭合曲线,区域生长法的原始停止条件仍保留使用。记原始图像全图区域为Ω,由Canny边缘信息和区域生长得到的各同质区域记为Ω_k,k=1,2,…,n',其中n'为同质区域个数,k为第k个同质区域,则有Ω→{Ω₁,Ω₂,…,Ω_n},∪Ω_k=Ω。

2.1 匹配代价计算

代价函数被用来度量同一场景不同视场的两幅图像中对应像素之间的相似性。代价函数的流程如图1所示,记左图为I_L、右图为I_R,其中参考图为I_L。将I_L中P点与I_R中对应候选匹配点Q的代价函数记作C(i,j,d),其中P点的像素坐标为(i,j),Q点的像素坐标为(i,j-d),d为视差,d的搜索范围为[0,d_max],d_max为最大视差值。C(i,j,d)的具体表达式为

\begin{matrix} C (i, j, d) = (1 - λ) C_{NCC} (i, j, d) + λ C_{reg} (i, j, d), (1) \end{matrix}

式中:λ是权重系数,根据P点、Q点是否在参考图的同一区域Ω_k决定,即λ是像素点(i,j)和d的函数;C_NCC、C_reg分别为以P点为中心、窗口大小为(2m+1)×(2n+1)计算得到的归一化互相关(NCC)代价函数和区域信息代价函数,其中m为矩形窗口的垂直半径,n为矩形窗口的水平半径。为便于计算,本文中的λ取值为0或者其他常数。当同一区域中不存在像素遮挡时,λ等于0,意味着不改变代价函数的敏感性,反之亦然。这种改进使得算法同时具有对非遮挡区域的高敏感度和对遮挡区域的低敏感度的特点。C_NCC与C_reg的表达式分别为

\begin{matrix} \begin{matrix} C_{NCC} (i, j, d) = \frac{\overset{m}{\sum_{x = - m}} \overset{n}{\sum_{y = - n}} [I_{L}^{Gray} (i + x, j + y) - μ_{L}^{Gray} (i, j)] [I_{R}^{Gray} (i + x, j + y - d) - μ_{R}^{Gray} (i, j - d)]}{(2 m + 1) (2 n + 1) \sqrt[]{δ_{L}^{2} (i, j) δ_{R}^{2} (i, j - d)}}, (2) \\ C_{reg} (i, j, d) = \frac{1}{3 \max_{t \in {r, g, b}} (| I_{L}^{(t)} (i, j) - I_{R}^{(t)} (i, j - d) |)} \sum_{t \in {r, g, b}} | I_{L}^{(t)} (i, j) - I_{R}^{(t)} (i, j - d) |, (3) \end{matrix} \end{matrix}

式中:x为以窗口中心点为原点的垂直方向坐标;y为以窗口中心点为原点的水平方向坐标;t为颜色通道;r、g、b分别为红色通道、绿色通道、蓝色通道; $\begin{matrix} I_{L}^{Gray} \end{matrix}$ (i,j)、 $\begin{matrix} I_{R}^{Gray} \end{matrix}$ (i,j-d)分别表示左图P点、右图Q点的灰度值; $\begin{matrix} μ_{L}^{Gray} \end{matrix}$ (i,j)、 $\begin{matrix} μ_{R}^{Gray} \end{matrix}$ (i,j-d)分别为左图以P点为中心、右图以Q点为中心,在该窗口范围求得的灰度均值; $\begin{matrix} δ_{L}^{2} \end{matrix}$ (i,j)、 $\begin{matrix} δ_{R}^{2} \end{matrix}$ (i,j-d)分别为左图以P点为中心、右图以Q点为中心,在该窗口范围求得的灰度方差; $\begin{matrix} I_{L}^{(r)} \end{matrix}$ (i,j)、 $\begin{matrix} I_{L}^{(g)} \end{matrix}$ (i,j)、 $\begin{matrix} I_{L}^{(b)} \end{matrix}$ (i,j)分别表示左图在像素点(i,j)的红色通道颜色值、绿色通道颜色值和蓝色通道颜色值;同理, $\begin{matrix} I_{R}^{(r)} \end{matrix}$ (i,j)、 $\begin{matrix} I_{R}^{(g)} \end{matrix}$ (i,j)、 $\begin{matrix} I_{R}^{(b)} \end{matrix}$ (i,j)为右图在像素点(i,j)的各颜色通道值。

图 1. 代价计算

Fig. 1. Cost calculation

下载图片查看所有图片

由于单个像素的匹配代价区分度不强,且易受噪声影响,故需要对获得的代价进行代价聚合^[14]。基于局部视差平滑性假设,代价聚合利用相邻像素信息进行滤波,提高了视差区分度。引导滤波^[15-16]通过引入引导图像,在滤除噪声的同时保留丰富的边缘细节信息。采用引导滤波进行代价聚合,记输入灰度图像为I_In,引导灰度图像为I_Guide,滤波后的输出图像为I_Out,则对于输入图像中的像素点(i,j)而言,其引导输出值I_Out(i,j)为

\begin{matrix} I_{Out} (i, j) = \sum_{(i', j') \in ωk} W_{Guide} (i, j, i', j') I_{In} (i', j'), (4) \end{matrix}

式中:ω_k为I_Guide中以k点为中心、半径为r形成的窗口,记k点的坐标为(i_k,j_k);W_Guide(i,j,i',j')为滤波核函数,表示I_Guide中像素点(i',j')对像素点(i,j)的权重支持,其定义为

\begin{matrix} W_{Guide} (i, j, i', j') = \frac{1}{|ω |^{2}} \sum_{(i', j') \in ωk} \{1 + \frac{[I_{Guide} (i, j) - μ_{Guide} (i_{k}, j_{k})] [I_{Guide} (i', j') - μ_{Guide} (i_{k}, j_{k})]}{{σ_{Guide}}^{2} (i_{k}, j_{k}) + ξ}\}, (5) \end{matrix}

式中:|ω|为窗口ω_k内的像素个数;μ_Guide(i_k,j_k)和 $\begin{matrix} σ_{Guide}^{2} \end{matrix}$ (i_k,j_k)为引导图像I_Guide在窗口内的均值和方差;ξ为平滑因子。以左图的灰度图作为I_Guide,记像素点(i,j)在视差为d时的匹配代价C(i,j,d)经过引导滤波后为C'(i,j,d)。由(4)式和(5)式可得C'(i,j,d)的具体表达式为

\begin{matrix} \begin{matrix} C' (i, j, d) = \\ \sum_{(i', j') \in ωk} W_{Guide} (i, j, i', j') C (i', j', d) 。 (6) \end{matrix} \end{matrix}

在代价聚合之后,使用WTA(winner take all)进行视差选取,获得初始视差图D,对于像素点(i,j)的具体操作为

\begin{matrix} D (i, j) = \underset{d \in {0,1, 2, \dots, dmax}}{argmin} C' (i, j, d) 。 (7) \end{matrix}

2.2 视差精化

通过上述方法获得的初始视差图在遮挡区域和边缘位置区域依然存在着大量的误匹配像素。如图2(a)所示,传统方法将左右一致性检测得到的误匹配点和遮挡点记为待修正点,以待修正点为中心朝左右两方向搜索,使用离中心点最近的正确匹配点视差值进行修正。当左右两方向离中心点最近的正确匹配点视差值不一致时,该方法对待修正点无法正确修正的概率超过50%,特别是对遮挡区域难以取得较好效果。同质区域的像素视差相同或者按照相同函数规律变化,不同区域视差常不相同甚至出现跳变。本文基于这种现象,针对传统方法存在的问题,结合遮挡产生的原理,提出了一种基于区域先验信息的区域一致性检测法,并利用该方法对视差进行修正。如图2(b)所示,对左右一致性检测确定的待修正点,进行同区域上下左右四个方向的搜索,将四个方向上离中心点最近的正确匹配点的视差值作为修正值进行修正。相比于左右一致性检测,区域一致性检测在修正时因对上下左右四个方向的邻域信息进行搜索,同时以区域边界作为各方向搜索的停止条件,能获得更为准确的修正结果。如图2(a)和图2(b)所示,图2(a)表示的左右一致性检测,使用位于不同区域的像素点视差值(图中五角星点)进行修正;图2(b)表示的区域一致性检测,使用位于同一区域的像素点视差值(图中五角星点)进行修正,由于遮挡像素位于的同质区域常具有相同视差,而不同区域的视差常不相同,所以采用区域一致性检测进行修正能获得更为准确的视差值。

图 2. 视差精化示意图 (a)左右一致性检测;(b)区域一致性检测

Fig. 2. Disparity refinement diagrams. (a) Left-right consistency check; (b) regional consistency check

下载图片查看所有图片

3 实验结果及分析

基于Matlab平台,采用Middlebury公开数据集进行评测。为减小计算量,首先对原始图像进行2倍下采样。实验中,归一化互相关(NCC)算法的窗口大小为9×9,区域一致性检测的像素差为3,Canny边缘检测的阈值为0.2,权重系数λ为0.2。

遮挡的出现常伴随空间深度的变化,当空间物体的深度信息发生跳变时,形成遮挡的概率更大。同时基于几何光学原理,当左右两相机固定时,空间物体的深度信息突变越大,形成的遮挡区域越大。图3截取了图中两个存在遮挡的区域,将其分别用矩形框和圆形框标出。其中A_*(下标*代表1和2)点为左端点、B_*为右端点,A'_*、B'_*为左图中A_*、B_*点在右图中的匹配点。对经过校正后的左右图进行搜索匹配时,尽管点A'₁、B'₁的实际距离和A'₂、B'₂相等,但由于A'₁、B'₁所在表面深度差很大,其产生的遮挡将如图3(a)所示框中区域变得很大。因此,本研究对Middlebury2006数据集进行了选取,根据遮挡的程度,将数据集分为存在大量遮挡的数据集和存在较少遮挡的数据集。图4中,从上到下分别为Wood1、Baby1和Lampshade1的结果,从左至右的每一列分别为左图、真值图、NCC残差图、本文算法的残差图。从第3列和第4列的残差图中可以明显看出,针对白色矩形框内的遮挡部分,本文的算法去遮挡效果更好、误匹配率更低。

表1和表2分别表示对于存在大量遮挡的数据集和存在较少遮挡的数据集,原始NCC和本文算法的误匹配率。由表1和表2可知,本文算法对于大区域遮挡场景的去遮挡效果良好,误匹配率显著降低;对于遮挡较小的场景,相比原始NCC^[17],本文提出的算法误匹配率更低。

图 3. 遮挡距离解释图。(a)参考图; (b)目标图

Fig. 3. Occlusion distance interpretation diagrams. (a) Reference image; (b) target image

下载图片查看所有图片

图 4. 仿真展示图。(a)左图;(b)真值图;(c) NCC残差图;(d)本文算法残差图

Fig. 4. Simulation results. (a) Left images; (b) ground truths; (c) residual figures of NCC; (d) residual figures of proposed algorithm

下载图片查看所有图片

表 1. 左右图存在大量遮挡的误匹配率

Table 1. Mismatching rates of left and right figures with large occlusion%

Item	NCC	Proposed method
Wood1	7.73	4.59
Baby1	6.08	4.07
Baby2	9.32	7.98
Lampshade1	20.00	16.23
Lampshade2	20.99	17.39
Monopoly	30.11	28.21

查看所有表

此外,本文算法是一种加性算法,可以方便地用于现有立体匹配算法中,以改善原始算法的匹配效果。通过将本文算法融合到NCC、绝对误差和算法(SAD)^[18]、误差平方和算法(SSD)^[19]中进行实验检验,并使用Middlebury的数据进行测试,结果如表3所示。从表中可以看出,相比于原始算法,本文方法在各组实验数据中,都能很大程度地降低误匹配率。

表 2. 左右图存在较少遮挡的误匹配率

Table 2. Mismatching rates of left and right figures with less occlusion%

Item	NCC	Proposed method
Aloe	12.14	11.12
Bowling1	16.72	15.39
Cloth1	3.17	2.83
Cloth2	9.62	8.66
Rocks1	10.48	10.26
Wood2	9.33	9.12

查看所有表

表 3. 原始算法与引入本文算法后的误匹配率

Table 3. Mismatching rates of original algorithm and proposed algorithm%

Item	NCC	NCC combined withproposed method	SAD	SAD combined withproposed method	SSD	SSD combined withproposed method
Wood1	7.73	4.59	17.80	13.78	15.84	12.28
Baby1	6.08	4.07	18.33	15.18	13.64	11.33
Baby2	9.32	7.98	23.96	21.08	21.92	19.70
Lampshade1	20.00	16.23	43.23	39.45	39.71	35.60
Lampshade2	20.99	17.39	58.58	57.85	53.80	52.76
Monopoly	30.11	28.21	53.18	50.12	50.37	47.38

查看所有表

4 结论

提出一种基于区域先验信息的立体匹配算法,该方法同时具有对非遮挡区域的高敏感度和对遮挡区域的低敏感度。实验表明,本文方法通过在代价计算和视差精化中引入区域先验信息,能有效降低遮挡区域的误匹配率。此外,本文算法作为一种加性算法,可以方便地融入到其他立体匹配算法中,从而改善原始算法在遮挡区域的匹配效果,降低原始算法在遮挡区域的误匹配率。

参考文献

[1] 许金鑫, 李庆武, 刘艳, 等. 基于色彩权值和树形动态规划的立体匹配算[J]. 光学学报, 2017, 37(12): 1215007.

Xu J X, Li Q W, Liu Y, et al. Stereo matching algorithm based on color weights and tree dynamic programming[J]. Acta Optica Sinica, 2017, 37(12): 1215007.

[2] 卢迪, 林雪. 多种相似性测度结合的局部立体匹配算法[J]. 机器人, 2016, 38(1): 1-7.

Lu D, Lin X. A local stereo matching algorithm based on the combination of multiple similarity measures[J]. Robot, 2016, 38(1): 1-7.

[3] BleyerM,[\s]{1}BreitenederC.[\s]{1}Stereo[\s]{1}matching-state-of-the-art[\s]{1}and[\s]{1}research[\s]{1}challenges[M][\s]{1}∥[\s]{1}Farinella[\s]{1}G,[\s]{1}Battiato[\s]{1}S,[\s]{1}Cipolla[\s]{1}R.[\s]{1}Advanced[\s]{1}topics[\s]{1}in[\s]{1}computer[\s]{1}vision.[\s]{1}London:[\s]{1}Springer,[\s]{1}2013:[\s]{1}143-[\s]{1}179.[\s]{1}

[4] 隋婧, 金伟其. 双目立体视觉技术的实现及其进展[J]. 电子技术应用, 2004, 30(10): 4-6, 12.

Sui J, Jin W Q. Implementation and development of binocular stereo vision technology[J]. Application of Electronic Technique, 2004, 30(10): 4-6, 12.

[5] Bobick A F, Intille S S. Large occlusion stereo[J]. International Journal of Computer Vision, 1999, 33(3): 181-200.

[6] EgnalG,[\s]{1}Wildes[\s]{1}RP.[\s]{1}Detecting[\s]{1}binocular[\s]{1}half-occlusions:[\s]{1}empirical[\s]{1}comparisons[\s]{1}of[\s]{1}four[\s]{1}approaches[C]∥2000[\s]{1}IEEE[\s]{1}Conference[\s]{1}on[\s]{1}Computer[\s]{1}Vision[\s]{1}and[\s]{1}Pattern[\s]{1}Recognition,[\s]{1}June[\s]{1}15-15,[\s]{1}2000,[\s]{1}Hilton[\s]{1}Head[\s]{1}Island,[\s]{1}USA.[\s]{1}New[\s]{1}York:[\s]{1}IEEE,[\s]{1}2002:[\s]{1}466-[\s]{1}473.[\s]{1}

[7] Kolmogorov V, Zabih R. Computing visual correspondence with occlusions using graph cuts[J]. Phd Thesis Stanford Univ, 2013, 2: 508-515.

[8] Ho[\s]{1}YS,[\s]{1}Jang[\s]{1}WS.[\s]{1}Occlusion[\s]{1}detection[\s]{1}using[\s]{1}warping[\s]{1}and[\s]{1}cross-checking[\s]{1}constraints[\s]{1}for[\s]{1}stereo[\s]{1}matching[M][\s]{1}∥Jin[\s]{1}J[\s]{1}S,[\s]{1}Xu[\s]{1}C[\s]{1}S,[\s]{1}Xu[\s]{1}M.[\s]{1}The[\s]{1}era[\s]{1}of[\s]{1}interactive[\s]{1}media.[\s]{1}New[\s]{1}York:[\s]{1}Springer,[\s]{1}2013:[\s]{1}363-[\s]{1}372.[\s]{1}

[9] Liu[\s]{1}TL,[\s]{1}Zhang[\s]{1}PZ,[\s]{1}Luo[\s]{1}LM.[\s]{1}Dense[\s]{1}stereo[\s]{1}correspondence[\s]{1}with[\s]{1}contrast[\s]{1}context[\s]{1}histogram,[\s]{1}segmentation-based[\s]{1}two-pass[\s]{1}aggregation[\s]{1}and[\s]{1}occlusion[\s]{1}handling[M][\s]{1}∥Wada[\s]{1}T,[\s]{1}Huang[\s]{1}F,[\s]{1}Lin[\s]{1}S.[\s]{1}Advances[\s]{1}in[\s]{1}image[\s]{1}and[\s]{1}video[\s]{1}technology.[\s]{1}Berlin,[\s]{1}Heidelberg:[\s]{1}Springer,[\s]{1}2009:[\s]{1}449-[\s]{1}461.[\s]{1}

[10] Oh J D. Kuo C C J. Robust stereo matching with improved graph and surface models and occlusion handling[J]. Journal of Visual Communication and Image Representation, 2010, 21(5/6): 404-415.

[11] Jang W S, Ho Y S. Discontinuity preserving disparity estimation with occlusion handling[J]. Journal of Visual Communication and Image Representation, 2014, 25(7): 1595-1603.

[12] CannyJ.[\s]{1}A[\s]{1}computational[\s]{1}approach[\s]{1}to[\s]{1}edge[\s]{1}detection[M][\s]{1}∥Fischler[\s]{1}M[\s]{1}A,[\s]{1}Firschein[\s]{1}O.[\s]{1}Readings[\s]{1}in[\s]{1}computer[\s]{1}vision.[\s]{1}San[\s]{1}Francisco:[\s]{1}Morgan[\s]{1}Kaufmann,[\s]{1}1987:[\s]{1}184-[\s]{1}203.[\s]{1}

[13] 李仁忠, 刘阳阳, 杨曼, 等. 基于改进的区域生长三维点云分割[J]. 激光与光电子学进展, 2018, 55(5): 051502.

Li R Z, Liu Y Y, Yang M, et al. Three-dimensional point cloud segmentation algorithm based on improved region growing[J]. Laser & Optoelectronics Progress, 2018, 55(5): 051502.

[14] 闫利, 王芮, 刘华, 等. 基于改进代价计算和自适应引导滤波的立体匹配[J]. 光学学报, 2018, 38(11): 1115007.

Yan L, Wang R, Liu H, et al. Stereo matching method based on improved cost computation and adaptive guided filter[J]. Acta Optica Sinica, 2018, 38(11): 1115007.

[15] He K M, Sun J, Tang X O. Guided image filtering[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[16] 刘杰, 张建勋, 代煜, 等. 基于跨尺度引导图像滤波的稠密立体匹配[J]. 光学学报, 2018, 38(1): 0115004.

Liu J, Zhang J X, Dai Y, et al. Dense stereo matching based on cross-scale guided image filtering[J]. Acta Optica Sinica, 2018, 38(1): 0115004.

[17] Zhang Z Y, Deriche R, Faugeras O, et al. A robust technique for matching two uncalibrated images through the recovery of the unknown epipolar geometry[J]. Artificial Intelligence, 1995, 78(1/2): 87-119.

[18] Stefano L D, Marchionni M, Mattoccia S. A fast area-based stereo matching algorithm[J]. Image and Vision Computing, 2004, 22(12): 983-1005.

[19] Scharstein D, Szeliski R, Zabih R. A taxonomy and evaluation of dense two-frame stereo correspondence algorithms[J]. International Journal of Computer Vision, 2002, 47(1/2/3): 7-42.

陈先锋, 郭正华, 伍俊龙, 马帅, 杨平, 许冰. 基于区域先验信息的去遮挡立体匹配算法[J]. 激光与光电子学进展, 2019, 56(19): 191001. Xianfeng Chen, Zhenghua Guo, Junlong Wu, Shuai Ma, Ping Yang, Bing Xu. De-Occlusion Stereo Matching Algorithm Based on Regional Prior Information[J]. Laser & Optoelectronics Progress, 2019, 56(19): 191001.

基于区域先验信息的去遮挡立体匹配算法下载： 1271次

1 引言

2 基于区域先验信息的去遮挡立体匹配算法

2.1 匹配代价计算

图 1. 代价计算

Fig. 1. Cost calculation

2.2 视差精化

图 2. 视差精化示意图 (a)左右一致性检测;(b)区域一致性检测

Fig. 2. Disparity refinement diagrams. (a) Left-right consistency check; (b) regional consistency check

3 实验结果及分析

图 3. 遮挡距离解释图。(a)参考图; (b)目标图

Fig. 3. Occlusion distance interpretation diagrams. (a) Reference image; (b) target image

图 4. 仿真展示图。(a)左图;(b)真值图;(c) NCC残差图;(d)本文算法残差图

Fig. 4. Simulation results. (a) Left images; (b) ground truths; (c) residual figures of NCC; (d) residual figures of proposed algorithm

表 1. 左右图存在大量遮挡的误匹配率

Table 1. Mismatching rates of left and right figures with large occlusion%

表 2. 左右图存在较少遮挡的误匹配率

Table 2. Mismatching rates of left and right figures with less occlusion%

表 3. 原始算法与引入本文算法后的误匹配率

Table 3. Mismatching rates of original algorithm and proposed algorithm%

4 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于区域先验信息的去遮挡立体匹配算法 下载： 1271次

1 引言

2 基于区域先验信息的去遮挡立体匹配算法

2.1 匹配代价计算

图 1. 代价计算

Fig. 1. Cost calculation

2.2 视差精化

图 2. 视差精化示意图 (a)左右一致性检测;(b)区域一致性检测

Fig. 2. Disparity refinement diagrams. (a) Left-right consistency check; (b) regional consistency check

3 实验结果及分析

图 3. 遮挡距离解释图。(a)参考图; (b)目标图

Fig. 3. Occlusion distance interpretation diagrams. (a) Reference image; (b) target image

图 4. 仿真展示图。(a)左图;(b)真值图;(c) NCC残差图;(d)本文算法残差图

Fig. 4. Simulation results. (a) Left images; (b) ground truths; (c) residual figures of NCC; (d) residual figures of proposed algorithm

表 1. 左右图存在大量遮挡的误匹配率

Table 1. Mismatching rates of left and right figures with large occlusion%

表 2. 左右图存在较少遮挡的误匹配率

Table 2. Mismatching rates of left and right figures with less occlusion%

表 3. 原始算法与引入本文算法后的误匹配率

Table 3. Mismatching rates of original algorithm and proposed algorithm%

4 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于区域先验信息的去遮挡立体匹配算法下载： 1271次