激光与光电子学进展, 2018, 55 (3): 031013, 网络出版: 2018-09-10   

基于人眼视觉特性的自适应支持权重立体匹配算法 下载: 1204次

Adaptive Support Weight Stereo Matching Algorithm Based on Human Visual Characteristics
作者单位
南京航空航天大学机电学院, 江苏 南京 210016
摘要
立体匹配是计算机视觉领域研究的重点,大部分立体匹配方法都是将图像当作数字信息进行数学计算,缺少与实际人眼视觉特征的联系。结合人眼的同心圆拮抗式感受野以及符合人眼特性的HSI色彩空间模型对原自适应支持权重(ASW)算法的权重计算进行了改进,并通过左右一致性校验和中值滤波方法进行视差优化。在VS2010平台对几组国际标准图像进行测试,结果表明,相比原始ASW算法,该方法在低纹理区域、深度不连续区域的匹配精度都有所提高,根据测试图像的不同,提高程度在10%至20%不等,总体匹配精度和近年主流局部匹配方法相当。
Abstract
Stereo matching is the focus of research in the field of computer vision. Most of the stereo matching algorithm take mathematical calculation as digital information, and lack the connection with the actual human visual characteristics. We combine the concentric antagonistic receptive field of the human eye and the HSI colour space model to improve the weight calculation of the original adaptive support weight (ASW), and optimize the parallax by means of left-right consistency check and median filtering. The test results of several groups of international standard images in VS2010 platform show that, this method has higher matching accuracy than that of the original ASW algorithm in the low texture regions and depth discontinuities area. According to the difference of the test images, the improvement ranges from 10% to 20%, and the overall matching accuracy is similar to that of the mainstream local matching method in recent years.

1 引言

正常人在获取外界信息时,有75%的信息都来自眼睛。人眼之所以可以感受到场景三维(3D)信息,主要原因就是双眼在获取同一副场景图像时存在视差。利用视差原理可以让计算机也获得3D场景的深度信息,其中的关键就是如何找到图像上的一点在另一幅图像上所对应的点,这就是立体匹配技术。立体匹配技术在视觉导航、3D显示、3D重构等领域都有广泛的应用[1-2]。由于立体匹配的准确性将直接影响所得3D信息的准确性,因此精确又符合人眼视觉特征的立体匹配方法具有重要的意义。

立体匹配算法一般分为全局匹配算法和局部匹配算法。全局匹配算法在本质上属于优化算法,它是将立体匹配问题转化为寻找全局能量函数的问题,代表算法主要有图割法[3]、置信度传播算法[4]和动态规划算法[5]等。全局算法能够获得较低的总误匹配率,但算法复杂度较高,不利于在实际工程中使用。局部匹配算法则是利用待匹配点周围邻域窗口内的信息进行计算从而得到视差图,与全局算法相比,涉及信息量较少、运算时间较快,但是匹配精度略有逊色。

局部匹配算法的代表主要有绝对误差和(SAD)算法、平方误差累积(SSD)算法、归一化互相关(NCC)算法等。Yoon等[6]提出了一种自适应支持权重(ASW)算法,它的实质是根据色彩相似性和几何距离确定权重,为支持窗口内各邻域像素点分配权重值,使与中心点具有很强相似性的邻域点获得较大的权重。这一算法的应用使得局部立体匹配算法的匹配性能可以与全局方法相媲美。近年来,很多学者对局部方法提出了一些改进算法。De-Maeztu等[7]提出一种利用像素颜色信息计算自适应权值的匹配方法,提高了原算法的匹配精度。Einecke等[8]提出了一种基于标准互相关函数进行匹配代价聚合的方法,在提高匹配精度的同时,降低了时间冗余度。龚文彪等[9]提出了一种基于颜色内相关和自适应支撑窗口的方法,同时在匹配代价计算过程中加入rank变换,有效算消除了光照差异的影响,提高了算法精度。但是这些算法往往都是一些数学上的计算,把图像单纯的看成数据集合,将其视做图像处理过程,而非一个视觉的过程,与人眼的视觉特征差别较大,缺少人眼的关注度体制。针对此问题,本文从人眼视觉特性出发,分别从颜色特征和距离特征两方面对传统自适应权重算法的权重分配策略进行了改进。

2 自适应权重算法原理

Yoon等[6]提出的自适应支撑权重算法本质上是根据窗口内各个像素点与待匹配点的颜色相似性和空间接近性为其分配合适的权重。一般来说,窗口内的像素q和待匹配像素p之间的几何距离越大,二者不处于同一表面的可能性也越大;同时,二者颜色差异越大,他们不属于场景同一局部的可能性也越大。因此,当窗口内任意像素q和待匹配像素p的颜色越接近、几何距离越近时,则为其分配更大的权重。具体过程为:在窗口Ωp中,任一像素q和待匹配像素p的颜色差异记为Δc(p,q),两像素的几何距离记为Δg(p,q),由于二者可以认为是相互独立的,像素q的支持权重w(p,q)就可以表示为

w(p,q)=fsΔc(p,q)·fpΔg(p,q),(1)

式中色彩相似性强度为

fsΔc(p,q)=exp-Δc(p,q)γc(2)

式中Δc(p,q)为窗口像素q和待匹配像素p的颜色相似度,用Lab颜色空间中二者的欧几里得距离表示。Lab空间中L代表亮度;a的正数代表红色,负数代表绿色;b的正数代表黄色,可以由RGB空间转化得到。设像素pq在Lab空间的坐标分别是cp= Lp,ap,bpcq= Lq,aq,bq,则Δc(p,q)可表示为

Δc(p,q)=(Lp-Lq)2+(ap-aq)2+(bp-bq)2(3)

(1)式中空间接近性强度为

fpΔg(p,q)=exp-Δg(p,q)γg,(4)

式中Δg(p,q)表示像素点p,q间的几何接近性,即二者在图像平面的欧几里得距离。若像素q的坐标为q(xq,yq),像素p的坐标为p(xp,yp),则

Δg(p,q)=(xp-xq)2+(yp-yq)2(5)

根据(2)~(5)式,像素q的支撑权重为

w(p,q)=exp-Δc(p,q)γc-Δg(p,q)γg,(6)

式中γcγg用来调整颜色相似性和距离接近性对支撑权重的影响程度,依据经验选择。

原算法文献[4]提到,当仅考虑参考图像时,目标图像窗口像素可能来自不同深度,这会对匹配结果产生不良影响,为了最小化这种影响,同时考虑目标图像支持窗口和参考图像支持窗口的权重。根据双权重的思路,参考图像上的待匹配像素p和目标图像上的匹配点 p̅的匹配代价聚合为

C(p,p̅)=qΩp,qΩp¯w(p,q)w(p̅,q̅)δ(q,q̅)qΩp,qΩp¯w(p,q)w(p̅,q̅),(7)

式中δ(q, q̅)是qq̅使用截断绝对差(TAD)法计算的初始匹配代价:

δ(q,q̅)=minc{r,g,b}Ic(q)-Icq̅,T,(8)

式中Ic(q)是像素q在RGB颜色空间的颜色信息,T是截断值,一般选取5到50之间的数值。在匹配代价聚合后,每个像素的视差可以通过赢者通吃(WTA)方法简单的选择出来,即在候选的匹配像素中选择使匹配代价最小的像素作为最终匹配结果:

dp=argmindSdC'(p,pd),(9)

式中Sd为所有可能的视差集合。

3 改进的自适应支撑权重算法

3.1 同心圆拮抗式感受野

人眼的视觉回路中,视网膜上的光传感器(感光细胞)接收光信号并将其传给相应的视觉神经细胞,从而让大脑对相应的光信息产生反应。这些光传感器就是相应的视觉神经细胞的感受野。感受野分为两种,一种是由中心的兴奋作用区域和周边的面积更大的抑制作用区域构成的同心圆拮抗式感受野,另一种是由中心的抑制区域和周边的兴奋区域构成的感受野。人类视觉神经细胞的感受野就是同心圆拮抗式感受野。

Rodieck于1965年提出了同心圆拮抗式感受野具有高斯分布性质的数学模型。也就是说,在人眼的一个视觉场景中,离目标像素越近的点越能够获得更多的关注,同时关注程度的权值与离关注中心的距离关系呈高斯分布。

由于人眼同心圆拮抗式感受野是具有高斯分布性质的数学模型,而原自适应权重算法对几何接近性对权重的影响只是单纯的根据像素点与中心像素的距离分配权重,基于这点,提出一种改进的方法。将(1)式中的由几何接近性Δg(p,q)决定的fpΔg(p,q)变为符合高斯分布的形式:

f'pΔg(p,q)=12πσexp-(Δg-μ)22σ2γg,(10)

式中μ为高斯分布的对称轴横坐标,由于计算时以中心像素为对称点,其坐标为0,即μ=0。σ决定高斯分布的离散程度,由窗口大小决定,窗口越大,相应的σ取值越大,Δg为窗口内像素q和待匹配像素的几何接近性。f'pΔg(p,q)的特性曲线如图1所示。

图 1. (a)高斯分布式权重分配曲线;(b)原算法的权重分配曲线

Fig. 1. (a) Gaussian weight distribution curve; (b) weight distribution curve of original algorithm

下载图片 查看所有图片

可以看到,越接近中心点,曲线衰减的越慢,即中心的附近的像素参考价值大;远离中心的则衰减速度迅速加快,即参考价值迅速变小,这是符合人眼同心圆拮抗式感受野模型特性的。

3.2 HSI色彩空间

除高斯分布式关注度特性外,人眼对颜色的感受还有两个显著的特点:1) 对光强度的敏感程度高于对色彩的敏感程度;2) 对颜色的感受只取决于色调和颜色的饱和度,而与光强无关。基于这两个事实,美国色彩学家孟塞尔提出了HSI色彩空间。其中H为色调,表示一种纯色的颜色属性,与光的频域相关,即是人眼所感受到的颜色;S为饱和度,表示的是纯光被白光稀释的程度;I为光强,体现了图像的亮度或灰度,是独立于颜色的一个量。为了便于色彩处理和识别,HSI色彩空间应用于人眼视觉系统,也在图像处理和计算机视觉的大量算法中得以广泛使用。

HSI模型是一个基于圆柱极坐标的双锥体坐标系,如图2所示。其中色调分量H为颜色矢量与红色矢量的夹角,饱和度分量S为颜色矢量的长度,强度分量I为下圆锥顶点到颜色分量的距离。HSI颜色模型比RGB模型更符合人眼的特性,但本质上只是同一物理量的不同表示方法,二者存在如下转换关系:

图 2. HSI颜色模型

Fig. 2. HSI color model

下载图片 查看所有图片

色调分量为

H=θ,BG360-θ,B>G,(11)

式中

θ=arccos0.5(R-G)+(R+B)(R-G)2+(R-B)(G-B),(12)

饱和度分量为

S=1-3R+G+Bmin(R,G,B),(13)

强度分量为

I=13(R+G+B)I=13(R+G+B)(14)

根据HSI模型与人眼对颜色感受的相符性,对(2)式中颜色相似性Δc(p,q)使用更符合人眼视觉特性的HSI颜色模型来计算,即用二者在HSI颜色空间的欧氏距离表示。由几何关系可以得到:

Δ'c(p,q)=Sp2+Sq2-2SpSqcos(Hp-Hq)+Ip-Iqλ2,(15)

由于HSI颜色模型中色调分量H和饱和度分量S的取值范围都是0~1,而光强分量的取值范围是0~255,为了避免光强分量对颜色相似度Δ'c的判定产生过于决定性的影响,(15)式中引入光强常数λ来调节。当λ=255时,则光强分量对颜色相似度判定的影响程度与饱和度及色调分量一样。在对存在光照变化的低纹理区域进行匹配时,取较小的λ值,可以有效地降低误匹配率。

这样(2)式中,色彩相似性强度变为

f'sΔc(p,q)=exp-Δ'c(p,q)γc,(16)

最终的权重表达式为

w(p,q)=12πσexp-Δg22σ2γg-Δ'c(p,q)γc(17)

4 视差优化

由于摄像机位置的不同,前景对后景的遮挡部分不同,这就造成左图像中的一点在右图像中并没有对应点,但在匹配过程中,匹配算法肯定会赋予该点一个视差值,这就会导致匹配精度下降。为此,采用左右一致性校验(LRC)来检测图像中的遮挡点,并对其进行视差值填充。

左右一致性校验具体做法为:首先分别以左右图像作为参考图像和目标图像求得左右视差图,对于左视差图中的任意一像素p,其视差记为d1,像素p在右视差图中对应的视差值为d2,并设置阈值ε(一般取0,1,2),如果 d1-d2ε,则p为有效匹配点,否则记为无效匹配点。当无效匹配点全部剔出后,对其进行视差值填充:对于某一无效匹配点p,分别向左和向右寻找第一个有效匹配点,两个点视差值分别记为dldr,令p的视差dp=min(dl,dr),即取后景的视差值作为遮挡部分的视差值。

在上述处理结束后,视差图中通常只会剩有一些孤立的噪声点和误匹配点,因此再对处理后的视差图做3 pixel×3 pixel中值滤波处理,可以有效剔除这些干扰,提高匹配精度。

5 实验结果及分析

实验采用Middlebury测试平台上提供的三组标准立体图像对,分别为Venus、Teddy、Cones。计算机硬件配置为Inter Core i7 CPU,主频为3.6 GHz,内存容量为8 GB。软件编程环境为Visual Studio 2010和Opencv 2.4。为方便实验对比,按原ASW算法选取参数:窗口尺寸N=35,截断值T=40,两个经验参数γc=5,γg=17.5。

为了验证两处权重分配准则的改动对算法性能的影响,分别对只使用高斯分布式空间接近性强度和HSI空间颜色相似性强度的算法进行测试。使用Middlebury平台提供的误匹配像素比率评价指标(PBM)的测试对比结果如表1,其中Non、All、Disc分别表示非遮挡区域误匹配率、所有区域误匹配率、深度不连续区域误匹配率,Avg为上述三者的平均误匹配率。

总体上来看,高斯分布式几何距离权重和HSI空间色彩权重都对实验正确率提高有所贡献,但高斯分布的引入对实验结果的影响更大一些。而Teddy图中由于存在多块颜色相同但光照有变化区域,HSI空间模型的引入对结果影响有所提升,这是模型中光强分量和色彩分量分开独立计算的原因。

同时,为了说明(17)式中σλ取值对匹配结果的影响,分别在上述两种实验情况中改变参数的取值,得到的Avg变化如图3所示。

表 1. 分别只改进一项权重分配法则的实验结果

Table 1. Experimental result with only one weight distribution rule improved%

ConditionVenusConesTeddyAvg
NonAllDiscNonAllDiscNonAllDisc
Gauss only0.580.874.123.459.538.217.6812.717.17.14
HSI only0.661.055.263.749.778.187.6212.517.37.34
ASW0.711.196.133.979.798.267.8813.318.67.76

查看所有表

图 3. 误匹配率分别随(a) σ和(b) λ变化情况

Fig. 3. Matching error rate versus (a) σ or (b) λ values

下载图片 查看所有图片

图3可知,σ取值为2~2.5时,误匹配率相对较低,但是光强常数λ的取值则根据测试图像的不同而对结果有不同的影响, Teddy图中可以比较直观地看到误匹配率随着λ上升呈下降趋势,另外两幅图像中λ=300左右时误匹配率相对较低。通过前述的实验分析,在最终的算法测试时,参数取值为σ=2.2,λ=300。图4是计算出的最终结果以及对比图,从上到下依次为测试图Teddy、Venus、Cones。

图 4. 视差计算结果。(a)真实视差图;(b)原ASW算法;(c)本文算法

Fig. 4. Results of parallax calculation. (a) Real parallax; (b) original ASW algorithm; (c) proposed algorithm

下载图片 查看所有图片

从直观上可以看出,按本文算法在原ASW算法上引入符合人眼视觉特征的权重分配方法后,原方法在Teddy和Venus图中低纹理区域的误匹配很大程度上得到解决,同时,深度不连续部分的误匹配也得到直观的改善。但是,Teddy和Cones图中的重复纹理区域的误匹配依然存在,表2为本文算法与现有的一些经典算法的误匹配率结果对比。

另外,国内外有不少学者也对ASW算法进行了优化改进,如文献[ 10]中的基于颜色区域生长的自适应支持权重(CAG)方法、文献[ 11]中的两路自适应支持权重(TP)方法、文献[ 12]中的联合近似双边滤波(FBS)方法等。本文算法与这些改进ASW算法的误匹配率和运算时间比较结果如表3所示。

表 2. 本文算法和其他算法的误匹配率比较

Table 2. Comparison of matching error rate with proposed algorithm and other algorithms%

AlgorithmVenusConesTeddyAvg
NonAllDiscNonAllDiscNonAllDisc
Region TreeDP[13]0.220.571.936.3111.911.87.4211.916.87.65
DoubleBP[14]0.310.451.872.908.787.793.538.309.634.84
HEBF[15]0.220.332.412.789.288.106.5411.815.26.29
Cross-Based[16]0.620.963.206.2812.712.99.7515.118.28.86
ASW0.711.196.133.979.798.267.8813.318.67.76
Proposed0.540.823.813.379.438.127.4912.616.16.92

查看所有表

表 3. 本文算法和其他算法的误匹配率和运算时间比较

Table 3. Comparison of matching error rate and operation time with proposed algorithm and other algorithms

AlgorithmVenusConesTeddyAvg /%
Non /%All /%Disc /%Time /sNon /%All /%Disc /%Time /sNon /%All /%Disc /%Time /s
CAG1.582.029.908.594.9810.812.310.510.115.721.99.319.92
TP0.340.924.5510.83.109.318.5914.59.8315.320.314.98.03
FBS0.400.813.3815.63.489.348.8120.17.6513.316.221.37.04
Proposed0.540.823.8138.23.379.438.1249.77.4912.616.151.36.92

查看所有表

通过表2、3可以看出,本文算法相比原始ASW算法,错误率明显下降,虽然准确率落后于Double BP等全局算法,但是要优于Region Tree DP、Cross-Based等局部算法。同时,与其他改进ASW算法相比误匹配率都更小。考虑到近年来硬件水平的提高,以及算法加速方法的发展,计算耗时问题已经得到很大解决,本文算法并没有在减少计算量上做很多工作,因此和其他改进ASW算法相比匹配时间上还有待提高,但本文算法适合于并行结构设计,后续会通过统一计算架构(CUDA)进行并行优化。

6 结论

根据人眼视觉特征提出了一种改进的自适应权重算法,并在VS2010平台上进行了测试。本文算法一方面通过改变方法窗口内的距离权重计算方法,从而改变权重分布,提高匹配精度,另一方面使用HSI颜色模型计算颜色相似性,进一步提高视差计算的准确度,再利用左右一致性校验和中值滤波方法对视差图进行优化。与其他方法的实验对比,结果表明本文改进算法可以有效降低原算法在各个不同区域的误匹配率,平均误匹配率为6.92%,匹配效果优于大部分其他局部算法和其他改进ASW算法,但计算速度上有待提高。

参考文献

[1] 单宝华, 霍晓洋, 刘洋. 一种极线约束修正数字图像相关匹配的立体视觉测量方法[J]. 中国激光, 2017, 44(8): 0804003.

    Shan B H, Huo X Y, Liu Y. A stereovision measurement method using epipolar constraint to correct digital image correlation matching[J]. Chinese Journal of Lasers, 2017, 44(8): 0804003.

[2] 桑新柱, 于迅博, 陈铎, 等. 三维光显示技术研究进展[J]. 激光与光电子学进展, 2017, 54(5): 050006.

    Sang X Z, Yu X B, Chen D, et al. Research progress on three-dimensional optical display technology[J]. Laser & Optoelectronics Progress, 2017, 54(5): 050006.

[3] 龚文彪, 顾国华, 钱惟贤, 等. 基于图像分割和自适应支撑权重的立体匹配算法[J]. 光学学报, 2015, 35(s2): s210002.

    Gong W B, Gu G H, Qian W X, et al. Stereo matching algorithm based on image segmentation and adaptive support weight[J]. Acta Optica Sinica, 2015, 35(s2): s210002.

[4] Besse F, Rother C, Fitzgibbon A, et al. PMBP: Patch Match belief propagation for correspondence field estimation[J]. International Journal of Computer Vision, 2014, 110(1): 2-13.

[5] 祝世平, 闫利那, 李政. 基于改进Census变换和动态规划的立体匹配算法[J]. 光学学报, 2016, 36(4): 0415001.

    Zhu S P, Yan L N, Li Z. Stereo matching algorithm based on improved Census transform and dynamic programming[J]. Acta Optica Sinica, 2016, 36(4): 0415001.

[6] Yoon K J, Kweon I S. Adaptive support-weight approach for correspondence search[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2006, 28(4): 650-656.

[7] De-Maeztu L, Villanueva A, Cabeza R. Stereo matching using gradient similarity and locally adaptive support-weight[J]. Pattern Recognition Letters, 2011, 32(13): 1643-1651.

[8] EineckeN, EddertJ. A two-stage correlation method for stereoscopic depth estimation[C]. 2010 International Conference on Digital Image Computing: Techniques and Applications (DICTA).2010: 227- 234.

[9] 龚文彪, 顾国华, 钱惟贤, 等. 基于颜色内相关和自适应支撑权重的立体匹配算法[J]. 中国激光, 2014, 41(8): 0812001.

    Gong W B, Gu G H, Qian W X, et al. Stereo matching algorithm based on the inter color correlation and adaptive support weight[J]. Chinese Journal of Lasers, 2014, 41(8): 0812001.

[10] 吴方, 王沛. 一种改进的自适应权重立体匹配算法与校正[J]. 电视技术, 2012, 36(11): 19-23.

    Wu F, Wang P. Improved adaptive support-weight algorithm and adjustment[J]. Video Engineering, 2012, 36(11): 19-23.

[11] WangL, LiaoM, GongM, et al. High-quality real-time stereo using adaptive cost aggregation and dynamic programming[C]// Proceedings of the third International Symposium on 3D Data Processing, Visualization, and Transmission, 2006: 798- 805.

[12] MattocciaS, VitiM, RiesF. Near real-time fast bilateral stereo on the GPU[C]// Proceedings of the IEEE International Conference on Computer Vision and Pattern Recognition Workshops, 2011: 136- 143.

[13] LeiC, SelzerJ, YangY. Region-tree based stereo using dynamic programming optimization[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2006: 2378- 2385.

[14] Yang Q X, Wang L, Yang R G, et al. Stereo matching with color-weighted correlation, hierarchical belief propagation, and occlusion handling[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(3): 492-504.

[15] Yang Q X. Hardware-efficient bilateral filtering for stereo matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2014, 36(5): 1026-1032.

[16] Zhang K, Lu J, Lafruit G. Cross-based local stereo matching using orthogonal integral images[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2009, 19(7): 1073-1079.

刘雪松, 沈建新, 张燕平. 基于人眼视觉特性的自适应支持权重立体匹配算法[J]. 激光与光电子学进展, 2018, 55(3): 031013. Xuesong Liu, Jianxin Shen, Yanping Zhang. Adaptive Support Weight Stereo Matching Algorithm Based on Human Visual Characteristics[J]. Laser & Optoelectronics Progress, 2018, 55(3): 031013.

本文已被 4 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!