基于背景连续性先验知识的显著性检测

金一康; 于凤芹

doi:doi:10.3788/LOP56.121006

激光与光电子学进展, 2019, 56 (12): 121006, 网络出版: 2019-06-13

基于背景连续性先验知识的显著性检测下载： 892次

Saliency Detection Based on Background Continuity Priori Knowledge

论文大纲

金一康 ^*于凤芹

作者单位

江南大学物联网学院, 江苏无锡 214122

图像处理显著性检测超像素最短路径边界先验知识 image processing saliency detection super-pixels shortest path boundary priori knowledge

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

基于背景连续性先验知识,提出了一种新的显著性检测方法。该方法首先对图像进行超像素分割,寻找任意一组超像素间的最短长度路径,并根据路径中的超像素与路径首尾两端的超像素的色彩差异计算出超像素的前景权重。经过基于色彩差异的前景权重修正和基于边界先验知识的显著性优化,得到最终的显著性检测结果。所提方法在多个图像数据集上进行了检测效果测试,均取得了优异的表现。

Abstract

Based on the background continuity priori knowledge, we propose a new saliency-detection method. In this method, an image is first abstracted as a set of super-pixels. We then search the shortest path and calculate the foreground weight of each super-pixel in the path according to its color difference with those at two ends of the path. We also integrate the color-difference-based foreground weight correction with the boundary priori knowledge based saliency optimization to obtain the final saliency detection results. The proposed method is extensively evaluated on several public datasets and the experimental results confirm its state-of-the-art performance.

1 引言

显著性检测的目的是高效准确地区分图像中的背景和前景区域,帮助计算机快速注意到图像的重要部分,并利于计算资源在图像分析和处理过程中进行优先分配。最终提取出的显著性图像可以广泛应用于计算机视觉领域,包括图像分割^[1]、目标识别^[2],以及图像检索^[3]等。

为了解决显著性检测问题,通常需要借助一些基于前景和背景的属性或位置特点的先验知识。在之前的研究中常使用一种对图像中心区域给予更高显著性的中心先验知识,该中心先验知识对于前景物体的大小和所处位置有着严格的限制。其常被计算用作结合其他显著性线索使用的权值^[4-5]或是一些基于学习方法的特征^[6]。另一种对比度先验知识则假设图像中的目标物体与其周围的背景区域具备较高的特征对比度,并被几乎所有的显著性检测方法所采用^[4-9]。最近的研究工作中提出了一种将图像边界区域视作背景的边界先验知识 ^[6-7,9],在文献[ 6]中,图像内区域与边界的对比度被作为算法学习的一种特征。在文献[ 7]中,图像局部区域的显著性被定义为其到图像边界的最短测地距离,因为在边界先验知识的假设下,图像的背景区域到达图像边界的最短测地距离要远小于前景区域。但若图像中的前景物体与图像的边界相接触,这些前景物体就会被误认为背景,为此Zhu等^[9]考虑物体与图像边界的接触程度,提出了边界连通性的计算,若物体仅仅只有小部分与边界接触,则不认为其为背景区域。

本文提出了一种新的先验知识——图像背景连续性先验知识,该先验知识假设图像中的前景物体被相同颜色和纹理的背景区域所环绕,同时基于此假设给出一种新的显著性检测方法。背景连续性先验知识体现的是图像中前景物体和背景区域的空间联系,并基于两者在图像中的分布关系给出关于前景和背景的定义。本文先对图像进行超像素分割,寻找超像素间的长度最短路径,并基于背景连续的假设计算路径中超像素的前景权重,然后根据超像素间的色彩差异修正极少部分错误的前景权重,最后结合基于边界先验知识的背景权重得到了最终的显著性图。

2 基于背景连续性先验知识的显著性检测

2.1 基于背景连续性的图像分析

在自然图像中,物体和背景不仅各自有着独特的属性特点,而且两者之间也存在着特殊的空间分布关系。这种特殊关系简单来说就是图像中的物体常“嵌入”于背景中,使得物体周围被相同颜色和纹理的背景区域环绕。从整体图像来看,背景与物体如同溪流与裸露在水面的石头,石头阻碍了溪流的流动,而物体“阻碍”了背景在图像中的空间连续性,这也是本文将这一物体和背景的关系称为背景连续性的原因。

一幅只有背景没有前景的图像,其任意局部区域应该都表现为连续分布的背景区域,如图1的b类局部区域所示,当图像中出现“嵌入”于背景的前景物体时就会出现a、c和d类的局部区域。人在基于整体的图像分析下可以轻易地分辨a、c和d类局部区域中的前景和背景部分,但是如果抛开整体图像而只基于局部区域,这种辨别就会变得困难。同样地,对于计算机而言,想要区分局部区域中的前景和背景部分,就需要人为设立一些特定的规则。本研究基于背景连续的假设,认为正是前景物体阻断了背景的连续分布才使其凸显,所以针对a类局部区域,让计算机简单地认为具有这种阻断特点的白色区域为前景部分,两边的绿色区域为背景部分,而对于b、c和d类局部区域,计算机则不能做出判断。

图 1. 图像中的典型局部区域

Fig. 1. Typical local areas in image

下载图片查看所有图片

2.2 基于背景连续性的前景权重计算

先对整幅图像作SLIC(Simple Linear Iterative Clustering)超像素分割^[10],以超像素作为计算单元。SLIC对图像进行局部的聚类,在一定程度上弱化了图像的纹理细节,在模糊图像的同时,又能保留重要边缘。

对图像分割得到超像素集合,可表示为 $\begin{matrix} {p_{i}}_{i = 1}^{N} \end{matrix}$ ,其中N表示分割得到的超像素数量,p_i表示第i个超像素块。将连接第s个超像素块p_s和第t个超像素块p_t的所有路径集合表示为Π_s_,_t,其中任意一条路径定义为其间所经过超像素的序列并表示为π= $\begin{matrix} {π_{i}}_{i = 1}^{n} \end{matrix}$ ,π∈Π_s_,_t,令λ(π)表示为路径π的长度,即路径中所包含超像素的数量。在文献[ 7-9]中,为了计算p_s和p_t间的测地距离,常需要寻找其所有连接路径中超像素间的差异和最小的路径π_geo。为了寻找近似于图1中的a类局部区域,本研究寻找超像素间所有路径中长度最短的路径并表示为π_ml,如图2所示,其定义为

\begin{matrix} π_{ml} = \underset{π \in Πs, t}{\arg} minλ (π), (1) \end{matrix}

在寻找π_geo时,常通过建立相邻超像素间的无向权重图并使用Johnson寻找最短路径算法来解决。在超像素间寻找π_ml与寻找π_geo类似,不同的是本研究将建立的无向权重图中所有的相邻超像素间权重设定为1。

图 2. 超像素间的长度最短路径

Fig. 2. Shortest path among super-pixels

下载图片查看所有图片

找到任意一组超像素间长度为k的最短路径π_ml= $\begin{matrix} {π_{i}}_{i = 1}^{k} \end{matrix}$ 后,基于上文分析先给出π_i∈π_ml属于前景的权重的计算公式,即

\begin{matrix} \begin{matrix} F (π_{i}) = & \exp [- \frac{d_{eu}^{2} (π_{1}, π_{k})}{2 σ_{f}^{2}}] \cdot \min [d_{eu} (π_{i}, π_{1}), d_{eu} (π_{i}, π_{k})], \end{matrix} (2) \end{matrix}

式中:d_eu(·)为CIELab颜色空间的欧氏距离;σ_f为一个用于控制颜色差异敏感度的参数,σ_f越小,其所在指数项对于颜色的差异越敏感。(2)式中第1项指数函数用于判断路径首尾的超像素颜色是否相似;第2项用于选取路径中超像素与路径首尾两端超像素的最小颜色差异。实验中取σ_f为20,可使指数项能够在分辨明显的颜色差异的前提下还能容忍一定程度的颜色偏差。基于背景连续性只对图1中的a类局部区域进行判断,用(2)式中的第1项指数项筛选合适局部区域,第2项给予该局部区域中的凸显部分以相应的前景权重。为了筛选到所有合适的局部区域,需要遍历图像中所有两两超像素间的长度最短路径。故任意超像素都可能处于多个不同的长度最短路径当中,并可得到多个不同的前景权重。本文取所有这些可能权值中的最大值作为最终的前景权重。

在实验中发现,利用(2)式计算得到的前景权重来体现图像中物体的显著性在大多数情况下并不能取得良好的效果。这是由于图像中的许多物体因弯曲或者自身的形状特点,会形成沟状区域,如图3(a)所示,在这些沟状区域中形成了前景对背景的环绕,并最终导致了沟状区域中背景部分的前景权重过高,使得整体的显著性图像呈现出团状的显著性区域,而无法展现图像细节,如图3(c)所示。尽管如此,由于图像中大部分的背景和前景区域仍然得到了合适的前景权重,本研究仍然利用简单的基于超像素间颜色差异的大小,来修正个别与其他前景或背景区域特征相近但被误判的超像素的前景权重,修正后的超像素p_i的前景权重表示为R_i,计算公式为

\begin{matrix} R_{i} = \overset{N}{\sum_{j = 1}} w_{i, j} \cdot F (p_{j}), (3) \end{matrix}

式中:

\begin{matrix} w_{i, j} = \frac{1}{z_{i}} \exp [- \frac{d_{eu}^{2} (p_{i}, p_{j})}{2 σ_{d}^{2}}], (4) \end{matrix}

其中,z_i为一个归一化常数,其目的是使 $\begin{matrix} \overset{N}{\sum_{j = 1}} \end{matrix}$ w_i_,_j=1。σ_d作为参数,其实际作用和具体取值可以参考(2)式。由图3(d)可知,再分配有效地改善了图像的显著性效果,得到的显著性区域能够展现更多的细节。

图 3. 基于背景连续性计算图像中超像素前景权重的各个阶段。(a)原图像;(b) SLIC分割;(c)修正前的前景权重;(d)修正后的前景权重

Fig. 3. Each stage for calculating foreground weight of each super-pixel of image based on background continuity. (a) Original image; (b) SLIC segmentation; (c) foreground weight before correction; (d) foreground weight after correction

下载图片查看所有图片

3 结合边界先验知识的显著性优化

结合背景连续性先验知识与边界先验知识,以期望得到更好的显著性效果。以超像素作为基本单位,计算图像中任意超像素p_i与图像中属于边界的超像素集合中所有元素的颜色差异,并取其中最小的颜色差异作为评价其是否属于背景的依据。令B_i为超像素p_i的背景权重,其计算公式为

\begin{matrix} B_{i} = \exp [- \frac{1}{2 σ_{bg}^{2}} \cdot \min_{qj \in Qbnd} d_{geo}^{2} (p_{i}, q_{j})], (5) \end{matrix}

式中:Q_bnd为属于图像边界的超像素集合;q_j为集合Q_bnd中的第j个超像素;d_geo(p_i,q_j)为p_i和q_j在CIELab颜色空间的测地距离;σ_bg用于控制B_i对于测地距离变化的敏感度,σ_bg越大,(5)式对于距离变化的容忍度越高。由于计算测地距离需要对颜色差异进行累加,相比于(2)式中的σ_f,本研究取更大的值50,可使(5)式在测地距离明显变化的前提下还能容忍小幅的波动。

结合基于背景连续性计算得到的前景权重,令新的权重表示为S_i,并定义为两者的乘积

\begin{matrix} S_{i} = R_{i} \cdot (1 - B_{i}), (6) \end{matrix}

用归一化新权重得到的显著性图像相比用(2)式权重得到的显著性图像,显著性区域更加集中,周围过高的背景显著性值得到了有效抑制。但由于(6)式中权重相乘的缘故,得到的S_i可能产生远高于均值的极值,归一化后反而使得整体的显著性效果下降。所以需要对S_i中的极值进行抑制,同时使呈现出的显著性区域分布更佳均匀。本研究对S_i进行优化并表示为 $\begin{matrix} S_{i}^{*} \end{matrix}$ ,其优化公式为

\begin{matrix} S_{i}^{*} = \frac{1}{1 + \exp [- a \cdot (S_{i} - b)]}, (7) \end{matrix}

式中:a为对比度调整参数;b为极值抑制参数。参数a用于控制S_i与b差异大小的敏感度,过大的a会使 $\begin{matrix} S_{i}^{*} \end{matrix}$ 的值呈现[0,1]的两极分布,而参数b则用于抑制S_i中的极值,在本实验中取其为所有S_i均值的2倍。

因为本节使用的边界先验知识方法会把所有与边界接壤的区域都认为是背景区域,一旦图像中前景物体与边界接壤,该方法就会失效,导致优化后的显著性效果反而不如优化之前。

4 实验仿真

使用3个标准图片数据集做对比实验,其分别为ASD^[11]、ECSSD^[4]和PASCAL-S^[12]数据集。这3个数据集中的图片都带有人工标注的显著性区域(GT),其中ASD^[11]是一个常用图片集,里面的图片一般只包含相对简单的背景区域。相比之下,ECSSD^[4]和PASCAL-S^[12]中图片的背景更加复杂,而且物体相对背景的颜色和纹理差异不大,对于显著性检测而言更具挑战性。针对显著性效果,本研究把基于背景连续性的显著性检测同一些常用的显著性算法:GS (geodesic saliency)算法^[7]、SF (saliency filters)算法^[13]、MR (manifold ranking)算法^[8]和SO (saliency optimization)算法^[9]在每个数据集上都做了评估对比,部分显著性效果的对比如图4所示。

图 4. 各种方法在ASD数据集上的部分显著性检测效果对比

Fig. 4. Partial saliency detection results of each method on ASD dataset

下载图片查看所有图片

评估显著性效果采用以下3种指标:准确性、召回率和F_β值(F-measure)。其中,准确性是指算法正确检测到的显著区域占检测得到的显著区域的比值,召回率是指算法正确检测到的显著区域占人工标注显著区域的比值,F_β值是一个综合评价准确率和召回率的评价方式。

首先采用文献[ 11]中的自适应阈值方法对测试算法在数据集上得到的显著性图像进行二值分割并计算准确性、召回率和F_β值,其中F_β值定义为

\begin{matrix} F_{β} = \frac{(1 + β^{2}) \cdot V_{Precision} \cdot V_{Recall}}{β^{2} \cdot V_{Precision} + V_{Recall}}, (8) \end{matrix}

式中:V_Precision和V_Recall分别为准确率和召回率的值;β为平衡准确性和召回率的重要参数。与文献[ 11]一样,本文取β²为0.3。

准确率-召回率(PR)曲线:算法的准确率可以通过降低召回率得到提升,反之亦然,所以需要把两者结合起来,采用准确率-召回率曲线的方式考察算法的性能。为了获取准确率-召回率曲线,首先设定一个阈值T∈[0,255],使用该阈值对算法处理得到的显著性图像进行二值化。然后结合人工标注的二值图,计算所有不同阈值下的准确率和召回率并得到曲线。最后在整个数据集中取准确率、召回率曲线的均值。

平均绝对误差(MAE):无论是准确率还是召回率都不能直接体现算法结果与人工标注显著区域的差异大小。为了得到显著性算法间更加全面的比较结果,使用算法所得显著图和人工标注显著图来计算平均绝对误差。对于任意一幅显著性图像S和人工标注显著图G,使用文献[ 13]中的平均绝对误差来进行定义,即

\begin{matrix} E_{mae} = \frac{1}{W \cdot H} \cdot \overset{W}{\sum_{x = 1}} \overset{H}{\sum_{y = 1}} |S (x, y) - G (x, y)|, (9) \end{matrix}

式中:W和H分别为图像的宽度和高度;(x,y)为图像中的位置坐标;S(x,y)和G(x,y)分别为在图像对应坐标位置的灰度值。最后对数据集中所有图像的平均绝对误差取平均值。

图5~6展示了以上所有的评价指标的对比结果,图中Our代表本文显著性优化前的方法,Our*代表本文显著性优化后的方法。由图可知,显著性优化前,本文方法在各个数据集的效果表现都与SF算法^[13]相近,优化后,各项评价指标均得到了明显提升,接近于显著性效果最好的SO算法^[9]和MR算法^[8]。

文献[ 9,13-17]采用图像中超像素间的全局或局部颜色对比度作为整体算法中的显著性线索或能量函数的前景权重。本文基于背景连续性计算得到的前景权重相较于全局或者局部对比度,能够作为一种更好的显著性线索或者前景权重来服务于整体的显著性算法,如图7所示。表1比较了3种方法在ASD^[11]数据集上的准确率、召回率和F_β值,由表可知本文方法的召回率和F_β值都要优于其他两种方法。

图 5. 在3个数据集上的PR曲线和平均绝对误差的对比图。(a)(b) ASD;(c)(d) PASCAL-S;(e)(f) ECSSD

Fig. 5. PR curves and MAEs on three datasets. (a)(b) ASD; (c)(d) PASCAL-S; (e)(f) ECSSD

下载图片查看所有图片

图 6. 在3个数据集上各方法的对比。(a) ASD;(b) PASCAL-S;(c) ECSSD

Fig. 6. Comparison of different methods on three datasets. (a) ASD; (b) PASCAL-S; (c) ECSSD

下载图片查看所有图片

图 7. 3种方法对图像处理后的显著性效果对比。(a)原图像;(b)基于全局对比度;(c)基于局部对比度;(d)基于背景连续性

Fig. 7. Comparison of saliency results for image processed by three methods. (a) Original image; (b) based on global contrast; (c) based on local contrast; (d) based on background continuity

下载图片查看所有图片

表2比较了本文方法和其他显著性检测方法的Matlab实现在ASD^[13]数据集上的平均运算时间,所有的运算均在Core i5-2450M 2.5 GHz的个人计算机上进行。

在本文算法的运算中,由于结合寻找最短路径的前景权重计算优化不够,消耗了大量的运算时间,即几乎90%的时间都被用来计算前景权重,而仅有剩下不到10%的时间被用于再分配权值和显著性优化。

表 1. 3种方法在ASD数据集上得到的各指标数值对比

Table 1. Comparison of all index values obtained by three methods on ASD dataset

Evaluationindex	Localcontrast	Globalcontrast	Backgroundcontinuity
Precision	0.8608	0.7458	0.8476
Recall	0.5405	0.6955	0.7411
F_β	0.7572	0.7336	0.8204

查看所有表

表 2. 各种算法的运算时间对比

Table 2. Comparison of running time for different methods

Method	SF^[13]	GS^[8]	MR^[9]	SO^[10]	Ours
Running time /s	0.265	0.269	0.270	0.319	0.937

查看所有表

5 结论

基于背景连续性先验知识,提出一种新的显著性检测方法。通过超像素分割并寻找超像素间的长度最短路径来近似图像中的局部区域,选取图像中的特定局部区域并计算其中超像素块的前景权重。最后经过基于色彩差异的前景权重修正和结合边界先验知识的显著性优化得到最终的显著性检测结果。

但本文方法也存在着局限性,因为其是在基于前景区域被相似属性背景区域环绕的假设上而成立的,所以一旦图像中的背景环境复杂,存在不同属性特点的背景区域环绕前景物体,则本文方法的实现效果就会被削弱。在极端情况下,即不存在相似属性的背景区域环绕前景物体,则该方法会完全失效。

同时由于本文算法把超像素作为基本计算单元,所以得到的超像素的形状是否规整,排列是否紧密都会影响最终的算法效果。本文采用测地距离替代欧氏距离进行像素间的聚类,达到了提升SLIC的分割效果。在未来的研究中,可以考虑结合超像素的颜色和纹理特征来计算前景权重,以期获得更好的实验效果。

参考文献

[1] Rother C, Kolmogorov V, Blake A. “GrabCut”: interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics, 2004, 23(3): 309-314.

[2] RutishauserU, WaltherD, KochC, et al. Is bottom-up attention useful for object recognition?[C]∥Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2004, June 27-July 2, 2004, Washington, DC, USA. New York: IEEE, 2004: 37- 44.

[3] Chen T, Cheng M M, Tan P, et al. Sketch2Photo: internet image montage[J]. ACM Transactions on Graphics, 2009, 28(5): 124.

[4] YanQ, XuL, Shi JP, et al. Hierarchical saliency detection[C]∥2013 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 1155- 1162.

[5] Cheng MM, WarrellJ, Lin WY, et al. Efficient salient region detection with soft image abstraction[C]∥2013 IEEE International Conference on Computer Vision, December 1-8, 2013, Sydney, NSW, Australia. New York: IEEE, 2013: 1529- 1536.

[6] Jiang HZ, Wang JD, Yuan ZJ, et al. Salient object detection: a discriminative regional feature integration approach[C]∥2013 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 2083- 2090.

[7] Wei YC, WenF, Zhu WJ, et al. Geodesic saliency using background priors[M] ∥Fitzgibbon A, Lazebnik S, Perona P, et al. Computer Vision-ECCV 2012. Berlin, Heidelberg: Springer, 2012: 29- 42.

[8] YangC, Zhang LH, Lu HC, et al. Saliency detection via graph-based manifold ranking[C]∥2013 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 3166- 3173.

[9] Zhu WJ, LiangS, Wei YC, et al. Saliency optimization from robust background detection[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 2814- 2821.

[10] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[11] AchantaR, HemamiS, EstradaF, et al. Frequency-tuned salient region detection[C]∥2019 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, Florida, USA. New York: IEEE, 2009: 1597- 1604.

[12] LiY, Hou XD, KochC, et al. The secrets of salient object segmentation[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 280- 287.

[13] PerazziF, KrähenbühlP, PritchY, et al. Saliency filters: contrast based filtering for salient region detection[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI, USA. New York: IEEE, 2012: 733- 740.

[14] You TT, TangY. Visual saliency detection based on adaptive fusion of color and texture features[C]∥2017 3rd IEEE International Conference on Computer and Communications (ICCC), December 13-16, 2017, Chengdu, China. New York: IEEE, 2017: 2034- 2039.

[15] 闫琦, 李慧, 荆林海, 等. 一种超像素区域相似性度量的遥感信息提取算法[J]. 激光与光电子学进展, 2017, 54(8): 081004.

Yan Q, Li H, Jing L H, et al. An extraction algorithm of remote sensing information based on similarity measurement for superpixel regions[J]. Laser & Optoelectronics Progress, 2017, 54(8): 081004.

[16] 李庆武, 周亚琴, 马云鹏, 等. 基于双目视觉的显著性目标检测方法[J]. 光学学报, 2018, 38(3): 0315002.

Li Q W, Zhou Y Q, Ma Y P, et al. Salient object detection method based on binocular vision[J]. Acta Optica Sinica, 2018, 38(3): 0315002.

[17] 张松龙, 谢林柏. 基于全部卷积特征融合的显著性检测[J]. 激光与光电子学进展, 2018, 55(10): 101502.

Zhang S L, Xie L B. Salient detection based on all convolutional feature combination[J]. Laser & Optoelectronics Progress, 2018, 55(10): 101502.

金一康, 于凤芹. 基于背景连续性先验知识的显著性检测[J]. 激光与光电子学进展, 2019, 56(12): 121006. Yikang Jin, Fengqin Yu. Saliency Detection Based on Background Continuity Priori Knowledge[J]. Laser & Optoelectronics Progress, 2019, 56(12): 121006.

基于背景连续性先验知识的显著性检测下载： 892次

1 引言

2 基于背景连续性先验知识的显著性检测

2.1 基于背景连续性的图像分析

图 1. 图像中的典型局部区域

Fig. 1. Typical local areas in image

2.2 基于背景连续性的前景权重计算

图 2. 超像素间的长度最短路径

Fig. 2. Shortest path among super-pixels

图 3. 基于背景连续性计算图像中超像素前景权重的各个阶段。(a)原图像;(b) SLIC分割;(c)修正前的前景权重;(d)修正后的前景权重

Fig. 3. Each stage for calculating foreground weight of each super-pixel of image based on background continuity. (a) Original image; (b) SLIC segmentation; (c) foreground weight before correction; (d) foreground weight after correction

3 结合边界先验知识的显著性优化

4 实验仿真

图 4. 各种方法在ASD数据集上的部分显著性检测效果对比

Fig. 4. Partial saliency detection results of each method on ASD dataset

图 5. 在3个数据集上的PR曲线和平均绝对误差的对比图。(a)(b) ASD;(c)(d) PASCAL-S;(e)(f) ECSSD

Fig. 5. PR curves and MAEs on three datasets. (a)(b) ASD; (c)(d) PASCAL-S; (e)(f) ECSSD

图 6. 在3个数据集上各方法的对比。(a) ASD;(b) PASCAL-S;(c) ECSSD

Fig. 6. Comparison of different methods on three datasets. (a) ASD; (b) PASCAL-S; (c) ECSSD

图 7. 3种方法对图像处理后的显著性效果对比。(a)原图像;(b)基于全局对比度;(c)基于局部对比度;(d)基于背景连续性

Fig. 7. Comparison of saliency results for image processed by three methods. (a) Original image; (b) based on global contrast; (c) based on local contrast; (d) based on background continuity

表 1. 3种方法在ASD数据集上得到的各指标数值对比

Table 1. Comparison of all index values obtained by three methods on ASD dataset

表 2. 各种算法的运算时间对比

Table 2. Comparison of running time for different methods

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于背景连续性先验知识的显著性检测 下载： 892次

1 引言

2 基于背景连续性先验知识的显著性检测

2.1 基于背景连续性的图像分析

图 1. 图像中的典型局部区域

Fig. 1. Typical local areas in image

2.2 基于背景连续性的前景权重计算

图 2. 超像素间的长度最短路径

Fig. 2. Shortest path among super-pixels

图 3. 基于背景连续性计算图像中超像素前景权重的各个阶段。(a)原图像;(b) SLIC分割;(c)修正前的前景权重;(d)修正后的前景权重

Fig. 3. Each stage for calculating foreground weight of each super-pixel of image based on background continuity. (a) Original image; (b) SLIC segmentation; (c) foreground weight before correction; (d) foreground weight after correction

3 结合边界先验知识的显著性优化

4 实验仿真

图 4. 各种方法在ASD数据集上的部分显著性检测效果对比

Fig. 4. Partial saliency detection results of each method on ASD dataset

图 5. 在3个数据集上的PR曲线和平均绝对误差的对比图。(a)(b) ASD;(c)(d) PASCAL-S;(e)(f) ECSSD

Fig. 5. PR curves and MAEs on three datasets. (a)(b) ASD; (c)(d) PASCAL-S; (e)(f) ECSSD

图 6. 在3个数据集上各方法的对比。(a) ASD;(b) PASCAL-S;(c) ECSSD

Fig. 6. Comparison of different methods on three datasets. (a) ASD; (b) PASCAL-S; (c) ECSSD

图 7. 3种方法对图像处理后的显著性效果对比。(a)原图像;(b)基于全局对比度;(c)基于局部对比度;(d)基于背景连续性

Fig. 7. Comparison of saliency results for image processed by three methods. (a) Original image; (b) based on global contrast; (c) based on local contrast; (d) based on background continuity

表 1. 3种方法在ASD数据集上得到的各指标数值对比

Table 1. Comparison of all index values obtained by three methods on ASD dataset

表 2. 各种算法的运算时间对比

Table 2. Comparison of running time for different methods

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于背景连续性先验知识的显著性检测下载： 892次