基于复合先验知识的显著性目标检测方法

崔丽群; 杨振忠; 段天龙; 李文庆

doi:doi:10.3788/LOP57.101019

激光与光电子学进展, 2020, 57 (10): 101019, 网络出版: 2020-05-08

基于复合先验知识的显著性目标检测方法下载： 896次

Saliency Object Detection Method Based on Complex Prior Knowledge

论文大纲

崔丽群杨振忠 ^*段天龙李文庆

作者单位

辽宁工程技术大学软件学院, 辽宁葫芦岛 125105

图像处理显著性目标检测背景先验前景先验中心先验 image processing saliency target detection background prior foreground prior center prior

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对已有显著性目标检测在单一先验知识下生成的显著图存在背景抑制不彻底、孤立背景块干扰及前景区域缺失的问题,提出复合先验的显著性目标检测方法。先利用超像素分割算法提取边缘超像素,构建初选背景集,根据边界和四个角落显著性均值优化背景集;针对背景超像素渐变性不强的特点,提出特征差异法;再构建粗略包围前景区域的凸包,将其质心位置设为中心位置;最后将三种先验显著图自适应权重融合,获得最终显著图。利用所提方法对MSRA和ESSCD数据集中的图像进行实验,结果表明,所提方法融合三种先验知识能够解决提出的问题,在抑制背景的同时,又能获得前景区域完整度较高的显著图。

Abstract

In this study, we propose a complex prior saliency target detection method to solve the problems associated with the saliency maps. These problems are as follows: the saliency maps generated via the existing saliency target detection method under single prior knowledge exhibit incomplete background suppression, isolated background block interference, and lack of foreground area. First, the superpixel segmentation algorithm was applied to extract the edge superpixels, and the primary background set was constructed. Subsequently, the background set was optimized in accordance with the significance of the boundary and the four corners. Then, we proposed the feature difference method with respect to the characteristics of the background superpixels exhibiting a low gradient. Second, a convex hull, which roughly surrounds the foreground area, was constructed and set as the center position of its centroid. Finally, three prior saliency maps were adaptively weighted to obtain the final saliency map. The proposed method was used to perform experiments on the maps obtained using the MSRA and ESSCD datasets. The obtained results prove that the proposed method can solve the aforementioned problems by fusing three types of prior knowledges. It can simultaneously reduce background suppression and obtain a saliency map with the foreground area integrity of a significant degree.

1 引言

对于一幅图像,多数人只对第一眼看到的部分区域感兴趣,这部分区域被称为显著性区域,通俗来讲,显著性区域就是最能引起人类兴趣、最能表达图像内容的区域。随着信息时代的来临,图像数量得到了空前增长,因此抑制图像冗余信息,突显重要信息的显著性目标检测的研究有着重要意义。

显著性目标检测的研究是从生物研究发展而来,时间可追溯到1985年,经过近40年的发展,被广泛地应用在图像匹配^[1]、目标识别^[2]、图像融合^[3]和图像分割^[4]等方面。近年来,有关深度学习方面的显著性目标检测^[5-6]也吸引了国内外许多学者的关注,但算法复杂,对硬件要求较高。显著性目标检测大致可分为以数据为驱动的自底向上的检测机制和以目标或任务为驱动的自顶向下的检测机制。其中,自底向上的方法基于图像本质特征(如颜色、亮度和纹理等一系列图像的固有属性)引起的视觉注意;自顶向下的方法基于任务驱动的注意力检测机制,其是由任务经验来驱动视觉注意,通过相关知识来预期图像的显著性目标区域。

自底向上的显著性目标检测因未涉及高层语义信息,所需特征信息获取便捷,近年来取得了较大发展。Itti等^[7]在1998年提出经典显著性检测模型,该模型模拟生物体视觉注意机制,采样构建特征高斯金字塔;Hou等^[8]从频域的角度出发,分析图像的组成成分,针对背景所具有的特点,提出了剩余谱(SR)理论算法;Achanta等^[9]基于多尺度局部对比的计算方法,将图像中每个像素的亮度色彩值与特定区域的平均亮度色彩值进行对比,确定该像素的显著性值;Li等^[10]提出多尺度空间的超复数傅里叶变换(HFT)算法,采用不同高斯核函数对幅度谱进行平滑滤波,在抑制高频信息(背景区域)的同时,增强了低频信息(前景区域)。

自底向上的显著性目标检测在处理简单图像时,能够模拟人类视觉注意机制,使背景得到一定程度的抑制。但是,若背景中存在底层特征相对突出的区域,会使重要目标被忽略,因此前景区域突出效果不理想,检测结果中存在背景噪声。为了解决复杂背景下自底向上的显著性目标检测方法所带来的问题,一些学者使用自顶向下的检测机制,展开了对先验知识(如边界先验、背景先验、中心先验和颜色先验等)的研究。Shen等^[11]基于稀疏理论提出LRR(Low Rank Matrix Regularization)算法,将图像表示为一个低秩矩阵(背景区域)和稀疏噪音(前景区域),通过范数规则化进行矩阵恢复得到前景区域;Yang等^[12]基于图像的流行排序提出MR(Manifold Ranking)算法,对图像元素与前景线索或背景先验信息进行排序,综合利用图像中背景和前景的先验位置分布及连通性来获得最终显著图;Xie等^[13]将凸包检测和贝叶斯推断相结合提出了BM(Bayesian Model)算法;Zhu等^[14]基于边界连续性提出RBD(Robust Background Detection)算法,利用背景连通度评估从而分离显著目标,表征了图像区域对于图像边界的空间布局,并通过最小二乘法优化得到显著图;Wei等^[15]基于边界连通的先验知识提出GS(Geodesic Saliency)算法,该算法适用于单一背景下的显著性目标检测;Wang等^[16]基于背景驱动提出BFS(Background and Foreground Seed)算法,利用背景种子对前景区域进行提取,通过背景种子和前景种子获得了平滑准确的前景区域。

上述显著性目标检测方法在单一先验知识下生成的显著图像存在背景抑制不彻底,孤立背景块干扰及前景区域缺失的问题,为此,本文提出一种新的组合方法,即复合先验的显著性目标检测方法,该方法融合背景先验、前景先验和中心先验知识以生成高质量的最终显著图。

2 复合先验的显著性目标检测

背景先验基于图像边界上的超像素进行检测,能够大幅度抑制背景区域,得到背景抑制效果较好的背景先验图;前景先验通过额外的算法粗略预测前景区域的位置,以前景区域为中心,得到前景区域较为完整的前景先验图;中心先验基于前景区域的中心进行检测,能够对距离前景区域较远的孤立背景块进行抑制。为了获得高质量的显著图,提出了一种复合先验的显著性目标检测方法,该方法有效地结合背景先验、前景先验和中心先验知识,流程如图1所示,主要过程如下。

1) 利用简单线性迭代聚类(SLIC)算法^[17]分割图像,提取图像边缘超像素作为初选背景集,根据边界和四个角落显著性均值的优化策略优化初选背景集,获得背景抑制效果较好的背景先验图。

2) 以优化背景集的左边界第一列、上边界第一行为基准,逐个与所处行或列的超像素进行对比,赋予显著值,从而获得前景区域完整度较高的前景先验图。

3) 检测特征点并进行连接,构建粗略包围前景区域的凸包,提出将凸包质心位置作为中心先验的中心位置,根据距离此中心点较近的超像素获得高显著值,远离中心点的超像素获得低显著值的原理,获得抑制孤立背景块的中心先验图。

4) 为了更好地抑制背景和孤立背景块,获得前景区域完整度较高的最终显著图,通过自适应权重融合三种先验显著图。

图 1. 所提方法流程图

Fig. 1. Flow chart of proposed method

下载图片查看所有图片

3 复合先验的显著性目标检测方法

3.1 背景先验

显著性目标检测的目的是抑制背景区域,突出前景区域,因此获得一个高质量的背景抑制图,这对提高显著性目标检测的性能有着重要意义。获取背景抑制图的具体过程如下。

1) 优化选取背景集

采用SLIC算法对输入图像(图2(a))进行分割,将图像边缘超像素作为初选背景集,如图2(b)所示,因显著性区域可能位于图像的边界上,所以对初选背景集进行优化,来提高检测的精准性。基于显著区域与图像边缘相交也只是与边缘的一侧相交,图像的四个角点处的超像素不可能均是显著区域的观察结果,将边缘处超像素p_i(i为超像素块数,取值范围为1~256)的显著值逐个与所在行或列超像素的均值进行差异比较。若两者差异过大,则将p_i与角点处的超像素显著值进行比较;若与四个角点处超像素显著值差异均过大,则从初选背景集中排除p_i,最终得到优化后的背景超像素集B,如图2(c)所示。计算候选背景集中各超像素p_i的显著值s_pi,即

\begin{matrix} \begin{matrix} s_{pi} = \{1 - \frac{1}{n_{b}} \overset{nb}{\sum_{j = 1}} \exp [\frac{- d_{c} (p_{i}, p_{j})}{σ_{1}^{2}}]\} w_{b} (i), (1) \\ w_{b} (i) = \frac{1}{n'_{b}} \overset{n' b}{\sum_{j = 1}} \exp [\frac{- d_{dis (pi, pj)}^{2}}{σ_{2}^{2}}], (2) \end{matrix} \end{matrix}

式中:p_j∈B;n_b为初选背景集中超像素的总数;d_c为Lab颜色空间的平均颜色距离;σ₁为控制颜色差异敏感度的参数;d_dis(_pi_,_pj₎为超像素p_i和p_j间的质心距离;n'_b为最终背景集中超像素的总数;w_b(i)为图像中超像素p_i与背景集中所有超像素间的平均空间差异;σ₂为一常数,通常 $\begin{matrix} σ_{2}^{2} \end{matrix}$ =0.5。

图 2. 背景集各阶段结果。(a)原图;(b)初选背景集;(c)优化背景集

Fig. 2. Background set results at various stages. (a) Original image; (b) primary background set; (c) optimized background set

下载图片查看所有图片

从图2(b)可以看到,初选背景集中热气球顶端部分显著区域被误认为背景集,采用提出的优化策略对初选背景集进行优化,将热气球顶部被误判的显著区域从初选背景集中筛选出来,可提高背景集的准确性,如图2(c)所示。

2) 计算背景先验图

得到B后,利用空间和颜色距离信息计算基于背景的显著图 $\begin{matrix} s_{i}^{b} \end{matrix}$ ,即

\begin{matrix} s_{i}^{b} = \sum_{n \neq i, n \in B} d (c_{i}, c_{n}) [1 - d (i_{i}, i_{n}) / θ], (3) \end{matrix}

式中:d(c_i,c_n)为第i个超像素和第n个超像素间的欧氏距离;d(i_i,i_n)为第i个超像素和第n个超像素间空间距离;两种距离都量化在[0,1];θ为权衡参数,调节颜色和空间距离的重要性。

3.2 前景先验

背景先验能够对背景区域进行一定程度的抑制,但其前景区域的显示效果不佳,存在前景区域缺失的问题,因此提出特征差异法得到前景区域完整度较高的前景先验图。从被分割成多个超像素的图像可以看到,显著区域被分割成多个不包含背景区域的超像素,以每行左端第一个超像素作为起始点,向右过程中,若未遇到包含显著区域的超像素,则所遇到的超像素颜色、纹理和亮度渐变性较弱。基于上述特点,采用优化后的背景集将每行超像素逐个与左端第一个超像素进行差异对比,若两者差异性小,则表明对比超像素为背景区域,赋予低显著值;反之认定为显著区域,赋予高显著值。为了提高背景的抑制效果,将上边界超像素也按照相同原理进行差异对比,同时若边界处超像素已判定为背景区域,则选取对应边界超像素进行对比实验。为了提高计算效率,将超像素中颜色、纹理和亮度特征的平均值作为该超像素的特征值。

1) 颜色差异f_c(i,j)。选取更接近人类生理视觉的Lab色彩模型,通过颜色直方图衡量两个超像素间的颜色差异,同时为了能使用直方图相交法比较两个超像素间的差异,将直方图进行归一化处理,即c_i={ $\begin{matrix} c_{i}^{L} \end{matrix}$ , $\begin{matrix} c_{i}^{a} \end{matrix}$ , $\begin{matrix} c_{i}^{b} \end{matrix}$ }={ $\begin{matrix} c_{i}^{1} \end{matrix}$ , $\begin{matrix} c_{i}^{2} \end{matrix}$ ,…, $\begin{matrix} c_{i}^{n} \end{matrix}$ }, $\begin{matrix} 且 \overset{1}{\sum_{k = 1}} c_{i}^{k} = 1 。则两个超像素 (c_{i}^{k}, c_{j}^{k}) 间的颜色差异为 \end{matrix}$

\begin{matrix} f_{c} (i, j) = 1 - \overset{n}{\sum_{k = 1}} \min (c_{i}^{k}, c_{j}^{k}), (4) \end{matrix}

式中:f_c∈[0,1],f_c值越小,表示相似程度越高。经多次实验验证,设置直方图箱子的个数中,L通道取20,a和b通道各取32,n取84,此时实验结果最好。

2) 纹理差异d_t(i,j)。采用简单高效且扩展后具有旋转不变性的局部二值模式(LBP)纹理特征来衡量两个超像素间的纹理( $\begin{matrix} t_{i}^{k} \end{matrix}$ , $\begin{matrix} t_{j}^{k} \end{matrix}$ )差异。先在L通道上使用统一模式的LBP生成直方图来代表超像素的纹理特征;再将直方图进行归一化处理,采用直方图相交法对直方图进行对比,即

\begin{matrix} d_{t} (i, j) = 1 - \overset{n}{\sum_{k = 1}} \min (t_{i}^{k}, t_{j}^{k}), (5) \end{matrix}

式中:d_t∈[0,1],d_t值越小,表示相似程度越高。

3) 亮度差异d_l(i,j)。不同物体对于光的吸收强度不同,反映在图像上即是前景与背景的亮暗程度不同,通过计算超像素间的亮度差异,在一定程度上反映超像素间的差异。

4) 特征差异融合。将f_c、d_t和d_l三种特征进行差异融合,以确定超像素间的最终差异值,即

\begin{matrix} d (i, j) = w_{c} f_{c} (i, j) / θ_{c} + w_{t} d_{t} (i, j) / θ_{t} + w_{l} d_{l} (i, j) / θ_{l}, (6) \end{matrix}

式中:θ_c、θ_t和θ_l分别为颜色、纹理和亮度特征衡量相似程度的门限;w_c、w_t和w_l分别为三种特征在相似程度计算中所占的权重;θ为总相似程度,通常设为1,若d(i,j)<θ,说明对比超像素为背景区域,最后将所得到的两幅前景先验图进行交集操作,即可得到前景区域完整度较高的前景先验图。

3.3 中心先验

背景先验和前景先验基于背景集进行显著性目标检测,对背景集过度依赖会造成图像中部分孤立背景块被误认为前景区域。中心先验是假设前景区域位于图像中心,通过定义一种二维高斯衰减图,使得图像中心附近区域获得较高的显著值,距离相对较远的区域获得较低的显著值,这种检测机制能够使得距离前景区域中心较远的孤立背景块得到很好抑制。但当前景区域的中心并不是图像中心时,检测结果就会出现偏差,因此需要对现有中心先验检测方法进行改进,以获得定位更加准确的中心先验图。对于Harris角点检测的特征点连接起来的凸包,能够将显著性区域大致包括在内,因此提出将凸包质心位置设定为中心的方法,该方法获得中心先验图,分为四个步骤。

1) 对原图像的特征点进行检测,连接特征点构建一个能粗略包围前景区域的凸包。

2) 为了滤除背景噪声,增强对比度,对原图像进行均值滤波平滑处理,再进行特征点检测构建凸包。

3) 为了有效地抑制背景区域,取两次构建凸包的交集,将其质心所在位置作为中心先验的中心,使用高斯分布计算超像素与目标中心间的距离。定义超像素p_i的中心先验显著值为

\begin{matrix} \begin{matrix} s_{c} (i) = \exp [- \frac{(x_{i} - c_{x})^{2}}{σ_{x}^{2}} - \frac{(y_{i} - c_{y})^{2}}{σ_{y}^{2}}] + \overset{n}{\sum_{j = 1, j \neq i}} \exp [- \frac{(x_{j} - c_{x})^{2}}{σ_{x}^{2}} - \frac{(y_{j} - c_{y})^{2}}{σ_{y}^{2}}] \cdot w (i, j) / \overset{n}{\sum_{j = 1, j \neq i}} w (i, j), (7) \\ w (i, j) = \frac{1}{d_{dis (pi, pj)} + α}, (8) \end{matrix} \end{matrix}

式中:x_i、y_i为p_i的平均坐标值;x_j、y_j为图像中每个超像素的平均坐标值;(c_x,c_y)为凸包I的质心;σ_x和σ_y分别为水平和垂直方向的高斯尺寸,σ_x=W/2,σ_y=H/2,W为图像的宽度,H为图像的高度;w(i,j)为控制空间加权的强度;α为常数,通常取值为0.01。(7)式中第一项赋予离中心位置较近的超像素较高显著值,第二项表示每个超像素与图像所有超像素的差异。

从图3(a)可以看到,显著区域位于图像的右下角,传统中心先验图[图3(b)]的显著区域位于图像中心,明显偏离显著区域位置,所提方法利用凸包质心得到的中心先验图[图3(c)]能够精准地找到显著区域位置,赋予较高显著值,得到较为准确的中心先验图。

图 3. 中心先验各阶段结果。(a)原图;(b)传统中心先验图;(c)所提方法的中心先验图

Fig. 3. Center prior results of each stage. (a) Original image; (b) traditional center prior image; (c) proposed center prior image

下载图片查看所有图片

3.4 自适应权重融合

经3.1~3.3节的实验共获得了三种先验显著图。背景先验显著图对背景的抑制效果较好,但前景显著区域存在缺失;前景先验显著图采用特征差异法进行计算,能够得到前景完整度较高的前景先验图,但一些有别于背景集的孤立背景超像素会被误判为显著区域,从而形成背景噪声;中心先验显著图能够抑制距离前景中心位置较远的孤立背景块,但只能对中心点附近的前景区域进行高亮显示,而偏离中心点附近的前景区域显示效果不佳。为了将三种先验图有效地结合起来,弥补单一方法的缺陷,获得高质量的最终显著图,实验基于三种先验图在一定程度上都抑制了低秩部分(背景区域),凸显了图像能量集中区域(前景区域)的特点,使用Cao^[18]提出的SACS(Self-adaptively Weighted Co-saliency)方法,利用低秩能量为每一个参与融合的显著图计算自适应权重的方法,通过加权相加,使得前景区域能够分得更高的权重值,获得最终显著图。显著图σ_x的权重 $\begin{matrix} w_{i}^{j} \end{matrix}$ 为

\begin{matrix} w_{i}^{j} = \frac{\exp (ξ_{j}^{i})}{\overset{m}{\sum_{j = 1}} \exp (ξ_{j}^{i})}, (9) \end{matrix}

\begin{matrix} 式中 : \overset{m}{\sum_{j = 1}} w_{j}^{i} = 1; ξ_{j}^{i} 为每幅显著图的能量。 \end{matrix}

4 实验结果分析

为了检验所提方法的优越性,在64位Windows 10的操作系统、内存为8 GB、处理器为Intel(R)Core(TM)i5-7500、主频为3.40 GHz的实验平台上,使用软件版本为MATLAB R2016a进行实验。所提方法与当前流行的8种显著性目标检测算法SR^[6]、HFT^[8]、LRR^[9]、MR^[10]、BM^[11]、RBD^[12]、GS^[13]和BFS^[14],分别对MSRA和ECSSD数据集上选取的300幅图像进行主观和客观评价对比。

4.1 主观对比

使用带有人工标注图(GT)的MSRA和ESSCD两个数据集,选取当前最为常用的SR、HFT、LRR、MR、BM、RBD、GS和BFS 8种显著性检测算法与所提方法进行对比实验,部分实验结果如图4所示。

从图4可以看到,SR算法对图像背景抑制效果不佳,对前景区域突出效果不清晰;HFT算法能够对背景区域进行抑制,但对前景区域的细节刻画不清晰,显示效果较为模糊,影响视觉感受;LRR算法虽能准确地凸显前景区域,但对前景区域的细节刻画不明显;与前三种算法相比,MR算法能够抑制大部分背景区域,凸显前景区域,但在背景较为复杂、前景区域与背景区域较为接近时,易造成前景区域部分缺失;BM算法在一定程度上能够凸显前景区域,但对背景抑制不够彻底,检测结果中夹杂背景噪声;RBD算法能够抑制大部分背景区域,较为完整清晰地显示前景区域,但对孤立背景块抑制效果不佳;GS算法与RBD算法相似,同样是对孤立背景块抑制效果不佳;BFS算法对孤立背景块尽管有着一定的抑制效果,但存在前景区域部分缺失的问题。与这些方法相比,所提方法在抑制背景区域的同时,抑制了孤立背景块,解决了前景区域缺失的问题,所得图像与人工标注图最为相似。

4.2 客观对比

主观对比可从直观层面上观察到所提方法的优越性,为了增强主观观察的说服力,采用准确率-召回率曲线(P-R曲线)、准确率和召回率的综合评价指标(F度量值,F-measure)和平均绝对误差(MAE)三种评价指标进行客观对比。

图 4. 实验对比图。(a)原图;(b) SR算法;(c) HFT算法;(d) LRR算法;(e) MR算法;(f) BM算法;(g) RBD算法;(h) GS算法;(i) BFS算法;(j)所提方法;(k) GT

Fig. 4. Experimental comparison diagrams. (a) Original image; (b) SR algorithm; (c) HFT algorithm; (d) LRR algorithm; (e) MR algorithm; (f) BM algorithm; (g) RBD algorithm; (h) GS algorithm; (i) BFS algorithm; (j) proposed method; (k) GT

下载图片查看所有图片

P-R曲线是用来评估模型性能的重要指标之一,以准确率为纵坐标,召回率为横坐标,先设定阈值T_f∈[0,255],f的取值范围为1~n,使用该阈值对所提方法得到的显著性图进行二值化,再结合人工标注的二值图(Ground-truth)计算整个数据集在不同阈值下的准确率和召回率的均值。不同算法在MSRA和ESSCD数据集上的P-R曲线,如图5所示。所提方法的P-R曲线在两个数据集上均最靠近右上方,高于其他对比算法,说明所提方法的检测精度高于对比算法,所得到图像更接近于人工标注图。

图 5. 不同数据集的P-R曲线。(a) MSRA;(b) ESSCD

Fig. 5. P-R curves of different datasets. (a) MSRA; (b) ESSCD

下载图片查看所有图片

F-measure在实际实验中,需对显著性检测模型所得的显著图进行全面评估,F_β度量值为非负权重下的加权调和平均值(Weighted Harmonic Mean)^[19],计算公式为

\begin{matrix} F_{β} = \frac{(1 + β^{2}) PR}{β^{2} PR}, (10) \end{matrix}

式中:β一般取值为0.3,即增加了准确率的权重值,主观认为准确率与召回率相比更为重要。

不同算法在MSRA和ESSCD数据集上的F-measure,如图6所示。从图6可以看到,所提方法在两个数据集上的F-measure均高于其他对比算法,说明所提方法的整体性能最佳。

图 6. 不同算法在MSRA和ESSCD数据集上F-measure值。(a) MSRA;(b) ESSCD

Fig. 6. F-measure values on MSRA and ESSCD datasets by different algorithms. (a) MSRA; (b) ESSCD

下载图片查看所有图片

MAE是直接计算模型输出的显著图与人工标注的二值图间的平均绝对误差。先将两者进行二值化;再使用文献[ 20]中的平均绝对误差定义,对数据集中所有图像的平均绝对误差求均值,表达公式为

\begin{matrix} X_{MAE} = \frac{1}{WH} \overset{W}{\sum_{k = 1}} \overset{H}{\sum_{y = 1}} | \bar{s} (x, y) - \bar{G} (x, y) |, (11) \end{matrix}

式中: $\begin{matrix} \bar{s} \end{matrix}$ (x,y)为输出显著图的二值化; $\begin{matrix} \bar{G} \end{matrix}$ (x,y)为标准显著图的二值化。

所提方法在MSRA和ESSCD数据集上的MAE值,如表1所示。从表1可以看到,所提方法的MAE值仅低于MR和RBD算法,高于其他对比算法,说明所提方法与人工标注图相比,准确性可保证。

表 1. MSRA和ESSCD数据集上的MAE对比

Table 1. Comparison of MAE on MSRA and ESSCD datasets

Dataset	SR	HFT	LRR	MR	BM	RBD	GS	BFS	Ours
MSRA	0.2419	0.2086	0.2203	0.1223	0.1923	0.1037	0.1667	0.1740	0.1382
ESSCD	0.2527	0.2178	0.2480	0.1423	0.2483	0.1317	0.1956	0.1780	0.1750

查看所有表

所提方法在MSRA和ESSCD数据集上的运行时间,如表2所示。从表2可以看到,所提方法的运行时间低于当前流行的HFT、LRR和BFS算法,说明所提方法具有一定的实时性。

表 2. MSRA和ESSCD数据集上的运行时间对比

Table 2. Comparison of running time on MSRA and ESSCD datasetsunit: s

Dataset	SR	HFT	LRR	MR	BM	RBD	GS	BFS	Ours
MSRA	0.0770	1.2197	8.1386	0.4535	0.5351	0.1273	0.1199	3.6687	0.7361
ESSCD	0.0556	1.2182	8.7903	0.4554	0.5321	0.1266	0.1167	3.9512	0.7437

查看所有表

5 结论

提出了一种复合先验的显著性目标检测方法,解决了使用单一先验信息存在的问题,即建立的显著性目标检测方法不能很好地抑制背景,存在孤立背景块噪声干扰,前景区域缺失的问题。该方法基于背景先验、中心先验和前景先验,融合三种先验显著图的优点,最终生成高质量的显著图。在公开的数据集MSRA和ESSCD上,将所提方法与当前流行的8种显著性检测方法进行实验对比,结果表明,所提方法得到的显著图能够很好地抑制背景区域,完整地突出前景区域,解决孤立背景块噪声干扰的问题,并且所提方法在准确率、平均绝对误差和综合评价指标等方面也有明显改善,高于其他对比算法,计算的显著图更接近于人工标注。本文着重于前景区域的轮廓完整度研究,对前景区域的亮度等特征显示效果不佳,在后续研究中会对此进行进一步研究。

参考文献

[1] 张鑫, 靳雁霞, 薛丹. SICA-SIFT和粒子群优化的图像匹配算法[J]. 激光与光电子学进展, 2017, 54(9): 091002.

Zhang X, Jin Y X, Xue D. Image matching algorithm based on SICA-SIFT and particle swarm optimization[J]. Laser & Optoelectronics Progress, 2017, 54(9): 091002.

[2] Deng W D, Tang D Q, Lu KK, et al. Multiple target recognition of UAV based on image processing[J]. Journal of Physics: Conference Series, 2019, 1303(1): 012115.

[3] 殷向, 马骏. 基于熵率分割和多尺度分解的图像融合方法[J]. 激光与光电子学进展, 2018, 55(1): 011011.

Yin X, Ma J. Image fusion method based on entropy rate segmentation and multi-scale decomposition[J]. Laser & Optoelectronics Progress, 2018, 55(1): 011011.

[4] Oliva D, Hinojosa S, Osuna-Enciso V, et al. Image segmentation by minimum cross entropy using evolutionary methods[J]. Soft Computing, 2019, 23(2): 431-450.

[5] 纪超, 黄新波, 曹雯, 等. 基于深度学习的图像显著区域检测[J]. 激光与光电子学进展, 2019, 56(9): 091007.

Ji C, Huang X B, Cao W, et al. Salient region detection of images based on deep learning[J]. Laser & Optoelectronics Progress, 2019, 56(9): 091007.

[6] 冯小雨, 梅卫, 胡大帅. 基于改进Faster R-CNN的空中目标检测[J]. 光学学报, 2018, 38(6): 0615004.

Feng X Y, Mei W, Hu D S. Aerial target detection based on improved Faster R-CNN[J]. Acta Optica Sinica, 2018, 38(6): 0615004.

[7] Itti L, Koch C, Niebur E. A model of saliency-based visual attention for rapid scene analysis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998, 20(11): 1254-1259.

[8] Hou XD, Zhang LQ. Saliency detection: as pectral residual approach[C]∥2007 IEEE Conference on Computer Vision and Pattern Recognition, June 17-22, 2007, Minneapolis, MN, USA. New York: IEEE, 2007: 9738156.

[9] AchantaR, HemamiS, EstradaF, et al. Frequency-tuned salient region detection[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL. New York: IEEE, 2009: 1597- 1604.

[10] Li J, Levine M D, An X J, et al. Visual saliency based on scale-space analysis in the frequency domain[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(4): 996-1010.

[11] Shen XH, WuY. A unified approach to salient object detection via low rank matrix recovery[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI. New York: IEEE, 2012: 853- 860.

[12] YangC, Zhang LH, Lu HC, et al. Saliency detection via graph-based manifold ranking[C]∥2013 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2013, Portland, OR, USA. New York: IEEE, 2013: 3166- 3173.

[13] Xie YL, Lu HC. Visual saliency detection based on Bayesian model[C]∥2011 18th IEEE International Conference on Image Processing, September 11-14, 2011, Brussels, Belgium. New York: IEEE, 2011: 645- 648.

[14] Zhu WJ, LiangS, Wei YC, et al. Saliency optimization from robust background detection[C]∥2014 IEEE Conference on Computer Vision and Pattern Recognition, June 23-28, 2014, Columbus, OH, USA. New York: IEEE, 2014: 2814- 2821.

[15] Wei YC, WenF, Zhu WJ, et al. Geodesic saliency using background priors[M] ∥Fitzgibbon A, Lazebnik S, Perona P, et al. Computer vision-ECCV 2012. Lecture notes in computer science. Heidelberg: Springer, 2012, 7574: 29- 42.

[16] Wang J P, Lu H C, Li X H, et al. Saliency detection via background and foreground seed selection[J]. Neurocomputing, 2015, 152: 359-368.

[17] Kim KS, Zhang DN, Kang MC, et al. Improved simple linear iterative clustering superpixels[C]∥2013 IEEE International Symposium on Consumer Electronics (ISCE), June 3-6, 2013, Hsinchu City, Taiwan, China. New York: IEEE, 2013: 259- 260.

[18] Cao X, Tao Z, Zhang B, et al. Self-adaptively weighted co-saliency detection via rank constraint[J]. IEEE Transactions on Image Processing, 2014, 23(9): 4175-4186.

[19] PerazziF, KrähenbühlP, PritchY, et al. Saliency filters: contrast based filtering for salient region detection[C]∥2012 IEEE Conference on Computer Vision and Pattern Recognition, June 16-21, 2012, Providence, RI. New York: IEEE, 2012: 259- 260.

[20] Borji A, Cheng M M, Jiang H Z, et al. Salient object detection: a benchmark[J]. IEEE Transactions on Image Processing, 2015, 24(12): 5706-5722.

崔丽群, 杨振忠, 段天龙, 李文庆. 基于复合先验知识的显著性目标检测方法[J]. 激光与光电子学进展, 2020, 57(10): 101019. Liqun Cui, Zhenzhong Yang, Tianlong Duan, Wenqing Li. Saliency Object Detection Method Based on Complex Prior Knowledge[J]. Laser & Optoelectronics Progress, 2020, 57(10): 101019.

基于复合先验知识的显著性目标检测方法下载： 896次

1 引言

2 复合先验的显著性目标检测

图 1. 所提方法流程图

Fig. 1. Flow chart of proposed method

3 复合先验的显著性目标检测方法

3.1 背景先验

图 2. 背景集各阶段结果。(a)原图;(b)初选背景集;(c)优化背景集

Fig. 2. Background set results at various stages. (a) Original image; (b) primary background set; (c) optimized background set

3.2 前景先验

3.3 中心先验

图 3. 中心先验各阶段结果。(a)原图;(b)传统中心先验图;(c)所提方法的中心先验图

Fig. 3. Center prior results of each stage. (a) Original image; (b) traditional center prior image; (c) proposed center prior image

3.4 自适应权重融合

4 实验结果分析

4.1 主观对比

4.2 客观对比

图 4. 实验对比图。(a)原图;(b) SR算法;(c) HFT算法;(d) LRR算法;(e) MR算法;(f) BM算法;(g) RBD算法;(h) GS算法;(i) BFS算法;(j)所提方法;(k) GT

Fig. 4. Experimental comparison diagrams. (a) Original image; (b) SR algorithm; (c) HFT algorithm; (d) LRR algorithm; (e) MR algorithm; (f) BM algorithm; (g) RBD algorithm; (h) GS algorithm; (i) BFS algorithm; (j) proposed method; (k) GT

图 5. 不同数据集的P-R曲线。(a) MSRA;(b) ESSCD

Fig. 5. P-R curves of different datasets. (a) MSRA; (b) ESSCD

图 6. 不同算法在MSRA和ESSCD数据集上F-measure值。(a) MSRA;(b) ESSCD

Fig. 6. F-measure values on MSRA and ESSCD datasets by different algorithms. (a) MSRA; (b) ESSCD

表 1. MSRA和ESSCD数据集上的MAE对比

Table 1. Comparison of MAE on MSRA and ESSCD datasets

表 2. MSRA和ESSCD数据集上的运行时间对比

Table 2. Comparison of running time on MSRA and ESSCD datasetsunit: s

5 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于复合先验知识的显著性目标检测方法 下载： 896次

1 引言

2 复合先验的显著性目标检测

图 1. 所提方法流程图

Fig. 1. Flow chart of proposed method

3 复合先验的显著性目标检测方法

3.1 背景先验

图 2. 背景集各阶段结果。(a)原图;(b)初选背景集;(c)优化背景集

Fig. 2. Background set results at various stages. (a) Original image; (b) primary background set; (c) optimized background set

3.2 前景先验

3.3 中心先验

图 3. 中心先验各阶段结果。(a)原图;(b)传统中心先验图;(c)所提方法的中心先验图

Fig. 3. Center prior results of each stage. (a) Original image; (b) traditional center prior image; (c) proposed center prior image

3.4 自适应权重融合

4 实验结果分析

4.1 主观对比

4.2 客观对比

图 4. 实验对比图。(a)原图;(b) SR算法;(c) HFT算法;(d) LRR算法;(e) MR算法;(f) BM算法;(g) RBD算法;(h) GS算法;(i) BFS算法;(j)所提方法;(k) GT

Fig. 4. Experimental comparison diagrams. (a) Original image; (b) SR algorithm; (c) HFT algorithm; (d) LRR algorithm; (e) MR algorithm; (f) BM algorithm; (g) RBD algorithm; (h) GS algorithm; (i) BFS algorithm; (j) proposed method; (k) GT

图 5. 不同数据集的P-R曲线。(a) MSRA;(b) ESSCD

Fig. 5. P-R curves of different datasets. (a) MSRA; (b) ESSCD

图 6. 不同算法在MSRA和ESSCD数据集上F-measure值。(a) MSRA;(b) ESSCD

Fig. 6. F-measure values on MSRA and ESSCD datasets by different algorithms. (a) MSRA; (b) ESSCD

表 1. MSRA和ESSCD数据集上的MAE对比

Table 1. Comparison of MAE on MSRA and ESSCD datasets

表 2. MSRA和ESSCD数据集上的运行时间对比

Table 2. Comparison of running time on MSRA and ESSCD datasetsunit: s

5 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于复合先验知识的显著性目标检测方法下载： 896次