超像素分割及评价的最新研究进展

罗学刚; 吕俊瑞; 彭真明

doi:doi:10.3788/LOP56.090005

激光与光电子学进展, 2019, 56 (9): 090005, 网络出版: 2019-07-05

超像素分割及评价的最新研究进展下载： 3027次

Recent Research Progress of Superpixel Segmentation and Evaluation

论文大纲

罗学刚 ^1,2吕俊瑞 ¹彭真明 ^2,*

作者单位

¹ 攀枝花学院数学与计算机学院, 四川攀枝花 617000

² 电子科技大学信息与通信工程学院, 四川成都 610054

图像处理超像素图像分割评价标准区域分割 image processing superpixel image segmentation evaluation criterion region segmentation

AI 词云图 AI语音精读 AI语音超短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

归纳并分析了超像素算法和评价指标的最新研究成果及最新应用;对比了多种超像素算法的边缘召回率、欠分割错误率和紧凑度等评价指标,分析了各自的优势和不足。当前的超像素方法在精度和效率上都有较大的提高,应用领域不断增加,但仍难以满足特殊应用领域的超像素性能要求,需要研究稳健性和适应性更好的超像素算法。

Abstract

The latest research results and applications of superpixel algorithms and evaluation indexes are summarized. Many superpixel methods are compared by using the evaluation indexes such as boundary recall, under-segmentation error rate, and compactness. The corresponding advantages and limitations are also analyzed. The experimental results show that the current superpixel methods are greatly superior to the previous methods in terms of accuracy and efficiency, and the applications of superpixel algorithms are growing constantly. However, it remains difficult to satisfy the requirements of the superpixel performances in some special applications. Therefore, it is necessary to develop the new methods that are more robust and have better adaptability.

1 引言

图像尺寸越来越大,但基于像素的图像处理和计算机视觉应用在面对大尺寸高分辨率图像时难以满足实时要求。Ren等^[1]在2003年提出了一种将图像相邻像素分组的方法,分割成若干视觉特征一致的像素块,并将其取名为超像素。该方法按照图像视觉特征相似性准则和空间距离将图像像素聚合在一起,构成具有形状规则和局部结构一致的若干子区域块。超像素将图像局部特征和结构信息整体表达,减少大量的数据冗余,有利于降低数据维度和计算复杂度,是图像处理和计算机视觉等领域的重要预处理环节,成为图像处理领域的一项关键技术。产生的超像素具有与人类视觉感知特征一致的有意义区域,为后期图像或视频处理应用带来了便利。

超像素的概念一经提出,得到了大量学者的关注和研究,经过十多年的发展,针对超像素算法的研究和应用取得了丰富的成果。

2 近期超像素分割算法及评价

早期以分割图像为基础的方法在文献[ 2-3]中已有介绍,如归一化切割(NC)算法^[2]、均值漂移算法^[2]、分水岭算法^[3]和基于熵率方法^[3]。本文主要阐述新近提出的超像素生成方法。

2.1 基于图论的能量优化方法

Gong等^[4-5]基于差分进化(DE)提出差分进化超像素(DES)方法。DES方法模拟自然进化过程,以超像素内部局部误差、边界梯度和全局方差正则项共同构成目标函数,最优目标函数求解,其目标函数定义为

\begin{matrix} F (s_{i}, L_{i}) = f_{wse} (s_{i}, L_{i}) + λ \times f_{bg} (L_{i}) + γ \times f_{r} (L_{i}), (1) \end{matrix}

式中:s_i为图像中空间位置为i的像素;λ和γ为平衡因子;L_i为分割的区域标签;f_wse为超像素内部的均方误差(MSE);f_bg为边界梯度项;f_r为超像素大小约束项。f_bg的定义为

\begin{matrix} f_{bg} (L_{i}) = \frac{\overset{N}{\sum_{j = 1}} ΔI (j) \cdot B_{Li} (j)}{\overset{N}{\sum_{j = 1}} B_{Li} (j)}, (2) \end{matrix}

式中:ΔI为图像梯度;B_Li(j)为第j个超像素边缘区域;N为分割区域数量。f_r的定义为

\begin{matrix} f_{r} (L_{i}) = \frac{1}{K} \frac{\overset{K}{\sum_{t = 1}} (c_{Li, t} - c_{m})^{2}}{c_{m}^{2}}, (3) \end{matrix}

式中:K为超像素区域内像素数量;c_Li_,_t为标签L_i的超像素区域第t个像素值;c_m为超像素平均值。

图 1. DES算法整体流程

Fig. 1. Overall process of DES algorithm

下载图片查看所有图片

图1为DES算法的整体流程。该目标函数综合考虑了局部和全局优化的优点,利用DE的全局优化能力较好地实现过分割优化,完成超像素的分割。DES方法具有与图像大小相关的线性计算复杂度,可以较好地满足时效性,具有较强的高效性和稳健性。

同年,Nakamura等^[6]提出一种Fast K-MM (Median/Mean)(KMM)的超像素方法。该方法将超像素问题转换成多标签分割能量优化的问题,采用中值代替传统方法的均值,能量优化目标函数由数据保真和正则约束项构成,应用期望最大化(EM)方法更新超像素中心位置点和超像素中值,多次迭代直到收敛。

能量优化的目标函数定义为

\begin{matrix} H (x; m_{k}, C_{k}) = ‖ I (x) - m_{k} ‖_{1} + λ ‖ x - C_{k} ‖_{2}^{2}, (4) \end{matrix}

式中:m_k为空间位置x像素I(x)的强度中值;C_k为第k个超像素中心点位置。(4)式的第一项为L₁范式数据误差项,第二项为L₂的空间距离约束项。

\begin{matrix} R_{i} = \{x \in Ω |i = argminH (x; m_{k}, C_{k})\}, (5) \end{matrix}

式中:Ω表示图像范围。

根据(4)式的能量误差,用(5)式选取临时区域,根据EM更新m_k、C_k,迭代直到收敛。

图 2. KMM算法区域更新策略。(a)第t次迭代后超像素C1和C2的位置;(b)中心点移动;(c)区域更新

Fig. 2. Region update strategy for KMM algorithm. (a) Positions of superpixels C1 and C2 after t iterations; (b) movement of center point; (c) region update

下载图片查看所有图片

KMM算法在第t次迭代后更新区域状态,保留最近一次区域位置点信息,采用下式得到最新的区域更新,如图2所示。图中,灰线表示图像边缘,实线表示当前临时分割区域线。

\begin{matrix} \begin{matrix} R_{i}^{t} = \{x \in Ω |i = \\ \underset{k}{argmin} [\min H_{k}^{t} (x; m_{k}, C_{k}), H_{k}^{t - 1} (x)]\}, (6) \end{matrix} \end{matrix}

式中: $\begin{matrix} H_{k}^{t} \end{matrix}$ 为第t次迭代下的目标函数。该方法采用多种近似优化策略提高收敛效率,执行效果较好。

Peng等^[7]描述了一种基于高阶能量优化函数模型的超像素方法。该方法首先采用K均值(K-means)聚类快速获得超像素的初始分割,然后利用高阶能量构成的能量函数进行图像分割(graph-cut)优化。

能量函数描述为

\begin{matrix} E (L_{i}) = λ_{d} \times E_{data} (L_{i}) + λ_{b} \times E_{smoot h} (L_{i}) + λ_{h} \times E_{h ig h} (L_{i}), (7) \end{matrix}

式中:E_data(L_i)为图像梯度误差数据项;E_smooth(L_i)为用于约束形状的平滑项,以色调、饱和度和亮度与空间距离采用类似双边滤波的方式计算权重并累积;E_high(L_i)为高阶项;λ_d、λ_b和λ_h分别为对应的权值系数,且λ_d+λ_b+λ_h=1;L_i为标签,以均值漂移算法进行粗略分割,结合α-expansion移动算法最小化高阶能量,加强超像素边界和物体边缘重合,控制边界跨越强边缘区域。该方法融合了高阶能量进行图优化分割,对于纹理比较丰富的图像分割效果良好。

Chen等^[8]在2017年实现了一种基于NC的线性谱聚类(LSC)方法。LSC方法采用内核相似度度量函数,将图像像素映射到高维特征空间中,通过特征空间的加权K-means度量目标函数,实现归一化图割。

加权K-means度量定义为

\begin{matrix} F_{km} = \overset{K}{\sum_{k = 1}} \sum_{p} w (p) ‖ ϕ (p) - d_{k} ‖^{2}, (8) \end{matrix}

式中:d_k为聚类中心点;w(p)为第p个像素对应的高维特征权重;ϕ(p)为以颜色LAB和空间坐标构建的十维向量空间特征。

ϕ(p)定义为

\begin{matrix} ϕ (p) = \frac{1}{w (p)} [D_{c} ϕ_{c} (p), D_{s} ϕ_{s} (p)], (9) \end{matrix}

式中:

\begin{matrix} \begin{matrix} \begin{matrix} ϕ_{c} (p) = [\cos \frac{π}{2} l_{p}, \sin \frac{π}{2} l_{p}, 2.55 \cos \frac{π}{2} α_{p}, \\ 2.55 \sin \frac{π}{2} α_{p}, 2.55 \cos \frac{π}{2} β_{p}, 2.55 \sin \frac{π}{2} β_{p}] \end{matrix}; \\ ϕ_{s} (p) = [\cos \frac{π}{2} x_{p}, \sin \frac{π}{2} x_{p}, \cos \frac{π}{2} y_{p}, \sin \frac{π}{2} y_{p}]; \end{matrix} \end{matrix}

l_p、α_p和β_p分别为第p点像素的颜色空间LAB的对应值;x_p和y_p为第p点像素的横坐标和纵坐标;D_c和D_s为颜色和空间度量的平衡参数。

定义p、q两点的距离为

\begin{matrix} \begin{matrix} w (p, q) = D_{s}^{2} (\cos \frac{π}{2} x_{pq} + \cos \frac{π}{2} y_{pq}) + \\ D_{c}^{2} [\cos \frac{π}{2} l_{pq} + (\cos \frac{π}{2} α_{pq} + \cos \frac{π}{2} α_{pq}) \times 2 . 55^{2}] \end{matrix}, (10) \end{matrix}

式中:x_pq和y_pq为p、q两点横坐标和纵坐标的距离;l_pq、α_pq和β_pq分别为p、q两点像素的颜色距离。

LSC方法通过在小范围内对高维特征空间的简单K-means迭代优化分割,采用L₁范式度量方式定义w(p),避免了关联矩阵的分解和大内核矩阵的生成,具有线性计算复杂性和高内存效率。

2.2 基于梯度下降的特征优化方法

自Achanta等^[9]提出采用聚类的基本思想实现简单线性迭代聚类(SLIC)方法后,由于其具有速度快、计算简单的优点,超像素研究进入到一个高速发展期。SLIC虽然有较多优点,但也存在着边缘重合度低和抗噪声能力差等问题。近年来,针对以聚类为基本思想的超像素方法,学者们提出较多改进方法。

2016年,Shen等^[10]提出了一种在中心点范围附近利用密度空间聚类(DBSCAN)方法进行聚类搜索的超像素方法。该方法首先采用颜色相似性和几何约束初步聚类,然后利用空间距离和颜色相似性合并。由于采取了小范围聚类,该方法有效地缩短了聚类时间,可以满足时效性高的应用需求。

随后,Zhao等^[11]提出一种改进SLIC搜索策略的超像素快速线性迭代聚类(FLIC)方法。FLIC方法利用先验信息的主动搜索,通过快速遍历,可以实现快速收敛和更高的边缘重合度。同年,Xiao等^[12]提出一种多特征自适应更新权重的CAS(content-adaptive superpixel)算法。图3为CAS的整个算法框架。

CAS算法基于颜色、纹理、轮廓梯度和空间距离等特征信息,以超像素内部方差小、超像素间方差大的分割标准,通过显著特征更新权重,多次迭代收敛,完成分割。CAS算法采用显著鉴别强的特征聚类结果更新鉴别能力弱的特征权值,具有较好的紧致性和内部一致性,能自适应图像内容变化。

图 3. CAS整体处理流程

Fig. 3. Overall processing process of CAS

下载图片查看所有图片

Ban等^[13]提出一种基于高斯混合模型(GMM)的超像素方法,该方法采用高斯模型分布描述超像素,然后利用EM算法通过最大似然估计高斯分布参数,最终将所有像素对应到某个高斯模型上。该方法基本模型类似SLIC,融合了GMM算法更加全面地分析图像内容。由于GMM算法的参数计算耗时较大,因此引入空间协方差矩阵和颜色协方差矩阵的对角块矩阵的估计参数θ,定义为

\begin{matrix} Σ_{k} = [\begin{matrix} Σ_{k, x} & 0 & 0 & 0 \\ 0 & Σ_{k, y} & 0 & 0 \\ 0 & 0 & σ_{k . l}^{2} & 0 \\ 0 & 0 & 0 & Σ_{k, (a, b)} \end{matrix}], (11) \end{matrix}

式中:Σ_k_,_x和Σ_k_,_y为空间在x和y方向上的协方差; $\begin{matrix} σ_{k . l}^{2} \end{matrix}$ 为亮度分量的方差;Σ_k_,(_a_,_b₎为在a和b分量的协方差。该简化的对角块矩阵比全矩阵计算效率更高,使算法效率显著提高,算法具有更强的普适性。

文献[ 14]提出一种以最小障碍距离为度量距离的MBS(minimum barrier superpixel)。MBS通过距离变换(DT)寻找一条最低成本的路径为度量两像素点的距离为相似性度量准则,然后聚类。MBS使用变换域的最小障碍距离度量方式,较传统的欧氏距离和测地距离^[15]能更准确地度量图像轮廓,分割效果更准确。

Giraud等^[16]阐述了一种以颜色和边缘轮廓特征的线性路径寻优的超像素(SCALP)方法。该方法也是SLIC方法的改进方法,采用线性路径度量特征,融合图像边缘权重,分割效果与边缘重合度保持较好。SCALP方法具有较好的颜色一致、形状规律和图像轮廓吻合度高的特点,由于线性路径计算速度快,算法的效率高。

Fang等^[17]提出融合深度信息特征采用加权共面特征聚类完成图像超像素分割方法。该方法利用共面特征描述几何相似度来保持轮廓一致性。该方法的模型以SLIC方法为基础,像素之间的颜色相似,空间距离和几何相似性等特征,结合深度信息,利用平面投影长度和颜色估计聚类权重。该方法利用平面投影将共面特征聚类在一起,在轮廓边缘具有较好的吻合度。

Zhang等^[18]在2017年提出了一种保持边界的改进SLIC度量特征的方法。该算法增加了图像边缘信息,重新定义了集超像素边界信息、紧致性和内部一致性于一体的距离度量函数,采用3-sigma原则的更新策略,能较好地贴合图像边界,而且利用参数调节边界贴合率和紧致性之间的平衡。

Huang等^[19]在2018年实现了基于空间和颜色量化域分组自适应采样的高效超像素提取(USEAQ)方法。USEAQ考虑了区域之间的差异,自适应地为每个区域提供一个或多个候选超像素,通过后验估计,将像素分配给空间一致性和感知最相似的超像素。USEAQ提取的超像素可以精确地遵循边界重合,在边缘贴合度和紧凑度等方面取得了较好的性能,而且通过量化采样降低了像素计算量。

SLIC算法需要人工输入颜色和空间距离的平衡因子。SLICO是SLIC的改进版,无需输入平衡因子,可根据图像自动调整,保持一致性。2017年Achanta等^[20]提出一种SLIC算法的改进版本,即简单非迭代聚类(SNIC)算法,它是SLIC算法的无参数和无迭代新版本,性能得到了进一步提升。SNIC算法解决了SLIC的多次迭代、重叠局部区域重复计算和像素连接作为后处理执行等问题,基于最短距离的优先排队分配像素标签,有效地提高了聚类效率。同时,还提出相应的多边形分割算法。SNIC算法采用非迭代模式,具有方法简单、内存耗费低、速度快的优点。在基准测试中,SNIC算法的性能优于包括SLIC算法在内的多种算法。

2.3 其他方法

Bai等^[21]提出基于最小生成树的多尺度图像结构保持的超像素分割方法。该方法在不同尺度上采用树距离以图论优化层次聚类,可以更好地保留图像结构边界。Chaibou等^[22]提出基于区域生长的自适应分割方法进行动态合并来适应图像结构。文献[ 23]通过迭代网格优化水平和垂直边缘获取更佳的拓扑结构信息,属于在超像素晶格方法^[24]基础上改进的方法。该方法采用动态规划迭代寻找最佳边界,动态地调整图像边界图,可取得更好的分割效果和边界保持。Zhao等^[25-26]针对广角镜头拍摄的广角图像提出球面图像超像素(SS)方法。相较于平面图像,广角图像具有一定的畸变,图像原有结构发生改变。SS方法在SLIC的基础上采用Hammersley定义在球面上采样选取种子初始点,在SLIC原有度量特征基础上加入球面几何度量特征,更新迭代直到收敛。该方法解决了其他超像素方法对全景图像结构畸变分割效果差的问题。

AdaSLIC方法^[27]是针对三维(3D)医学图像超体素的分割方法,在SLIC的基础上,采用泊松分布抽样选取种子初始点。该方法对于微小结构敏感,生成的微小超体素可以较好地捕获图像的细节,可用于核磁共振(MRI)和计算机断层扫描(CT)图像的医疗诊断。Zhang等^[28]提出了一种以图像网格化基于二次误差测度(QEM)的3D模型三角形网格的自动超像素生成方法,将二维图像三角形网格根据灰度值提升到3D网格,再基于改进的QEM方法简化3D网格,映射到二维图像,并对传统的QEM算法进行了改进,重新定义了边收缩代价的度量。该方法对图像中的特征进行了内在编码,生成了不同大小的超像素,不仅具有特征识别能力,而且对图像特征敏感,能有效地生成多种尺度的超像素,并能较好地贴合图像边界。

Cai等^[29]实现了基于Mahalanobis距离的各向异性超像素,采用单模高斯生成模型(UGGM)通过学习局部像素颜色变化来指导超像素内的颜色均匀性,以更好地适应颜色变化。文献[ 30]针对高分遥感影像,在SLIC基础上采用了一种充分利用光谱与形状信息的新度量标准,利用光谱相似和紧凑性、异质性选择待合并的像素,完成特定图像的分割。

由于极化合成孔径雷达(SAR)受相干斑噪声影响严重,而传统超像素方法其边缘和真实目标区域边界间定位有偏差,文献[ 31]特此描述了一种融合多种距离测量和熵率的极化SAR图像超像素方法。该方法为了适应相干斑噪声带来的非均匀区域问题,采用Wishart分布的度量距离和球不变随机向量(SIRV)的度量方式,以熵率和平衡项构成能量函数,聚类分割图结构,实现超像素分割。该方法在噪声干扰严重的非均匀区域获得的超像素具有结构紧凑、均匀的特点,能更准确地覆盖图中的目标对象。

2.4 超像素评价研究

超像素算法评价是超像素研究的重要内容。目前衡量算法的常见指标包括边缘贴合度标准、紧密度标准和计算效率标准^[2]。

超像素评价工作最早见于2012年,Achanta等^[9]对NC^[2]、FZ(Felzenszwalb)^[32]、TP(turbo pixels)^[33]、QS(quick shift)^[34]、VK(Veksler)^[3]和SLIC^[9]等算法在BSD数据集上使用边缘贴合度标准[边缘召回率(BR)、欠分割错误率(UER)]指标进行实验对比。Stutz^[35]和Mathien等^[36]对基于熵率的超像素分割方法(ERS)^[37]、超像素伪布尔优化(SPBO)^[38]、CRS(contour-relaxed superpixels)^[39]、种子超像素(SEEDS)^[2]和TPS(topology preserved superpixel)^[40]等算法在NYU Depth数据集和BSD数据集上进行实验对比,结果发现,QS、CRS和ERS算法在性能上与SLIC、FZ算法表现相似,成为当时所有算法中综合性能的前5名。

2018年,Stutz等^[41]再次全面地对比2016年之前提出的共计28种超像素算法。在BSDS500、SBD^[42]、NYUV2、SUNRGBD^[43]和Fash^[44]等5个数据集上,采用BR、UER、解释方差(EV)、紧凑度(CO)、可达分割准确率(ASA)指标、类间差异(ICV)、平均距离边缘(MDE)和运行效率等指标对28种算法进行实验对比,其中,SEEDS、ERS、CRS、ERGC^[2]、ETPS^[3]和SLIC算法在BR、EV和UE指标上显示出优越的性能,在多个数据集上性能相对稳定。

紧密度是衡量超像素的重要评价指标,常见的方法有超像素平均面积、面积方差和圆形度等^[2]。但这些简单的衡量标准难以满足超像素紧凑度的衡量标准,为此,Giraud等^[45]在2017年提出新的形状规律准则(SRC)以描述超像素的形状紧凑度。SRC考虑了形状凸性、平衡再分配和轮廓光滑三种形状规则属性。SRC可以表示为

\begin{matrix} R_{SRC} (S) = \sum_{p} \frac{|S_{p}|}{|I|} O (S_{p}) V_{xy} (S_{p}) C (S_{p}), (12) \end{matrix}

式中:S={S₁,…,S_p},S_p为第p个超像素;O(S_p)为六边形凸包覆盖率;V_xy(S_p)为最小位置与最大位置方差比值;C(S_p)为形状与六边形凸包边缘像素的比例。

图 4. 圆形度量和SRC度量区别。(a)圆形度量示例;(b) SRC度量示例

Fig. 4. Difference between circular metric and SRC metric. (a) Example of circular metric; (b) example of SRC metric

下载图片查看所有图片

图4为圆形状规则和SRC规则度量的对比,图中R_SRC为形状规律准则值,C为圆形状规则值。由于SRC采用Cheeger测量来衡量形状凸性和轮廓光滑的比率,能有效地将形状凸性和边界平滑结合,因此相比圆形规则,SRC测量超像素的紧凑度更好。

同年,Giraud等^[46]再次从评价指标着手,分析现有评价超像素指标的不足。同时,为减少评估算法的偏差,提出一种基于超像素的规律性和一致性构建的全局正则(GR)指标度量的评估框架,提高了其在多尺度和规则性方面的算法评价稳健性。Brekhna等^[47]对当前性能优秀的11种算法在模糊图像、叠加高斯噪声和脉冲噪声图像上进行实验和比较,这也是首次有关超像素的、以图像失真类型为主题的研究对比工作。实验发现,目前还没有超像素算法能同时对上述三种失真图像具有很好的性能。主要原因是在算法设计时,较少考虑图像失真的情况。王成敏等^[48]对SAR图像生成超像素的抗噪性能展开研究,基于区域冗余度和区域准确率阐述了SAR图像超像素的抗噪性能评价方法,并进行抗噪性能评价。相比而言,高效图分割(EG)算法^[3]抗噪性能较优,更适用于SAR图像分割。

3 超像素最新应用现状

对超像素感知图像中有意义的区域,采用超像素代替像素进行更新网格结构,可以加速算法处理,同时可以改善图像处理效果。超像素凭借其众多优点,近10年在国内外得到了迅速发展,新算法不断涌现,超像素算法已成为计算机视觉领域和图像分析理解应用研究的关键技术。超像素已经在图像分割、目标跟踪、医学3D图像分割、人体姿态估计、图像场景分类和图像场景解析^[3]等任务中得到广泛应用,本节主要阐述近年的最新应用研究。

Zhang等^[49]在2016年基于超像素提出空间情境超像素模型(SCSM),并应用于自然路边图像的植被分类中。同年,Arisoy等^[50]针对SAR图像,提出了一种基于混合的超像素分割和SAR图像分类方法,利用SAR图像的振幅和像素坐标信息,根据统计建模使用有限的混合物将像素聚集成超像素的模型。在超像素分割后,对不同的土地覆盖(如城市、土地、湖等)提取超像素中的特征。在真实的TerraSAR-X图像上获得的分类结果显示,采用所提出的超像素方法能够更精确地实现SAR地物分类。文献[ 51]提出基于超像素的低秩表示实现高光谱图像去噪的应用。Jin等^[52]阐述了基于超像素的高光谱图像的本征图像分解方法。文献[ 53-54]将超像素应用在高分辨率的SAR图像的船舶检测中。这些研究以超像素为处理单元,算法复杂性低,同时减少了对内存的要求,能显著提高性能,为超像素在遥感领域开拓了新的应用场景。

Giraud等^[55]在原有的PatchMatch基础上提出基于超像素的SuperPatchMatch,解决了原有Patch未考虑图像结构仅按空间结构划分图像块的问题,并提出超像素的匹配方法。文献[ 56]提出基于超像素的主成分分析方法,并应用于高光谱影像降维。文献[ 57]提出基于超像素的全参考图像质量评价方法,将超像素应用于图像质量评价领域。文献[ 58]阐述了基于SLIC方法进行无参数的无监督医学图像分割研究。文献[ 59]实现了一种以超像素为基本单元的视频多传感器融合方法,可以快速实现。文献[ 60]采用超像素来度量遥感图像的区域相似性,以加快计算效率。文献[ 61]以超像素匹配应用于卷积神经网络,进行图像语义分割,减少了网络参数,提高了分割准确性。

分析大量文献可以看出,超像素具有更高层次局部特征的表达,可以减少后续处理时间,有效解决处理效率的问题,因此在多种应用中取得了良好的效果。

4 多种方法对比

虽然已有文献对超像素算法进行性能评价和对比,但关于近年来新算法的评价较少。为了进一步了解近年来多种新超像素分割方法的性能,本文在伯克利大学的BSD标准数据集上选取50张有代表性的图像进行对比实验,验证算法包括LSC^[8]、SNIC^[9]、DBSCAN^[10]、FLIC^[11]、CAS^[12]、高斯混合模型超像素(GMMS)^[13]、MBS^[14]、SCALP^[16]等方法。

评价标准包括BR、UER和CO指标,BR和UER能够综合评价超像素边缘重合度和分割准确度,CO能够反映超像素形状规则性和紧密度^[41]。

分别利用算法提供的Matlab和C++源代码对BSD数据集的50幅实验图像进行超像素分割。为了便于评价,超像素数量值统一设置为200、400、600、800和1000。DBSCAN、MBS、GMMS和SCALP等算法除了需要设置超像素数量外,还需要设置特征度量和空间距离的平衡因子参数。为了达到更好的分割效果,平衡因子参数设置在[0.1, 0.4]范围内。

对所有的分割结果,分别利用上述3种评价标准进行评价,对每幅图的评价结果取算数平均数作为该算法在某超像素数量下的最终评价值。图5~7分别为BR、UER和CO指标的比较结果。

从图5可以看出,随着超像素数量增加,每种算法的边缘重合度都有较大提高,整体来看,SNIC、SCALP、CAS、DBSCAN和LSC算法的BR值都较高,分割结果与目标边缘的贴合度高。

图 5. 不同超像素数量下算法的BR比较

Fig. 5. Comparison of BR values of algorithms under different numbers of superpixels

下载图片查看所有图片

图 6. 不同超像素数量下算法的UER比较

Fig. 6. Comparison of UER values of algorithms under different numbers of superpixels

下载图片查看所有图片

从图6可以看出,DBSCAN和FLIC算法的UER相对较高,其他算法的UER相对较低。从图7可以看出, CAS、SNIC、LSC和GMMS算法生成的超像素大小形状规则,CO较好,而MBS和FLIC算法生成的超像素CO稍差。

图 7. 不同超像素数量下算法的CO比较

Fig. 7. Comparison of CO values of algorithms under different numbers of superpixels

下载图片查看所有图片

图8为8种超像素分割算法比较的分割结果。图8(a)中图像结构较为规则,各算法的分割效果均较为理想,局部细节信息与边缘分割保持也较好。图9为纹理结构丰富的图像的分割效果,由于图中羽毛纹理信息丰富,给超像素分割带来较大难度。从视觉效果来看,LSC、DBSCAN和GMMS算法的纹理边缘保持较好,但超像素的形状不够规则;而SNIC、SCALP和CAS算法的超像素具有紧凑、近似均匀和形状规则的特点。

图 8. 多种算法对结构规则性强的图像的分割结果(超像素数量约为300)。(a)原始图像;(b) LSC;(c) SNIC;(d) DBSCAN;(e) FLIC;(f) CAS;(g) GMMS;(h) MBS;(i) SCALP

Fig. 8. Image segmentation results with strong regularity structure by several algorithms (about 300 superpixels). (a) Original image; (b) LSC; (c) SNIC; (d) DBSCAN; (e) FLIC; (f) CAS; (g) GMMS; (h) MBS; (i) SCALP

下载图片查看所有图片

图 9. 多种算法对纹理结构丰富的图像的分割结果(超像素数量约为500)。(a)原始图像;(b) LSC;(c) SNIC;(d) DBSCAN;(e) FLIC;(f) CAS;(g) GMMS;(h) MBS;(i) SCALP

Fig. 9. Image segmentation results with rich texture structure by several algorithms (about 500 superpixels).(a) Original image; (b) LSC; (c) SNIC; (d) DBSCAN; (e) FLIC; (f) CAS; (g) GMMS; (h) MBS; (i) SCALP

下载图片查看所有图片

5 结束语

超像素具有良好的表达图像结构的能力,已经成为图像分割乃至计算机视觉领域的一项重要预处理工具,是当下图像分割领域的研究热点。从近两年的研究成果来看,超像素算法本身及其应用领域都受到了国内外学者日益广泛的关注。

介绍了近年超像素分割算法的成果、算法评价和应用领域的研究现状,并分析和实验对比了近年来提出的具有代表性的方法。从实验对比来看,近期提出的超像素方法在精度和效率方面都有很好的提高,但也仍然存在着一定的不足。

为了更好地应用于计算机视觉和图像后期处理,超像素的研究方向主要有:1) 实时性,特别是在视频处理应用方面。算法效率提高和算法并行化是实现实时处理的发展趋势。2) 算法特征多样性和稳健性。目前,计算机视觉处理的超像素研究较为成熟,重点选取颜色特征作为聚合依据。但近年来,遥感图像、SAR图像和医学图像等领域对超像素的分割精确也提出了越来越高的要求,需要针对特定的问题选择适当的特征以达到预期分割效果。同时,上述应用场景的图像可能存在失真,而现有算法对全景图像、噪声图像和模糊图像等多种失真类型的图像处理效果不够理想。融合稳健的特征描述也是未来超像素发展的重要方向。

参考文献

[1] RenX, MalikJ. Learning a classification model for segmentation[C]∥Proceedings of the Ninth IEEE International Conference on Computer Vision, 2003: 10- 17.

[2] 宋熙煜, 周利莉, 李中国, 等. 图像分割中的超像素方法研究综述[J]. 中国图象图形学报, 2015, 20(5): 599-608.

Song X Y, Zhou L L, Li Z G, et al. Review on superpixel methods in image segmentation[J]. Journal of Image and Graphics, 2015, 20(5): 599-608.

[3] 王春瑶, 陈俊周, 李炜. 超像素分割算法研究综述[J]. 计算机应用研究, 2014, 31(1): 6-12.

Wang C Y, Chen J Z, Li W. Review on superpixel segmentation algorithms[J]. Application Research of Computers, 2014, 31(1): 6-12.

[4] Gong YJ, Zhou YC, Zhang XL. A superpixel segmentation algorithm based on differential evolution[C]∥2016 IEEE International Conference on Multimedia and Expo (ICME), 2016: 1- 6.

[5] Gong Y J, Zhou Y C. Differential evolutionary superpixel segmentation[J]. IEEE Transactions on Image Processing, 2018, 27(3): 1390-1404.

[6] Nakamura K, Hong B W. Fast-convergence superpixel algorithm via an approximate optimization[J]. Journal of Electronic Imaging, 2016, 25(5): 053035.

[7] Peng J T, Shen J B, Yao A, et al. Superpixel optimization using higher order energy[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(5): 917-927.

[8] Chen J S, Li Z Q, Huang B. Linear spectral clustering superpixel[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3317-3330.

[9] Achanta R, Shaji A, Smith K, et al. SLIC superpixels compared to state-of-the-art superpixel methods[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(11): 2274-2282.

[10] Shen J B, Hao X P, Liang Z Y, et al. Real-time superpixel segmentation by DBSCAN clustering algorithm[J]. IEEE Transactions on Image Processing, 2016, 25(12): 5933-5942.

[11] Zhao J, Bo R, Hou Q, et al. FLIC: fast linear iterative clustering with active search[J]. Computational Visual Media, 2018, 4(4): 333-348.

[12] Xiao X L, Zhou Y C, Gong Y J. Content-adaptive superpixel segmentation[J]. IEEE Transactions on Image Processing, 2018, 27(6): 2883-2896.

[13] Ban Z H, Liu J G, Cao L. Superpixel segmentation using gaussian mixture model[J]. IEEE Transactions on Image Processing, 2018, 27(8): 4105-4117.

[14] Hu Y L, Li Y S, Song R, et al. Minimum barrier superpixel segmentation[J]. Image and Vision Computing, 2018, 70: 1-10.

[15] Wang P, Zeng G, Gan R, et al. Structure-sensitive superpixels via geodesic distance[J]. International Journal of Computer Vision, 2013, 103(1): 1-21.

[16] Giraud R, Ta V T, Papadakis N. Robust superpixels using color and contour features along linear path[J]. Computer Vision and Image Understanding, 2018, 170: 1-13.

[17] Fang Z Q, Yu X S, Wu C D, et al. Superpixel segmentation using weighted coplanar feature clustering on RGBD images[J]. Applied Sciences, 2018, 8(6): 902.

[18] Zhang Y X, Li X M, Gao X F, et al. A simple algorithm of superpixel segmentation with boundary constraint[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2017, 27(7): 1502-1514.

[19] Huang C R, Wang W C, Wang W A, et al. USEAQ: ultra-fast superpixel extraction via adaptive sampling from quantized regions[J]. IEEE Transactions on Image Processing, 2018, 27(10): 4916-4931.

[20] AchantaR, SüsstrunkS. Superpixels and polygons using simple non-iterative clustering[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2017: 4895- 4904.

[21] BaiY, Chen XJ. Efficient structure-preserving superpixel segmentation based on minimum spanning tree[C]∥2016 IEEE International Conference on Multimedia and Expo (ICME), 2016: 1- 6.

[22] Chaibou M S, Conze P H, Kalti K, et al. Adaptive strategy for superpixel-based region-growing image segmentation[J]. Journal of Electronic Imaging, 2017, 26(6): 061605.

[23] Chai D F, Huang Y T, Bao Y J. IRSL: iterative refining superpixel lattice[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(3): 344-348.

[24] Moore AP, Prince S J D, Warrell J, et al. Superpixel lattices[C]∥2008 IEEE Conference on Computer Vision and Pattern Recognition, 2008: 1- 8.

[25] ZhaoQ, WanL, Zhang JW. Spherical superpixel segmentation[C]∥2016 IEEE International Conference on Multimedia and Expo (ICME), 2016: 1- 6.

[26] Zhao Q, Dai F, Ma Y K, et al. Spherical superpixel segmentation[J]. IEEE Transactions on Multimedia, 2018, 20(6): 1406-1417.

[27] Amami A, Azouz Z B. Alouane M T H. AdaSLIC: adaptive supervoxel generation for volumetric medical images[J]. Multimedia Tools and Applications, 2019, 78(3): 3723-3745.

[28] Zhang Y X, Ma L, Zhou Y F, et al. Automatic superpixel generation algorithm based on a quadric error metric in 3D space[J]. Signal, Image and Video Processing, 2017, 11(3): 471-478.

[29] Cai Y Q, Guo X H. Anisotropic superpixel generation based on mahalanobis distance[J]. Computer Graphics Forum, 2016, 35(7): 199-207.

[30] 苏腾飞, 张圣微, 李洪玉. 种子区域生长的高分遥感影像超像素分割[J]. 测绘科学, 2018, 43(8): 122-129.

Su T F, Zhang S W, Li H Y. High resolution remote sensing image super-pixel segmentation based on seeded region growing[J]. Science of Surveying and Mapping, 2018, 43(8): 122-129.

[31] Wang W, Xiang D L, Ban Y F, et al. Superpixel segmentation of polarimetric SAR images based on integrated distance measure and entropy rate method[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(9): 4045-4058.

[32] Felzenszwalb P F, Huttenlocher D P. Efficient graph-based image segmentation[J]. International Journal of Computer Vision, 2004, 59(2): 167-181.

[33] Levinshtein A, Stere A, Kutulakos K N, et al. TurboPixels: fast superpixels using geometric flows[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(12): 2290-2297.

[34] VedaldiA, SoattoS. Quick shift and kernel methods for mode seeking[M] ∥Vedaldi A, Soatto S. eds. Heidelberg: Springer, 2008 : 705- 718.

[35] StutzD. Superpixel segmentation: an evaluation[M] ∥Stutz D. Cham: Springer International Publishing, 2015: 555- 562.

[36] MathieuB, CrouzilA, Puel JB. Over segmentation methods: a new evaluation[M] ∥Mathieu B, Crouzil A, Puel J B. Cham: Springer International Publishing, 2017: 185- 193.

[37] LiuM, TuzelO, RamalingamS, et al. Entropy rate superpixel segmentation[C] ∥Proceedings of Computer Vision and Pattern Recognition, 2011: 2097- 2104.

[38] Zhang YH, HartleyR, MashfordJ, et al. Superpixels via pseudo-Boolean optimization[C]∥2011 International Conference on Computer Vision, 2011: 1387- 1394.

[39] ConradC, MertzM, MesterR. Contour-relaxed superpixels[M] ∥Conrad C, Mertz M, Mester R. Heidelberg: Springer, 2013: 280- 293.

[40] TangD, Fu HZ, Cao XC. Topology preserved regular superpixel[C]∥2012 IEEE International Conference on Multimedia and Expo, 2012: 765- 768.

[41] Stutz D, Hermans A, Leibe B. Superpixels: an evaluation of the state-of-the-art[J]. Computer Vision and Image Understanding, 2018, 166: 1-27.

[42] GouldS, FultonR, KollerD. Decomposing a scene into geometric and semantically consistent regions[C]∥2009 IEEE 12th International Conference on Computer Vision, 2009: 1- 8.

[43] Song SR, Lichtenberg SP, Xiao JX. SUN RGB-D: a RGB-D scene understanding benchmark suite[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 2015: 567- 576.

[44] YamaguchiK, Kiapour MH, Ortiz LE, et al. Parsing clothing in fashion photographs[C]∥IEEE Conference on Computer Vision and Pattern Recognition, 2012: 3570- 3577.

[45] GiraudR, Ta VT, PapadakisN. Robust shape regularity criteria for superpixel evaluation[C]∥IEEE International Conference on Image Processing, 2017: 3455- 3459.

[46] Giraud R, Ta V T, Papadakis N. Evaluation framework of superpixel methods with a global regularity measure[J]. Journal of Electronic Imaging, 2017, 26(6): 061603.

[47] Brekhna B, Mahmood A, Zhou Y F. Robustness analysis of superpixel algorithms to image blur, additive Gaussian noise, and impulse noise[J]. Journal of Electronic Imaging, 2017, 26(6): 061604.

[48] 王成敏, 杨学志, 周芳. SAR图像超像素生成算法抗噪性能研究[J]. 合肥工业大学学报(自然科学版), 2016, 39(12): 1626-1632.

Wang C M, Yang X Z, Zhou F. Research on anti-noise performance of superpixel segmentation algorithms of SAR image[J]. Journal of Hefei University of Technology (Natural Science), 2016, 39(12): 1626-1632.

[49] Zhang L G, Verma B, Stockwell D. Spatial contextual superpixel model for natural roadside vegetation classification[J]. Pattern Recognition, 2016, 60: 444-457.

[50] Arisoy S, Kayabol K. Mixture-based superpixel segmentation and classification of SAR images[J]. IEEE Geoscience and Remote Sensing Letters, 2016, 13(11): 1721-1725.

[51] FanF, MaY, LiC, et al. Hyperspectral image denoising with superpixel segmentation and low-rank representation[J]. InformationSciences, 2017, 397/398: 48- 68.

[52] Jin X D, Gu Y F. Superpixel-based intrinsic image decomposition of hyperspectral images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(8): 4285-4295.

[53] Pappas O, Achim A, Bull D. Superpixel-level CFAR detectors for ship detection in SAR imagery[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(9): 1397-1401.

[54] Li T, Liu Z, Xie R, et al. An improved superpixel-level CFAR detection method for ship targets in high-resolution SAR images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(1): 184-194.

[55] Giraud R, Ta V T, Bugeau A, et al. SuperPatchMatch: an algorithm for robust correspondences using superpixel patches[J]. IEEE Transactions on Image Processing, 2017, 26(8): 4068-4078.

[56] Jiang J J, Ma J Y, Chen C, et al. SuperPCA: a superpixel wise PCA approach for unsupervised feature extraction of hyperspectral imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2018, 56(8): 4581-4593.

[57] Sun W, Liao Q M, Xue J H, et al. SPSIM: a superpixel-based similarity index for full-reference image quality assessment[J]. IEEE Transactions on Image Processing, 2018, 27(9): 4232-4244.

[58] Boemer F, Ratner E, Lendasse A. Parameter-free image segmentation with SLIC[J]. Neurocomputing, 2018, 277: 228-236.

[59] Gangapure V N, Nanda S, Chowdhury A S. Superpixel-based causal multisensor video fusion[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2018, 28(6): 1263-1272.

[60] 闫琦, 李慧, 荆林海, 等. 一种超像素区域相似性度量的遥感信息提取算法[J]. 激光与光电子学进展, 2017, 54(8): 081004.

Yan Q, Li H, Jing L H, et al. An extraction algorithm of remote sensing information based on similarity measurement for superpixel regions[J]. Laser & Optoelectronics Progress, 2017, 54(8): 081004.

[61] 郭呈呈, 于凤芹, 陈莹. 基于卷积神经网络特征和改进超像素匹配的图像语义分割[J]. 激光与光电子学进展, 2018, 55(8): 081005.

Guo C C, Yu F Q, Chen Y. Image semantic segmentation based on convolutional neural network feature and improved superpixel matching[J]. Laser & Optoelectronics Progress, 2018, 55(8): 081005.

罗学刚, 吕俊瑞, 彭真明. 超像素分割及评价的最新研究进展[J]. 激光与光电子学进展, 2019, 56(9): 090005. Xuegang Luo, Junrui Lü, Zhenming Peng. Recent Research Progress of Superpixel Segmentation and Evaluation[J]. Laser & Optoelectronics Progress, 2019, 56(9): 090005.

超像素分割及评价的最新研究进展下载： 3027次

1 引言

2 近期超像素分割算法及评价

2.1 基于图论的能量优化方法

图 1. DES算法整体流程

Fig. 1. Overall process of DES algorithm

图 2. KMM算法区域更新策略。(a)第t次迭代后超像素C1和C2的位置;(b)中心点移动;(c)区域更新

Fig. 2. Region update strategy for KMM algorithm. (a) Positions of superpixels C1 and C2 after t iterations; (b) movement of center point; (c) region update

2.2 基于梯度下降的特征优化方法

图 3. CAS整体处理流程

Fig. 3. Overall processing process of CAS

2.3 其他方法

2.4 超像素评价研究

图 4. 圆形度量和SRC度量区别。(a)圆形度量示例;(b) SRC度量示例

Fig. 4. Difference between circular metric and SRC metric. (a) Example of circular metric; (b) example of SRC metric

3 超像素最新应用现状

4 多种方法对比

图 5. 不同超像素数量下算法的BR比较

Fig. 5. Comparison of BR values of algorithms under different numbers of superpixels

图 6. 不同超像素数量下算法的UER比较

Fig. 6. Comparison of UER values of algorithms under different numbers of superpixels

图 7. 不同超像素数量下算法的CO比较

Fig. 7. Comparison of CO values of algorithms under different numbers of superpixels

图 8. 多种算法对结构规则性强的图像的分割结果(超像素数量约为300)。(a)原始图像;(b) LSC;(c) SNIC;(d) DBSCAN;(e) FLIC;(f) CAS;(g) GMMS;(h) MBS;(i) SCALP

Fig. 8. Image segmentation results with strong regularity structure by several algorithms (about 300 superpixels). (a) Original image; (b) LSC; (c) SNIC; (d) DBSCAN; (e) FLIC; (f) CAS; (g) GMMS; (h) MBS; (i) SCALP

图 9. 多种算法对纹理结构丰富的图像的分割结果(超像素数量约为500)。(a)原始图像;(b) LSC;(c) SNIC;(d) DBSCAN;(e) FLIC;(f) CAS;(g) GMMS;(h) MBS;(i) SCALP

Fig. 9. Image segmentation results with rich texture structure by several algorithms (about 500 superpixels).(a) Original image; (b) LSC; (c) SNIC; (d) DBSCAN; (e) FLIC; (f) CAS; (g) GMMS; (h) MBS; (i) SCALP

5 结束语

Article Outline

关于本站 Cookie 的使用提示

全站搜索

超像素分割及评价的最新研究进展 下载： 3027次

1 引言

2 近期超像素分割算法及评价

2.1 基于图论的能量优化方法

图 1. DES算法整体流程

Fig. 1. Overall process of DES algorithm

图 2. KMM算法区域更新策略。(a)第t次迭代后超像素C1和C2的位置;(b)中心点移动;(c)区域更新

Fig. 2. Region update strategy for KMM algorithm. (a) Positions of superpixels C1 and C2 after t iterations; (b) movement of center point; (c) region update

2.2 基于梯度下降的特征优化方法

图 3. CAS整体处理流程

Fig. 3. Overall processing process of CAS

2.3 其他方法

2.4 超像素评价研究

图 4. 圆形度量和SRC度量区别。(a)圆形度量示例;(b) SRC度量示例

Fig. 4. Difference between circular metric and SRC metric. (a) Example of circular metric; (b) example of SRC metric

3 超像素最新应用现状

4 多种方法对比

图 5. 不同超像素数量下算法的BR比较

Fig. 5. Comparison of BR values of algorithms under different numbers of superpixels

图 6. 不同超像素数量下算法的UER比较

Fig. 6. Comparison of UER values of algorithms under different numbers of superpixels

图 7. 不同超像素数量下算法的CO比较

Fig. 7. Comparison of CO values of algorithms under different numbers of superpixels

图 8. 多种算法对结构规则性强的图像的分割结果(超像素数量约为300)。(a)原始图像;(b) LSC;(c) SNIC;(d) DBSCAN;(e) FLIC;(f) CAS;(g) GMMS;(h) MBS;(i) SCALP

Fig. 8. Image segmentation results with strong regularity structure by several algorithms (about 300 superpixels). (a) Original image; (b) LSC; (c) SNIC; (d) DBSCAN; (e) FLIC; (f) CAS; (g) GMMS; (h) MBS; (i) SCALP

图 9. 多种算法对纹理结构丰富的图像的分割结果(超像素数量约为500)。(a)原始图像;(b) LSC;(c) SNIC;(d) DBSCAN;(e) FLIC;(f) CAS;(g) GMMS;(h) MBS;(i) SCALP

Fig. 9. Image segmentation results with rich texture structure by several algorithms (about 500 superpixels).(a) Original image; (b) LSC; (c) SNIC; (d) DBSCAN; (e) FLIC; (f) CAS; (g) GMMS; (h) MBS; (i) SCALP

5 结束语

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

超像素分割及评价的最新研究进展下载： 3027次