基于PC-MSPCNN模型和SLIC的彩色图像分割方法 下载: 1144次
1 引言
图像分割是图像处理的关键步骤,其目的是分割出图像中的感兴趣区域,为后续信息提取与识别提供依据。超像素[1]利用像素之间存在的相似纹理、颜色、形状等特征将像素分类,可以减少不必要的冗余信息,降低后续图像处理的复杂度。现有的超像素分割算法可分为两类[2],一类是基于图论的能量优化方法[3-6],一类是基于梯度下降的特征优化方法,后者以SLIC(Simple Linear Iterative Clustering)[7]为基础,曾提出一些改进方法,其中有:多特征自适应更新权重的CAS(Content-Adaptive Superpixel)[8],它以颜色、纹理、轮廓和空间距离4种特征更新权重完成分割;采用线性路径度量特征的SCALP(Contour Adherence Using Linear Path)[9],它以颜色和边缘轮廓特征的线性路径寻优;无参数和无迭代的SLIC——非迭代模式的SNIC(Simple Non-Iterative Clustering)[10]。虽然这些算法对SLIC进行了不同程度的优化,但边缘贴合度均不够理想。
脉冲耦合神经网络(PCNN)是Eckhorn等[11]于20世纪90年代提出的一种基于猫的视觉原理构建的简化神经网络模型,该模型指出动物的大脑皮层所发出的脉冲诱发相邻多个神经元同步发放脉冲后,可以迅速找到图像中的同质区域,通过调节神经元的联结强度,可以分割出物体的细节。研究表明,该模型在边缘和细节处理方面具有独特的优势。文献[ 12]提出一种改进的单元链接脉冲耦合神经网络(UL-PCNN),能够分割不同环境下的绝缘子图像,保留丰富的图像细节。文献[ 13]运用双通道PCNN,有效地提取源图像的特征信息,解决了医学图像融合中边缘模糊的问题。文献[ 14]将外部特征作为输入刺激PCNN模型,使得源图像的区域边界融合效果得到了一定的改善。近年来,研究者相继提出了SPCNN(Simplified Pulse Coupled Neural Network)[15]和MSPCNN(Modified Simplified Pulse Coupled Neural Network)[16],有效克服了上述模型参数较多的缺点,但是对细节、边缘的保留不够完整。
为克服MSPCNN模型的不足,本文在MSPCNN基础上提出PC-MSPCNN模型,进一步提高分割的精确度,并将此模型与SLIC进行结合完成图像分割。该方法依据PC-MSPCNN中像素对应的神经元输出Y值的分布对图像划分边缘,合并像素块和碎片以有效保留目标物体边界,引入PC-MSPCNN中的内部活动项U值对像素进行加权融合聚类,以实现良好的分割效果。
2 基本原理
2.1 MSPCNN模型
研究者在传统PCNN[17]的基础上提出SPCNN模型,相比PCNN模型,该模型有限定的分割步骤,在每一次的迭代中能够自动地选择合适的阈值完成分割。但在联结强度较紧密的区域,需要计算的参数过多,分割过程不够收敛。为此,Lian等[16]对SPCNN模型进行了进一步改进,提出了MSPCNN模型。MSPCNN的迭代方程为
式中:Sij为图像S在像素(i,j)点的灰度值;Fij(n)为神经元的反馈输入项;Lij(n)为链接输入,代表神经元8邻域的神经元;所有输入受耦合系数β调节形成内部活动项Uij(n),内部活动项Uij(n)受衰减因子exp(-α)调节;Eij(n)为动态阈值;Yij(n)为输出;如果Uij(n)大于Eij(n),神经元点火,Yij(n)为1,Eij(n)瞬时增大,反之,神经元不点火,Yij(n)为0,Eij(n)衰减;S'为标准Otsu阈值;α为衰减因子,随着S'的减少而增加;Wij为突触权重矩阵,Wij(k,l)表示Wij中第k行第l列元素;V为权重因子。
2.2 PC-MSPCNN模型
本文基于MSPCNN模型,提出Parameter-Controlled MSPCNN(PC-MSPCNN)模型,进一步扩展了PCNN模型的应用范围,该模型的表达式为
式中:Fij(n)表示神经元的馈送输入;Lij(n)表示神经元的链接输入;Uij(n)表示神经元的内部活动项,它由三部分组成,第一部分是迭代状态值,记录了内部活动项前一次迭代的计算数值,第二部分为馈送输入值,第三部分是馈送输入、链接输入和输入图像Otsu阈值的耦合值;Eij(n)表示神经元的动态阈值,它的大小由幅度值V、辅助参数Kn和衰减因子exp(-α)共同决定。
PC-MSPCNN模型参数的含义与MSPCNN一致,但参数的设置方法有较明显区别,如下所示:
PC-MSPCNN模型中的参数均为自适应参数,可直接获得最终的图像处理结果,该模型参数的设定依据如下:
1) 突触权重矩阵Wij表示周围神经元对中心神经元的影响程度。MSPCNN模型中的4邻域突触权重矩阵无法精确地衡量周边神经元对中心神经元的影响,容易产生欠拟合和欠分割的现象,而传统的8邻域突触权重矩阵容易产生过分割现象。为了防止上述现象的产生,本研究将8邻域突触权重矩阵与一个衰减系数exp(-α)相乘,保证每次取值在上述两个传统权重值之间,通过精确合理地控制神经元之间的突触权重值,可以确保后续分割细节的提取,因此将该矩阵重新设定为SPCNN中8邻域突触权重矩阵与exp(-α)的乘积。
2) 耦合系数β为神经元间联结强度,MSPCNN模型中其参数值的设定方法容易产生过分割或欠分割的情况。针对上述情况,将突触权重矩阵Wij的各项系数值相加,求出倒数,得到耦合系数β的值,其值为1/6。
3) 为了防止神经元二次点火,影响动态阈值的调节,设置一个辅助参数Kn。
4) 根据文献[ 15],当像素对应神经元在第l+1次迭代时点火,其第l+2次迭代内部活动项的最小值大于第l+1次迭代时的动态阈值,同时,其第l+1次迭代内部活动项的最大值小于第l次迭代时的动态阈值。Y(0)、U(0)和E(0)的初始值设置为0。当l=1时,可得第二次迭代时神经元的点火条件为
为了在第二次迭代中增加神经元点火的数量,防止发生欠分割等情况,点火条件(20)式被重新设置为
根据(12)、(15)、(16)和(19)式,在第二次迭代中,
根据(14)、(15)和(18)式,可得E(1)=V。之后根据(20)、(21)和(22)式,可得
标准化Otsu阈值S'总是大于Slow,因此Slow被替换为S',即
V可取到最大值,即
根据(15)、(16)、(18)、(22)和(25)式,可得
3 基于PC-MSPCNN模型和SLIC的彩色图像分割方法
SLIC方法根据像素间的LAB值和空间坐标值对像素进行K-means聚类,聚类后将小区域的像素块合并到邻近超像素块。该方法会导致图像出现过分割和欠分割现象,分割结果不能有效地贴合物体边缘。PC-MSPCNN是一种有生物学依据的人工神经网络,该模型将图像上的每个像素对应为神经元,对图像中物体的边缘具有高度敏感性。因此将PC-MSPCNN模型运用到SLIC分割方法中,其过程包括划分、聚类和合并三个步骤。
3.1 划分
PC-MSPCNN的神经元输出Y值,即(13)式的值,包含图像区域边缘特征信息,是界定边缘的有效依据,它的输出为二值序列,其中图像上从0到1的变化即为物体与物体间的边缘区域。因此,将图像输入PC-MSPCNN模型,根据PC-NSPCNN的神经元输出Y值分布可得到物体的边缘,如
3.2 第一次合并
利用神经元输出Y值进行划分后,物体的边缘周围聚集了大量的碎片,为了消除划分时产生的冗余数据,将这些碎片进行合并。与SLIC合并方法不同,本文合并碎片分两个步骤完成:1)把两个最相似的小像素块合并在一起形成一个像素块,2)把游离的碎片合并到与其最相似的像素块中。最终合并效果如
合并碎片的规则如下:
式中:D(l,p)表示像素块间的距离,D(l,p)越大,像素越相似;dRGB(l,p)表示颜色距离;dxy(l,p)表示空间距离;
3.3 聚类
经过上述步骤,只标记出物体的边缘,结果中依然存在需要继续分割的区域,故需将剩下的区域进行聚类。
依照SLIC算法,设聚类中心Ck={lk,ak,bk,xk,yk},k=1,2,…,K,其中lk,ak,bk为当前子块内所有像素在l,a,b各个分量的平均值,xk,yk为子块内所有像素横纵坐标的平均值,子块内每一个像素p与聚类中心Ck的距离为d(p,Ck)=m*dlab+n*dxy,其中,dlab和dxy分别表示聚类中心Ck所处的像素块中每个像素点p与聚类中心Ck的颜色距离和空间距离,m和n为控制颜色和空间距离的常数,其数值越大,对分割的影响就越大,反之亦然。由于一个像素对应一个神经元,内部活动项U表示神经元的内部行为,故可将其作为像素的特征。因此本文在聚类时引入神经元的内部活动项U,即(12)式的值,从而改进聚类效果,使处于边缘的像素能够更准确地聚类到相似的超像素块中,表达式为
其中,L(p)表示以像素点p为中心、大小为3×3的邻域像素集,u1q,u2q,u3q分别为像素点q在RGB三个通道的内部活动项U值,通过计算像素点p邻域内的U值标准差可以得出各点的权重wpq,权重满足
最后,为提高相似度测量的准确性,将颜色距离、空间距离和U值距离加权融合作为超像素的距离度量准则。根据相似度度量,形成融合模型[18],表达式为
式中:Δ为距离度量参数,Δ越小,像素间相似度越大;λ为控制参数,λ越大,U值对相似度度量的影响越大,反之影响越小。利用该公式定义的距离度量方法,对图像像素进行聚类。
3.4 第二次合并
尽管碎片经过第一次合并就能较好地贴合物体的边缘,但加权融合聚类后会导致图像过分割,期间产生了一些碎片,这些碎片需用上述合并碎片的方式再次进行合并,最终完成图像超像素分割。
4 分析与讨论
为了证明本文方法的有效性,实验选用3组来自Berkeley自然图像库的图片比较本方法在各环节中相对SLIC的优势。算法运行的系统环境为Windows7,软件环境为MATLAB R2016b。
参数设置如下:λ设为0.8,以提高内部活动项U值对分割的影响;m设为1,n设为20,以增强对形状的控制;α设置为2,使超像素形状更加规则;分割数设为300,以避免过、欠分割现象。
如
图 2. 算法各环节下的结果对比。(a)本文算法划分结果;(b)本文算法划分后第一次合并结果;(c)本文算法聚类结果;(d)SLIC算法聚类结果
Fig. 2. Comparison results of division and clustering for two algorithms. (a) Division results of the proposed algorithm; (b) first merging results after division by the proposed algorithm; (c) clustering results of the proposed algorithm; (d) clustering results of SLIC
表 1. 各算法指标对比
Table 1. Index comparison
|
表 2. 各算法时间对比
Table 2. Running time comparison unit: s
|
为了进一步验证本文方法的有效性,将本文方法分割结果与SNIC[10]、CAS[8]、SLIC[7]和SCoW[19]算法分割结果进行对比实验。不同算法的分割结果如
图 3. 算法对比结果。(a)SLIC算法分割结果;(b)SNIC算法分割结果;(c)CAS算法分割结果;(d)SCoW算法分割结果;(e)本文提出算法分割结果
Fig. 3. Comparison results for different algorithms. (a) SLIC; (b) SNIC; (c) CAS; (d) SCoW; (e) our algorithm
从主观角度分析:SLIC分割的边缘轮廓欠缺,细节损失严重;CAS和SNIC分割的细节保留不完整,大雁的尾翼和树木的边缘遗失,CAS分割的超像素边缘杂乱,超像素块大小不均匀; SCoW边界基本保留,但细节信息有一定缺失。而本文算法与其他算法相比,能够更完整地保留物体边缘,细节信息更丰富,对形状的把控更到位,视觉效果更好。
为了更加客观地对上述各种方法进行评价,采用BR(boundary recall)、UE(under-segmentation error)和ASA(achievable segmentation accuracy)这三个指标来比较各方法的优劣。比较结果如
从
综合主客观两个方面的评价结果,本文方法能够较完整地保留边界,能较好地提取物体的细节特征,优于其他几种分割算法。
5 结论
针对超像素分割方法所存在的边缘贴合度差的问题,利用PCNN高度符合人眼视觉的特性,提出了一种基于PC-MSPCNN模型和SLIC的彩色图像分割方法。利用像素对应的神经元输出Y值进行区域划分,从分割结果中可以看出,物体边缘得到很好地保留。利用内部活动项U的紧密联结性增加聚类限定条件,提取分割细节,利用相似性准则多次合并碎片,进一步提高边缘贴合度。实验结果表明,本文分割方法符合人眼视觉系统,能较好地划分物体边缘,提取丰富的图像细节,但耗时较长。关于时间的消耗问题有待在后续研究中加以解决。
[1] Ren XF, MalikJ. Learning a classification model for segmentation[C]∥Proceedings Nineth IEEE International Conference on Computer Vision, October 13-16, 2003, Nice, France.New York: IEEE Press, 2003: 10- 17.
[2] 罗学刚, 吕俊瑞, 彭真明. 超像素分割及评价的最新研究进展[J]. 激光与光电子学进展, 2019, 56(9): 090005.
[4] Nakamura K, Hong B W. Fast-convergence superpixel algorithm via an approximate optimization[J]. Journal of Electronic Imaging, 2016, 25(5): 053035.
[5] Peng J T, Shen J B, Yao A, et al. Superpixel optimization using higher order energy[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2016, 26(5): 917-927.
[6] Chen J S, Li Z Q, Huang B. Linear spectral clustering superpixel[J]. IEEE Transactions on Image Processing, 2017, 26(7): 3317-3330.
[8] Xiao X L, Zhou Y C, Gong Y J. Content-adaptive superpixel segmentation[J]. IEEE Transactions on Image Processing, 2018, 27(6): 2883-2896.
[9] Giraud R, Ta V T, Papadakis N. Robust superpixels using color and contour features along linear path[J]. Computer Vision and Image Understanding, 2018, 170: 1-13.
[10] AchantaR, SüsstrunkS. Superpixels and polygons using simple non-iterative clustering[C]∥2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), July 21-26, 2017, Honolulu, HI, USA.New York: IEEE Press, 2017: 4895- 4904.
[11] Eckhorn R, Reitboeck H J, Arndt M, et al. Feature linking via synchronization among distributed assemblies: simulations of results from cat visual cortex[J]. Neural Computation, 1990, 2(3): 293-307.
[12] 杜小燕, 钟俊. 基于改进型UL-PCNN的绝缘子图像分割[J]. 激光与光电子学进展, 2019, 56(15): 151005.
[13] 王建, 吴锡生. 基于改进的引导滤波和双通道脉冲耦合神经网络的医学图像融合[J]. 激光与光电子学进展, 2019, 56(15): 151004.
[14] 王艳, 杨艳春, 党建武, 等. 非下采样Contourlet变换域内结合模糊逻辑和自适应脉冲耦合神经网络的图像融合[J]. 激光与光电子学进展, 2019, 56(10): 101006.
[16] Lian J, Yang Z, Sun WH, et al. An image segmentation method of a modified SPCNN based on human visual system in medical images[J]. Neurocomputing, 2019, 333: 292-306.
[17] 马义德, 李廉, 绽琨. 脉冲耦合神经网络与数字图像处理[M]. 北京: 科学出版社, 2008: 8- 22.
Ma YD, LiL, ZhanK. Pulse-coupled neural networks and digital image processing[M]. Beijing: Science Press, 2008: 8- 22.
[18] YaoJ, Odobez JM. Multi-layer background subtraction based on color and texture[C]∥2007 IEEE Conference on Computer Vision and Pattern Recognition, June 17-22, 2007, Minneapolis, MN, USA.New York: IEEE Press, 2007: 1- 8.
[19] Hu ZW, ZouQ, Li QQ. Watershed superpixel[C]∥2015 IEEE International Conference on Image Processing (ICIP), September 27-30, 2015, Quebec City, Canada.New York: IEEE Press, 2015: 349- 353.
Article Outline
李新颖, 冉思园, 廉敬. 基于PC-MSPCNN模型和SLIC的彩色图像分割方法[J]. 激光与光电子学进展, 2021, 58(2): 0210023. Xinying Li, Siyuan Ran, Jing Lian. Color Image Segmentation Method Based on Parameter-Controlled MSPCNN and SLIC[J]. Laser & Optoelectronics Progress, 2021, 58(2): 0210023.