基于Lab颜色空间纹理特征的图像前后景分离

杨超; 刘本永

doi:doi:10.3788/LOP56.121001

激光与光电子学进展, 2019, 56 (12): 121001, 网络出版: 2019-06-13

基于Lab颜色空间纹理特征的图像前后景分离下载： 1337次

Image Foreground-Background Separation Based on Texture Features Extracted in Lab Color Space

论文大纲

杨超刘本永 ^*

作者单位

贵州大学智能信息处理研究所, 贵州贵阳 550025

图像处理图像前后景分离区域生长区域合并图像子块 image processing image foreground-background separation region growing region merging image blocks

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

针对图像前后景分离的传统算法需要人机交互且分离效果差、效率低和种子点选取难等问题,提出了基于Lab颜色空间纹理特征的图像前后景自动分离算法。对图像进行分块,并将图像转换到由国际照明委员会(CIE)制定的CIE Lab颜色空间;然后提取各图像子块的颜色和纹理特征,选取种子点;最后采用区域生长算法得到分割图像,采用区域合并改善过分割现象。结果表明,所提算法的分离结果较好,处理时间和算法复杂度较传统算法更优。

Abstract

To address the problems of human-computer interaction, poor separation, low efficiency, and difficulty in seed selection in the traditional image foreground-background separation algorithms, we propose an automatic image-foreground-background separation algorithm based on the texture features extracted in the Lab color space. First, we segment the image into blocks and convert it into a CIE-Lab color space established by the international commission on illumination (CIE). Then, we extract the color and texture features of each image block and select seeds. Finally, we use a region growing algorithm for image separation and region merging to reduce over separation. The experimental results show that the proposed algorithm is superior to the traditional algorithm in terms of the separation results, processing time, and algorithmic complexity.

1 引言

图像前后景分离是把图像中感兴趣的部分分离出来,类似于抠图^[1],是图像目标检测、跟踪、识别的一个重要环节。前景和后景是广义的,通常情况下,前景是我们感兴趣的部分,而后景则是可以忽略的部分。

现有的图像前后景分离算法对处理单一背景或背景稍复杂的图像效果差强人意。Berman等^[2]在2000年提出了Knockout方法,该方法需要人工交互,且只对单一背景图像具有较好的分离效果。随后,Boykov等^[3]提出交互式Graphcuts,该算法利用图论中的优化方法来实现对图像前后景的最佳分离,处理时间更短,其中求解和优化能量函数所用的网络图是通过灰度直方图模型来构建的。Blake等^[4]将灰度直方图模型替换为混合高斯模型,分别为图像前景和后景建模,该算法对背景复杂的图像也有较好效果。Rother等^[5]通过研究高斯混合模型的随机场理论提出了Grabcut方法,但该方法仍需要人工交互。2015年,李小奇^[6]结合期望最大化(EM)算法和K-means算法实现Grabcut算法自动化,但分离效果较差。

神经网络也被应用于图像前后景分离,但传统神经网络方法是对整张图片进行分类,不能识别图片中特定部分的物体。2015年,Long等^[7]将全卷积网络(FCN)用于图像前后景分离。FCN算法能够对图像中的各个像素点进行标记,再依据标记对图像中感兴趣区域实现分离。2018年,Long等^[8]又提出多尺度的FCN改进算法。由于神经网络模型需要大量的样本来进行训练,且网络参数调节是一项十分繁杂的工作,因此该算法复杂度较高。

本文提出了基于由国际照明委员会(CIE)制定的Lab颜色空间纹理特征的图像前后景分离算法,该方法由于不需要人工交互,也不需要样本训练,所以比传统方法能够快速、有效地实现前后景分离。

2 颜色空间选取

颜色空间也称彩色模型,它是在某些标准下采用通常可接受的方式对彩色加以说明。常用的颜色空间包括红绿蓝(RGB)三基色、青-平红-黄(CMY)三基色、色调-饱和度-明度(HSV)、色调-饱和度-亮度(HSI) ^[9]。在实际应用中,RGB是最常用的颜色空间,其中R、G、B分别表示红色、绿色和蓝色分量,利用3个通道的颜色亮度来表示彩色信息。

RGB颜色空间可以用三维直角坐标系来表示,其最大优点就是直观和简单,不足之处是其3个颜色分量高度相关^[10]。采用在图像纹理表征方面有突出效果的CIE Lab颜色空间^[11],该空间是在1931年由CIE制定的一个理论上包括了人类所能感知的全部色彩的颜色空间。与RGB颜色空间相比,CIE Lab颜色空间不常用,但它是一种均匀的颜色空间体系,既不依赖于设备,也不依赖于光线。CIE Lab颜色空间由L、a、b三个互相垂直的颜色分量组成,其中L表示亮度,取值范围为[0,100];a表示从洋红色至绿色,取值范围为[127,128];b表示从黄色至蓝色,取值范围为[127,128]。在CIE Lab颜色空间中,所有颜色信息都包含在a、b分量中,而L分量则保留了图像的细节信息^[12]。

RGB图像无法直接转成CIE Lab图像,需要分两步才能实现转换。先将RGB图像转换成XYZ图像(XYZ是在RGB的基础上,用数学方法把RGB用XYZ表示,即X代表R、Y代表G、Z代表B),转换关系式为

\begin{matrix} [\begin{matrix} X \\ Y \\ Z \end{matrix}] = M \times [\begin{matrix} R \\ G \\ B \end{matrix}], (1) \end{matrix}

式中:转换矩阵M为

\begin{matrix} M = [\begin{matrix} 0.4124 & 0.3576 & 0.1805 \\ 0.2126 & 0.7152 & 0.0722 \\ 0.0193 & 0.1192 & 0.9505 \end{matrix}] 。 \end{matrix}

再由(2)式和(3)式将XYZ图像转换成CIE Lab图像,转换关系式为

\begin{matrix} \begin{matrix} \{\begin{matrix} L^{*} = 116 f (\frac{Y}{Y_{n}}) - 16 \\ a^{*} = 500 [f (\frac{X}{X_{n}}) - f (\frac{Y}{Y_{n}})] \\ b^{*} = 200 [f (\frac{Y}{Y_{n}}) - f (\frac{Z}{Z_{n}})] \end{matrix}, (2) \\ f (t) = \{\begin{matrix} t^{\frac{1}{3}}, if \begin{matrix} t \geq {(\frac{6}{29})}^{3} \end{matrix} \\ \frac{1}{3} {(\frac{29}{6})}^{2} t + \frac{4}{29}, \begin{matrix} ot h erwise \end{matrix} \end{matrix}, (3) \end{matrix} \end{matrix}

式中:f是一个判断函数;t值由XYZ 3个通道的值决定;n表示相应通道中第n个像素点;X、Y、Z是RGB转XYZ色彩空间后计算出来的值;X_n、Y_n、Z_n一般默认为95.047、100.0、108.883;R、G、B为像素的3个颜色通道,取值范围均为[0,255];L^*、a^*、b^*是最终的CIE Lab色彩空间3个通道的值。

3 纹理特征提取

图像的特征除了颜色和形状之外,还有一个十分重要的纹理特征,它能够描述图像的空间结构、对比度、粗糙度以及方向等^[13]。常用的图像纹理特征提取方法有小波变换、灰度共生矩阵、离散余弦变换(DCT)等。这些方法对纹理区别不明显的彩色图像,可以较好地提取纹理特征,但是对纹理较复杂的图像,在表征图像纹理特征上欠佳。

图像的纹理是用邻域来衡量的,就单个像素而言是不存在纹理特征的。本研究采用Carson等^[14]提出的方法来描述图像的纹理特征,用像素邻域内灰度或者颜色的变化来描述图像的纹理特征,分别用极性P、各向异性a₁、对比度c来表示图像的纹理特征,这3个参数均利用CIE Lab色彩空间中图像的L分量来计算。纹理特征提取过程如图1所示。

图 1. 纹理的抽取过程

Fig. 1. Texture extraction process

下载图片查看所有图片

图像的二阶动差矩阵定义为

\begin{matrix} M_{σ} (x, y) = G_{σ} (x, y) \nabla I {(\nabla I)}^{T}, (4) \end{matrix}

式中:G_σ(x,y)是方差为σ²的高斯函数;T表示矩阵转置;ÑI=[G_x G_y]^T为图像梯度;G_x和G_y分别表示L颜色分量沿x方向和y方向的梯度。

二阶动差矩阵是一个2×2的对称半正定矩阵,由二阶动差矩阵可以得出矩阵的特征值λ₁和λ₂(λ₁≥λ₂)以及该邻域的主控方向Φ。利用参数σ来选择合适的邻域尺度,在该参数下计算单个像素的纹理特征。

参数σ能够控制每个像素的邻域的大小,也叫做整体尺度或者人工尺度。为计算M_σ并选择合适σ,先定义极性参量P_σ(指在一邻域内所有像素点在同一方向梯度向量值所占的比重),即

\begin{matrix} P_{σ} = \frac{|C_{+} - C_{-}|}{C_{+} + C_{-}}, (5) \end{matrix}

式中:n是与Θ正交的单位向量;Θ是二阶动差矩阵的主特征向量;Ω表示领域;C_-和C₊分别表示在高斯窗口下有多少个梯度向量处于“正方向”和“负方向”, C₊= $\begin{matrix} \sum_{x, y \in Ω} \end{matrix}$ G_σ(x,y) $\begin{matrix} {[\nabla I \cdot \overset{}{n}]}_{+} \end{matrix}$ ,C_-= $\begin{matrix} \sum_{x, y \in Ω} \end{matrix}$ G_σ(x,y) $\begin{matrix} {[\nabla I \cdot \overset{}{n}]}_{-} \end{matrix}$ 。

要计算P_σ的值,就必须先确定高斯参数σ的取值。确定窗口参数的步骤如下:1) 给定一组σ值σ={1, 2, 5, 10, 17, 26, 37, 50},在每个σ值下计算极性;2) 选取极性之差小于所取阈值k(选取k值为0.01)的σ为抽取纹理特征的区域大小。具体过程如下:

1) 在σ={1, 2, 5, 10, 17, 26, 37, 50}条件下,分别计算图像的每个像素点的极性,在对应σ值下计算出一组P_σ=(x,y)。

2) 把P_σ=(x,y)和标准方差为2σ的高斯函数作卷积得到 $\begin{matrix} p_{σ}^{*} \end{matrix}$ =(x,y)。

3) 给定σ值下若每个像素点满足 $\begin{matrix} p_{σ}^{*} \end{matrix}$ - $\begin{matrix} p_{σ - 1}^{*} \end{matrix}$ ≤0.01,则该σ为抽取像素点的纹理特征区域大小。

σ值确定后,便可以通过(5)式计算像素点的极性特征,再通过二阶动差矩阵得到λ₁和λ₂(λ₁≥λ₂),最后计算各向异性a₁和对比度c,即

\begin{matrix} \begin{matrix} a_{1} = 1 - \frac{λ_{2}}{λ_{1}}, (6) \\ c = 2 \sqrt[]{λ_{1} + λ_{2}} 。 (7) \end{matrix} \end{matrix}

P_σ与σ有以下特点:

1) 如果在给定的8个σ值下,P_σ值都接近于1,则该区域应为边。

2) 如果P_σ的值随着σ的增加而减小,则该区域应为纹理区域。

3) 如果在给定的8个σ值下,P_σ的值相对恒定,则该区域为均匀区域。

4 前后景分离算法

4.1 图像分块及颜色、纹理特征提取

先把图像分成N×N的子块(N=3),通过前述方法,把RGB转到Lab颜色空间,分别计算每一个3×3子块中9个像素点颜色特征(L、a、b)和纹理特征(P、a₁、c),采用均值 $\begin{matrix} \bar{P} \end{matrix}$ 来代替3×3子块图像的颜色和纹理特征,这样在后续的区域生长中能够节省大量的时间,其值计算表达式为

\begin{matrix} \bar{P} = \frac{1}{3 \times 3} \overset{2}{\sum_{i = 0}} \overset{2}{\sum_{j = 0}} P_{i, j}, (8) \end{matrix}

式中:i,j分别表示第i行第j列处的像素点;L、a、b、c、a₁的值均采用前述相同方法计算。

4.2 区域生长和区域合并

区域生长最早是由Levine等^[15]提出来的,是图像分割中比较传统的算法,其基本思想把相似度较高的像素点集合起来实现图像分割:1) 给定种子点或感兴趣目标内的一小块;2) 在种子区域邻域内的像素点以某种预先规定的准则确定其是否可以加入该区域;3) 实现分割。区域生长法中区域生长的好坏决定于种子点的选取、生长规则和终止条件。

对种子点的水平、垂直和对角线方向的像素块作比较,选取与邻域像素块的颜色和纹理相似度高的种子点,进行区域生长,步骤如下:

1) 计算种子区域的平均颜色和纹理特征值,并给这些区域设定一个标签。

2) 在种子区域的邻域中寻找未处理的像素点,计算这些像素点是否可以归属到该区域。

3) 若仍存在未归类像素点,则继续执行第2)步,直至所有的像素点都归类。

在区域生长法中常因为图像噪声或灰度不均匀等问题,把图像分割成多个区域,造成过度分割。为了解决图像过度分割问题,在图像进行区域生长后,再进行区域合并算法,将具有相似度较高的区域合并。颜色距离d₁和纹理距离d₂的计算公式为

\begin{matrix} \begin{matrix} d_{1} = \frac{\sqrt[]{{({\bar{L}}_{u} - {\bar{L}}_{v})}^{2} + {({\bar{a}}_{u} - {\bar{a}}_{v})}^{2} + {({\bar{b}}_{u} - {\bar{b}}_{v})}^{2}}}{\min (\sqrt[]{{\bar{L}}_{u}^{2} + {\bar{a}}_{u}^{2} + {\bar{b}}_{u}^{2}}, \sqrt[]{{\bar{L}}_{v}^{2} + {\bar{a}}_{v}^{2} + {\bar{b}}_{v}^{2}})}, (9) \\ d_{2} = \frac{\sqrt[]{{({\bar{P}}_{u} - {\bar{P}}_{v})}^{2} + {({\bar{a}}_{1 u} - {\bar{a}}_{1 v})}^{2} + {({\bar{c}}_{u} - {\bar{c}}_{v})}^{2}}}{\min (\sqrt[]{{\bar{P}}_{u}^{2} + {\bar{a}}_{1 u}^{2} + {\bar{c}}_{u}^{2}}, \sqrt[]{{\bar{P}}_{v}^{2} + {\bar{a}}_{1 v}^{2} + {\bar{c}}_{v}^{2}})}, (10) \end{matrix} \end{matrix}

式中:u、v分别表示两个相邻的区域。设定两个阈值d₁和d₂,若相邻区域的颜色和纹理距离同时小于d₁和d₂,则把该区域进行区域合并。具体过程如图2所示:1) 对图像进行分块,并将图像转换到CIE Lab颜色空间;2) 提取各图像子块的颜色和纹理特征,选择种子点;3) 采用区域生长算法得到分割图像。为了避免区域生长容易产生过分割的现象,采用区域合并算法把应该属于同一区域的图像块合并。

5 对比实验

选取多幅自然彩色图像进行实验,如图3所示。图3中第1行是基于CIE Lab颜色空间和纹理特征的区域生长的结果;第2行是基于亮度色度-绿色色度-红色(YCbCr)颜色空间和DCT提取纹理的前后景分离结果^[16];第3行是所提算法的分离结果,图中外框线条代表分割线。图3(g)、(h)、(k)、(l)的背景较简单,而图3(e)、(f)、(i)、(j)的背景稍复杂。对比发现,所提算法的分离效果较好。

图 2. 图像前后景分离流程图

Fig. 2. Flow chart of image foreground-backgroundseparation

下载图片查看所有图片

实验中对比了大量不同类型的图像,鉴于论文篇幅原因,只展现了部分图像。可得以下结论:所提方法对背景复杂、目标与背景颜色相近的图像处理结果不理想;但对背景单一且目标和背景相差比较大的图像有良好的分离效果,符合人的主观感知并能够应用于后续的图像内容分析和目标识别等。

图 3. YCbCr+DCT与所提算法的前后景分离实验对比

Fig. 3. Experimental comparison of foreground-background separation by YCbCr+DCT and proposed algorithm

下载图片查看所有图片

6 结论

图像前后景分离一直都是模式识别和图像处理领域的热门研究课题,传统的图像前后景分离需要人机交互,不仅效率低也无法实现批量分离。为此,提出了一种基于CIE Lab颜色空间纹理特征图像前后景分离算法。首先采用CIE Lab颜色空间来表示图像颜色和纹理特征,依据图像各区域的纹理复杂度,使用尺度不同的高斯窗口来提取图像纹理特征;然后利用颜色和纹理特征选择种子点进行区域生长;最后使用区域合并来改善过分割现象,实现了对自然图像的前后景分离。所提算法对背景简单的图像有良好的分离效果,而对于复杂图像的处理结果不理想。在未来的研究中,仍然需要进一步改进。

参考文献

[1] ChoD, Tai YW, KweonI. Natural image matting using deep convolutional neural networks[M] ∥Leibe B, Matas J, Sebe N, et al. Computer Vision-ECCV 2016. Cham: Springer, 2016, 9906: 626- 643.

[2] BermanA, DadourianA, Vlahos P. Method for removing from an image the background surrounding a selected object: US6134346[P].2000-10-17.

[3] Boykov YY, Jolly MP. Interactive graph cuts for optimal boundary & region segmentation of objects in N-D images[C]∥Proceedings Eighth IEEE International Conference on Computer Vision. ICCV 2001, July 7-14, 2001, Vancouver, BC, Canada. New York: IEEE, 2001: 105- 112.

[4] BlakeA, RotherC, BrownM, et al. Interactive image segmentation using an adaptive GMMRF model[M] ∥Pajdla T, Matas J. Lecture Notes in Computer Science. Berlin, Heidelberg: Springer, 2004: 428- 441.

[5] Rother C, Kolmogorov V, Blake A. GrabCut: interactive foreground extraction using iterated graph cuts[J]. ACM Transactions on Graphics (TOG), 2004, 23(3): 309-314.

[6] 李小奇. 基于GrabCut的彩色图像自动分割算法研究[D]. 北京: 北京印刷学院, 2015: 20- 25.

Li XQ. Research on automatic color image segmentation algorithm based on GrabCut[D]. Beijing: Beijing Institute of Graphic Communication, 2015: 20- 25.

[7] LongJ, ShelhamerE, DarrellT. Fully convolutional networks for semantic segmentation[C]∥2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), June 7-12, 2015, Boston, MA, USA. New York: IEEE, 2015: 3431- 3440.

[8] Long Z R, Wei B, Feng P, et al. A fully convolutional networks (FCN) based image segmentation algorithm in binocular imaging system[J]. Proceedings of SPIE, 2018, 10621: 106211W.

[9] 刘梦飞, 付小雁, 尚媛园, 等. 基于HSV颜色特征和贡献度重构的行人跟踪[J]. 激光与光电子学进展, 2017, 54(9): 091004.

Liu M F, Fu X Y, Shang Y Y, et al. Pedestrian tracking based on HSV color features and reconstruction by contributions[J]. Laser & Optoelectronics Progress, 2017, 54(9): 091004.

[10] 曲磊, 王康如, 陈利利, 等. 基于RGBD图像和卷积神经网络的快速道路检测[J]. 光学学报, 2017, 37(10): 1010003.

Qu L, Wang K R, Chen L L, et al. Fast road detection based on RGBD images and convolutional neural network[J]. Acta Optica Sinica, 2017, 37(10): 1010003.

[11] 李运奎, 韩富亮, 张予林, 等. 基于CIELAB色空间的红葡萄酒颜色直观表征[J]. 农业机械学报, 2017, 48(6): 296-301.

Li Y K, Han F L, Zhang Y L, et al. Visualization for representation of red wine color based on CIELAB color space[J]. Transactions of the Chinese Society for Agricultural Machinery, 2017, 48(6): 296-301.

[12] 赵天明, 刘诗德. 基于立方体内缩的反向颜色空间转换算法[J]. 包装工程, 2017, 38(17): 200-205.

Zhao T M, Liu S D. Inverse color space conversion algorithm based on cube inner contraction[J]. Packaging Engineering, 2017, 38(17): 200-205.

[13] 孙学斌, 陈晓冬, 肖禹泽, 等. 基于图像纹理特征的HEVC帧内编码快速算法[J]. 激光与光电子学进展, 2017, 54(7): 071003.

Sun X B, Chen X D, Xiao Y Z, et al. Fast intra-frame encoding algorithm based on image texture features for HEVC[J]. Laser & Optoelectronics Progress, 2017, 54(7): 071003.

[14] Carson C, Belongie S, Greenspan H, et al. Blobworld: image segmentation using expectation-maximization and its application to image querying[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2002, 24(8): 1026-1038.

[15] Levine MD, Nazif A M. Dynamic measurement of computer generated image segmentations[J]. IEEE Transactions on Pattern Analysis and MachineIntelligence, 1985, PAMI-7( 2): 155- 164.

[16] 范伟. 基于区域生长的彩色图像分割算法[J]. 计算机工程, 2010, 36(13): 192-193, 196.

Fan W. Color image segmentation algorithm based on region growth[J]. Computer Engineering, 2010, 36(13): 192-193, 196.

杨超, 刘本永. 基于Lab颜色空间纹理特征的图像前后景分离[J]. 激光与光电子学进展, 2019, 56(12): 121001. Chao Yang, Benyong Liu. Image Foreground-Background Separation Based on Texture Features Extracted in Lab Color Space[J]. Laser & Optoelectronics Progress, 2019, 56(12): 121001.

基于Lab颜色空间纹理特征的图像前后景分离下载： 1337次

1 引言

2 颜色空间选取

3 纹理特征提取

图 1. 纹理的抽取过程

Fig. 1. Texture extraction process

4 前后景分离算法

4.1 图像分块及颜色、纹理特征提取

4.2 区域生长和区域合并

5 对比实验

图 2. 图像前后景分离流程图

Fig. 2. Flow chart of image foreground-backgroundseparation

图 3. YCbCr+DCT与所提算法的前后景分离实验对比

Fig. 3. Experimental comparison of foreground-background separation by YCbCr+DCT and proposed algorithm

6 结论

Article Outline

关于本站 Cookie 的使用提示

全站搜索

基于Lab颜色空间纹理特征的图像前后景分离 下载： 1337次

1 引言

2 颜色空间选取

3 纹理特征提取

图 1. 纹理的抽取过程

Fig. 1. Texture extraction process

4 前后景分离算法

4.1 图像分块及颜色、纹理特征提取

4.2 区域生长和区域合并

5 对比实验

图 2. 图像前后景分离流程图

Fig. 2. Flow chart of image foreground-backgroundseparation

图 3. YCbCr+DCT与所提算法的前后景分离实验对比

Fig. 3. Experimental comparison of foreground-background separation by YCbCr+DCT and proposed algorithm

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于Lab颜色空间纹理特征的图像前后景分离下载： 1337次