激光与光电子学进展, 2018, 55 (1): 011009, 网络出版: 2018-09-10  

基于混合色彩空间的分块颜色特征提取算法 下载: 1352次

Block Color Feature Extraction Algorithm Based on Mixed Color Space
作者单位
西安建筑科技大学信息与控制工程学院, 陕西 西安 710055
摘要
颜色特征能够有效地表征图像的颜色分布。但是,现有的颜色特征提取算法基于单一色彩空间,颜色矩作为最常用的全局颜色特征向量,往往会因为忽略图像的空间特征导致检索错误。针对上述不足,提出了一种基于混合色彩空间分块颜色特征提取算法,并将所提取的颜色特征与纹理特征相结合,用于图像的分类识别中。实验结果证明:无论是国画还是普通图像,分类识别过程中,本文算法相比普通的单一色彩空间颜色特征提取算法,其查准率和查全率均得到明显提高,并且图像分块之后,其查准率和查全率还能进一步提高。
Abstract
The color feature can effectively characterize the color distribution of images. However, most of the existing algorithms are based on a single color space, and the color moment is the most commonly used as global color feature vector, thus the lack of color spatial information lead to retrieval errors. Aiming at the problems, a block color feature extraction algorithm based on the mixed color space is proposed. The extracted color feature and texture feature are combined for classification and recognition of image. Experimental results show that the precision and recall of the color feature extraction algorithm in the mixed color space are improved in the process of classification and identification for Chinese painting and general image, when it compared with the single color space feature extraction algorithm. And they are further enhanced after image segmentation.

1 引言

随着计算机技术的发展和国画事业的繁荣,国画的数字化管理越来越重要,国画的分类识别是实现数字化管理的关键步骤。国画的语义特征主要包括色彩、纹理和形状等组成部分[1]。目前国画特征提取算法的研究大多是基于纹理特征,而关于颜色特征的研究相对较少。

颜色特征作为图像的主要特征之一,其基本特征主要包括:全局颜色特征和空间颜色特征[2]。对这些基本的颜色特征提取方法进行改进,是目前研究图像的学者们的主要研究方向,包括针对现有的颜色特征提取算法中的不足而做出相应的改进,或是将颜色特征与图像的其他特征结合用来表征图像[3]等。刘梦飞等[4]从原始的图像中提取HSV空间的混合颜色特征用于实现行人跟踪;Zeng等[5]采用从训练集中利用期望最大值算法生成的高斯混合模型,来量化颜色空间,构造一种新的空间颜色直方图;Charles等[6]构造出一种新的混合颜色空间模型I1QCb,用于增强颜色特征在彩色图像中的重要性。李冰[7]采用分层融合的思路去融合颜色特征、纹理特征和形状特征并进行图像检索。

颜色直方图具有旋转不变性、可叠加性等优点,但是对于图像空间特征的描述却远远不足,会造成几幅不同图像的颜色直方图表现出相差无几的现象[8]。颜色矩可以简单有效地表征图像的颜色特征,只需要9个颜色分量就可以表示一幅图像[9]。然而颜色矩作为一种全局特征,往往会忽略图像的空间特征,导致图像的表征不够准确。而且,现有的颜色特征提取算法大多基于单一的色彩空间,每个色彩空间都会或多或少的存在一些缺陷。

综上所述,本文提出一种基于混合色彩空间的分块颜色特征提取算法。该算法将图像进行分块处理,以弥补颜色矩对于图像空间信息描述的不足;提取图像在各个色彩空间的颜色矩,融合每个色彩空间对应分量的对应颜色矩,弥补每个色彩空间存在的不足,降低计算复杂度,从而使颜色特征对于图像的描述更加准确。

2 基本原理

颜色特征作为图像分类识别研究中的一个重要特征,其提取方法有很多,其中颜色矩仅利用9个颜色分量就可以表示一幅图像,但是也存在缺点,如对图像空间信息描述的不足等。纹理特征作为图像的另一个重要特征[10],将其与颜色特征相结合能够准确表征一幅图像。本文算法将混合的颜色矩向量和纹理特征向量相融合,以进行图像的分类识别。

2.1 色彩空间

图像分类识别研究中用到很多色彩空间,如RGB、HSV、XYZ、LAB、HIS和YUV等。但是每个色彩空间的表现都不完美,RGB、XYZ和LAB的色彩空间不符合人类的视觉感知,而YUV色彩空间虽然能够完全表示图像的灰度信息,但是会造成色度损失,使得其无法对图像色彩和饱和度进行描述[11]

人眼通过感知颜色的亮度、色调、饱和度来区别图像的颜色[12]。HSV、HIS和YUV这3个色彩空间都比较符合人类的视觉系统[13]。HSV色彩空间中的V分量、HSI色彩空间中的I分量、YUV色彩空间中的Y分量都表征图像的亮度,可以将这3个亮度分量融合成为1个亮度分量作为混合色彩空间的亮度分量。但是YUV色彩空间对于色度的描述不够准确,因此混合色彩空间的色调分量和饱和度分量分别由HSV和HIS色彩空间对应的向量融合而成。

2.2 颜色矩

Stricker等[14]提出利用颜色矩来表征图像的颜色特征,由于图像的颜色信息主要集中在低阶矩中,因此利用颜色的一阶矩、二阶矩和三阶矩可以完全表征图像的颜色分布。其中,一阶矩表达了图像的均值信息,也就是图像的整体概况;二阶矩表达了图像的方差信息,即图像细节变化情况;三阶矩表达了图像的斜度信息[15]。图像颜色的三个低阶矩分别为

μx=1Ny=1NPxy,(1)σx=1Ny=1N(Pxy-μx)212,(2)sx=1Ny=1N(Pxy-μx)313,(3)

式中Pxy是指图像中第y个像素的第x个颜色分量。

2.3 纹理特征

Haralick等[16]和严鑫等[17]提出灰度共生矩阵用于表征图像的纹理特征,定义了14种灰度共生矩阵的特征参数。目前,灰度共生矩阵广泛地应用于各个领域[18]。选取其中最常用的4种表征国画图像的纹理特征。

1) 角二阶矩

AASM=m=0L-1m=0L-1P(m,n)2(4)

2) 对比度

CCON=sL-1s2m=1L-1m=1L-1P(m,n),m-n=s,(5)

式中(m,n)为图像中的像素位置,L为图像的灰度级。

3) 熵

NNET=-m=1L-1m=1L-1Pmnlog2Pmn(6)

4) 逆差矩

IIDM=m=1L-1Pmn1+m-nk(7)

3 混合色彩空间的分块颜色特征提取

颜色矩作为一种全局颜色特征,忽略了图像的空间特征。因此,将图像进行分块处理,然后再结合颜色矩提取图像的颜色特征,可以弥补颜色矩对于图像空间信息描述的不足。

3.1 图像分块

文献[ 19]依据人类的视觉对边缘信息不敏感的特性将图像分成8块,如图1所示。根据图1将图像分成8块,分配权值为8∶2,其中8为1、2、3、4部分的权值,4个分块的权值相同,即权值总和为8。其余4个分块权值相同,权值总和为2。

图 1. 图像分块

Fig. 1. Block image

下载图片 查看所有图片

3.2 特征融合

首先,对于一个色彩空间求其颜色矩,给定其权重范围为0~1,利用该色彩空间的颜色矩对国画图像进行分类识别,得到查准率。然后,通过上述方法依次确定其他2个色彩空间对于国画分类识别的查准率。最终,根据得到的3个查准率确定3个色彩空间相对应的权值并进行归一化处理,最终确定各个色彩空间上的最佳权重。利用得到的最佳权重,对3个色彩空间对应分量相对应的阶矩进行加权融合,从而得到混合色彩空间的颜色矩。图2为具体的特征融合流程图。

3.3 混合色彩空间颜色特征提取

针对每个分块提取其混合色彩空间的颜色特征。

1) 将图像的一个小分块分别变换到HSV、HIS和YUV色彩空间,根据(1)~(3)式分别计算HSV色彩空间中的V分量FHSV-V(μ,σ,s)、HSI色彩空间中的I分量FHSI-I(μ,σ,s)、YUV色彩空间中的Y分量FYUV-Y(μ,σ,s)所对应的三个低阶颜色矩。

图 2. 特征融合流程图

Fig. 2. Flow chart of feature fusion

下载图片 查看所有图片

2) 根据(8)式将这3个分量对应的一阶矩进行融合得到混合色彩空间亮度分量的一阶矩为

FMIX-L=WHSV×FHSV-V(μ)+WHSI×FHSI-I(μ)+WYUV×FYUV-YμWHSV+WHSI+WYUV(8)

以此类推可以得到混合色彩空间亮度分量的二阶矩和三阶矩。

3)分别计算HSV色彩空间和HSI色彩空间中的H分量对应的颜色矩FHSV-HFHSI-H,将这2个分量的对应阶矩进行融合得到混合色彩空间色调分量对应的3个颜色矩。

4) 分别计算HSV色彩空间和HSI色彩空间中的S分量对应的颜色矩FHSV-S(μ,σ,s)和FHSI-S(μ,σ,s),将这2个分量的对应阶矩进行融合,得到混合色彩空间色调分量对应的3个颜色矩。最终获得混合色彩空间1个分块的9个颜色特征向量。

利用同样的方法分别提取其他7个部分的混合空间颜色特征向量,按照3.1节设置的权重进行特征融合,最终得到混合色彩空间的9个分块颜色特征向量,用以表征国画图像的颜色特征。混合色彩空间的分块颜色特征提取算法的相关流程图如图3、4所示。

图 3. 混合色彩空间颜色矩

Fig. 3. Color moment in mixed color space

下载图片 查看所有图片

图 4. 混合色彩空间亮度分量颜色矩

Fig. 4. Light color moment in mixed color space

下载图片 查看所有图片

3.4 颜色和纹理特征融合

颜色特征可以有效地表述图像的颜色分布,纹理特征能够很好的表征图像的纹理[20],将两者融合用于表征国画图像特征更加准确。利用3.2节提到的特征加权融合方法将混合色彩空间的9个颜色特征和纹理特征相融合,首先针对纹理特征和颜色特征分别给定其权重范围为0~1,然后利用单一的纹理特征和颜色特征对国画进行分类识别,得到相应的查准率,最后对得到的查准率进行归一化处理,确定纹理特征和颜色特征对应的最佳权重。最终利用最佳权重进行特征融合得到用于国画图像分类识别的混合特征向量。具体的融合步骤与图2类似。

4 实验结果与分析

4.1 实验平台

实验平台选取Matlab2014b,采用的实验平台参数为CPU Inter i7,内存为4 GB,操作系统为 Windows 10。本文算法是在matlab2014b软件中实现的。

4.2 国画分类识别实验结果分析

为了验证本文算法对于国画分类识别的有效性和可行性,随机在国画网站中选取600幅不同朝代、不同类别的画作作为实验样本,其中126幅花鸟画、123幅山水画、114幅人物画、118幅竹子画和119幅鞍马画。各个类别的画作中随机选取30幅作为训练样本,剩余画作包括96幅花鸟画、93幅山水画、84幅人物画、88幅竹子画和89幅鞍马画,将这些画作作为测试样本。选取支持向量机(SVM)对国画的数据库进行训练学习。

分别在HSV、HIS、YUV、混合色彩空间中提取国画图像的颜色特征,其中混合色彩空间在提取图像的颜色特征时,分成分块和不分块两个方向。然后计算国画图像的灰度共生矩阵特征参数作为纹理特征,并将其与颜色特征进行融合得到最终表征国画图像的13个混合特征向量。最后将该向量用于国画的分类识别。

为了评估本算法对于国画分类识别的效果,根据文献[ 21-22]中的描述,选取查全率和查准率来评估本文所述算法的性能。假定每位画家的画作共有N幅,对这N幅作品进行分类。如果分类无误的画作有R1幅,分类有误的画作有R2幅,则可以将查准率和查全率表示为

ρ=R1R1+R2,γ=R1N(9)

在此,提出的分块混合色彩空间提取颜色特征结合纹理特征进行国画图像分类识别的部分结果如图5所示。国画分类识别之后得到的查准率和查全率结果如表1、2所示。

根据表1、2的实验数据分析得知,所提出的混合色彩空间分块颜色特征提取算法与单一色彩空间

提取颜色特征相比查准率均有所提高。而且,根据图6的直观性分析,经过分块处理的混合色彩空间提取的颜色特征与单一的混合色彩空间提取的颜色特征相比查准率也有明显的提高。

实验过程中记录了几种国画识别的时间,如表3所示。由表3可知,本文算法的平均识别时间虽然高于其他单一色彩空间,但是在牺牲小部分时间的基础上,识别精度有了明显的提高,查准率平均提高了6.37%。

图 5. 部分国画识别结果

Fig. 5. Part identification results of Chinese paintings

下载图片 查看所有图片

表 1. 不同空间颜色特征结合纹理特征的查准率

Table 1. Recognition precision of different spatial color features combined with texture feature%

Color spaceLandscapeFlower and birdBambooPersonHorse
HSV84.3385.3183.9384.4583.96
HIS84.6184.5283.8483.5784.08
YUV82.9783.6283.2282.2983.26
Mixed color space88.2589.2688.8388.7987.87
Block mixed color space90.0290.6789.8590.6189.92

查看所有表

表 2. 不同空间颜色特征结合纹理特征的查全率

Table 2. Recognition recall of different spatial color features combined with texture feature%

Color spaceLandscapeFlower and birdBambooPersonHorse
HSV83.6385.9384.1683.9582.78
HIS85.2683.9883.2983.8584.21
YUV83.2284.2483.7682.9183.36
Mixed color space89.0189.6388.3388.4387.72
Block mixed color space90.8991.0290.6590.2790.62

查看所有表

图 6. 不同空间颜色特征结合纹理特征查准率对比

Fig. 6. Comparison of the recognition precision of different spatial color features combined with texture feature

下载图片 查看所有图片

表 3. 不同空间颜色特征结合纹理特征的识别时间

Table 3. Recognition time of different spatial color features combined with texture feature

Color spaceMean ofprecision /%Recognitiontime /s
HSV84.400.6
HIS84.120.6
YUV83.000.6
Mixed color space88.602.1
Block mixed color space90.212.9

查看所有表

4.3 其他图像分类识别实验结果分析

为了验证本文算法不仅针对于国画图像,随机在网站上选取300幅不同类别的图像,其中76幅人物图像、78幅汽车图像、76幅风景图像、70幅建筑图像。各个类别的画作中随机选取10幅作为训练样本,剩余图像包括66幅人物图像、68幅汽车图像、66幅风景图像、60幅建筑图像,将这些图像作为测试样本。选取SVM对图像的数据库进行训练学习。

与4.2节中的国画图像类似,选取查准率和查全率作为评判标准,用来评估该算法对于普通图像的有效性。实验结果如表4、5所示。

表 4. 不同空间颜色特征结合纹理特征的查准率

Table 4. Recognition precision of different spatial color features combined with texture feature%

Color spacePersonCarsSightsArchitectureMean
HSV81.6682.3581.8782.5182.09
HIS81.8982.9681.5782.7582.29
YUV81.1282.5481.0382.9181.90
Mixed color space86.5587.5886.9187.7787.20
Block mixed color space89.9290.3889.9890.2190.12

查看所有表

表 5. 不同空间颜色特征结合纹理特征查全率

Table 5. Recognition recall of different spatial color features combined with texture feature%

Color spacePersonCarsSightsArchitectureMean
HSV82.0382.3482.6882.9782.50
HIS81.9282.2382.0982.8782.28
YUV81.6582.5382.0682.9182.29
Mixed color space88.6289.0388.7889.6489.01
Block mixed color space90.9791.8690.2390.7690.96

查看所有表

表4、5的数据表明,本文算法不仅能有效地对国画的分类进行识别,而且也能对普通图像的分类进行识别。本文算法的查准率相比较于单一色彩空间的查准率平均提高了8.4%,查全率平均提高了8.6%;相比较于未分块的混合色彩空间查准率和查全率也有所提高。

5 结论

提出了一种基于混合色彩空间的分块颜色特征提取算法,并将其与图像的纹理特征结合用于国画的分类识别中,讨论了该算法对于普通图像分类识别的可行性。最终的分类结果表明:本文算法在国画分类识别中的查准率和查全率均优于单一色彩空间的颜色特征提取算法。证明了本文算法也适用于普通图像,并且查准率和查全率也有所提高。但是本文算法还存在很多改进空间,如缩减算法花费的时间,选取不同的分类器训练国画数据库,提高国画分类识别的查准率和减少算法的计算量等。

参考文献

[1] 王民, 王羽笙, 刘涛, 等. 利用图像熵和复杂网络的中国画分类方法[J]. 激光与光电子学进展, 2017, 54(2): 021008.

    Wang M, Wang Y S, Liu T, et al. Chinese painting classification method using image entropy and complex network[J]. Laser & Optoelectronics Progress, 2017, 54(2): 021008.

[2] 徐衍鲁. 基于颜色特征的图像检索技术综述[J]. 电脑知识与技术, 2017, 13(13): 156-163.

    Xu Y L. Image retrieval based on color feature[J]. Computer Knowledge and Technology, 2017, 13(13): 156-163.

[3] Hiremath PS, PujariJ. Content based image retrieval using color, texture and shape features[C]. International Conference on Advanced Computing and Communications, 2007: 780- 784.

[4] 刘梦飞, 付小雁, 尚媛园, 等. 基于HSV颜色特征和贡献度重构的行人跟踪[J]. 激光与光电子学进展, 2017, 54(9): 091004.

    Liu M F, Fu X Y, Shang Y Y, et al. Pedestrian tracking based on HSV color features and reconstruction by contributions[J]. Laser & Optoelectronics Progress, 2017, 54(9): 091004.

[5] Zeng S, Huang R, Wang H B, et al. Image retrieval using spatiograms of colors quantized by Gaussian Mixture Models[J]. Neurocomputing, 2016, 171: 673-684.

[6] Charles Y R, Ramraj R. A novel local mesh color texture pattern for image retrieval system[J]. AEU-International Journal of Electronics and Communications, 2016, 70(3): 225-233.

[7] 李冰. 颜色纹理形状特征分层融合图像检索方法研究[J]. 西南师范大学学报(自然科学版), 2017, 42(1): 54-59.

    Li B. On technology of computerimage retrieval based on multi feature fusion[J]. Journal of Southwest China Normal University (Natural Science Edition), 2017, 42(1): 54-59.

[8] 王娟, 孔兵, 贾巧丽. 基于颜色特征的图像检索技术[J]. 计算机系统应用, 2011, 20(7): 160-164.

    Wang J, Kong B, Jia Q L. Color-based image retrieval Feature[J]. Computer Systems & Applications, 2011, 20(7): 160-164.

[9] DasS, RudrapalD. Analysis of color moment as a low level feature in improvement of content based image retrieval[C]// Proceedings of the Fourth International Conference on Signal and Image Processing, 2013: 387- 397.

[10] Bai C, Zhang J L, Liu Z, et al. K-means based histogram using multiresolution feature vectors for color texture database retrieval[J]. Multimedia Tools and Applications, 2015, 74(4): 1469-1488.

[11] Ayan M, Erdem O A, Bilge H Ş. Multi-featured content-based image retrieval using color and texture features[J]. Applied Mechanics and Materials, 2016, 850: 136-143.

[12] 冀翠萍. 基于内容的图像分类研究[D]. 济南: 山东师范大学, 2008.

    Ji CP. Research on content based classification of images[D]. Jinan: Shandong Normal University, 2008.

[13] 黄兆良, 朱启兵. 基于RGB颜色模型的红富士苹果表皮红色区域检测[J]. 激光与光电子学进展, 2016, 53(4): 041001.

    Huang Z L, Zhu Q B. Detection of red region of Fuji apple based on RGB color model[J]. Laser & Optoelectronics Progress, 2016, 53(4): 041001.

[14] Stricker MA, OrengoM. Similarity of color images[C]. SPIE, 1995, 2420: 381- 392.

[15] 张少博, 全书海, 石英, 等. 基于颜色矩的图像检索算法研究[J]. 计算机工程, 2014, 40(6): 252-255.

    Zhang S B, Quan S H, Shi Y, et al. Study on image retrieval algorithm based on color distance[J]. Computer Engineering, 2014, 40(6): 252-255.

[16] Haralick R M, Shanmugam K, Dinstein I. Textural features for image classification[J]. IEEE Transactions on Systems, Man and Cybernetics, 1973, 3(6): 610-621.

[17] 严鑫, 董俊卿, 刘卫东, 等. 古代瓷釉光学相干层析图像的纹理特征分析研究[J]. 中国激光, 2015, 42(5): 0508008.

    Yan X, Dong J Q, Liu W D, et al. Research on texture characteristics analysis of ancient glaze optical coherence tomographic image[J]. Chinese Journal of Lasers, 2015, 42(5): 0508008.

[18] Li C C, Chen T. Aesthetic visual quality assessment of paintings[J]. IEEE Journal of Selected Topics in Signal Processing, 2009, 3(2): 236-252.

[19] 张锡英, 车鑫. 图像颜色特征提取及其分类研究[J]. 安徽农业科学, 2014, 42(7): 2196-2198.

    Zhang X Y, Che X. Study on image color feature extraction and classification[J]. Journal of Anhui Agricultural Sciences, 2014, 42(7): 2196-2198.

[20] 王云鹏, 胡以华, 雷武虎, 等. 基于激光回波时频图纹理特征的飞机目标分类方法[J]. 光学学报, 2017, 37(11): 1128004.

    Wang Y P, Hu Y H, Lei W H, et al. Aircraft target classification method based on texture feature of laser echo time-frequency image[J]. Acta Optica Sinica, 2017, 37(11): 1128004.

[21] 王鹏. 基于颜色特征的图像检索系统[D]. 西安: 西安电子科技大学, 2012.

    WangP. Image retrieval system based on color features[D]. Xi'an:Xidian University, 2012.

[22] 盛家川. 基于小波变换的国画特征提取及分类[J]. 计算机科学, 2014, 41(2): 317-319.

    Sheng J C. Automatic categorization of traditional Chinese paintings based on wavelet transform[J]. Computer Science, 2014, 41(2): 317-319.

王民, 王静, 张立材, 张鑫. 基于混合色彩空间的分块颜色特征提取算法[J]. 激光与光电子学进展, 2018, 55(1): 011009. Wang Min, Wang Jing, Zhang Licai, Zhang Xin. Block Color Feature Extraction Algorithm Based on Mixed Color Space[J]. Laser & Optoelectronics Progress, 2018, 55(1): 011009.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!