基于粗糙度测量和颜色距离的织物缺陷检测方法 下载: 967次
1 引言
在纺织行业生产过程中,织物表面缺陷严重影响了产品质量,因此织物缺陷检测是纺织行业中必不可少的一个重要环节。目前,大部分工厂仍在采用传统的人工检测方法,该方法检测效率较低、成本较高,且检测结果易受员工主观因素的影响[1-2]。随着数字图像处理技术和视觉检测技术的不断发展,物体表面缺陷检测逐渐自动化[3-5]。
现有针对周期性纹理织物图像缺陷检测的方法主要分为空域处理方法[6-7]、频域处理方法[8-9]和基于学习的处理方法[10]。在空域处理中,祝双武等[11]利用自相关函数提取织物图像的周期性纹理基元,以此为模板对缺陷区域进行增强,从而进行缺陷检测,该方法对周期性纹理织物图像具有较好的检测效果;Cao等[12]通过在鲁棒主成分分析模型中添加噪声项,提高了方法对噪声的鲁棒性,但该方法对复杂纹理织物图像的检测效果一般;Li等[13]提出了一种用于描述纹理特征的多向二值模式,将其与灰度共生矩阵相结合实现了对灰度织物图像中缺陷的有效检测。在频域处理中,Hu等[14]将非抽取小波分解与Gumbel分布模型相结合对织物图像进行处理,得到一幅缺陷区域较为显著的特征图像,再通过阈值分割得到检测结果,该方法对无明显周期性复杂纹理的织物图像表现出了较好的检测效果;赵宏威等[15]对传统的Gabor优化选择方法进行改进,提高了织物缺陷检测的准确率,但该方法对复杂纹理织物图像的检测效果欠佳;宋寅卯等[16]采用傅里叶变换对帘子布进行处理,以缺陷破坏纹理周期性导致频谱发生变化为依据进行缺陷检测,该方法对简单纹理织物图像检测效果较好。基于学习的处理方法,检测精度较高,但需要大量的样本,且实现过程较为复杂。综上,织物图像中周期性纹理对检测结果产生了严重的影响,已成为织物缺陷检测领域的一个重要研究方向。
为进一步提高方法的适用性及准确率,本文方法采用了一种由粗定位到细分割的检测思路,将粗糙度测量与颜色距离相结合,实现了对更多类型周期性纹理织物图像中缺陷的有效粗定位;再通过显著性检测对其进行后处理,明显改善了周期性复杂纹理对织物缺陷检测结果的不利影响。
2 基于粗糙度测量和颜色距离的织物缺陷检测方法
本文提出的织物缺陷检测方法,包括基于同态滤波的预处理、基于颜色距离的缺陷粗定位和基于显著性的后处理三大步骤,流程框图如
图 1. 基于粗糙度测量和颜色距离的织物缺陷检测方法流程框图
Fig. 1. Flow chart of fabric defect detection method based on coarseness measurement and color distance
2.1 基于同态滤波的预处理
RGB颜色空间模型以红(R)、绿(G)、蓝(B)为基本色,各分量取值范围均为0~255,对各分量进行不同程度上的叠加会产生不同的颜色。该模型虽然直观且容易理解,但3个分量之间高度相关,不适合作拆分处理。而HSV颜色空间模型由色调(H)、饱和度(S)、亮度(V)3个分量组成,每种颜色都可表示为以上3个分量构成的三元组形式。由于本文方法在后续处理中需对H、S、V 3个分量进行拆分处理,因此本研究对输入图像I进行了颜色空间转换。设输入图像I的大小为m×n,将其由RGB颜色空间模型转换到HSV颜色空间模型的计算公式为
式中:R、G、B为输入图像I的红、绿、蓝分量;H、S、V为转换得到的色调、饱和度、亮度分量。其中当S=0时,H未定义,且若H<0,则H=H+360。
本文方法选取能够在保持图像原貌的同时增强细节信息的同态滤波,分别对其H、S、V分量作平滑处理。设原图像为f(x,y),其可表示为照射分量l(x,y)和反射分量p(x,y)乘积的形式,即
式中:1≤x≤m,1≤y≤n;照射分量l(x,y)可反映图像的灰度信息;反射分量p(x,y)可表示图像自身的边缘、纹理等信息。在对原图像f(x,y)进行同态滤波时,首先对其进行对数运算,使照射分量l(x,y)和反射分量p(x,y)之间的乘法运算变为加法运算,即
再对(5)式进行傅里叶变换,将其转换到频域,即
令Z(u,v)=F
接着,使用同态滤波器的传递函数T(u,v)对(7)式进行处理,得
式中:γH、γL为高频增益和低频增益;c为控制输出图像锐化程度的常数,且γL<c<γH;J(u,v)为点(u,v)到滤波中心的距离;C为截止频率;d为滤波器阶数。使用傅里叶逆变换对滤波后的图像进行处理,得到其对应的空域图像b(x,y)为
最后,对(10)式两边取指数,得到同态滤波后的图像fh(x,y)为
本文方法使用上述同态滤波过程对输入图像H、S、V分量分别进行平滑处理,得到对应的滤波图像。周期性纹理织物图像中的不规则随机缺陷与同态滤波中的反射分量密切相关,该部分相当于频域中的高频信息,因此增强反射分量即可提升缺陷和周期性纹理背景之间的对比度。(5)式中的对数变换可将图像中照射分量和反射分量之间的乘法运算转换为加法运算,接着使用(6)式将其转换到频域,再通过(9)式中的同态滤波传递函数增强反射分量,压缩照射分量,从而提高缺陷与背景之间的对比度,最后将其转换到空域,得到最终的处理结果。
2.2 基于颜色距离的缺陷粗定位
为减少周期性纹理对检测结果的影响、缩小缺陷检测范围,本文方法将粗糙度测量与颜色距离相结合,通过阈值化各图像分块与其八邻域图像分块的颜色相似性测量值,实现对更多类型周期性纹理织物图像中缺陷的粗定位。粗糙度[17]是一种最基本的纹理特征,基元尺寸不同的图像其粗糙度测量值不同。而周期性纹理织物图像中基元大小不尽相同,因此通过测量经过灰度化处理的输入图像IGRAY的粗糙度,可将输入织物图像分为简单纹理织物图像和复杂纹理织物图像。在粗糙度测量时,首先以点(x,y)为中心,计算2k×2k窗内的平均强度值Ak(x,y),表示式为
式中:k=0,1,…,5;x-2k-1≤i≤x+2k-1-1,y-2k-1≤j≤y+2k-1-1;IGRAY(i,j)为点(i,j)的灰度值。点(x,y)在水平和垂直方向上互不重叠窗口之间的平均强度差Ek,h(x,y)、Ek,v(x,y) 为
对于每一个点(x,y),选取能够使平均强度差最大的k值用于设置最佳窗口W,即
通过计算图像中W的平均值得到粗糙度测量值Q,表达式为
式中:m×n为输入图像的大小。实验发现,当以粗糙度取15为阈值时,可将输入图像分为简单纹理织物图像和复杂纹理织物图像两类,部分结果如
图 2. 粗糙度测量分类结果。(a) 简单纹理织物图像;(b) 复杂纹理织物图像
Fig. 2. Results of coarseness measurement and classification. (a) Simple texture fabric images; (b) complex texture fabric images
由于织物图像具有较强的周期性,因此无缺陷图像分块与其邻域内的图像分块具有较强的相似性,而不规则随机缺陷在一定程度上破坏了这种周期性,因此带缺陷图像分块与其邻域内图像分块的相似性较弱。带缺陷图像分块与其八邻域内的图像分块在颜色上存在一定的差异,而颜色距离可有效测量图像分块之间的颜色相似性。若直接对灰度图像进行处理,则处理结果中存在一定的信息损失。为更准确地定位出缺陷位置,本文方法对HSV彩色图像进行处理,分别计算各图像分块与其八邻域图像分块之间的颜色距离,并通过阈值化颜色距离均值判断该图像分块是否为带缺陷图像分块,进而得到缺陷粗定位结果。在斜边长为a,顶面圆半径为r,高为h的HSV圆锥体模型内,取顶部圆心为坐标原点,以H=0方向为横轴正方向建立坐标轴,则图像分块D的色值(Dx,Dy,Dz)可表示为
式中:DH、DS、DV分别为图像分块D的H、S、V各分量均值。图像分块D和O之间的颜色距离N(D,O)为
式中:(Ox,Oy,Oz)为图像分块O的色值。由于简单纹理织物图像中的周期性纹理基元较小,而复杂纹理织物图像中纹理基元相对较大,因此本文方法将其分成大小不同的图像分块进行处理。实验发现,将简单纹理织物图像分成10 pixel×10 pixel的图像分块,而将复杂纹理织物图像分成30 pixel×30 pixel的图像分块时,处理效果较好。
图 3. 本文方法对图2 中织物图像进行缺陷粗定位结果。(a) 简单纹理织物图像缺陷粗定位结果;(b) 复杂纹理织物图像缺陷粗定位结果
Fig. 3. Defect rough location results of fabric images in Fig.2 using the proposed method. (a) Defect rough location results of simple texture fabric images; (b) defect rough location results of complex texture fabric images
2.3 基于显著性的后处理
基于颜色距离的缺陷粗定位结果由周期性纹理背景和不规则随机缺陷组成,其中不规则随机缺陷显著性更高,而FT(Frequency-Tuned)算法[18]可提取出图像中的显著性目标。为减少缺陷粗定位图像分块中背景纹理对最终检测结果的影响,本文方法选用FT显著性检测算法对其进行处理,以进一步提高缺陷与背景纹理之间的对比度。显著值表达式为
式中:Iμ为均值图像特征向量;Iw为对粗定位图像进行高斯平滑后图像的像素特征值。最后,对显著性检测结果进行二值化和数学形态学处理,得到检测结果。
图 4. 本文方法对图3 的缺陷检测结果。(a) 简单纹理织物图像检测结果;(b) 复杂纹理织物图像检测结果
Fig. 4. Defect detection results of images in Fig.3 using the proposed method. (a) Defect detection results of simple texture fabric images; (b) defect detection results of complex texture fabric images
3 实验结果与分析
为验证本文方法的有效性,选用文献[ 1]方法、文献[ 9]方法、文献[ 12]方法、文献[ 19]方法与本文方法进行比较。实验从溢达织物裁片库和德国TILDA织物纹理数据库中选用了150幅不同周期性纹理织物图像进行测试,其中100幅为带缺陷织物图像,50幅为无缺陷织物图像,图像大小均为256 pixel×256 pixel。测试图像中的缺陷类型包括破洞、毛球、污渍、异纤、密路、跳纱、扭结、粗纬等。各检测方法均在配置为Intel酷睿i5-6200U,CPU为2.3 GHz以及4 GB内存的计算机上,利用MATLAB R2014b软件运行。
文献[
1]中的方法使用改进的加权中值滤波对图像进行预处理,以减少纹理对缺陷检测结果的影响,再通过K-means算法实现对缺陷区域的分割,在提高检测速度的同时可准确检测出织物图像中的缺陷;文献[
9]中的方法通过在频域计算冗余频谱从而提取出图像中的显著性区域,而周期性纹理织物图像中缺陷区域相比正常纹理区域显著性更高,以此为依据实现了缺陷检测;文献[
12]中的方法在鲁棒主成分分析模型中增加噪声项,并使用1个缺陷先验实现对其他缺陷的检测,该方法使用改进后的鲁棒主成分分析模型提取缺陷所在的前景,最后通过阈值分割得到检测结果;文献[
19]中的方法使用最小二乘回归对图像进行处理,得到1幅相对应的灰度图,灰度图中缺陷可能性较大的区域灰度值较高,再通过对灰度图进行处理得到检测结果。使用本文方法与以上4种方法对周期性纹理织物图像进行实验,结果如
表 1. 各方法检测参数性能比较
Table 1. Comparison of detection performance using different methods
|
图 5. 各方法对周期性纹理织物图像的缺陷检测结果比较。(a) 周期性纹理织物图像;(b) 文献[ 1]方法检测结果;(c) 文献[ 9]方法检测结果;(d) 文献[ 12]方法检测结果;(e) 文献[ 19]方法检测结果;(f) 本文方法检测结果
Fig. 5. Comparison of defect detection results for periodic texture fabric images using different methods. (a) Periodic texture fabric images; (b) detection results by method in Ref. [1]; (c) detection results by method in Ref. [9]; (d) detection results by method in Ref. [12]; (e) detection results by method in Ref. [19]; (f) detection results of the proposed method
由
为进一步验证本文方法的有效性,使用以上4种对比方法和本文方法对150幅测试图像进行实验,选用准确率ACC、灵敏度TPR、误检率FPR和平均检测时间tAV 4个参数对织物缺陷检测结果进行参数比较,其中ACC和TPR越接近1,FPR和TAV越接近0,说明方法检测性能越好。ACC、TPR、FPR定义为
式中:TP为正确检测的带缺陷图像个数;FN为错误检测的带缺陷图像个数;TN为正确检测的无缺陷图像个数;FP为将无缺陷图像错判为带缺陷图像的个数。
使用各方法对150幅测试图像进行实验,其参数性能的比较结果如
4 结论
为减少织物图像中周期性纹理对缺陷检测结果的影响,提出一种基于粗糙度测量和颜色距离的织物缺陷检测方法。该方法以简单纹理织物图像和复杂纹理织物图像中周期性纹理基元大小不同为依据,利用粗糙度测量对其进行分类,并通过阈值化各图像分块与其八邻域图像分块之间的颜色距离均值实现对织物图像中缺陷的粗定位;另外,使用显著性检测和二值化处理对粗定位图像分块进行后处理,有效抑制了周期性纹理背景对检测结果的不利影响。
[1] 张缓缓, 马金秀, 景军锋, 等. 基于改进的加权中值滤波与K-means聚类的织物缺陷检测[J]. 纺织学报, 2019, 40(12): 50-56.
Zhang H H, Ma J X, Jing J F, et al. Fabric defect detection method based on improved fast weighted Median filtering and K-means[J]. Journal of Textile Research, 2019, 40(12): 50-56.
[2] 任欢欢, 景军锋, 张缓缓, 等. 应用GIS和FTDT的织物错花缺陷检测研究[J]. 激光与光电子学进展, 2019, 56(13): 131005.
[4] 李丹, 白国君, 金媛媛, 等. 基于机器视觉的包装袋缺陷检测算法研究与应用[J]. 激光与光电子学进展, 2019, 56(9): 091501.
[5] 周飘, 李强, 曾曙光, 等. 基于多尺度Hessian矩阵滤波的陶瓷瓦表面裂纹检测方法[J]. 激光与光电子学进展, 2020, 57(10): 101022.
[6] 何峰, 周亚同, 赵翔宇, 等. 纹理织物疵点窗口跳步形态学法检测[J]. 纺织学报, 2017, 38(10): 124-131.
[7] Alper Selver M, Avşar V, Özdemir H. Textural fabric defect detection using statistical texture transformations and gradient search[J]. The Journal of the Textile Institute, 2014, 105(9): 998-1007.
[9] Hou XD, Zhang LQ. Saliency detection: a spectral residual approach[C]∥2007 IEEE Conference on Computer Vision and Pattern Recognition, June 17-22, 2007, Minneapolis, MN, USA. New York: IEEE Press, 2007: 1- 8.
[10] 周君, 景军锋, 张缓缓, 等. 基于S-YOLOV3模型的织物实时缺陷检测算法[J]. 激光与光电子学进展, 2020, 57(16): 161001.
[11] 祝双武, 郝重阳. 基于纹理周期性分析的织物疵点检测方法[J]. 计算机工程与应用, 2012, 48(21): 163-166.
Zhu S W, Hao C Y. Fabric defect detection approach based on texture periodicity analysis[J]. Computer Engineering and Applications, 2012, 48(21): 163-166.
[15] 赵宏威, 王亦红. 基于改进Gabor优化选择的布匹瑕疵检测方法[J]. 计算机工程与应用, 2019, 55(24): 202-207.
[16] 宋寅卯, 袁端磊. 基于傅里叶变换的帘子布疵点检测研究[J]. 仪器仪表学报, 2006, 27(S2): 1695-1697.
Song Y M, Yuan D L. Research of defect detection of cord fabrics based on Fourier transform[J]. Chinese Journal of Scientific Instrument, 2006, 27(S2): 1695-1697.
[17] Tamura H, Mori S J, Yamawaki T. Textural features corresponding to visual perception[J]. IEEE Transactions on Systems, Man, and Cybernetics, 1978, 8(6): 460-473.
[18] AchantaR, HemamiS, EstradaF, et al.Frequency-tuned salient region detection[C]∥2009 IEEE Conference on Computer Vision and Pattern Recognition, June 20-25, 2009, Miami, FL, USA.New York: IEEE Press, 2009: 1597- 1604.
任梦凡, 朱磊, 马晓敏, 崔琳. 基于粗糙度测量和颜色距离的织物缺陷检测方法[J]. 激光与光电子学进展, 2021, 58(4): 0410008. Mengfan Ren, Lei Zhu, Xiaomin Ma, Lin Cui. Fabric Defect Detection Method Based on Coarseness Measurement and Color Distance[J]. Laser & Optoelectronics Progress, 2021, 58(4): 0410008.