基于卷积神经网络的数码印花缺陷分类算法 下载: 847次
1 引言
针对当前重视个性化、快响应、高环保的市场需求,数码印花技术在纺织品印花领域具有广阔的发展前景[1]。数码印花工业生产中会因为喷头堵塞、漏墨、电机自控偏差、布匹褶皱等故障,导致喷墨印花纺织品出现PASS道、漏墨、喷墨不均以及布匹褶皱等缺陷,严重影响印花成品的质量和价格[2]。因此,数码印花缺陷检测是印花纺织品质量控制的重要环节,对印花缺陷进行准确分类,可有针对性地指导工业生产,提升数码印花产品质量。
早期纺织品缺陷分类方法以人工为主,该方法存在主观性,且分类成本高、效率低[3-4]。近年来,机器视觉技术已广泛应用在织物缺陷检测与分类领域[5]。Jeyaraj等[6]提出基于机器视觉的纺织品缺陷检测系统,该方法应用卷积神经网络(CNN)学习织物的颜色特征实现织物缺陷的分类,但在实际应用中,当目标区域周围邻域颜色特征相近时,该方法的分类精度较低。卓东等[7]提出基于卷积神经网络的短切毡缺陷分类方法,该方法设计CNN提取织物缺陷特征,使用迁移学习思想优化短切毡缺陷分类算法。Mottalib等[8]提出一种使用贝叶斯分类器提取织物几何特征的纺织品疵点分类方法。赵鹏等[9]提出改进AlexNet的无纺布缺陷分类方法,该方法通过对AlexNet网络增加归一化处理和卷积层数优化模型分类效果。景军锋等[10]提出采用深度卷积神经网络实现色织物缺陷分类的方法。该方法利用色织物纹理特征建立CNN,并进行样本训练得到映射函数,实现对色织物缺陷的有效分类。可以看出,这些缺陷分类方法主要针对白坯布、净色布、纹理单一的色织物以及专色印花纺织品,包括断纱、破洞、结头、油污、色差等缺陷均有较好的分类效果。而数码印花产品纹理结构复杂、色泽图案丰富[11],目前还没有较为成熟的缺陷分类方法。
基于以上背景,本文设计了一种基于CNN的数码印花缺陷分类算法,可以实现针对数码印花PASS道、漏墨、喷墨不均、布匹褶皱等4类缺陷的有效分类。该方法首先对印花图像进行预处理,制作训练样本;然后,通过设计的CNN模型学习缺陷特征和分类标签之间的映射关系;最后,用训练好的最优模型实现数码印花缺陷的准确分类。将本文算法与现有的LeNet-5、AlexNet、VGG16以及GoogLeNet等CNN模型进行对比[12-15],结果显示,本文算法的多分类任务Kappa系数最高,并且模型训练和测试时间最短。
2 相关基础工作
2.1 印花图像缺陷特征分析
数码印花技术是将印制图案输入计算机进行像素级分色处理,利用孔径微米级的喷头,进行固定方向的往复叠印喷绘,形成预期高精度印花图像。因此,数码印花会由于喷孔堵塞、电机步进偏差、喷墨气压不稳定、喷头出墨调试不均匀、设备压布不平整等故障,导致印花产品出现PASS道、漏墨、喷墨不均以及布匹褶皱等缺陷。
图 1. 数码印花缺陷样例。(a) PASS道;(b)喷墨不均;(c)漏墨;(d)布匹褶皱
Fig. 1. Examples of digital printing defects. (a) PASS tracks; (b) uneven inkjet; (c) ink leakage; (d) fabric wrinkles
表 1. 数码印花缺陷特征对比
Table 1. Comparison of defect features in digital printing
|
2.2 印花缺陷图像预处理
本文使用Canon Scanner 9000F扫描仪获取工业生产中存在的数码印花缺陷,而数字图像在其获取、传输以及处理过程中通常会受到多种噪声的干扰。因此,本文首先对印花图像依次进行RGB颜色空间直方图均衡化、高斯滤波图像平滑、局部均值法分辨率调整以及图像几何变换的数据增强等图像预处理,提升输入CNN的图像质量,并扩充样本集。
2.2.1 基于RGB颜色空间的直方图均衡化
数码印花缺陷与邻域的背景纹理对比度相当接近,其中,以PASS道和布匹褶皱缺陷尤为明显。为了提升分类算法的准确性,需要对印花图像进行增强,提高图像全局对比度。基于RGB色彩空间的直方图均衡化原理是分别在彩色图像的R、G、B各分量分别进行灰度直方图均衡化,然后再将三个分量合并,得到对比度增强的印花图像。
图 2. RGB颜色空间直方图均衡化处理结果。(a) PASS道;(b)喷墨不均;(c)漏墨;(d)布匹褶皱
Fig. 2. RGB color space histogram equalization processing results. (a) PASS tracks; (b) uneven inkjet; (c) ink leakage; (d) fabric wrinkles
2.2.2 基于高斯滤波的图像平滑
印花图像在数字化处理过程中,会引入较多的随机噪声,为了进行高层次的缺陷特征提取,需要对图像做平滑处理。高斯滤波器定义距离掩模中心较近的像素权重较高,因此其平滑效果较为柔和,可以较好地保留图像边缘、轮廓等细节信息。
图 3. 高斯滤波处理结果。(a) PASS道;(b)喷墨不均;(c)漏墨;(d)布匹褶皱
Fig. 3. Gaussian filtering processing results. (a) PASS tracks; (b) uneven inkjet; (c) ink leakage; (d) fabric wrinkles
2.2.3 基于局部均值法的图像分辨率调整
为了完整展现印花图案信息,同时降低CNN输入图像尺寸,采用局部均值法进行图像分辨率调整。其原理是在掩模确定的邻域内,采用邻域像素的平均灰度值代替中心像素灰度。
图 4. 局部均值法的图像分辨率调整结果。(a)分辨率调整前;(b)分辨率调整后
Fig. 4. Adjustment results of image resolution based on local mean algorithm. (a) Before resolution adjustment; (b) after resolution adjustment
2.2.4 基于图像几何变换的数据增强
深度学习样本越丰富,模型的泛化能力就越强。目前采用的保留标签生成数据增强集是较为有效的数据扩充方法。考虑到尽可能地保留具有丰富颜色信息和空间信息特性的数码印花图案,本文选择垂直翻转、左右镜像、旋转90°、180°和270°的方法进行数据增强,使得具有特定标签的数码印花缺陷样本较原来扩充5倍。
图 5. 图像数据增强结果。(a)原图;(b)垂直翻转;(c)水平镜像;(d)旋转90°;(e)旋转180°;(f)旋转270°
Fig. 5. Image data enhancement results. (a) Original image; (b) flip vertically; (c) horizontal mirroring; (d) rotate 90°; (e) rotate 180°; (f) rotate 270°
3 基于CNN的数码印花缺陷分类算法
3.1 分类算法流程设计
基于CNN的数码印花缺陷分类算法流程如
3.2 CNN网络拓扑结构设计
典型的CNN网络(如LeNet、AlexNet、VGGNet、GoogLeNet等)通过增加网络深度来提取高层次语义信息,在大目标分类任务中具有较高的准确率。对于数码印花PASS道、漏墨、布匹褶皱等小目标缺陷,提取高层次特征导致图像的分辨率减小,丢失了很多细节信息,加之池化层的存在,降低了小目标语义信息,因此深度CNN网络分类小目标缺陷的准确率有所降低,而且网络结构越深,模型计算复杂度越大。综合考虑数码印花缺陷小目标特性和网络运算性能等因素,本节设计如
从
卷积神经网络以图片的形式作为输入,卷积是在图像每个位置进行线性变换映射成新值,提取数据的某一简单特征。多层卷积逐层进行映射,可以提取图像更为复杂的抽象特征,卷积后通过激活函数得到特征映射。多层卷积操作的过程可表示为
式中:
池化层是对图像特征进行下采样,主要用于特征降维,在保留有效信息的同时压缩数据处理量,有效减小过拟合,提高模型容错性
式中:
在CNN池化操作后引入批量归一化(BN)层[17-18]。BN层将池化输出的数据进行归一化处理,规范输入下一层的数据服从方差为1、均值为0的标准正态分布,避免网络训练时出现梯度消失问题,加快网络收敛的同时增强模型泛化能力。算法原理如下:设CNN池化层输出结果为
1)计算上一层CNN池化层输出数据的均值
式中:
2)计算上一层CNN池化层输出数据的标准差
3)归一化处理,得到
式中:
4)对经过上述步骤归一化处理得到的数据进行重构得到输出
式中:
3.3 分类器的选择
Softmax回归模型是Logistics回归模型在多分类问题上的推广,其引入Softmax代价函数将
式中:
4 实验结果与分析
4.1 制作数据集
扫描仪获取的原始样本尺寸为5100×7014,水平和垂直分辨率为600×600dpi(dot per inch)。通过对样本中存在缺陷的部位进行裁剪,得到PASS道、漏墨、喷墨不均以及布匹褶皱4类常见缺陷,裁剪后图像大小为1024×1024,每类缺陷有100张。经图像预处理后图像大小调整为256×256,水平和垂直分辨率为96×96dpi(dot per inch),并经数据增强将每类缺陷扩增至600张,共2400张样本图片。
图 8. 数码印花缺陷数据集样本。(a)~(d) PASS道;(e)~(h)喷墨不均;(i)~(l)漏墨;(m)~(p)布匹褶皱
Fig. 8. Samples of digital printing defect data set. (a)--(d) PASS tracks; (e)--(h) uneven inkjet; (i)--(l) ink leakage; (m)--(p) fabric wrinkles
4.2 模型训练与优化
针对数码印花缺陷分类模型的训练,实验硬件配置为CPU Intel(R) Core(TM) i5-8400 2.80GHz,GPU NVIDIA GeForce GTX 2080Ti,内存为16G,硬盘为1TB,Windows10操作系统。采用Matlab R2018b软件完成印花图像预处理。模型训练使用Python语言、TensorFlow深度学习框架、Spyder 4.0.0rc1集成开发环境、第三方函数库Anaconda3.4.1完成。训练时随机从数据集每类印花图像中抽取150张作为测试集,其余450张作为训练集。网络训练共迭代50000次,期间每迭代100次将当前训练的模型保存一次,训练结束后用测试集验证最终模型的分类效果。
本文通过对数码印花缺陷图像进行预处理,设计了拓扑结构为2个卷积层、2个池化层和2个全连接层的CNN分类网络,然后采取不同目标函数对CNN进行分类准确率验证,结果如
表 2. 不同目标函数对应的分类准确率
Table 2. Classification accuracy corresponding to different objective functions
|
表 3. 不同优化函数对应的分类准确率
Table 3. Classification accuracy corresponding to different optimization algorithms
|
综上所述,本文选择以Softmax交叉熵作为评估网络分类效果的目标函数,以Adam算法作为网络梯度优化算法的CNN分类模型。由于CNN训练时迭代次数直接影响训练模型的优化程度,故统计模型训练过程中迭代50000次的总损失率,结果如
4.3 测试结果与分析
为了验证该模型针对每一类缺陷的分类效果,采用留出法对数据集进行10次交叉验证。
表 4. 每类缺陷分类性能指标
Table 4. Performance index of each defect classification
|
为了验证不同网络模型对数码印花缺陷分类的性能,将本文设计的CNN与LeNet-5、AlexNet、VGG16以及GoogLeNet模型进行对比实验。采用Kappa系数评估数码印花缺陷多分类任务的准确度[19]。Kappa系数取值越高,则表明模型多分类准确度越高。统计上述5种CNN模型的分类Kappa系数值,结果如
图 10. 不同CNN模型预测Kappa系数值
Fig. 10. Kappa coefficient value predicted by different CNN models
为了评估不同模型的运算效率,
表 5. 不同CNN模型训练和测试用时
Table 5. Training and testing time of different CNN models
|
5 结论
本文提出了一种基于卷积神经网络的数码印花缺陷检测算法,有效解决了现有算法针对数码印花产品缺陷分类检测不足的问题。该算法对印花样本进行预处理,提升输入网络的图像质量;根据数码印花小目标缺陷特性,设计特定的CNN拓扑结构;通过实验确定最优的分类模型参数。实验结果表明,相较于现有的网络,本文算法在数码印花缺陷分类准确率和高效性方面都具有明显优势。下一步研究重点是将本文数码印花缺陷分类算法扩展至缺陷检测领域,以定位产品存在缺陷的具体位置。
[1] 李敏, 赵影, 张丽平, 等. 涤纶针织物数码印花清晰度的影响因素[J]. 纺织学报, 2018, 39(5): 62-66.
[2] 邓新. 基于嵌入式GPU的数码印花缺陷检测算法研发[D]. 杭州: 浙江大学, 2018: 14- 16.
DengX. Development of defects detection algorithms for digital textile printing based on embedded GPU[D]. Hangzhou: Zhejiang University, 2018: 14- 16.
[3] 任欢欢, 景军锋, 张缓缓, 等. 应用GIS和FTDT的织物错花缺陷检测研究[J]. 激光与光电子学进展, 2019, 56(13): 131005.
[4] 王晨煜, 景军锋, 张缓缓, 等. 基于滚动引导滤波与FT算法的色织物疵点检测[J]. 棉纺织技术, 2019, 47(6): 28-33.
Wang C Y, Jing J F, Zhang H H, et al. Defect detection of yarn-dyed fabric based on rolling guide filtering and FT sailiency[J]. Cotton Textile Technology, 2019, 47(6): 28-33.
[5] 卢荣胜, 吴昂, 张腾达, 视觉, 等. 检测技术及其在缺陷检测中的应用综述[J]. 光学学报, 2018, 38(8): 0815002.
[6] Jeyaraj P R. Nadar E R S. Computer vision for automatic detection and classification of fabric defect employing deep learning algorithm[J]. International Journal of Clothing Science and Technology, 2019, 31(4): 510-521.
[7] 卓东, 景军锋, 张缓缓, 等. 基于卷积神经网络的短切毡缺陷分类[J]. 激光与光电子学进展, 2019, 56(10): 101009.
[8] Mottalib MM, RokonuzzamanM, Habib MT, et al.Fabric defect classification with geometric features using Bayesian classifier[C]∥2015 International Conference on Advances in Electrical Engineering (ICAEE), December 17-19, 2015, Dhaka, Bangladesh.New York: IEEE Press, 2015: 137- 140.
[9] 赵鹏, 唐英杰, 杨牧, 等. 卷积神经网络在无纺布缺陷分类检测中的应用[J]. 包装工程, 2020, 41(5): 192-196.
Zhao P, Tang Y J, Yang M, et al. Application of convolutional neural network in classification and detection of non-woven fabric defects[J]. Packaging Engineering, 2020, 41(5): 192-196.
[10] 景军锋, 范晓婷, 李鹏飞, 等. 应用深度卷积神经网络的色织物缺陷检测[J]. 纺织学报, 2017, 38(2): 68-74.
[11] 王巧, 宋柳叶, 王伊千, 等. 数码印花图案及其在丝绸服装设计中的应用路径[J]. 纺织导报, 2019( 3): 82- 85.
WangQ, Song LY, Wang YQ, et al. Design and application of digital printing in silk garments[J]. China Textile Leader, 2019( 3): 82- 85.
[12] 李勇, 林小竹, 蒋梦莹. 基于跨连接LeNet-5网络的面部表情识别[J]. 自动化学报, 2018, 44(1): 176-182.
Li Y, Lin X Z, Jiang M Y. Facial expression recognition with cross-connect LeNet-5 network[J]. Acta Automatica Sinica, 2018, 44(1): 176-182.
[13] Wang R, Xu J W, Han T X. Object instance detection with pruned AlexNet and extended training data[J]. Signal Processing: Image Communication, 2019, 70: 145-156.
[14] Swasono DI, TjandrasaH, FathicahC. Classification of tobacco leaf pests using VGG16 transfer learning[C]∥2019 12th International Conference on Information & Communication Technology and System (ICTS), July 18-18, 2019, Surabaya, Indonesia.New York: IEEE Press, 2019: 176- 181.
[15] 张宏伟, 张凌婕, 李鹏飞, 等. 基于GoogLeNet的色织物花型分类[J]. 纺织科技进展, 2017( 7): 33- 35, 52.
Zhang HW, Zhang LJ, Li PF, et al. Pattern classification of yarn-dyed fabrics based on GoogLeNet[J]. Progress in Textile Science & Technology, 2017( 7): 33- 35, 52.
[16] 马俊成, 赵红东, 杨东旭, 等. 飞机目标分类的深度卷积神经网络设计优化[J]. 激光与光电子学进展, 2019, 56(23): 231006.
[17] 谭光鸿, 侯进, 韩雁鹏, 等. 基于卷积神经网络的低参数量实时图像分割算法[J]. 激光与光电子学进展, 2019, 56(9): 091003.
[18] IoffeS, Szegedy C. Batch normalization: accelerating deep network training by reducing internal covariate shift[EB/OL].( 2015-03-02)[2020-04-27]. https:∥arxiv.org/abs/1502. 03167.
[19] Tu B, Yang X C, Li N Y, et al. Hyperspectral image classification via superpixel correlation coefficient representation[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2018, 11(11): 4113-4127.
Article Outline
苏泽斌, 高敏, 李鹏飞, 景军锋, 张缓缓. 基于卷积神经网络的数码印花缺陷分类算法[J]. 激光与光电子学进展, 2020, 57(24): 241011. Zebin Su, Min Gao, Pengfei Li, Junfeng Jing, Huanhuan Zhang. Digital Printing Defect Classification Algorithm Based on Convolutional Neural Network[J]. Laser & Optoelectronics Progress, 2020, 57(24): 241011.