光学学报, 2019, 39 (1): 0115002, 网络出版: 2019-05-10  

基于低秩信息的纽扣无缺陷图像重建与缺陷检出算法 下载: 733次

Button Defect-Free Image Reconstruction and Defect Detection Algorithm Based on Low-Rank Information
作者单位
华中科技大学光学与电子信息学院, 湖北 武汉 430074
摘要
纽扣表面缺陷形态、大小、位置多变,导致缺陷检测成为一个具有挑战性的问题。基于缺陷图像信息空间结构相关性,提出了一种基于低秩信息的纽扣图像重建方法。该方法采用低秩约束缺陷图像矩阵,通过回归的方式重构纽扣表面无缺陷图像,并利用差影法分离带有缺陷信息的残差图像,通过局部加权自适应阈值使缺陷有效显现。所提方法将最小化残差矩阵的秩转化为最小化核范数,并通过交替方向乘子法求解回归系数,利用正样本实现图像重建。针对构建的纽扣样本测试集对算法性能进行测试,证明所提方法对于不同类别的纽扣和不同大小、形状的缺陷都是有效的,算法准确率达99%,并且该方法对于光照变化也具有一定的适应性。
Abstract
Defect detection is a challenging problem due to the diversity of appearances, sizes and locations of button surface defects. A low-rank information based button image reconstruction method is proposed based on the spatial structure correlation of defect image information, in which the low-rank constrained defect image matrix is utilized to reconstruct the defect-free button surface images through regression and the background subtraction method is adopted to separate the residual images with defect information, and thus the defects can be effectively extracted through the locally weighted adaptive threshold. In addition, in this method, the minimum rank of the residual matrix is converted into the minimum nuclear norm, the regression coefficients are solved by the alternating direction multiplier method, and thus the image reconstruction is realized with positive samples. According to the performance test of the reconstructed button sample set, it is verified that the proposed method is effective for different types of buttons and different sizes and shapes of defects, and the accuracy of the algorithm is 99%. Moreover, the method has a certain adaptability to illumination variation.

1 引言

纽扣是服装不可或缺的配件,在纽扣生产过程中,不可避免地会出现多种工艺缺陷,如划痕、凹坑、起泡、出漆漏漆和字符残缺等。研究纽扣表面缺陷检测技术对于提高产品质量具有十分重要的意义。由于人工检测成本高和检测结果不可控等因素,近年来机器视觉技术已经广泛应用在纺织品[1]、印制电路板[2]、钢板[3]、木材[4]、太阳能电池[5]、液晶屏[6]和瓶盖[7]等领域的工业生产质量检测中。但是,纽扣材质(金属、树脂、塑料)和表面图案(单色、拼色、字符)的多样性大大增加了纽扣表面缺陷检测的难度。

传统的机器视觉检测方法一般采用特征算子来描述缺陷,常见的特征算子有几何形状特征和纹理特征,同时利用支持向量机[8]、神经网络[9]等分类器对特征进行分类,从而实现表面缺陷的检测与识别。郭萌等[10]将Krisch算子与Candy算子相结合,以提取缺陷边缘信息,从而对缺陷进行识别。但这类特征算子只对特定缺陷是有效的,缺陷大小和形状变化将会影响特征算子的检测效果。纽扣表面缺陷呈现多样性,包括划痕、裂纹、凹坑、起泡、字符残缺等缺陷,无法找到一类特征算子能够有效识别多种类型的纽扣缺陷,且针对每种缺陷设计一种特征算法将大大增加算法的复杂度。

纽扣表面缺陷形态各异,但从人眼观察的角度来看,纽扣表面是否存在缺陷是十分明显的。纽扣存在缺陷是由于缺陷破坏了纽扣本身图案的完整性,同时缺陷像素也存在一定的结构信息。特征算子检测方法认为像素是独立非相关的,只考虑当前像素点或其邻域的像素点,而忽略了缺陷图案的相关性。

本文从缺陷的结构信息出发,采用低秩约束缺陷图像,提出了一种基于低秩信息的纽扣无缺陷图像重建与缺陷检出算法。所提算法通过图像重建的方式重构纽扣正品图像,从而分离低秩缺陷。实验结果表明,所提算法能够满足多种类型纽扣表面缺陷的检测要求,且对光照变化具有较好的适应性。

2 基本原理

图1所示,所提出的缺陷检测算法流程主要分为3个部分:1)图像预处理,将输入纽扣图像旋转到初始姿态;2)图像重建,通过低秩约束重建纽扣无缺陷图像,从而分离出只包含缺陷信息的残差图像;3)缺陷检出,采用加权局部自适应阈值将缺陷检出并二值化缺陷图案。

图 1. 缺陷检测算法框图

Fig. 1. Block diagram of defect detection algorithm

下载图片 查看所有图片

2.1 图像预处理

纽扣表面图像预处理是为了实现纽扣初始配准,方便后续算法对纽扣正样本图像进行重建。采用基于Rubber-sheet模型[11]的圆形区域归一化方法,将圆形纽扣图像转化为矩形,利用投影法计算水平偏移量,从而实现对准,图像预处理流程如图2所示。

图 2. 图像预处理流程及效果

Fig. 2. Flow chart of image preprocessing and its effect

下载图片 查看所有图片

利用Rubber-sheet模型将图像从笛卡尔坐标系转换到极坐标系,在进行图像旋转时,可以直接对角度进行循环移位,有利于图像配准。相较于其他预处理方法,此模型可以很容易地根据需要调整对准精度。在极坐标系中,不同大小的矩形对应不同的对准精度:当量化精度过高时,重复插值会导致图像细节丢失;当量化精度过低时,又会导致在下采样过程中像素点信息利用不足。量化精度的选取通常依据不同的视觉任务目标来确定。

2.2 图像重建

纽扣图像重建是所提算法的核心部分。通过图像重建可以重构纽扣样本无缺陷图像,进而分离出只包含缺陷信息的残差图像。

给定n个无缺陷正品纽扣图像的样本矩阵A1,A2,…,An,测试样本图像矩阵B可以由A1,A2,…,An线性表示为

B=x1A1+x2A2++xnAn+E,(1)

式中:E为残差矩阵。令

A(x)=x1A1+x2A2++xnAn,(2)

于是(1)式可以表示为

B=A(x)+E(3)

考虑到缺陷图像一般都具有一定的结构信息,在很多情况下应该是低秩的(或者近似低秩的),因此采用低秩来约束残差项,即

minxrank(E) s.t. E=B-A(x),(4)

式中:rank(E)为E的秩。秩的存在使得目标函数是一个非凸函数,因此(4)式是一个NP困难(non-deterministic polynomial-time hard)的问题,受文献[12]的启发,求解矩阵最小秩的问题可以转化为求解矩阵的最小核范数,于是(4)式可转化为

minEx* s.t. E=A(x)-B(5)

为了防止过拟合,对(5)式增加一个对矩阵回归系数的约束项,得到矩阵回归模型为

minEx*+12λx22 s.t. E=A(x)-B,(6)

式中:‖E*=∑σi(E)为E的核范数,其中σi(E)为E的奇异值;λ为正则化系数。(6)式可以通过交替方向乘子法(ADMM)进行求解[13]

图3给出了纽扣图像的重建示意图,首先获得原图像的矩阵信息[图3(a)],通过求解(6) 式得到回归系数x,然后根据正样本图像并通过(2)式计算得到重构的无缺陷图像A(x),图3(b)为图3(a)重构的无缺陷图像,最后分离出包含缺陷信息的残差图像[图3(c)]。

图4分别给出了图3中原图和残差图像的像素值分布图。由图可见,由于纽扣正品图案较复杂,纽扣缺陷信息淹没在正常图案中,在图4(a)中很难将缺陷分割出来。但通过图像重建分离残差图后,纽扣正品图案信息得到有效地消除,而缺陷图像信息可以显著显现。

图 3. 纽扣无缺陷图像重建和含缺陷的残差图像。(a)原图像;(b)无缺陷图像;(c)残差图像

Fig. 3. Button defect-free image reconstruction and residual image with defects. (a) Original image; (b) defect-free image; (c) residual image

下载图片 查看所有图片

图 4. 原图和残差图像的图像素值分布图。(a)原图;(b)残差图像

Fig. 4. Pixel value distribution of original and residual images. (a) Original image; (b) residual image

下载图片 查看所有图片

2.3 缺陷检出

当得到残差图像后,需要合适的阈值来分割缺陷。虽然残差图像中已抑制绝大部分正常图案,但也难免在残差图中遗留有部分非缺陷区域的灰度信息。简单地采用全局阈值很难做到在分割缺陷的同时不会将正常部分误分割。为了解决这个问题,采用局部自适应阈值的方法,通过学习多幅正品的残差图获得自适应阈值,以分割缺陷。

通过图像重建方式获得每幅图像的残差图{En(x,y),n=1,2,…,N},自适应阈值T(x,y)通过学习这N个残差图中每个位置像素点(x,y)的统计信息获得,即

T(x,y)=μ(x,y)+(x,y),(7)

式中:μ(x,y)和δ(x,y)分别为残差图{En(x,y),n=1,2,…,N}中像素点的统计均值和方差,分别定义为

μ(x,y)=1Nn=1NEn(x,y),(8)δ(x,y)=1Nn=1N[En(x,y)-μ(x,y)]212(9)

考虑到纽扣在视场位置的随机性,视场不同位置的光照强度存在一定的差异,为了消除这方面的影响,在(7)式中引入基于全局灰度比值的权重因子ω,ω可定义为

ω=μ(x,y)T(x,y)(10)

引入权重因子后,(7)式可表示为

T(x,y)=ω[μ(x,y)+(x,y)],(11)

式中:C为控制参数。较大的C对应的阈值范围大,可能会导致低的缺陷漏检,较小的C对应的阈值范围小,使缺陷更容易分割,但同时可能会将一些图像噪声检测为缺陷。在后续的测试中,C取最佳参数值3,关于参数C对算法的影响将在实验部分深入探究。残差图分割的结果将以二值图B(x,y)的形式展现,非缺陷部分标记为0,缺陷部分标记为255,分割表达式为

B(x,y)=0, E(x,y)T(x,y)255, E(x,y)>T(x,y)(12)

缺陷检出结果如图5所示,可以看出加权局部自适应阈值能够很好地将缺陷检出,同时消除内孔和外轮廓边缘带来的影响,从而有效避免误检。

3 实验结果与分析

成像系统采用CCD面阵摄像头(型号ICX424AQ,索尼公司,日本),分辨率为640 pixel×480 pixel,焦距为8 mm。为了提高算法效率,在Matlab2017上进行开发,使用的计算机硬件为神舟Z7M-i78172D1,主频2.6 GHz,内存8G。

图 5. (a)残差图;(b)二值图

Fig. 5. (a) Residual image; (b) binary image

下载图片 查看所有图片

纽扣在生产过程中产生的主要缺陷包括凹坑、崩边、起泡、划痕、出漆漏漆和字符残缺等。为了进一步验证算法的优越性,针对三种不同类型的纽扣进行测试,样本数量和图像大小如表1所示,样本集涵盖单色纽扣、拼色纽扣和字符纽扣三种常见纽扣。样本1为拼色纽扣,主要缺陷为起泡、凹坑和崩边;样本2为字符纽扣,主要缺陷为出漆漏漆和字符残缺;样本3为单色纽扣,主要缺陷为划痕。

表 1. 测试样本详细信息

Table 1. Detail information of test samples

Sample No.Number ofdefect-free buttonsNumber ofdefective buttonsSize /pixel×pixel
1200110256×256
2132128152×152
313288169×169

查看所有表

3.1 算法准确率测试

为了评估算法的有效性,对比两类缺陷检测算法:传统差影法[14]和线性回归动态建模[15]方法。为了定量分析测试结果,分别选用正品识别率(TPR)、次品识别率 (TNR)和总识别率(R)进行评估,其定义分别为

RTPR=RRTP/(NTP+NFN),(13)RTNR=NTN/(NFP+NTN),(14)R=(NTP+NTN)(NTP+NFN+NFP+NTN),(15)

式中:NTP为正品被预测成正品的数量,NFP为次品被预测成正品的数量,NFN为正品被预测成次品的数量,NTN为次品被预测成次品的数量。

详细的测试结果如表2所示,从表中可以看出,差影法结果最差,可以证明动态建模要比统计平均模板具有更大的优势,而所提出的基于矩阵回归的建模方法在TPR和TNR上都不低于线性回归方法,整体检测率要比线性回归法高,说明基于矩阵回归的核范数对残差项的约束优于线性回归二范数对残差项的约束。

表 2. 不同方法的结果对比

Table 2. Results by different methods

Sample No.Subtraction methodLinear regression methodProposed method
TPRTNRRTPRTNRRTPRTNRR
10.8050.8550.8230.9350.8270.8971.0000.9550.976
20.7310.5940.640.9810.8750.9100.9810.9060.944
30.9090.7050.830.9441.0000.96520.9861.0000.990

查看所有表

图6给出了利用不同方法处理3种样品的结果图, 其中图6(a1)~(a3)为3种样品的原图,图6(b1)~(b3)为差影法结果,6(c1)~(c3)为线性回归方法的结果,图6(d1)~(d3)为所提方法的结果。在每类样品图中,第一行为正品检测结果图,其他为次品检测结果图。由图可以看出:差影法处理结果最差,存在较多误分割情况,局部的光照不均匀和细微的对准误差都可能造成误分割;线性回归处理结果较好,但存在一些漏分割情况,对于某些细微缺陷,线性回归方法可能检测不到;所提方法的检测效果最好,能够有效检测到细微缺陷,对局部光照不均匀和对准误差容忍性较高。

图 6. 不同检测方法的结果图。(a1)~(a3) 3种样品的原图;(b1)~(b3)差影法结果;(c1)~(c3)线性回归方法的结果;(d1)~(d3)所提方法的结果

Fig. 6. Result diagrams of different defection methods. (a1)-(a3) Original images of three samples; (b1)-(b3) results by background substraction method; (c1)-(c3) results by linear regression method; (d1)-(d3) results by proposed method

下载图片 查看所有图片

3.2 关键参数分析

在加权局部自适应阈值的缺陷检出算法中存在一个参数C,C的大小将直接影响像素点(x,y)处自适应阈值T(x,y)的大小,从而影响缺陷的检出效果。

为了评估控制参数C对算法的影响,选取不同的参数C在样本集1~3中进行测试,测试结果以ROC(Receiver operating characteristic)曲线展示,如图7所示。ROC曲线的横坐标FPR代表次品识别为正品的概率,即次品漏检率;纵坐标为TPR。ROC曲线常用于评价分类识别模型的性能,随着控制参数C的增大,阈值范围将逐渐增大,正品识别率将会增加,同时次品漏检率也会增加。ROC曲线越靠近左上顶点,说明模型分类性能越好。由图7可知,三类样本的ROC曲线都趋近于折线且靠近左上顶点,可知所提算法对参数C不敏感;当参数C的取值范围为2.5~3.5时,所提算法有很好的表现;当参数C取值为3时,具有较高的次品检出率和很低的正品误检率。

图8给出不同参数C对检出效果的影响示意图,图中每一行为一类样品图例,每一列分别对应不同参数C的检出效果。由图8可以看出:当C较小时,存在较多误检;当C较大时,存在明显漏检;当C取值合适时,检出效果最佳。

图 7. 所提方法的ROC曲线

Fig. 7. ROC curves by proposed method

下载图片 查看所有图片

图 8. 不同参数C对检出效果的影响。(a)原图;(b) C=1的检出效果;(c) C=3的检出效果;(d) C=6的检出效果

Fig. 8. Effect of different parameter C on detection effect. (a) Original image; (b) detection effect at C=1; (c) detection effect at C=3; (d) detection effect at C=6

下载图片 查看所有图片

3.3 光照适应性测试

在实际检测场景中,环境光照可能会出现变化,所提算法对于光照变化的适应性是一项重要指标,这里通过改变光照强度来测试算法的适应能力。实验中的曝光时间为300 μs;光圈大小为f/0.4;光源为数字控制光源,有255个数字档位。采用特安斯TA8120数字照度计在视场正中心测出实际光照强度,光源控制器输出值与实测光照强度的对应关系如表3所示。

在实验中,分别对3种类别的纽扣样品在5种光照情况下进行图像采集,获得基于低秩信息的缺陷检测算法参数,然后测试不同光照条件下获得的图像,测试结果如图9所示,虽然光照变化对算法性能确实有一定的影响,但所提算法还是能够保持较稳定的性能。样品3为单色纽扣,图案比较简单,光照变化对所提算法的影响很小;样本2和样本1随着图案复杂度的增加,光照变化会造成越来越多的误分割。通过该实验,可得所提算法对光照变化具有一定的适应性,在推荐的-15%~+15%光照范围内,算法识别率波动不超过5%,满足使用时光源正常波动的需求。

表 3. 光源刻度与实测光照强度的对应关系

Table 3. Correspondence between light source scale and actual light intensity

Lighting condition No.12345
Light source output value150155160165170
Actual light intensity /lx51006400750086009800

查看所有表

图 9. 算法识别率随光照的变化

Fig. 9. Recognition rate of algorithm versus illumination

下载图片 查看所有图片

4 结论

提出了一种基于低秩信息的纽扣表面缺陷检测方法。该方法通过重构正样品图像,采用差影法将缺陷部分分离出来,完成纽扣表面缺陷的自动检测。实验结果表明,算法准确率高达99%,可以适应-15%~+15%范围的光照变化和多种类型纽扣缺陷,大大提高了纽扣表面缺陷的检测效果,为实现纽扣表面缺陷的自动检测提供了新的技术解决方案。

参考文献

[1] 王清晨, 景军锋, 张蕾, 等. 基于最优Gabor滤波器的牛仔布缺陷检测[J]. 激光与光电子学进展, 2018, 55(7): 071501.

    Wang Q C, Jing J F, Zhang L, et al. Denim defect detection based on optimal Gabor filter[J]. Laser & Optoelectronics Progress, 2018, 55(7): 071501.

[2] Crispin A J, Rankov V. Automated inspection of PCB components using a genetic algorithm template-matching approach[J]. International Journal of Advanced Manufacturing Technology, 2007, 35(3/4): 293-300.

[3] Ghorai S, Mukherjee A, Gangadaran M. et al. Automatic defect detection on hot-rolled flat steel products[J]. IEEE Transactions on Instrumentation & Measurement, 2013, 62(3): 612-621.

[4] Zhang Y Z, Xu C, Li C, et al. Wood defect detection method with PCA feature fusion and compressed sensing[J]. Journal of Forestry Research, 2015, 26(3): 745-751.

[5] 龚芳, 张学武, 孙浩. 基于独立分量分析和粒子群算法的太阳能电池表面缺陷红外热成像检测[J]. 光学学报, 2012, 32(4): 0415002.

    Gong F, Zhang X W, Sun H. Detection system for solar module surface defects based on constrained ICA model and PSO method[J]. Acta Optica Sinica, 2012, 32(4): 0415002.

[6] 朱炳斐, 陈文建, 李武森, 等. 基于Fourier-Mellin变换的液晶显示屏显示缺陷检测[J]. 激光与光电子学进展, 2017, 54(12): 121502.

    Zhu B F, Chen W J, Li W S, et al. Liquidcrystal display defect detection based on Fourier-Mellin transform[J]. Laser & Optoelectronics Progress, 2017, 54(12): 121502.

[7] Zhou W J, Fei M R, Zhou H Y, et al. A sparse representation based fast detection method for surface defect detection of bottle caps[J]. Neurocomputing, 2014, 123: 406-414.

[8] Wang S, Lu S, Dong Z, et al. Dual-tree complex wavelet transform and twin support vector machine for pathological brain detection[J]. Applied Sciences, 2016, 6(6): 169.

[9] Zhang M, Wu J, Lin H, et al. Theapplication of one-class classifier based on CNN in image defect detection[J]. Procedia Computer Science, 2017, 114: 341-348.

[10] 郭萌, 胡辽林, 赵江涛. 基于Kirsch和Canny算子的陶瓷碗表面缺陷检测方法[J]. 光学学报, 2016, 36(9): 0904001.

    Guo M, Hu L L, Zhao J T. Surface defect detection method of ceramic bowl based on Kirsch and Canny operator[J]. Acta Optica Sinica, 2016, 36(9): 0904001.

[11] Daugman J. How iris recognition works[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2004, 14(1): 21-30.

[12] Candès E J, Li X D, Ma Y. et al. Robust principal component analysis?[J]. Journal of the ACM, 2011, 58(3): 11.

[13] HanssonA, LiuZ, VandenbergheL. Subspace system identification via weighted nuclear norm optimization[C]. 51st IEEE Conference on Decision and Control (CDC) , 2012: 13289538.

[14] SekiM, FujiwaraH, SumiK. A robust background subtraction method for changing background[C]. Proceedings Fifth IEEE Workshop on Applications of Computer Vision, 2000: 6806457.

[15] Han Y, Yubin W U, Cao D, et al. Defect detection on button surfaces with the weighted least-squares model[J]. Frontiers of Optoelectronics, 2017, 10(2): 151-159.

童星, 曹丹华, 吴裕斌, 蒋兴儒. 基于低秩信息的纽扣无缺陷图像重建与缺陷检出算法[J]. 光学学报, 2019, 39(1): 0115002. Xing Tong, Danhua Cao, Yubin Wu, Xingru Jiang. Button Defect-Free Image Reconstruction and Defect Detection Algorithm Based on Low-Rank Information[J]. Acta Optica Sinica, 2019, 39(1): 0115002.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!