基于低秩信息的纽扣无缺陷图像重建与缺陷检出算法 下载: 733次
1 引言
纽扣是服装不可或缺的配件,在纽扣生产过程中,不可避免地会出现多种工艺缺陷,如划痕、凹坑、起泡、出漆漏漆和字符残缺等。研究纽扣表面缺陷检测技术对于提高产品质量具有十分重要的意义。由于人工检测成本高和检测结果不可控等因素,近年来机器视觉技术已经广泛应用在纺织品[1]、印制电路板[2]、钢板[3]、木材[4]、太阳能电池[5]、液晶屏[6]和瓶盖[7]等领域的工业生产质量检测中。但是,纽扣材质(金属、树脂、塑料)和表面图案(单色、拼色、字符)的多样性大大增加了纽扣表面缺陷检测的难度。
传统的机器视觉检测方法一般采用特征算子来描述缺陷,常见的特征算子有几何形状特征和纹理特征,同时利用支持向量机[8]、神经网络[9]等分类器对特征进行分类,从而实现表面缺陷的检测与识别。郭萌等[10]将Krisch算子与Candy算子相结合,以提取缺陷边缘信息,从而对缺陷进行识别。但这类特征算子只对特定缺陷是有效的,缺陷大小和形状变化将会影响特征算子的检测效果。纽扣表面缺陷呈现多样性,包括划痕、裂纹、凹坑、起泡、字符残缺等缺陷,无法找到一类特征算子能够有效识别多种类型的纽扣缺陷,且针对每种缺陷设计一种特征算法将大大增加算法的复杂度。
纽扣表面缺陷形态各异,但从人眼观察的角度来看,纽扣表面是否存在缺陷是十分明显的。纽扣存在缺陷是由于缺陷破坏了纽扣本身图案的完整性,同时缺陷像素也存在一定的结构信息。特征算子检测方法认为像素是独立非相关的,只考虑当前像素点或其邻域的像素点,而忽略了缺陷图案的相关性。
本文从缺陷的结构信息出发,采用低秩约束缺陷图像,提出了一种基于低秩信息的纽扣无缺陷图像重建与缺陷检出算法。所提算法通过图像重建的方式重构纽扣正品图像,从而分离低秩缺陷。实验结果表明,所提算法能够满足多种类型纽扣表面缺陷的检测要求,且对光照变化具有较好的适应性。
2 基本原理
如
2.1 图像预处理
纽扣表面图像预处理是为了实现纽扣初始配准,方便后续算法对纽扣正样本图像进行重建。采用基于Rubber-sheet模型[11]的圆形区域归一化方法,将圆形纽扣图像转化为矩形,利用投影法计算水平偏移量,从而实现对准,图像预处理流程如
利用Rubber-sheet模型将图像从笛卡尔坐标系转换到极坐标系,在进行图像旋转时,可以直接对角度进行循环移位,有利于图像配准。相较于其他预处理方法,此模型可以很容易地根据需要调整对准精度。在极坐标系中,不同大小的矩形对应不同的对准精度:当量化精度过高时,重复插值会导致图像细节丢失;当量化精度过低时,又会导致在下采样过程中像素点信息利用不足。量化精度的选取通常依据不同的视觉任务目标来确定。
2.2 图像重建
纽扣图像重建是所提算法的核心部分。通过图像重建可以重构纽扣样本无缺陷图像,进而分离出只包含缺陷信息的残差图像。
给定
式中:
于是(1)式可以表示为
考虑到缺陷图像一般都具有一定的结构信息,在很多情况下应该是低秩的(或者近似低秩的),因此采用低秩来约束残差项,即
式中:
为了防止过拟合,对(5)式增加一个对矩阵回归系数的约束项,得到矩阵回归模型为
式中:‖
图 3. 纽扣无缺陷图像重建和含缺陷的残差图像。(a)原图像;(b)无缺陷图像;(c)残差图像
Fig. 3. Button defect-free image reconstruction and residual image with defects. (a) Original image; (b) defect-free image; (c) residual image
图 4. 原图和残差图像的图像素值分布图。(a)原图;(b)残差图像
Fig. 4. Pixel value distribution of original and residual images. (a) Original image; (b) residual image
2.3 缺陷检出
当得到残差图像后,需要合适的阈值来分割缺陷。虽然残差图像中已抑制绝大部分正常图案,但也难免在残差图中遗留有部分非缺陷区域的灰度信息。简单地采用全局阈值很难做到在分割缺陷的同时不会将正常部分误分割。为了解决这个问题,采用局部自适应阈值的方法,通过学习多幅正品的残差图获得自适应阈值,以分割缺陷。
通过图像重建方式获得每幅图像的残差图{
式中:
考虑到纽扣在视场位置的随机性,视场不同位置的光照强度存在一定的差异,为了消除这方面的影响,在(7)式中引入基于全局灰度比值的权重因子
引入权重因子后,(7)式可表示为
式中:
缺陷检出结果如
3 实验结果与分析
成像系统采用CCD面阵摄像头(型号ICX424AQ,索尼公司,日本),分辨率为640 pixel×480 pixel,焦距为8 mm。为了提高算法效率,在Matlab2017上进行开发,使用的计算机硬件为神舟Z7M-i78172D1,主频2.6 GHz,内存8G。
纽扣在生产过程中产生的主要缺陷包括凹坑、崩边、起泡、划痕、出漆漏漆和字符残缺等。为了进一步验证算法的优越性,针对三种不同类型的纽扣进行测试,样本数量和图像大小如
表 1. 测试样本详细信息
Table 1. Detail information of test samples
|
3.1 算法准确率测试
为了评估算法的有效性,对比两类缺陷检测算法:传统差影法[14]和线性回归动态建模[15]方法。为了定量分析测试结果,分别选用正品识别率(TPR)、次品识别率 (TNR)和总识别率(
式中:
详细的测试结果如
表 2. 不同方法的结果对比
Table 2. Results by different methods
|
图 6. 不同检测方法的结果图。(a1)~(a3) 3种样品的原图;(b1)~(b3)差影法结果;(c1)~(c3)线性回归方法的结果;(d1)~(d3)所提方法的结果
Fig. 6. Result diagrams of different defection methods. (a1)-(a3) Original images of three samples; (b1)-(b3) results by background substraction method; (c1)-(c3) results by linear regression method; (d1)-(d3) results by proposed method
3.2 关键参数分析
在加权局部自适应阈值的缺陷检出算法中存在一个参数
为了评估控制参数
图 8. 不同参数C对检出效果的影响。(a)原图;(b) C=1的检出效果;(c) C=3的检出效果;(d) C=6的检出效果
Fig. 8. Effect of different parameter C on detection effect. (a) Original image; (b) detection effect at C=1; (c) detection effect at C=3; (d) detection effect at C=6
3.3 光照适应性测试
在实际检测场景中,环境光照可能会出现变化,所提算法对于光照变化的适应性是一项重要指标,这里通过改变光照强度来测试算法的适应能力。实验中的曝光时间为300 μs;光圈大小为
在实验中,分别对3种类别的纽扣样品在5种光照情况下进行图像采集,获得基于低秩信息的缺陷检测算法参数,然后测试不同光照条件下获得的图像,测试结果如
表 3. 光源刻度与实测光照强度的对应关系
Table 3. Correspondence between light source scale and actual light intensity
|
4 结论
提出了一种基于低秩信息的纽扣表面缺陷检测方法。该方法通过重构正样品图像,采用差影法将缺陷部分分离出来,完成纽扣表面缺陷的自动检测。实验结果表明,算法准确率高达99%,可以适应-15%~+15%范围的光照变化和多种类型纽扣缺陷,大大提高了纽扣表面缺陷的检测效果,为实现纽扣表面缺陷的自动检测提供了新的技术解决方案。
[1] 王清晨, 景军锋, 张蕾, 等. 基于最优Gabor滤波器的牛仔布缺陷检测[J]. 激光与光电子学进展, 2018, 55(7): 071501.
[5] 龚芳, 张学武, 孙浩. 基于独立分量分析和粒子群算法的太阳能电池表面缺陷红外热成像检测[J]. 光学学报, 2012, 32(4): 0415002.
[6] 朱炳斐, 陈文建, 李武森, 等. 基于Fourier-Mellin变换的液晶显示屏显示缺陷检测[J]. 激光与光电子学进展, 2017, 54(12): 121502.
[8] Wang S, Lu S, Dong Z, et al. Dual-tree complex wavelet transform and twin support vector machine for pathological brain detection[J]. Applied Sciences, 2016, 6(6): 169.
[9] Zhang M, Wu J, Lin H, et al. Theapplication of one-class classifier based on CNN in image defect detection[J]. Procedia Computer Science, 2017, 114: 341-348.
[10] 郭萌, 胡辽林, 赵江涛. 基于Kirsch和Canny算子的陶瓷碗表面缺陷检测方法[J]. 光学学报, 2016, 36(9): 0904001.
[11] Daugman J. How iris recognition works[J]. IEEE Transactions on Circuits and Systems for Video Technology, 2004, 14(1): 21-30.
[12] Candès E J, Li X D, Ma Y. et al. Robust principal component analysis?[J]. Journal of the ACM, 2011, 58(3): 11.
[13] HanssonA, LiuZ, VandenbergheL. Subspace system identification via weighted nuclear norm optimization[C]. 51st IEEE Conference on Decision and Control (CDC) , 2012: 13289538.
[14] SekiM, FujiwaraH, SumiK. A robust background subtraction method for changing background[C]. Proceedings Fifth IEEE Workshop on Applications of Computer Vision, 2000: 6806457.
童星, 曹丹华, 吴裕斌, 蒋兴儒. 基于低秩信息的纽扣无缺陷图像重建与缺陷检出算法[J]. 光学学报, 2019, 39(1): 0115002. Xing Tong, Danhua Cao, Yubin Wu, Xingru Jiang. Button Defect-Free Image Reconstruction and Defect Detection Algorithm Based on Low-Rank Information[J]. Acta Optica Sinica, 2019, 39(1): 0115002.