基于机器视觉的冲压件表面缺陷在线检测研究 下载: 1400次
1 引言
未进行表面处理的部分冲压件很容易生锈,有的工件也可能因为模具问题出现冲压损坏,影响使用寿命。常见的冲压件表面缺陷有锈蚀和几何形状缺陷,几何形状缺陷包括皱纹、裂痕、缺料、毛刺、冲压不完全等。传统表面检测手段是人工检测,但由于冲压件较小,有些缺陷较为细微,长时间目测不仅影响生产效率,更会造成视觉疲劳,影响检出率[1]。目前,很多文献提出了在线检测算法,但实际检测时,图像拍摄仍是在传送带静止时进行,这种方法效率低,且增加了传送带控制难度,本质上仍属于离线检测。
相对于离线检测,实时在线检测需要对运动中的冲压件进行拍摄,其图像存在运动模糊,对比度低等问题,工件表面缺陷受模糊影响更难识别。另外,由于表面缺陷检测的后续环节往往是工件分拣,即拣出有缺陷的不合格冲压件,为了减少工件分拣环节用时,避免传送带上的冲压件堆积,实时在线检测也对算法的执行效率有很高的要求。
表面缺陷处理的两个关键步骤是图像增强和缺陷分割,国内外已有许多研究成果。文献[ 2]提出了基于轮廓波变换和混沌小生境粒子群优化算法相融合的图像增强算法,但增强一幅图像需要46 s,因而其实时性很差;文献[ 3]使用基于独立成分分析(ICA)设计的滤波器对低对比度的图像进行卷积,使得低对比度图像上的缺陷得到增强,在LCD缺陷检测中取得了较好的效果;文献[ 4]提出了基于小波变换层间系数相关性进行边缘检测的方法,能够在噪声环境下较好地提取边缘信息[4];文献[ 5]提出了一种领域加权分割法,相对于大律法(Otsu),该方法对简单图像中的缺陷具有较好的提取效果。
针对实际应用需求,本文提出基于多模板匹配的工件快速定位算法和基于实时浓淡补正的工件表面缺陷提取方法。工件定位时,采用金字塔算法加速模板匹配过程,并通过建立感兴趣区域(ROI)避免图像旋转操作。工件表面缺陷提取时,首先采用双线性插值法压缩存在运动模糊的图像,接着使用基于拉普拉斯-高斯(LoG)算子的实时浓淡补正算法对ROI内的工件表面缺陷进行增强,然后使用大津法进行缺陷分割。经过处理后的图像能够分辨是否有缺陷,最终通过灰度对比检测锈蚀缺陷、通过再次模板匹配检测几何缺陷给出结果。由于模板匹配环节使用了多线程编程技术,因此不会影响算法效率,且模板匹配后可以获取感兴趣区域,后续处理环节的计算量大大降低,提高了算法执行效率。
2 系统硬件组成
图 1. 系统硬件(a)组成图和(b)实物图
Fig. 1. (a) Composition diagram and (b) physical diagram of system hardware
系统硬件平台搭建过程如下:首先利用型材在传送带上方搭建一个悬臂,然后将工业相机安装在悬臂上,再将环形光源固定在相机上。使用1394接口连接相机与计算机;在传送带上放置冲压件;给相机和光源上电,相机拍摄的图像由计算机显示,根据相机视场调整悬臂高度和相机纵向位置,使相机视场能够覆盖传送带宽度;根据图像清晰度调整相机焦距和环形光源亮度;最后开始测试,给传送带驱动电机上电,传送带以4 m/min的速度运行,工业相机以1 ms的曝光时间和10 frame/s的速度采集视频,并将视频传给计算机。据此应用情景,检测算法应在100 ms以内给出产品合格(OK)或者不合格(NG)的判定结果。实际获取的一帧图像如
3 基于多模板匹配的工件快速定位
对在线获取的图像进行图像处理,首先需要知道工件在整张图中的位置,以便将工件单独提取出来进行分析。模板匹配时采用归一化互相关(NCC)算法计算模板和待测图像的相关性,以此来获得工件在图像中的位置。为了快速找到工件的位置,采用金字塔算法来加速相关性的计算过程。由于最终得到的工件位置区域不是一个水平矩形,通过提取该矩形x、y方向的最大最小值来建立水平方向的矩形,即ROI,该过程简化了的矩形的旋转操作。
3.1 基于灰度信息的模板匹配算法
基于图像灰度信息的匹配算法是在20世纪 70年的军用飞行器导航系统的研究中发展起来的,到现在经过很多学者的努力,这个方向的理论已经比较成熟。他们相继提出了很多相关性算法,如平均绝对差(MAD)算法,序贯相似性(SSDA)算法,NCC算法[6]。NCC算法的核心是模板和待测图像的相关性计算。
假设尺寸为M×N的图像f(x,y)中存在大小为K×L的子图像w(x,y),其中K≤M且L≤N,则w(x,y)和f(x,y)在点(i,j)处的相关性定义为
式中i=0,1,…,M-1,j=0,1,…,N-1。
图像相关性的计算过程如
当图像中的模板对象尺度并未缩放或旋转时,NCC算法高效可靠。但由于模板需要不断缩放或旋转以进行匹配,效率大大降低,故需对其进行加速改进以满足实时性需求,金字塔算法可以取得很好的加速效果。
3.2 金字塔加速算法
金字塔算法也叫分层搜索法,即先在较低分辨率图像中进行初步搜索,将得到的较为粗略的结果(x,y)回溯到高一层的图像中,得到一个领域δ(x,y),表示以(x,y)为中心、δ为半径的圆,再在该领域进行搜索,以此类推,最后在高分辨率图像的小范围领域中,进行相关函数的精确匹配[6]。金字塔加速算法在模板匹配中的应用过程如
3.3 工件定位及ROI提取
使用上述模板匹配算法对
4 基于实时浓淡补正的工件表面缺陷提取
实时浓淡补正算法一般用于从阴影中提取瑕疵,其原理是通过算法保留瑕疵同时去除背景阴影。一般需要以下步骤:1) 将原始图像缩小;2) 对缩小图像进行滤波,缩小的图像可加速滤波过程;3) 将滤波后的图像还原成原尺寸;4) 将原始图像和滤波还原后图像进行差分。本文采用双线性插值算法压缩图像,能够保留图像细节;采用LoG算子对缩小图像进行滤波,LoG滤波器对图像的高频部分(工件表面的缺陷和工件边缘)比较敏感。差分后的图像工件表面被很好地增强,缺陷容易分割,通过灰度对比检测锈蚀缺陷、通过再次模板匹配检测几何缺陷,对处理后的图像给出检测结果。
4.1 双线性插值算法
传统的实时浓淡补正算法是在低尺度下对图像进行滤波,但由于在线采集的图像存在一定程度的模糊,相当于未模糊的图像已加了低通滤波器,如果继续进行模糊处理效果并不显著。因此先对模糊图像进行压缩处理,再利用实时浓淡补正算法对图像进行边缘提取。目前提出的图像压缩算法有霍夫曼编码、离散余弦(DCT)变换和小波压缩、双线性插值算法,相对于其他算法,双线性插值算法能够较好地保留图像细节。
在图像的双线性插值算法中,目标图像中新创造的像素值是由源图像在它附近的2×2区域内的4个临近像素值通过加权平均计算得出的。
如
式中R1=(x,y1)。
式中R2=(x,y2)。
Y方向的线性插值:
4.2 基于LoG算子的工件表面增强
Marr和Hildreth论证过,最能满足以下两条件的算子是
LoG算子的表达式为
可以发现,
将
4.3 基于Otsu法的缺陷分割
工件表面经过增强处理后,一般存在三个灰度峰值。以
设图像的灰度级分别为0,1,…,L-1,灰度为i的像素数目为ni,总像素数为N,且N=n0+n1+…+nL-1,pi=ni/N表示灰度为i的像素的概率,于是有
于是可得类间方差为
进一步可得:
对
由
5 实验及算法性能测试
5.1 在线运行实验
在实验室内自然光环境下进行实验,计算机处理器是英特尔E7500(2.93 GHz),内存4G。由于传送带长度有限,首先按照第2节描述搭建硬件系统,根据相机拍摄范围调整相机位置,根据图像清晰度调整相机焦距和光源;再启动软件,在软件界面(
编写LabVIEW程序实现前述NCC算法、金字塔算法、ROI建立、双线性插值算法、Otsu算法;在MATLAB中实现基于LoG算子的滤波,并在LabVIEW中调用MATLAB 脚本节点。对于相机采集的图像按照3、4节的顺序进行处理,首先结合NCC算法和金字塔算法快速找到图像中的几个冲压件,在不同的线程中对不同冲压件进行后续处理,保证及时给出缺陷检测结果,以减少后续分拣环节时间。在论述本文算法时所使用的图像可认为是实验1,组
图 12. (a)定位图像;(b)区域增强图像;(c)缺陷分割图像
Fig. 12. (a) Location image; (b) regional enhanced image; (c) defect segmentation image
5.2 性能分析
对100个冲压件进行了缺陷检测实验,其中有28缺陷件,18个有几何形状缺陷,10个有不同程度的锈蚀缺陷。实验检测出27个缺陷件,有1个锈蚀冲压件没有检测出,经观察该冲压件锈蚀程度很小。另外取20个冲压件(10个无缺陷,10个缺陷件),给每个冲压件编号,进行了3次重复实验,实验结果如
表 1. 缺陷检测结果
Table 1. Defect detection results
|
由
LabVIEW中的性能及内存分析器可以详细测量程序运行时各个模块的用时,
由
表 2. 实验用时分析
Table 2. Experimental time analysis
|
6 结论
经分析,该研究方法解决了运动中的冲压件图像存在的运动模糊问题,满足了在线检测效率要求,且不妨碍后续的冲压件分拣工作。对静止冲压件图像处理,其图像清晰度高,模板匹配和缺陷提取相对简单,不需要过多处理,能够较快地得到缺陷检测结果。由于传送带运行中拍摄的图像比较模糊,为了得到准确的检测结果,采用基于轮廓波变换和混沌小生境粒子群优化算法相融合的算法,增强一幅图像需要46 s;而采用本文算法对图像进行相关处理,利用多模板匹配算法和多线程技术,可以大大减少匹配时间和运算量,检测冲压件是否为缺陷件的时间可控制在100 ms以内,满足在线实时检测要求。
在对生产效率的追求日渐迫切的情形下,工件实时在线检测具有广泛的应用前景。但考虑到执行效率,现有的文献研究大多难以用于实时检测。因此本文算法具有一定的应用价值。
[1] 李丽娟, 徐尚龙, 秦杰. 基于图像处理技术的五金件表面缺陷检测研究[J]. 工程设计学报, 2011, 18(2): 134-138.
[2] 王延年, 刘成涛, 李浩, 等. 基于数字图像处理的冲压件工件增强算法研究[J]. 激光杂志, 2014, 35(10): 80-83.
[3] Tsai D M, Lin P C, Lu C J. An independent component analysis-based filter design for defect detection in low-contrast surface images[J]. Pattern Recognition, 2006, 39(9): 1679-1694.
[4] 韩芳芳. 表面缺陷视觉在线检测关键技术研究[D]. 天津: 天津大学, 2011.
Han FF. Key techniques for surface defects online detection based on machine vision[D]. Tianjin: Tianjin University, 2011.
[5] 孙雪晨, 姜肖楠, 傅瑶, 等. 基于机器视觉的凸轮轴表面缺陷检测系统[J]. 红外与激光工程, 2013, 42(6): 1647-1653.
[6] 张俊凯. 一种快速的旋转模板匹配算法的设计与实现[D]. 哈尔滨: 哈尔滨工业大学, 2013.
Zhang JK. Design and implementation of a novel template matching algorithm invariant to rotation[D]. Harbin: Harbin Institute of Technology, 2013.
[7] 冈萨雷斯, 理查德. 数字图像处理[M]. 北京: 电子工业出版社, 2013: 515- 523.
Gonzalez RC, RichardE. Digital image processing[M]. Beijing: Publishing House of Electronics Industry, 2013: 515- 523.
[8] 何志勇, 孙立宁, 陈立国. Otsu准则下分割阈值的快速计算[J]. 电子学报, 2013, 41(2): 267-272.
[9] 郭萌, 胡辽林, 赵江涛. 基于Kirsch和Canny算子的陶瓷碗表面缺陷检测方法[J]. 光学学报, 2016, 36(9): 0904001.
Article Outline
陈广锋, 管观洋, 魏鑫. 基于机器视觉的冲压件表面缺陷在线检测研究[J]. 激光与光电子学进展, 2018, 55(1): 011501. Chen Guangfeng, Guan Guanyang, Wei Xin. Online Stamping Parts Surface Defects Detection Based on Machine Vision[J]. Laser & Optoelectronics Progress, 2018, 55(1): 011501.