1 引言

为实现“中国制造2025”,机器视觉成为工厂自动化向智能化发展的关键性技术。随着工业产业升级,产品质量要求日益提高,工件表面检测成为必不可少的一环,利用视觉进行工件表面缺陷检测逐渐成为制造业的重要研究课题。目前大部分精加工厂仍采用人工检测的方法对工件表面缺陷进行检测,工人在对高反射曲面的表面缺陷进行检测时需要在强光下从不同的角度进行观察,不仅效率低,而且长期强光下作业对视力伤害也很大。视觉检测与人眼检测相比具有非接触式测量、严格的一致性、更小的空间分辨率、更高的时间分辨率以及更高的工作效率等特点^[1]。高反射曲面常见于打磨抛光工件、汽车车身、光学元件等场合,因此,研究一种利用机器视觉对高反射曲面工件表面缺陷进行检测的方法具有很高的经济价值。

陈松赟等^[2]设计了一种利用穹顶漫射光源进行高亮异形曲面缺陷检测的装置,该装置利用穹顶光源的漫反射光进行缺陷检测,但该方法只适用于缺陷较大的场合。刘元坤等^[3]利用薄膜晶体管向被测物投射结构光,通过对比标准面与待测面中条纹的相位偏移实现了对镜面物体的检测,该方法中标准面的选取对检测结果的影响比较大,只适用于静态平面待测物的检测。赵文川等^[4]提出一种基于相位偏折技术的光学表面疵病检测方法,利用水平和垂直两个方向上的正弦条纹,采用移相技术提取相位分布图,此方法需要采集多个相位的图像,操作复杂,且在非理想镜面下相位解析达不到理论精度。目前行业内对工件表面缺陷进行检测的方法各异,但是对于高反射曲面的缺陷目前尚没有一种在检测分辨率、可拓展性与普适性方面表现优异的方法。

本文在以实现高反射曲面缺陷检测为实际需求的背景下,以抛光曲面工件为研究对象,利用高反射曲面的镜面反射特性,提出了一种基于反射云纹的高反射曲面工件表面缺陷检测方法,并设计了基于本方法的图像采集装置,分析高反射曲面光照模型,针对采集的云纹图像设计了缺陷提取算法。实验结果表明本方法采集一次图像即可完成缺陷检测,对不同的缺陷有较好的普适性,并且实现了检测分辨率可调。

2 检测的原理及装置

2.1 高反射曲面反射模型

高反射曲面缺陷检测的部分难点在于图像采集系统的光源光路设计,需要根据物体表面的反射特性设计合适的照明系统^[5]。高反射曲面光照模型如图1所示,光束从入射角照射到高反射曲面表面,从不同的观察角度接收到不同成分的光。结合Nayar光照模型^[6]对高反射曲面的反射模型进行分析,

图 1. 高反射曲面光照模型

Fig. 1. Illumination model of high reflection surface

下载图片 查看所有图片

其中θ_i为光源入射角,θ_e和θ_r为观察角,反射物体的反射率为ρ_s。反射光主要由漫反射光、镜面叶瓣光、镜面尖峰光组成。漫反射是入射光与物体表面发生多次反射后形成的,其均匀分布于物体表面。镜面叶瓣光的光强分布符合高斯函数,受被检测物体表面反射率和观察角度的影响。镜面尖峰是脉冲函数,符合光的反射定律,需要在一定的角度下才能观察到,是图像采集时眩光产生的主要原因。在设计照明系统时需要使物体表面光照均匀,以提高缺陷与背景的对比度,便于算法设计。

2.2 检测原理及图像采集装置

缺陷检测系统的装置示意图如图2所示,由云纹面光源、CMOS相机、半透半反镜、计算机以及相关支架组成。由云纹面光源发出的云纹光,经过半透半反镜照射到待检测的高反射曲面工件表面,经被检测面反射后进入相机。当被检测面存在缺陷时,在缺陷处由于光线的反射角度与反射率发生了改变,采集的条纹图像在缺陷位置会发生条纹畸变与模糊,从而能够表征缺陷信息。与相位偏折技术不同的是,这里采用的面光源是宽度相等的明暗条纹,条纹的灰度分布是阶跃变化的,而不是通过正弦调制的^[7]。

图 2. 缺陷检测装置示意图

Fig. 2. Schematic of defect detection device

下载图片 查看所有图片

在图2中,云纹图像沿世界坐标系的y轴分布。图3为条纹方向光束偏折示意图。S为条纹方向的被检测高反射面,D为缺陷位置,CMOS相机的光轴T与高反射面交于o点,以o点为原点,建立世界坐标系o-xyz, 云纹面光源的方向为y轴方向,标准高反射面的法线为F,当被检测曲面不存在缺陷时,光源上一点M发出的光束I_s经过D点反射后,映射到CMOS相机的M″点,L为云纹图像在被检测面的镜像,M'为M镜像点。当被检测面存在缺陷时,假设由于缺陷造成的入射光线偏转角度为α,此时的反射面法线为F',光束经过缺陷处反射,将发射偏折到达CMOS相机的N点。根据反射定律,反射光线的偏折角度为2α,标准无缺陷时被检测面上的反射光束M在存在缺陷时将被反射到N点,从而造成M″到N的条纹图像发生畸变。

图 3. 条纹方向光束偏折示意图

Fig. 3. Schematic of deflection light in stripe direction

下载图片 查看所有图片

在上述检测装置中,云纹面光源通过计算机控制薄膜晶体管(TFT)液晶屏显示产生的云纹图像,液晶显示屏发出的光为漫反射光,因此采集的图像不会产生眩光。云纹图像通过MATLAB生成,生成的云纹图像可表示为

I0(x,y)=a+bf(x)+ψ0(x,y),(1)

式中:I₀(x,y)为点(x,y)的光强;a和b为正常数;f(x)为阶跃函数;ψ₀(x,y)为初始相位。

实验检测对象为经抛光处理后的圆柱形不锈钢工件,其曲率影响了单次有效检测面积,图4为有效检测面积示意图。设S_S为相机感光芯片尺寸,f为镜头焦距,W_D为工作距离,F_OV为视场。其关系满足

fWD=SSFOV。(2)

图 4. 有效检测面积示意图

Fig. 4. Schematic of effective detection area

下载图片 查看所有图片

在圆柱形工件截面上,O为圆心,R为半径,单次有效检测宽度为m_n,w为条纹宽度,t为切线长度,t=w/cosα,当条纹投影到曲面时,近似认为t为曲面上的条纹宽度。受到相机景深、视场范围、光线散射等的影响,条纹图像边缘会变得模糊^[8]。通过实验可知,当投影切线长度t大于1.5倍光源条纹宽度w时,边缘测量数据会不准确,因此设定限制条件t<3w/2,即w/cosα<3w/2,可以求出α<48°,则单次有效检测宽度最大为2Rsinα≈1.4R。为了提高系统的稳定性,预留一定的容错空间,设定单次有效检测宽度m_n为1.2R,则在旋转检测圆柱形工件时,可以推算每次旋转的角度为α=arcsin[m_n/(2R)]。在本实验中,待检测圆柱形工件的半径R为60 mm,单次检测有效宽度为72 mm,对应的角度α约为36°。利用本实验装置采集的标准云纹图像如图5所示,图5(a)为云纹面光源的标准条纹图像,图5(b)为经过无缺陷标准检测面反射后采集的条纹图像,通过对采集图像中明暗条纹所占像素个数进行统计可知,在有效的检测范围内,条纹宽度基本相等。

3 实验图像采集结果及分析

3.1 图像采集结果

目前打磨抛光曲面工件表面缺陷的检测都是通过人工在强光下从不同角度观察完成检测标注的。在工厂利用所提方法采集了标准面以及含有几种主要缺陷的样本图像,不同类型的缺陷样片如图6所示。图6(a)为打磨抛光后的标准无缺陷工件表面,该表面均匀光滑、整洁美观;图6(b)为砂眼缺陷,由工件在压铸时存在气泡或者毛胚材料本身存在杂质所致;图6(c)为橘皮缺陷,由打磨过程中打磨工艺不稳定、机械臂扰动所致;图6(d)为砂带痕缺陷,由打磨耗材(如砂轮)磨损所致。这些缺陷的存在不仅影响了产品的质量,还直接影响了产品外观。

图 5. 标准云纹图像。(a) MATLAB生成的条纹图像;(b)相机采集的云纹图像

Fig. 5. Images of standard stripe. (a) Stripe image generated by MATLAB; (b) moiré image taken by camera

下载图片 查看所有图片

图 6. 不同类型的缺陷样片。(a)标准表面;(b)砂眼;(c)橘皮;(d)砂带痕

Fig. 6. Different types of defect samples. (a) Standard surface; (b) sand hole; (c) orange skin; (d) belt marks

下载图片 查看所有图片

上述样品的缺陷类型能覆盖94%的样本图像,不同的缺陷因为其反射特性差异,需要从不同的角度打光才能采集到清晰的样本图像。利用所提的检测方法,不同类型的缺陷都能较好地显现出来,采集的不同缺陷在云纹图像上的表征效果如图7所示,为了方便观察,图中缺陷用圆圈标注。

图 7. 不同缺陷在云纹图像上的表征效果。 (a)标准表面;(b)砂眼;(c)橘皮;(d)砂带痕

Fig. 7. Characterizations of different defects on moiré image. (a) Standard surface; (b) sand hole; (c) orange skin; (d) belt marks

下载图片 查看所有图片

3.2 缺陷特征分析

通过观察可以发现,受环境光、散射及相机噪声的影响,采集的条纹图像存在阶梯效应。图8为砂眼缺陷云纹图像,亮条纹的间距为d_width;正方形区域是面积大小为w_x×w_y大小的缺陷,w_x为缺陷宽度,w_y为缺陷长度。

图 8. 砂眼缺陷的云纹图像

Fig. 8. Stripe image of sand hole defect

下载图片 查看所有图片

基于所提方法采集的图像,云纹图像纹理清晰,条纹互不干扰。缺陷存在时,云纹图像发生了弯曲或者偏折,从而能够对缺陷信息进行表征。在缺陷附近受光线散射的影响,缺陷位置的反射率ρ_s相对于无缺陷位置折射率ρ_b减小,缺陷处的图像变得模糊。

3.3 条纹间距对检测分辨率的影响

云纹图像中的明暗条纹可以作为一种参考对象。根据采样定理,条纹的间距会影响检测的分辨率。检测的分辨率w_x与云纹面光源的条纹间距需要满足

wx>2dwidth。(3)

通过更改亮条纹的间距,可以在设备层面上设定系统检测的分辨率,从而适应不同场合的要求。图9为同一个缺陷在条纹间距分别为0.25,0.50,2.00 mm间距下采集的缺陷云纹图像。通过观察可以发现,在不同的检测分辨率下,相同的缺陷所占的条纹数目不同,条纹间距越小,缺陷所占的条纹数目越多,缺陷被细分的程度越高,系统检测的分辨率越高,分辨率可以根据(3)式设定,极大地提高了系统的可拓展性。检测的最小分辨率与选取相机的最小分辨率和云纹光源的最小条纹间距有关。相机的最小分辨率要小于最小条纹间距才能采集到清晰的条纹图像。在本实验中选取了1000万像素的相机与镜头,相机最小分辨率为0.05 mm。云纹面光源通过显示有云纹图像的显示器实现,因此条纹的最小宽度与显示器的点距相关,目前市面上24 in(1 in=2.54 cm)的4K显示器点距为0.12445 mm,故可设置最小条纹间距d_width=0.12445 mm。相机的分辨率为0.05 mm,满足条件,则根据(3)式可知,可检出的最小缺陷尺寸宽度为2倍的d_width,即0.2489 mm。在本实验中显示器点距为0.25 mm,故最小缺陷检测尺寸为0.5 mm。

图 9. 不同条纹间距下采集的缺陷云纹图像。(a) 0.25 mm条纹间距;(b) 0.50 mm条纹间距;(c) 2.00 mm条纹间距

Fig. 9. Defect stripe images in different stripe distances. (a) Stripe spacing of 0.25 mm; (b) stripe spacing of 0.50 mm; (c) stripe spacing of 2.00 mm

下载图片 查看所有图片

3.4 云纹图像质量改善

对于标准的平面,理想条纹图像的条纹足够清晰,而实际采集的图像上,条纹的边缘灰度分布呈阶梯状,其原因是:1) 图像的采样不可能使得边缘刚好落在像素边界内,可以认为边缘的实际位置位于明暗条纹中间,在图像采样后呈现出阶梯锯齿状;2) 由于缺陷处光的散射使得缺陷处图像变得模糊;3) 环境光对条纹图像的影响。图10为不同缺陷的灰度图。

图 10. 不同缺陷的灰度图。 (a)标准表面;(b)砂眼;(c)橘皮;(d)砂带痕

Fig. 10. Gray distributions of different defects. (a) Standard surface; (b) sand hole; (c) orange skin; (d) belt marks

下载图片 查看所有图片

为了消除上述因素带来的阶梯边缘效应,引入了SHEN-Castan算法^[9],利用平滑核进行卷积,然后搜索边缘像素,使用一种最小化(维度)优化。经过云纹质量改善后的灰度值分布如11所示。通过观察可以发现,改进后,图像边缘的灰度过渡变少了,使得条纹图像的对比度增加。

4 云纹图像缺陷检测算法

4.1 Gabor数学理论

采用基于图像实部的Gabor变换和最大熵分割对缺陷进行提取。二维Gabor滤波函数g(x,y)、脉冲响应函数h(x,y)、傅里叶变换H(u,v)可表示为

图 11. 云纹质量改善后的灰度值分布。 (a)标准表面;(b)砂眼;(c)橘皮;(d)砂带痕

Fig. 11. Gray distributions of improved fringe images. (a) Standard surface; (b) sand hole; (c) orange skin; (d) belt marks

下载图片 查看所有图片

g(x,y)=12πσxσyexp-12(x2σx2+y2σy2)h(x,y)=g(x,y)·exp(2πjf0xH(x,y)=exp-12(u-f0)2σu2+v2σv2,(4)

式中:(x,y)为空间域二维坐标变量;(u,v)为频域二维坐标变量;σ_u为u方向的尺度参数;σ_v为v方向的尺度参数;f₀为复正弦函数的中心调制频率;二维Gabor冲击响应函数h(x,y)在空域上是一个高斯核函数调制的正弦平面波;σ_x、σ_y为椭圆高斯函数在x、y坐标轴上的标准方差,决定了滤波器在x、y轴上的收缩程度,可表示为

σu=12πσx,σv=12πσy。(5)

Gabor函数可以分解为实部h_R(x,y)和虚部h_I(x,y)两个分量,分别对图像M滤波可以得到

S(x,y)=(hR*M)(x,y)2+(hI*M)(x,y)2,(6)

式中:h_R*M和h_I*M分别表示用Gabor滤波器的实部和虚部对图像M进行卷积;S(x,y)为此Gabor滤波器提取的图像特征^[10-11]。

以h(x,y)作为母小波函数,对h(x,y)进行适当的尺度变换和旋转,可以得到一组自相似的Gabor小波,这一过程可表示为

hmn(x,y)=a-mh(x',y'),(7)x'=a-mg(xcosθ+ysinθ)y'=a-mg(-xsinθ+ycosθ),(8)

式中:θ= nπK为高斯核的旋转方向;a^-m为尺度因子,m,n∈Z为尺度序号和方向序号,0≤m≤Q-1,0≤n≤K-1;Q、K为尺度和方向的数目。

4.2 最大熵分割数学理论

最大熵分割是一种统计测量方法,反映随机数据源中信息的数量。将有缺陷的条纹图像作为一种随机信号处理,图像的不确定性越大,系统的信息熵就越大;系统的确定性越高,整个系统的信息熵就越小。对于窗口大小为H×W的图像,其熵值定义为

Hf=-∑i=1H∑j=1WPijlnPij,(9)Pij=f(i,j)∑i=1H∑j=1Wf(i,j),(10)

式中:H_f为图像在窗口大小为H×W时的局部熵;P_ij为点(i,j)处的概率分布;f(i,j)为点(i,j)处的灰度值;H、W为图像窗口的长和宽。考虑到(9)式中有两次二维求和,算法的时间和空间复杂度都很高,根据泰勒级数展开对其进行化简,优化后的近似公式为

Hf=-∑i=1H∑j=1WPij(Pij-1)=1-∑i=1H∑j=1WPij×Pij。(11)

利用所提出的算法对图像进行分割时,可以自动选择最合适的阈值,避免光照等环境扰动对结果造成影响。

4.3 缺陷检测算法及结果

根据云纹图案的特征,缺陷检测算法流程图如图12所示,按照算法的功能将算法分为图像预处理模块、图像特征增强模块、图像特征提取模块、伪缺陷剔除模块以及图像标注结果输出模块。采用本文设计的缺陷检测算法完成了实验验证,证明了本文所提缺陷检测方法及算法的有效性。

为了简化算法设计,提高系统的检测效率,对采集的图像进行旋转变换。由于缺少参照物,无法对图像的倾斜角度直接进行计算,因此提取纹图像中的条纹中心线作为参考标准。采用zhang骨架^[12]提取条纹中心线,并进行hough直线拟合,通过计算间接得到直线的旋转角度θ。以图像中心直线的作为原点,反向旋转角度θ,使云纹图像转正。图13为旋转变换并取感兴趣区域(ROI)后的云纹图像。

图 12. 缺陷检测算法流程图

Fig. 12. Diagram of defect detection algorithm

下载图片 查看所有图片

图 13. 图像预处理模块。(a)原始图片;(b)细化图片;(c)校正后的细化图像;(d)校正后的图像

Fig. 13. Image preprocessing module. (a) Original image; (b) image centerline; (c) corrected image centerline; (d) corrected image

下载图片 查看所有图片

对图像进行旋转变换并设定ROI后,条纹在不同的缺陷处表现出了不同形态的变化。对标准图像及缺陷图像在缺陷位置的灰度纹理进行分析,可以发现其梯度信息存在明显的变化。拷贝两份云纹图像,一份进行梯度变换,另一份进行频域高斯变换。

高斯函数的傅里叶变换仍然是高斯函数,但是其标准差已经发生改变,频域标准差越大,高斯函数越宽。在空域上,高斯函数表示为

h(x,y)=12πσ2exp-x2+y22σ2,(12)

式中:σ为高斯函数的标准差。

对图像进行快速傅里叶变换(FFT)后,图像已经转换到频域,此时的高斯函数在频域上可表示为

H(u,v)=exp-u2+v22σ2=exp-D(u,v)22D02,(13)

式中:d₀为截止频率;D(u,v)为图像频域点(u,v)的值,D(u,v)=u²+v²。当D(u,v)越大时,高斯函数H(u,v)距离中心越近,即距离频率空间(0,0)越远时,频率越高。通过对图像进行卷积运算,滤除高频信号,保留低频信号。对应频域变换过程可表示为

G(u,v)=F(u,v)H(u,v),(14)

式中:F(u,v)为原始图像的频域坐标值。由于背景条纹图像的条纹灰度是255与0,变化剧烈,因此通过此操作,可以使背景条纹图像变模糊。对上述两份图像进行差分运算,可以得到如图13中(b)和(c)的变换结果,由图可见,经过上述算法处理后,缺陷信息得到明显增强。

在获取到缺陷信息增强的图像后,利用实验调试法,得到Gabor滤波器的最佳参数。抛光打磨过程中,磨轮的方向都是水平方向,因此在图像采集时,将云纹方向设置为竖直方向,如图2所示。在使用Gabor滤波器时,经过实验对比,取垂直方向的滤波参数,并且只采用Gabor变换实部,观察处理后的图像可以发现,使用基于实部变换的Gabor变换后,缺陷处的纹理信息变得更加突出。在经过Gabor变换后,引入了最大熵分割。图14~16为算法对砂眼、砂带痕、橘皮缺陷的处理结果。

在实际生产中,工厂内会存在一些灰尘。对处理后的缺陷信息进行对比后发现,灰尘的特征在处理后所占的像素面积非常小。利用面积特征对缺陷进行初步去伪。由于缺陷在表面造成了形变,因此缺陷周围的梯度比灰尘的梯度大。据此,在云纹图像上对缺陷的梯度信息进行计算,结合面积特征与梯度特征,进行伪缺陷剔除,并获取了缺陷的轮廓与坐标,在原图上进行标注并输出缺陷信息,控制执行机构进行相应的缺陷工件剔除。

图14~16中,(a)为采集的云纹图像,(b)为预处理后的ROI灰度图,(c)为缺陷特征增强后的结果图,(d)为经过图像特征提取后的图像,(e)为形态学处理后的图像,(f)为识别结果。通过观察对比,可以发现所提算法能较好地实现云纹图像下的缺陷检测。

图 14. 算法对砂眼缺陷的处理结果。(a)原始图像;(b) ROI灰度图像;(c)缺陷增强后的图像;(d)缺陷特征提取后的图像;(e)形态学处理后的图像;(f)识别结果

Fig. 14. Processing results of sand hole defect by algorithm. (a) Original image; (b) ROI grayscale image;(c) image after defect enhancement;(d) image after defect feature extraction; (e) morphologically processed image; (f) identification result

下载图片 查看所有图片

图 15. 算法对砂带痕缺陷的处理结果。 (a)原始图像;(b) ROI灰度图像;(c)缺陷增强后的图像;(d)缺陷特征提取后的图像;(e)形态学处理后的图像;(f)识别结果

Fig. 15. Processing results of belt mark defect by algorithm. (a) Original image; (b) ROI grayscale image;(c) image after defect enhancement;(d) image after defect feature extraction; (e) morphologically processed image; (f) identification result

下载图片 查看所有图片

图 16. 算法对橘皮缺陷的处理结果。 (a)原始图像;(b) ROI灰度图像;(c)缺陷增强后的图像; (d)缺陷特征提取后的图像;(e)形态学处理后的图像;(f)识别结果

Fig. 16. Processing results of orange skin defect by algorithm. (a) Original image; (b) ROI grayscale image;(c) image after defect enhancement;(d) image after defect feature extraction; (e) morphologically processed image; (f) identification results

下载图片 查看所有图片

通过采集样本进行重复实验并统计结果,得到了本文方法对几种典型缺陷的检测效果,如图17所示。在工厂缺陷检测的环境中,抛光工件的缺陷类型与位置都是随机的,常规的算法只能针对一种或几种缺陷进行检测。通过观察可知,所提的检测方法针对高反射面上具有形变特征的缺陷均有良好的检测效果。

图 17. 缺陷检测与标注结果。(a)砂眼;(b)橘皮;(c)砂带痕;(d)凹坑

Fig. 17. Defect detection and labeling results. (a) Sand hole; (b) orange skin; (c) belt mark; (d) pit

下载图片 查看所有图片

利用所提高反射曲面工件检测装置,采集大量样品进行实验,对实验结果进行统计,得到了不同缺陷检测识别统计结果,如表1所示,其中第2列为待检测工件个数,第3列为正确检测出的工件个数。将所提检测方法与人工检测的结果进行对比可见,所提方法对携带不同缺陷工件的检出率达到92%以上,不需要针对不同的缺陷设计不同的算法,能够满足客户需求。

5 结论

利用云纹面光源经高反射曲面反射差异设计了一种针对打磨抛光等具有高反射特性工件的表面缺陷检测方法,实验结果表明,该方法能克服高反射曲面图像采集的难点,对砂眼、砂带痕、橘皮等具有形变特征的缺陷有较好的检测效果。通过设置条纹间距可以实现分辨率可调,增加了系统的可拓展性。与相位偏折技术^[4]相比,所提方法只需要采集一次样本图像,即可完成缺陷检测,减小了计算量,提高了设备的检测效率。本方法适用于具有高反射特性工件表面中具有形变特征的缺陷检测,而脏污等非形变特征不属于缺陷,因此不在讨论范围。

本文采用传统的图像算法来实现缺陷检测,下一步将尝试使用深度学习来解决工业缺陷检测问题,通过样本训练,避免人工特征提取,使检测结果更加精准,避免环境光干扰带来的误差。通过实验统计,所提方法对不同的形变缺陷均有较好的适应性与拓展性,有效地解决了工业高反射曲面工件缺陷检测的难点,具有较高的理论价值与经济价值。