1 引言

激光清洗技术具有清洗质量和效率高、可柔性化等优点,被广泛应用于航空航天、轨道交通和船舶制造等领域。但是,由于清洗对象表面污物不均匀,清洗质量不易保证,故急需一种自动化的检测手段。目前,激光清洗在线检测技术主要集中在声、光以及光谱信号检测方面,但声光信号对环境噪声极其敏感,光谱检测成本高昂。

Lu等^[1]研究了准分子激光与铜基体相互作用产生的声波信号,提出了实时检测固体相互作用的数值公式。材料经激光清洗后,其表面的反射率与颜色等会发生显著变化,Whitehead等^[2]基于这一特点,采用探测光束反射技术检测了钛合金Ti64、Ti6246和IM1834的激光清洗效果。Klein等^[3]通过激光诱导击穿光谱方法实时检测了激光清洗玻璃与岩石的效果。Lee等^[4]采用基于色调的表面检测方法避免了艺术品基底在清洗过程中的损坏。Khedr等^[5]利用清洗过程中等离子体羽辉图像对石雕的清洗质量进行了实时检测。Tong等^[6]对激光干式除锈过程中的声波信号进行了研究。佟艳群等^[7]利用光电二极管检测了激光清洗过程中等离子体的光强信号,实现了对激光除锈过程的实时检测和控制。陈康喜等^[8]通过激光诱导击穿光谱技术和X射线能谱技术,研究了激光去除材料表面油漆过程中发射光谱与相关元素成分的变化规律。国内对于激光清洗的图像检测方式,尤其是连续清洗过程中的在线检测,还存在空白。近年来,国内在机器视觉应用领域的研究有了很大进展,郭吉昌等^[9]归纳总结了基于机器视觉算法的焊缝检测与跟踪技术;刘丹等^[10]采用基于视觉的算法实现了芯片端面的缺陷检测;尹仕斌等^[11]介绍了机器视觉技术在汽车制造领域的前景。

本文针对激光清洗铝合金亟需提升自动化水平的需求,提出了一种基于机器视觉的激光清洗在线检测算法。采用基于Retinex的去光照技术对预处理后的清洗图像进行处理,然后利用Otus方法与形态学方法相结合的算法进一步对图像进行准确分割,最后利用Canny算法与连通域查找方法,确定了清洗不合格区域的几何信息,并实现了准确定位。

2 研究内容

实验所用材料为6061铝合金,铝合金试板的尺寸为150 mm×100 mm×2 mm,其化学成分如表1所示。

本研究所搭建的平台包括脉冲光纤激光器、二维扫描振镜、固定平台、高速电耦合器件(CCD)、发光二极管(LED)辅助光源以及在线检测软件,如图1所示。运动控制系统通过软件控制激光清洗器的平移速度。脉冲光纤激光器输出高频率的脉冲激光,以去除铝合金表面的氧化膜。选用NFL-C120型脉冲激光器,其平均功率为120 W,聚焦后的光斑直径为0.06 mm,脉宽为350 ns。工艺参数设定为激光功率为30 W,激光重复频率为70 kHz,清洗速率设定为2000 mm/s。CCD相机采用300万面阵相机(MV-RT030-10GM型,杭州海康威视数字技术股份有限公司,中国)以及12 mm定焦镜头(MVR-RT1228型,杭州海康威视数字技术股份有限公司,中国)实时采集清洗后的表面图像,实际采集区域的尺寸为60 mm ×50 mm,图像像素为1920 pixel×1440 pixel。辅助光源采用单色红光LED条形光源(MV-LLDS-210-20-R型,杭州海康威视数字技术股份有限公司,中国),尺寸为210 mm×20 mm,采用低角度暗场照明方式,以提高采集图片的对比度,减小环境光照的影响。

图 1. 激光清洗在线检测系统示意图

Fig. 1. Schematic of laser cleaning online detection system

下载图片 查看所有图片

脉冲激光经由二维扫描振镜与平面场镜扫描聚焦到待清洗的铝合金表面,同时在运动系统的控制下,激光清洗头平行移动进行清洗作业。利用CCD相机与辅助光源同步采集铝合金表面经激光清洗后的图像,并在线检测清洗质量。

3 实验结果与分析

3.1 图像预处理

在图像增强、分割处理前,需要对整体图像进行预处理,尤其是需要进行滤波处理。因为图像采集过程中会受外界环境干扰,以及会出现类似数位转换器或位元传输错误等问题,使得CCD元件上的感应器失效,无法反映真实的像素值,所以需要进行滤波处理,减小噪声的影响。

在激光清洗过程中铝合金表面反光严重,使得图像存在噪声,尤其是椒盐噪声。这些噪声会对去除光照算法以及清洗不合格区域的识别产生不良影响,所以需要进行滤波处理。因为主要需要去除图像中的椒盐噪声,而中值滤波方法去除椒盐噪声的效果比较明显,所以本研究采用中值滤波方法。中值滤波方法是用测试像素周围邻域像素的中值代替原像素,滤波处理如(1)式所示:

g(i,j)=Med[f(x,y)],(x,y)∈N,(1)

式中:f(x,y)为原始图像的像素值;g(i,j)为中值滤波后图像的像素值;(x,y)为原始图像对应的像素坐标;(i,j)为滤波后图像对应的像素坐标;N为模板尺寸,为3 pixel×3 pixel的邻域;Med(·)为计算邻域中所有像素中值的函数。滤波前后的图像如图2所示。

图 2. 滤波前后的图像。(a)未进行滤波处理;(b)中值滤波处理后(N设为3 pixel×3 pixel)

Fig. 2. Images before and after median filtering. (a) Before filtering; (b) after median filtering (N is set to 3×3)

下载图片 查看所有图片

3.2 基于Retinex的去光照算法

由于铝合金表面反光现象严重以及周围环境光源的干扰,采集的图像会出现光照反射不均匀的问题,使得图像两侧出现光晕,导致图像在增强、分割处理时比较困难。因此,本课题组采用Retinex^[12-13]单尺度算法进行去光照处理,以解决光照反射不均匀的问题。

Retinex算法是基于颜色恒常知觉理论的一种算法。该算法假设得到的原始图像I(x,y)由入射光图像L(x,y)和物体的反射图像R(x,y)组成,(x,y)为对应的像素坐标,I(x,y)为L(x,y)与R(x,y)的乘积,即

I(x,y)=L(x,y)R(x,y)。(2)

R(x,y)表示物体的反射性质,即图像的内在属性,为需要获得的真实图像。L(x,y)是需要去除的干扰分量。将(2)式转换到对数空间[(3)式]进行计算,有利于人眼对图像信息的感知。转换表达式为

ln[Ri(x,y)]=ln[Ii(x,y)]-ln[Gi(x,y)*Ii(x,y)],(3)

Gi(x,y)=λexp-(x2+y2)c2,(4)

∫∫Gi(x,y)dxdy=1,(5)

式中:下标i表示图像的不同通道;c为高斯环绕尺度;λ为一个尺度;G_i(x,y)为中心环绕函数,现有Retinex算法选用高斯函数;*表示卷积运算。可以看出,该算法通过中心环绕函数与原始图像进行卷积运算来估计图像中的照度,将干扰分量L(x,y)去除,只保留真实图像R(x,y)。

经Retinex算法计算后可以得出精确的照度分量和反射分量,在此基础上能够还原出更加真实的原始图像。经过Retinex算法处理后,图片两侧不均匀的光照明显减弱(如图3所示),从而减小了光照对清洗不合格区域(图片上方暗色区域)的影响。

图 3. 去光照算法处理前后的图像。(a)去光照算法处理前;(b)去光照算法处理后

Fig. 3. Images before and after processing with delighting algorithm. (a) Before processing with delighting algorithm; (b) after processing with delighting algorithm

下载图片 查看所有图片

信息熵^[14]描述的是信息源的不确定性,是信息源中所有目标的平均信息量。在图像处理中,信息熵一般用于描述均匀程度的度量。信息熵很好地反映了图像中信息量的多少,它确定了图像的不确定程度。信息熵越大,不确定性越大。信息熵的计算公式为

H=∑i=0m-1pilbpi,(6)

式中:H为信息熵;m为图像的最大灰度级;p_i为灰度值是i的像素的概率。

因此可知:激光清洗后,铝合金表面图像的灰度值越多,越分散,图像就越无序,信息熵就越大,所对应的图像的分割处理越困难;经去光照算法处理后,不均匀亮度的光照信息被抑制,不同灰度值的种类变少,不同灰度值的概率分布更集中,图像更有序,对应图像的分割处理更容易。由表2可知:去光照算法处理前,图像像素的标准差为28.612,信息熵为12.275;去光照算法处理后,图像像素的标准差变为15.546,信息熵减小为5.457。可见,去光照算法处理后,图像像素值的分布更加集中,有利于图像的分割处理。

3.3 表面图像分割方法

3.3.1 Gamma增强与图像阈值分割

增强处理的目的是突出图像中感兴趣的区域,抑制不感兴趣的区域,区分清洗合格与不合格区域,针对具体的场合改善图像的视觉效果,有目的地强调图像的整体或局部特性。经过去光照Retinex算法后的图像还需再进行Gamma变换,校正图片的灰度,增强对比度,以便更好地对图像进行分割处理。Gamma增强变换公式为

s=rγ,r∈[0,1],(7)

式中:s为变换后的像素灰度值;r为变换前的像素灰度值;γ为增强变换系数。变换公式是对原图像上的每一个像素值进行乘积运算:当γ<1时,Gamma增强变换公式对图像上低灰度部分的扩展作用较强,但过小的γ值会导致只有灰度值极低的区域才能得到扩展,从而使得一部分清洗不合格区域出现漏检;当γ>1时,Gamma增强变换公式对图像上高灰度部分的扩展作用较强,但过大的γ值会导致只有灰度值极高的区域才能得到扩展,导致一部分清洗合格的区域出现漏检。经过实验,γ取0.4。

对于图像的分割方法,单纯使用人工设定阈值的方法,存在无法动态分割不同图像的问题。因此,采用Otus算法^[15-16]实现图像的动态阈值分割,使图像阈值可以自动获取,以适应不同图像而进行统一分割。Otus算法,即最大类间方差法,解决了人工选择阈值的问题。同时使用形态学方法,利用大小为3 pixel×3 pixel的模板对阈值分割后的图片进行膨胀处理,最终在图片上得到了清洗不合格的区域(图4上端的暗色区域)。最大类间方差法为了计算最佳的分割阈值t,从最小灰度值到最大灰度值遍历t,记t为前景与背景的分割阈值,前景点数占图像的比例为w₀,平均灰度为u₀;背景点数占图像的比例为w₁,平均灰度为u₁;图像像素的方差值为 sB2。图像的总平均灰度为u_T=w₀u₀+w₁u₁。方差的计算公式为

sB2=w0(u0-uT)2+w1(u1+uT)2.(8)

图 4. 经分割、形态学方法处理后的图像。(a) Otus阈值分割后的图像;(b)经形态学方法处理后的图像;(c)去光照后的图像

Fig. 4. Images after segmentation and processing with morphological method. (a) Image after Otus threshold segmentation; (b) image after processing with morphological method; (c) image after delighting

下载图片 查看所有图片

当t使得(8)式最大时,t即为分割的最佳阈值。阈值t分割出的前景和背景两部分构成了整幅图像。因为方差是灰度分布均匀性的一种度量,方差值越大,说明构成图像的两部分的差别越大,当部分目标被错分为背景或部分背景被错分为目标时,都会导致两部分的方差变小,因此,类间方差最大的分割意味着错分的概率最小。最后,分割后使用膨胀算法去除过分割区域,去除面积过小的部分,最终获得分割图像。如图4所示,清洗不合格的区域被标记为黑色,与原始图像进行对比后可知,增强分割算法处理后,准确地得到了清洗不合格的区域。

3.3.2 Canny边缘检测与连通域查找

使用Canny算法^[17-18]得到边缘图像。Canny算法首先用二维高斯模板进行卷积操作,以消除杂点,接着用一维导数的有限差分来计算梯度的赋值和方向,然后对梯度幅值进行非极大抑制,再使用双阈值算法检测(阈值分别设定为100与150)并连接边缘,最后通过抑制孤立边缘最终完成边缘检测。

对边缘图像进行连通域查找^[19],对清洗不合格区域实现准确定位。采集图像的实际显示区域为60 mm×50 mm,图像像素为1920 pixel×1440 pixel,清洗不合格区域的识别精度为0.03 mm。对于连通域查找算法,为了减少表面出现太多过小的连通域,对连通面积小于200 pixel(实际面积为0.18 mm²)的不合格区域不进行标记与定位。经过边缘查找与连通域定位,得到了图像表面清洗不合格的面积为97.36 mm²,中心坐标为(545,50),如图5所示。

图 5. 边缘检测效果图。(a)边缘图像;(b)连通域查找图像

Fig. 5. Effects of edge detection. (a) Edge image; (b) connected domain search image

下载图片 查看所有图片

以Visual Studio 2015为开发平台,设计了基于机器视觉的激光清洗铝合金质量检测系统,检测系统的计算机配置为:CPU Intel Core^TM i5-4460,3.2 GHz,1 MB二级缓存,6 MB三级缓存,内存8 GB,四核心/四线程。该系统可以连续对清洗过程中的铝合金表面进行检测,每幅图片从采集到识别的运算时间为400 ms,检测效率可以达到27 m²/h(拍摄视场为60 mm×50 mm时),相较于原始的人工识别,时间大大缩短,保证了清洗过程中实时检测的需求。通过Canny边缘检测与连通域查找算法可以实现清洗不合格区域的准确定位,提高了激光清洗过程的自动化水平。

3.4 清洗效果

为了检验机器视觉方法对激光清洗的检测效果,采用能谱仪(EDS)检测软件判断合格与不合格的样品,通过对比分析评价机器视觉检测算法的检测效果。由图6可以发现:判定为清洗合格的样品,其表面氧的原子数分数为1.32%;判定为清洗不合格的样品,其表面氧的原子数分数为5.13%。可以看出,清洗合格样品表面的氧含量明显下降,达到了清洗要求,证明了基于机器视觉的检测算法的有效性,可以有效检测激光清洗铝合金表面氧化膜的效果。

图 6. 机器视觉方法的检测效果。(a)清洗不合格的样品表面;(b)机器视觉方法的检测结果(判定为清洗不合格);(c)判定为清洗不合格样品表面的EDS分析结果;(d)清洗合格的样品表面;(e)机器视觉方法的检测结果(判定为清洗合格);(f)评定为清洗合格样品表面的EDS分析结果

Fig. 6. Detection results obtained with machine vision method. (a) Unqualified sample surface; (b) detection result obtained with machine vision method(unqualified cleaning); (c) EDS analysis of unqualified sample surface; (d) qualified sample surface; (e) detection result obtained with machine vision method(qualified cleaning); (f) EDS analysis of qualified sample surface

下载图片 查看所有图片

4 结论

针对激光清洗的实际应用需求,研究激光清洗在线检测系统具有一定的应用价值,可以解决目前声信号与光信号对实际清洗过程应用能力不足的问题。本课题组搭建了铝合金表面氧化膜激光清洗检测平台,设计了基于机器视觉的激光清洗在线检测系统软件,检测精度可达到0.03 mm,单张处理总时长为400 ms,可以满足在线实时检测的需求,与目前主要的声光检测方法相比,提高了激光清洗作业的自动化水平。本课题组对多种机器视觉检测算法进行耦合,实现了激光清洗过程中清洗合格与不合格区域的准确分割与快速定位,为铝合金激光清洗视觉检测提供了算法基础。此外,目前的处理检测速度还有提升的空间,需要进一步改进算法,以适应更高速的激光清洗过程。