激光与光电子学进展, 2020, 57 (21): 211407, 网络出版: 2020-11-09  

基于机器视觉的激光表面改性质量快速检测 下载: 786次

Rapid Detection of Laser Surface Modification Quality Based on Machine Vision
田崇鑫 1,2李少霞 1,2虞钢 1,2何秀丽 1,2王旭 1,2
作者单位
1 中国科学院力学研究所, 北京 100190
2 中国科学院大学工程科学学院, 北京 100049
摘要
针对铜铬合金激光表面改性质量快速无损检测的需求,提出了一种基于机器视觉的检测算法。首先采集试样表面形貌图像,然后使用自适应二值化方法从背景图像中分割视觉显著区域,再基于几何矩提取具有空间变换不变性的连通域形状特征,最后依据激光能量输入定义4种基本改性状态并训练支持向量机,以检测改性质量。使用MATLAB语言实现上述算法,结果表明:本文算法在特征提取及模型训练阶段的耗时约为45 s,检测速度为5×10 6pixel/s,检测准确率为97.0%。依据检测结果可进行相应的工艺参数优化。所提算法对光照等检测环境不敏感,可以实现激光表面改性质量的快速无损检测,且对工艺参数优化具有一定意义。
Abstract
In this study, a method based on machine vision is proposed for the rapid nondestructive detection of laser surface modification in copper-chromium alloy. Surface morphology images of the specimen are collected, and the visual salient regions are segmented from the background by applying the adaptive thresholding method are extracted. Additionally, based on geometric moments, the characteristics of the connected domain with spatial transformation invariance. According to the laser energy input, four basic modification states are defined, and a support vector machine is trained to determine the modification quality. Writing scripts in MATLAB language, the results show that it takes about 45 s for feature extraction and model training. Moreover, the recognition speed is about 5×10 6 pixel/s, and the recognition accuracy is about 97.0%. Based on the detection results, the corresponding process parameters can be optimized. Furthermore, the method is not sensitive to light and other detection environment factors, thereby achieving the requirement of rapid and nondestructive detection of laser surface modification quality, which has a certain significance for the optimization of process parameters.

1 引言

激光表面改性技术高效无污染,可在不影响基体组织和性能的条件下使材料表面发生快速熔凝或固态相变,改善材料表面的组织结构,进而提高材料的服役性能,是激光先进制造技术的一部分[1-4]。铜铬合金具有良好的电学性能和力学性能,一般作为电接触材料被应用于输变电领域。对铜铬合金的激光表面改性进行研究具有重要的工程意义[5]。激光表面改性质量决定了改性后材料的服役性能,对表面改性质量进行检测至关重要。

目前,对激光表面改性质量的检测主要集中在晶相、物相、显微形貌、显微硬度、拉伸性能、耐磨性能以及耐腐蚀性能等方面[3-5]。上述检测方法多为有损检测,不仅检测耗时较长,而且难以对整个零件表面进行检测。材料与激光相互作用过程中会发生快速熔凝、气化等现象,激光表面改性后的试样表面形貌取决于激光能量的输入及耗散,可在一定程度上反映改性的质量。基于改性表面的形貌,国内外科研人员在部分激光制造领域实现了视觉检测[6-9],如:王彦飞等[6]使用图像处理软件提取熔化物颗粒的形状特征,然后结合工艺参数进行分析,实现了激光切割质量的评价;郭良奇等[7]基于二值图像连通域面积特征及图像熵,通过手动设定阈值,实现了激光淬火斑质量的评估;史天意等[9]融合去光照算法、快速定位算法及图像分割算法等实现了激光清洗区域的在线识别,该研究对激光清洗领域的自动化作业具有一定意义;Caggiano等[9]提取了4种典型的激光熔覆形貌图像,然后用其训练神经网络,实现了激光熔覆过程中不同能量输入的准确判别。在激光制造领域,有损检测的周期较长,不能实时反馈加工质量,而基于视觉特征的无损检测还处于摸索阶段,目前提出的检测方法不具有通用性,还未对加工质量控制及工艺参数优化起到相应的作用。

本文针对改性后试样的表面形貌图像进行分析,初步建立起表面形貌图像与改性质量的联系,然后融合图像二值化[10]、几何矩[11-13]、支持向量机[14-16]等算法实现了不同能量输入下表面形貌图像的准确判别。基于机器视觉的表面改性质量检测方法具有快速、无损的特点,在工艺参数的优化过程中能起到指导作用。

2 研究内容

2.1 激光表面改性实验

高密度激光表面改性系统示意图如图1(a)所示。在无氧环境下,运动平台夹持试样与激光头作相对运动。同轴电荷耦合元件(CCD)用于试样辅助定位及试样表面形貌图像的采集。实验过程中的可控工艺参数包括激光功率(10~1000 W)、扫描速度(100~10000 mm/min)、扫描轨迹、离焦量等。试样为真空灭弧室触头片元件,其材料为混粉烧结制备的CuCr50合金,尺寸为ϕ52 mm×2.8 mm,如图1(b)所示。改性后的试样如图1(c)所示。图1(d)为典型激光熔凝改性试样的剖面形貌。表面粗糙度及熔凝层厚度是表面改性质量的重要指标[5]。同轴CCD采用CF8/5型摄像头,采集区域范围为6.8 mm×4.8 mm,采集像素为752 pixel×582 pixel。后续分析过程中使用的金相显微镜型号为UM200i,粗糙度仪型号为Time3220,软件平台为MATLAB R2019b。

图 1. 激光表面改性系统及改性试样。(a)改性系统;(b)改性前的试样;(c)改性后的试样;(d)改性试样的剖面图像

Fig. 1. Laser surface modification system and modified specimen. (a) Modification system; (b) specimen before modification; (c) modified specimen; (d) section image of modified specimen

下载图片 查看所有图片

2.2 图像检测原理

高功率密度激光作用于材料表面会使其表面形貌发生变化,不同的工艺参数会产生不同的表面形貌。依据能量输入,本文定义了4种基本改性状态:无能量输入、低能量输入、中等能量输入和高能量输入。采集改性后试样的表面形貌图像,准确判断其所属的改性状态,即可实现改性质量的快速无损检测。本文采用的图像分类算法主要包括图像二值化、特征提取和支持向量机。

2.2.1 图像二值化

本文采用图像二值化提取表面形貌图像中的视觉显著区域,以降低运算的复杂性。对图像进行准确的二值化处理是图像特征提取的基础。本文采用Badly算法[10]对图像进行二值化处理,算法公式为

I(x,y)=1,k1·i=x-mx+m j=y-my+mf(i,j)<f(x,y)·(2m+1)20,else,(1)

式中:I(x,y)为自适应二值化后的图像;f(x,y)为原始图像,取值范围为0~255;k1为自适应阈值;m为二分之一窗口的大小,像素灰度值比窗口内平均灰度值的k1倍大则计为1,否则计为0。相比于其他自适应二值化算法,Badly算法可以在复杂光照条件下快速提取图像中的视觉显著区域,但容易产生大量的伪纹理。进一步进行特征提取时需要将微小的连通域去除。

2.2.2 连通域特征的提取

对图像进行二值化后,再基于几何矩[11]表征连通域的形状属性,就可以保证提取到的图像特征具有旋转平移缩放不变性,从而可在机器视觉检测过程中避免CCD放大倍数、试样摆放等带来的误差。

cr列包含单个连通域的最小矩形I'可以表示为I'=I'(x,y),其中xy为整数,且1≤xc,1≤yr,I'取值为0和1。单个连通域的p+q阶矩[13]定义为 Mpq=xyxpyqI'(x,y),p+q阶中心矩[13]定义为 μpq=xyx-x-py-y-qI'(x,y),归一化p+q阶中心矩[13]定义为 ηpq=μpqμ00α,其中, x-=M10M00,y-=M01M00,α=p+q2+1

连通域面积[13] (area)为其包含像素的个数,即 s=M00;连通域方向[13](orientation)为连通域长轴与坐标系纵轴的夹角θ,逆时针旋转为正, θ=12arctan2μ11μ20-μ02

结合几何矩,本文对单个连通域的扁度、对称性、聚集性进行了定义。

扁度(oblateness)是用连通域最小二阶中心矩与最大二阶中心矩比值的二分之一次幂来表征连通域的扁平程度(圆与正方形的扁度为1)。扁度的表达式为

o=μ02+μ20-(μ02-μ20)2+4μ112μ02+μ20+(μ02-μ20)2+4μ112(2)

对称度(symmetry)是统计数据是否对称的度量。用连通域对长短轴三阶中心矩的平方的平均数来表征连通域的对称度。对称度的计算公式为

p=1s2.5xyr132+xyr232,(3)

式中: r1=r(x,y,θ0), r2=rx,y,θ0+π2,它们分别为连通域内一点(x,y)到连通域长短轴的距离,θ0为此连通域长轴的方向。

聚集度(accumulation)是统计数据是否聚集的度量。用连通域对长轴的四阶矩来表征连通域对其长轴的聚集性,计算公式为

a=1s3xy(r14)(4)

连通域的面积、方向、扁度、对称性、聚集度可以较为准确地反映其形状特征,本文将二值图像内连通域形状特征的统计值作为图像特征。此外,本文将两个全局特征(连通域分布密度和图像一维熵)作为补充特征。连通域分布密度(density)定义为图像内单个像素平均连通域的个数,计算公式为 na=Naca×ra,其中Na为二值图像中包含的连通域的个数,cara为图像尺寸。图像一维熵[8]表征像素灰度分布的混乱程度,计算公式为 e=-p·log2p,其中p为归一化的图像像素灰度分布。

2.2.3 分类算法

在有效样本较少的情况下,支持向量机(SVM)可实现较为理想的分类效果,且不会出现神经网络的过拟合现象。支持向量机的分类效果在很大程度上取决于前期特征的提取,对分类软件[15]的选择要求不高。

将二值图像内连通域面积、方向、扁度、对称度、聚集度的均值和方差,以及连通域分布密度及图像熵,共12个参数,作为图像特征,如表1所示。表1中的特征具有一定的空间变换不变性,且计算速度较快。采用MATLAB中的classification learner工具箱进行分类测试,结合分类准确率与训练时长,选定二次多项式核函数及“一对一”策略作为支持向量机的训练参数。将表1中的特征作为输入值训练支撑向量机,以实现多种改性状态的快速识别。

表 1. 描述区域纹理特征的参数

Table 1. Parameters for region texture features

ParameterAreaOrientationOblatenessSymmetryAccumulationDensityEntropy
Meansmθmompmam
Standard deviationssθsospsasnae

查看所有表

3 结果与讨论

3.1 表面形貌与改性质量

图2为4种典型改性试样的表面形貌,分别为无能量输入、较低能量输入、适中能量输入、较高能量输入下试样的表面形貌,它们对应的工艺参数及改性质量如表2所示。实验过程中的扫描轨迹为往返折线,搭接量(step)定义为折线间距。图2(a)为原始试样,其表面形貌为规则的条纹状,表面粗糙度Ra为0.9 μm。图2(b)是采用350 W激光功率改性后试样的表面形貌,可见,与原始试样相比,改性试样的表面形貌发生了变化,但此时的激光能量输入较低,试样表面仍残留有较大面积的原始机加工纹理,试样的表面粗糙度Ra为2.4 μm;从其剖面图像可以看出,其表面形成了厚约5 μm但不连续的熔凝改性层。图2(c)是采用500 W激光功率改性后试样的表面形貌,此时的激光能量输入适中,原始机加工纹理绝大部分已消失,试样的表面粗糙度Ra为5.9 μm,形成了厚约50 μm的熔凝改性层。图2(d)是采用600 W激光功率改性后试样的表面形貌,可以看出,在继续增大能量输入的情况下,试样表面形成了厚约200 μm的熔凝改性层,但激光能量输入太大,试样表面形成了一种新的有较大起伏的周期性纹理,试样表面粗糙度Ra为13.2 μm;这样的试样在投入工程应用时需要进行二次加工。试样的表面形貌与改性质量之间有较好的对应关系,利用表面形貌图像准确判别改性状态,可实现表面改性质量的快速检测。

图 2. 试样的表面形貌。(a)原始试样;(b)较低能量输入下的改性试样;(c)适中能量输入下的改性试样;(d)较高能量输入下的改性试样

Fig. 2. Surface morphology of specimens. (a) Original specimen; (b) modified sample with low energy; (c) modified specimen with appropriate energy; (d) modified sample with high energy

下载图片 查看所有图片

3.2 表面形貌图像的判别

图像二值化是表面形貌图像特征提取的第一步。k1依照经验取0.9[10],二分之一窗口大小m是二值化的关键参数。区域内连通域个数随m增大而先增多后减少,m取值过小时,提取到的连通域不能完全反映图像中的视觉显著区域;m取值过大会使部分连通域合并,导致纹理信息丢失。使区域内连通域个数最多的m可作为最优值,四类图像的m值均取5 pixel。对图2中的图像进行二值化后,填充多连通域,并将面积小于2m个像素的连通域去除,结果如图3所示。二值图像由大量连通域组成,视觉上与原始图像较为接近。提取二值图像内连通域的形状特征,并用其表征图像纹理。

图 3. 不同试样的二值图像。 (a)原始试样;(b)较低能量输入下的改性试样; (c)适中能量输入下的改性试样;(d)较高能量输入下的改性试样

Fig. 3. Binary images of different specimens. (a) Original specimen; (b) modified specimen with low energy; (c) modified specimen with appropriate energy; (d) modified specimen with high energy

下载图片 查看所有图片

表2所述工艺参数进行实验,每种改性状态下各获取40张752 pixel×582 pixel的图像。当图像大于150 pixel×150 pixel时,提取到的图像特征随图像尺寸的变化较小。在4种状态下各取25张图像作为训练集,从中随机选取1000张150 pixel×150 pixel的子图像,在CPU为Intel Xeon E3-1225 v6和内存为8 GB的条件下训练支持向量机;将剩余的15张图像作为测试集。对照实验采用了三种比较成熟的特征提取方法:局部二值化算子(LBP)、灰度共生矩阵(GLCM)和图像矩(Moments)。采用相同的语法实现不同的特征提取算法,训练支持向量机及图像检测部分采用相同的代码,算法耗时由MATLAB自带的计时函数(tic,toc)计算得到。检测准确率为检测正确的个数占总检测数的百分比。为检验算法在复杂环境下的有效性,本文检测了图片旋转缩放后的分类准确率。不同算法的检测结果对比见表3。由表3可以看出,本文算法在特征提取及分类模型训练阶段的耗时约为45 s,检测耗时为0.01 s,检测速度为5×106 pixel/s,综合耗时最短,检测准确度较高,达到了97.0%,并且在试样形貌图像进行缩放旋转后仍能保持较高的识别率。

表 2. 改性工艺参数

Table 2. Modification parameters

Power /WSpeed /(mm·min-1)Spot diameter /mmStep /mmRa /μmRemelting depth /μm
0---0.90
35080000.090.082.4~5
50080000.090.085.9~50
60080000.090.0813.2~200

查看所有表

表 3. 各分类算法的检测结果

Table 3. Detection results of classification algorithms

AlgorithmTrainingtime /sPredictiontime /sTrainingaccuracy /%Predictionaccuracy /%Accuracy(rotate 90°) /%Accuracy(double scale) /%
LBP+SVM250.1010098.231.237.2
GLCM+SVM1650.0510097.064.266.5
Moments+SVM1700.0375.365.255.457.2
Our450.0110097.086.280.2

查看所有表

3.3 工艺参数的优化

激光表面改性涉及的工艺参数较多,且高功率密度激光与铜基材料相互作用是一个复杂的过程,寻找最优工艺参数是铜铬合金激光表面改性的难点之一。图4为基于机器视觉的工艺优化示意图。依据改性后试样的表面形貌图像来判定改性质量,优化下一步工艺参数,即:能量输入较低时,应增大激光功率或降低扫描速度;能量较高时,应降低激光功率或增大扫描速度,或增大光斑直径。改变工艺参数进行实验后,再依据表面形貌图像判断改性质量,可快速判断新的工艺参数组合是否有效提高了改性质量。

图 4. 工艺参数优化流程

Fig. 4. Optimization of process parameters

下载图片 查看所有图片

图5为工艺参数优化过程中试样的表面形貌,对应的工艺参数组合见表4。激光功率为350 W,扫描速度为8000 mm/min时为能量输入较低状态,在该条件下改性后的试样表面形貌如图5(a)所示;保持激光功率不变,将扫描速度降低至2000 mm/min,对应的试样表面形貌如图5(b)所示,根据试样的表面形貌可知能量输入较低,说明激光功率较低时,仅通过降低扫描速度不能有效改善能量输入不足的问题,应当在此基础上增加激光功率。图5(c)是扫描速度为2000 mm/min,激光功率增加至420 W时试样的表面形貌,可以看出此时能量输入适中,说明通过增大激光功率改善了能量输入不足的问题。激光功率为600 W,扫描速度为8000时为能量输入太大的状态,如图5(d)所示;保持激光功率与扫描速度不变,将光斑直径增加至0.25 mm时试样的表面形貌如图5(e)所示,此时的能量输入适中,说明在激光功率较高时,通过适当增大光斑直径可有效改善能量输入太大的问题。

图 5. 试样的表面形貌。 (a)较低能量输入;(b)实验1;(c)实验2;(d)较高能量输入;(e)实验3

Fig. 5. Surface morphology of specimens. (a) Low energy; (b) experiment 1; (c) experiment 2; (d) high energy; (e) experiment 3

下载图片 查看所有图片

表 4. 工艺参数

Table 4. Process parameters

Experiment numberPower /WSpeed /(mm·min-1)Spot diameter /mmStep /mmStatus
135020000.090.082
242020000.090.083
360080000.250.083

查看所有表

传统的有损检测耗时较长,难以实时反馈加工质量,而且人工目测比对误差较大,不适合用于产品的生产。基于机器视觉的无损检测可快速准确地检测加工质量,有效提升设备的自动化水平,对激光表面改性工艺研究及工程应用具有较大意义。

4 结论

本文基于机器视觉实现了激光表面改性质量的快速无损检测,得到的主要结论如下:

1) 激光表面改性试样的表面形貌与改性质量有较强的关联性。以工艺实验为基础,依据能量输入定义的4种基本改性状态可用于加工质量的快速检测。

2) 结合自适应二值化、几何矩、支持向量机等算法实现了改性试样表面形貌的识别,检测方法对光照环境、试样摆放位置、CCD放大倍数等不敏感。本文在MATLAB平台上实现了算法,图像特征提取及训练支持向量机的总耗时约为45 s,准确度为100%,检测速度为5×106 pixel/s,检测准确率为97.0%。

本文基于机器视觉检测激光表面改性的质量,判定激光能量的输入状态,针对性地提出了工艺参数的优化方案,对工艺优化具有较大意义。

本文方法采用的图像特征多为空间及尺度变换不变量,对产生显著纹理变化的加工质量检测具有一定的普适性。

参考文献

[1] 虞钢, 何秀丽, 李少霞. 激光先进制造技术及其应用[M]. 北京: 国防工业出版社, 2016.

    YuG, He XL, Li SX. Laser manufacturing and its applications[M]. Beijing: National Defense Industry Press, 2016.

[2] 陈小明, 王海金, 周夏凉, 等. 激光表面改性技术及其研究进展[J]. 材料导报, 2018, 32(z1): 341-344.

    Chen X M, Wang H J, Zhou X L, et al. Laser surface modification technology and research progress[J]. Materials Review, 2018, 32(z1): 341-344.

[3] Wang Z, Zhang Q K, Guo P S, et al. Effects of laser surface remelting on microstructure and properties of biodegradable Zn-Zr alloy[J]. Materials Letters, 2018, 226: 52-54.

[4] He B, Cheng X, Li J, et al. Effect of laser surface remelting and low temperature aging treatments on microstructures and surface properties of Ti-55511 alloy[J]. Surface and Coatings Technology, 2017, 316: 104-112.

[5] Zhang L T, Yu G, Tian C X, et al. Grain refinement of hypereutectic immiscible Cu-50Cr alloy during rapid melting and solidification induced by high power density laser beams[J]. Metals, 2019, 9(5): 585.

[6] 王彦飞, 王续跃, 徐文骥, 等. 基于图像处理的铝合金薄板激光切割质量研究[J]. 中国激光, 2014, 41(1): 103002.

    Wang Y F, Wang X Y, Xu W J, et al. Study on laser cutting quality of aluminum alloys sheet based on imagine processing[J]. Chinese Journal of Lasers, 2014, 41(1): 103002.

[7] 郭良奇, 蒋明, 王邓志, 等. 激光淬火加工质量视觉检测系统研究[J]. 计算机测量与控制, 2018, 26(12): 23-26.

    Guo L Q, Jiang M, Wang D Z, et al. Visual inspection system for laser quenching quality[J]. Computer Measurement & Control, 2018, 26(12): 23-26.

[8] 史天意, 周龙早, 王春明, 等. 基于机器视觉的铝合金激光清洗实时检测系统[J]. 中国激光, 2019, 46(4): 0402007.

    Shi T Y, Zhou L Z, Wang C M, et al. Machine vision-based real-time monitor system for laser cleaning aluminum alloy[J]. Chinese Journal of Lasers, 2019, 46(4): 0402007.

[9] Caggiano A, Zhang J J, Alfieri V, et al. Machine learning-based image processing for on-line defect recognition in additive manufacturing[J]. CIRP Annals, 2019, 68(1): 451-454.

[10] Bradley D, Roth G. Adaptive thresholding using the integral image[J]. Journal of Graphics Tools, 2007, 12(2): 13-21.

[11] Hu M K. Visual pattern recognition by moment invariants[J]. IRE Transactions on Information Theory, 1962, 8(2): 179-187.

[12] Flusser J, Suk T. Rotation moment invariants for recognition of symmetric objects[J]. IEEE Transactions on Image Processing, 2006, 15(12): 3784-3790.

[13] Pixel-based image processing[Z/OL]. ( 2011-06-30) [2019-08-22]. https://cecas.clemson.edu/~stb/ece847/internal/cvbook/ch02_pixproc.pdf.

[14] Shevchik S A, Le-Quang T, Farahani F V, et al. Laser welding quality monitoring via graph support vector machine with data adaptive kernel[J]. IEEE Access, 2019, 7: 93108-93122.

[15] Mittal S, Dutta M K, Issac A. Non-destructive image processing based system for assessment of rice quality and defects for classification according to inferred commercial value[J]. Measurement, 2019, 148: 106969.

[16] A practical guide to support vector classification [Z/OL]. ( 2016-05-19)[2019-08-22]. https://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf.

田崇鑫, 李少霞, 虞钢, 何秀丽, 王旭. 基于机器视觉的激光表面改性质量快速检测[J]. 激光与光电子学进展, 2020, 57(21): 211407. Tian Chongxin, Li Shaoxia, Yu Gang, He Xiuli, Wang Xu. Rapid Detection of Laser Surface Modification Quality Based on Machine Vision[J]. Laser & Optoelectronics Progress, 2020, 57(21): 211407.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!