基于暗场线扫技术的球体表面缺陷检测技术
0 引言
轴承作为当代机械设备的基础零部件之一,其精度、寿命和可靠性等参数对主机的产品性能起着关键的作用[1-2]。钢球作为轴承核心零件,其表面质量直接影响到轴承的各项性能指标,但由于加工工艺和环境的限制,钢球表面难以避免地会出现如斑点、麻点、擦痕、划条、凹坑等缺陷[3-4]。现代工业的发展,对钢球表面质量要求日益严格,检测手段也相应地与时俱进,发达国家的钢球表面检测技术已经较为成熟,捷克Stimtools公司的AVIKO系列以及KROB SCANNERS S.R.O公司的BASC和BS系列产品主要通过光电、振动、涡电流传感器对钢球进行表面缺陷检测[5-6];日本Daio公司研发钢球表面缺陷检测机,通过捕捉钢球表面反射光及散射光的变化来检测钢球的表面缺陷和表面粗糙度;日本Amatsuji公司研发的钢球检测仪器通过激光与声学检测技术的结合,可同时实现钢球表面缺陷长度和深度的测量[7]。但这些设备价格昂贵,且核心零件需频繁更换,成本较高,在国内难以普及。
相比发达国家,国内钢球表面缺陷检测技术尚不成熟,而视觉检测技术以其非接触、稳定性高、可靠性好、成本低等优点成为了当前国内热点研究方向。天津大学的栗琳等采用自制环形漫反射穹顶光源,搭配双CCD相机连续采集球列的滚动过程中的图像,以实现球面的完全展开[8]。西安理工大学的刘青等采用球积分光源,基于采集到图像的灰度共生矩阵的综合熵来判断钢球表面是否存在缺陷[9]。江南大学的冯超等基于空间全角度光源,利用图像融合技术对有效检测区域内微缺陷与背景的差异性进行累积来检测钢球表面缺陷[10]。但是上述几类方法均采用明场照明方式,钢球表面微小缺陷易被淹没,且钢球表面为镜面反射,光线反射直接进入相机形成的高反白斑,以及相机镜头像倒映入钢球表面,形成的黑斑都会成为检测盲区,存在缺检漏检的可能性。因此,为克服钢球表面缺陷明场检测中存在的视野盲区以及微小缺陷可能会被淹没等问题,本文提出了一种基于光学暗场线扫描技术的钢球表面缺陷检测方法,将传统钢球表面二维球面图像的展开以及缺陷特征的提取、过滤、筛选拓展至三维层面,以直径为6 mm,精为度G20的轴承钢球作为目标检测物开展实验。
1 暗场线扫检测原理
光学暗场检测主要通过采集待检表面的散射光得到表面缺陷信息,其原理如
但当被检表面为球面时,因其法线方向处处变化导致反射光线方向也各不相同,仅靠调整入射角无法避免部分反射光线进入镜头内从而产生亮斑,如
基于暗场线扫描技术,设计并搭建了一套由线阵相机、镜头以及双线激光光源组成的球面暗场图像采集系统。双线光源分别于相机两侧以相同入射角照射钢球球冠区域,在钢球表面双光束交汇处形成一个梭形光斑,调整线激光的入射角可控制反射光方向避免反射光直接进入镜头,通过模拟线激光照射球面,得到入射角范围在30°~45°之间时,得到的光斑明亮均匀且覆盖范围较大,如
由于采用线扫描的图像采集方式,且球面弧度和镜头景深共同限制了线阵相机的扫描范围,为确保能够采集到整个钢球球面的图像,设计了XY两轴摩擦滚动的球体表面展开方法,采用多环扫描的方式采集全球体表面缺陷图像,钢球置于内壁光滑的球槽内,底部与摩擦盘接触,摩擦盘沿X轴运动时钢球受摩擦力作用原地滚动一周,相机完成对钢球一个球环的扫描,如
实验检测钢球半径R=3 mm,则相机采集图像中弧面的弧长d≈1.68 mm,实验中N向上取整得N=6,则摩擦盘沿Y轴运动更改相机扫描位置时单次运动距离D为
2 钢球表面图像处理算法
2.1 钢球表面缺陷图像预处理算法
扫描完成后需对线扫图像进行拼接,得到的图像为6个球环的展开图,在对6个球环进行三维重建之前,需要将6张球环展开图分别进行无效区域去除、柱面拉伸、阈值分割、初步筛选缺陷等分析,如
2.1.1 去除无效区域
在采集过程中,为确保能扫描完整的球环,线阵相机应先位移台启动,在相机启动到位移台开始运动这段时间内,线阵相机输出的是静态图像,但由于线阵相机只对动态部分输出正常图像,对静态部分输出的是纵向的条纹状图片,为避免这部分条纹影响到后续图像处理,需要对其进行过滤。由于这类条纹纹理方向单一,可采用Sobel单向梯度算子与图像矩阵相乘以分离该区域[11],公式为
式中,
2.1.2 柱面展开
传统面阵相机拍摄到的球面图像是半球在平面上的投影,图像以球冠为中心,在各个方向上均有畸变,这种畸变不仅使得拍摄到的缺陷形状和大小皆与实际情况有所出入,还加剧球面图像展开的难度,而线扫相机每次仅采集球冠两侧的一行图像,如
如
由
2.1.3 缺陷初步筛选
由于钢球加工工艺问题,其表面粗糙度较大的区域会在图像上呈现出灰度值较弱、面积较小的亮斑,因而要将其滤除,但若在二维图像上对图像面积做过滤,则有可能误把横跨两幅图像的缺陷一同认作面积较小的亮斑,因此在缺陷信息的初步筛选仅通过阈值分割对灰度值较弱的亮斑进行过滤,初步筛选钢球表面缺陷。待处理图像的像素灰度范围为[0,255],将图像中的像素根据灰度值大小,按阈值T分为背景区域类[0,T),和目标缺陷区域类[T,255]。为提高背景区域过滤的准确率,在此设置灰度分割阈值T和一个低频滤波器分两次过滤背景信息。经过灰度分割阈值T分割处理后,部分因表面粗糙度带来的亮斑区域还剩下个别孤立的高亮像素点,如
2.2 钢球表面缺陷三维重构检测算法
2.2.1 三维重构算法
为完整地识别横跨多幅图像的钢球表面缺陷,提出一种钢球表面缺陷三维重构算法,能够将球体表面二维缺陷图像还原至三维层面做分析检测,首先将图像上的缺陷信息特征点转化为点云,再根据球面的空间几何关系,首尾相接地连接成圆环,并投影至球面。为达成上述效果,首先需要建立钢球表面的三维数学模型,如
空间坐标系中,P(x,y,z)是以坐标原点O为球心,R为半径的球面上的任意一点,可得球面方程为
作球面坐标变换可得
式中,θ为线段OP在XOY平面上投影线段OM与X轴的夹角,φ为直线OP在XOZ平面上的投影线段ON与X轴的夹角,且
要将二维图片上的缺陷信息还原到球面上,需要将单张矩形图片折成一个圆环,沿着球的赤道线铺平,图片的高就是球的周长。设图片高为H,宽为W,图片上缺陷特征点像素坐标为(Hn,Wn),可推球的半径R为
特征点在ZOY平面内的范围为
特征点在XOY平面内范围为
将θ和φ代入
2.2.2 三维重构实验
由于钢球表面的缺陷较为零散,没有明显的参照特征,难以看出重构出的三维点云结构的准确性,为验证重构准确度,采用一张长宽比为12∶1.1,带有明显特征的矩形图片进行重构实验,验证所用二维图像如
该图片在球面上的投影图像如
多图重构是在单个球环重构的基础上,对其他图片上的缺陷特征点,根据采集时的空间几何关系,获取其点云信息,改变角度投影至同一个球体表面。当图像采集系统完成第一圈扫描之后,钢球绕X轴旋转ω度,再进行下一个球环的扫描。旋转后扫描到的球环,其表面点坐标在X轴上的关系不变,通过推导可得旋转后的球环与初始球环上点坐标的位置关系,推导过程如下。
如
可推得旋转后图片上的特征点坐标关系式为
在将标准图像按空间几何关系投影到同一个球面坐标系后,得到的球面三维点云图像如
由
2.2.3 缺陷点云面积筛选算法
在完成球体表面的三维点云投影之后,需要对球体表面的缺陷点云按缺陷面积大小进行筛选,过滤因钢球本身表面粗糙度带来的亮斑,因此缺陷的点云面积计算精度对测量结果有直接影响。对缺陷点云的面积计算分为两步:1)将三维球面上的点按点间距离关系分割为多个不同的类;2)将分割好的类按面积大小进行筛选和过滤,剩下的就是钢球表面缺陷。
采用聚类分割算法对钢球表面缺陷做筛选。聚类分割的具体流程为:对于三维重建后的钢球表面缺陷点云数据集P,确定一个查询点Pi,找到离它最近的n个近邻点Pj(j=1,2,…,n),点间距离的计算公式为
式中,Pi和Pj为点云中的两个点;Pik和Pjk分别为Pi和Pj邻域中的任意一点。
按照
依据这些三角片的面积和可以计算出分割后的点云面积。此时设定面积阈值A,将分割完的类按面积筛选,过滤掉其中面积不超过面积阈值A的类,剩下的就是钢球表面缺陷。
3 钢球表面缺陷检测实验
3.1 钢球表面缺陷明暗场对比检测实验
实验对象为精度等级为G20,直径为6 mm的轴承钢球,依据国家标准[15],精度等级为G20的轴承钢球表面粗糙度Ra应小于0.032。
对
3.2 钢球表面缺陷暗场检测实验
对精度等级为G20,直径为6 mm的两颗轴承钢球做暗场扫描,其中一颗表面完好,另一颗表面带有明显的缺陷,如
表面完好的无损钢球暗场扫描结果如
重建后的三维球面上存在大量离散的缺陷特征点,为筛选面积较大的缺陷区域,需要将离散的点分割成特定的缺陷点集,以便计算缺陷面积大小,但目前国际上对钢球表面缺陷面积尚无明确的限值规定,依据ISO 3290[16],在实际检测中钢球表面缺陷的限值以需求为准。目前国内钢球生产厂家对钢球表面缺陷的检测大多采用人工目视法,人眼的极限角分辨力约为1'[17],在7~10 cm的工作距离内进行检测作业时,裸眼能够分辨出的圆点极限直径约为20 μm,本文取比极限直径值略小的19 μm,经计算面积大小约为283.5 μm2,本图像采集系统获取的图像像素大小为2.8 μm/pixel,人眼能检测到的最小缺陷尺寸约占36个像素,则理论上当钢球表面缺陷面积超过283.5 μm2时,可将该表面瑕疵区域认定为缺陷,此时离散点分割最优距离阈值r=9.5 μm,向上取整得r=10 μm,缺陷面积阈值取A=280 μm2,对重建后三维模型上面积大于阈值的缺陷区域进行提取,此时无损球表面剩余满足条件的缺陷点云数量为20个,磨损球表面剩余满足条件的缺陷点云数量为98个,如
从图
为验证装置的重复性,将无损球与磨损球各进行20次重复检测,检测结果如
表 1. 重复检测分析结果
Table 1. The analysis results of repeatability detection
|
4 结论
本文提出了一种基于光学暗场线扫描技术的高反射率钢球表面检测方法,球面畸变校正问题简化为圆柱面的展开问题,在球面上成功构建了光学暗场,解决了金属球表面因高反光率引起的检测盲区问题,开发了球体表面缺陷三维重构及筛选算法,实现了球面缺陷在三维层面的重构和检测。实验证明,该钢球表面缺陷检测算法在距离阈值10 μm时,无损球的测量重复性为0.14%,磨损球的测量重复性为0.11%,所设计的图像采集系统和图像处理算法,可实现钢球表面微小缺陷在三维上的重建和检测。
[1] 孙虹, 王仲, 付鲁华, 等. 一种新型钢球表面检测方法的分析与系统实现[J]. 机械科学与技术, 2016, 35(1): 118-121.
SUN Hong, WANG Zhong, FU Luhua, et al. Analysis and system implementation of a new method for surface detection of steel balls[J]. Mechanical Science and Technology for Aerospace Engineerin, 2016, 35(1): 118-121.
[2] 周杭超, 董晨晨, 陈锋, 等. 钢球表面缺陷检测方法综述[J]. 装备制造技术, 2018, 7(11): 47.
ZHOU Hangchao, DONG Chenchen, CHEN Feng, et al. A review of detection methods for surface defects of steel balls[J]. Equipment Manufacturing Technology, 2018, 7(11): 47.
[3] 王恺娇. 基于深度迁移学习的钢球表面缺陷检测研究[D]. 哈尔滨: 哈尔滨理工大学, 2022.
WANGKaijiao. Research on steel ball surface defect detection based on deep transfer learning [D]. Harbin: Harbin Institute of Technology, 2022.
[4] YANG Zhaohui, LI Chonghe, ZHOU Ningning, YANG Xiaojun. Study on influence of micro-pitting on non-repetitive run-out of high-precision ball bearings[J]. Engineering Failure Analysis, 2022, 138: 106372.
[5] PARK S W, KIM Y S, LEE S O, et al. Machine vision system design for inspecting steel bearing balls[J]. Journal of Sensor Science and Technology, 2008, 17(5): 338-345.
[6] 董百川. 基于机器视觉的钢球表面缺陷检测算法[D]. 哈尔滨: 哈尔滨理工大学, 2018.
DONGBaichuan. Detection algorithm for surface defect of steel ball based on machine vision[D]. Harbin: Harbin Institute of Technology, 2018.
[7] 钱佳立. 球体表面缺陷检测方法及关键技术研究[D]. 杭州: 浙江工业大学, 2018.
QIANJiali. Research on the inspection method of the ball surface defects and its key technology[D]. Hangzhou: Zhejiang University of Technology, 2018.
[8] 栗琳. 基于视觉的高反射球缺陷快速检测关键技术研究[D]. 天津: 天津大学, 2013.
LILin. Study on the key technology of surface defects inspection on highly reflective sphere based on vision[D]. Tianjin: Tianjin University, 2013.
[9] 刘青, 张进华, 黄军勤. 基于机器视觉的钢球表面缺陷检测和分类[J]. 轴承, 2013(10): 44-48.
LIU Qing, ZHANG Jinhua, HUANG Junqin. Detection and classification for surface defects of steel balls based on machine vision[J]. Bearing, 2013(10): 44-48.
[10] 冯超, 蒋毅, 赵晓梦. 基于空间全角度光源的钢球表面微缺陷检测[J]. 激光与光电子学进展, 2022, 59(2): 0212002.
[11] HAMID N, KHAN N. LSM: perceptually accurate line segment merging[J]. Journal of Electronic Imaging, 2016, 25(6): 1-12.
[12] HWANGJ T, CHUT C. 3D building reconstruction by multiview images and the integrated application with augmented reality[C]. ISPRS-International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2016, XLI-B1: 1235-1241.
[13] GIBBS J A, POUND M P, FRENCH A P, et al. Active vision and surface reconstruction for 3D plant shoot modelling[J]. IEEE / ACM Transactions on Computational Biology and Bioinformatics, 2020, 17(6): 1907-1917.
[14] FANG Wei, YANG Kui, LI Haiyuan. Propagation-based incremental triangulation for multiple views 3D reconstruction[J]. Chinese Optics Letters, 2021, 19(2): 11-17.
[15] Standardization Administration of the People's Republic of China. GB/T 308.1-2013Rolling bearings-Balls-Part 1: Steel balls[S]. Beijing: Standards Press of China, 2013.
中国国家标准化管理委员会. GB/T 308.1-2013滚动轴承 球 第一部分: 钢球[S]. 北京: 中国标准出版社, 2013.
[16] International Organization for Standardization. ISO 3290-1: 2014-Rolling bearings-Balls-Part 1: Steel balls[S]. 2014.
[17] 赵丽娜. 自适应光学瞳面滤波超分辨成像技术及其对视功能的影响研究[D]. 成都: 电子科技大学, 2018.
ZHAOLina. Superresolution pupil filtering based on adaptive optics and its application on visual function research[D]. Chengdu: University of Electronic Science and Technology of China, 2018.
Article Outline
黄涵, 史舟淼, 施玉书, 张树, 胡佳成. 基于暗场线扫技术的球体表面缺陷检测技术[J]. 光子学报, 2023, 52(12): 1212001. Han HUANG, Zhoumiao SHI, Yushu SHI, Shu ZHANG, Jiacheng HU. Ball Surface Defect Detection Technology Based on Dark Field Line Scanning Technology[J]. ACTA PHOTONICA SINICA, 2023, 52(12): 1212001.