激光与光电子学进展, 2024, 61 (10): 1012004, 网络出版: 2024-03-20  

双光源下光学镜片表面疵病视觉检测方法

Visual Detection Method of Optical Lens Surface Defect Under Dual Light Source
作者单位
西安工业大学光电工程学院,陕西 西安 710021
摘要
针对机器视觉检测光学镜片表面疵病时,在单一的照明环境下疵病图像对比度低,检测方法疵病识别率低等问题,提出了一种双光源下光学镜片表面疵病视觉检测方法。根据散射成像原理,在前照光和背照光两种不同的照明方式下,使用图像传感器得到含有疵病的被测光学镜片图像;再将多幅图像通过图像融合算法融合为一幅图像;最后,利用识别算法获得光学镜片表面的疵病尺寸信息。对两种不同的疵病(划痕、麻点)进行检测,将本系统的测试结果与ZYGO干涉仪的处理结果进行对比,结果表明,所提方法测量的麻点误差不超过2.7%,划痕误差不超过0.8%,检测效率比干涉仪提高了98.24%,缩短了检测时间。与单一照明环境下的检测方法和人工检测相比,所提方法对疵病的识别准确率与精度更高。
Abstract
Aiming at the problems of low contrast of the optical lens image and low recognition rate of optical lens surface defects under single illumination when detecting optical lens surface defects by machine vision, a visual detection method of optical lens surface defects under dual light source is proposed. According to the scattering imaging principle, the optical lens images containing defects are obtained by using the image sensor under two different illumination modes, the forward light and the backlight, and then the images are fused into one image by the image fusion algorithm. Finally, the defect size information of optical lens surface is obtained by using the recognition algorithm. Two different defects (scratch, pitting) are detected, and the test results of this system are compared with the processing results of the ZYGO interferometer, and the comparative results show that the pitting error and the scratch error of proposed method are less than 2.7% and 0.8%, respectively, the detection efficiency is inproved by 98.24% compared with the interferometer, and the detection time is shortened. Compared with the detection method under single illumination and manual detection, the identification rate and accuracy of defects detected by the proposed method is higher.

1 引言

光学元件表面的疵病主要是由制造和使用过程中的不当行为造成的,严重影响了光学系统的性能和寿命1。表面疵病是评价光学镜片表面质量的重要指标,常见疵病的主要类型有划痕、麻点、灰尘、气泡等,其中:划痕为条状;麻点、灰尘、气泡等为直径尺寸较小、呈凹下的点状。它们的颜色大多为灰白色或与抛光剂颜色相同,故在单一的透射光和反射光观察检测时,难以被精确检测出来。目前已有的疵病检测方法具有视场受限、难以定量等技术障碍,无法进一步建立高效、自动化的检测分析设备2。目前大多数工厂还在使用人工目视的方法检测光学元件表面的疵病。人工目视检测方法存在效率低、识别率低、无法对疵病进行准确分类等问题。此外,目前精度较高的测量元件疵病的器件价格昂贵、视场较小、无法做到全覆盖、检测时间长,不适用于大规模的快速元件检测。

随着图像传感器与图像处理算法的快速发展,机器视觉检测技术取代人工目视检测方法已成大势所趋。现在已有的镜片疵病视觉检测方法采取双系统进行疵病的采集,双系统都采用单一的暗场照明方式,该检测方法虽然提高了检测效率,但是没有考虑到不同照明方式下检测系统对镜片表面疵病的敏感度差异。还有针对大口径球面光学元件表面疵病检测的方法3,该方法在暗场的环境下对光学元件表面拍摄多张子孔径图像,对子孔径图像进行拼接后再进行特征提取。此方法存在效率低、误差大的问题。Choi等4提出了一种光热反射显微成像法来检测疵病,其检测精度可达到nm级别。该方法虽然精度高,但其检测过程复杂,而且受环境影响较大。向江华等5提出了基于多光谱图像融合的光学表面疵病检测方法,该方法令不同波长的光源入射到光学表面,在显微暗场成像系统中获得不同光源下采集到的图像,最后通过图像融合算法对采集到的图像进行融合。该方法虽然提高了疵病的识别率,但成本较高,且没有考虑到光学元件表面疵病在明场照明下的情况。

综合上述学者的研究,本文提出了一种在前照光和背照光两种不同照明方式下通过机器视觉获取光学镜片表面图像,然后对图像进行算法处理来检测光学镜片表面疵病的方法。该方法成本低、操作简单、疵病识别率高、受环境影响小。该检测系统可以解决球面光学元件表面疵病成像视差的问题,并且可以检测尺度为10 μm及以上的表面疵病。

2 检测原理

利用机器视觉检测光学镜片表面疵病时,需要光源对光学镜片进行照射,使疵病处与无疵病处产生不同的光信号,这些光信号被图像传感器所接收就形成了对比度较高的疵病图像。机器视觉照明方式有前照光与背照光两种方式:前照光即光源以某入射角入射到待测元件表面;背照光即光源从待测元件背面入射。

双光源光学镜片表面疵病检测装置由高分辨率互补金属氧化物半导体(CMOS)相机、物方远心镜头、背光源、环形光源、载物台、计算机组成,如图1所示。该图像采集系统的物方视野为13.75 mm,景深为1.52 mm,精度为0.00431 mm

图 1. 疵病检测装置结构

Fig. 1. Structure of the critical defect detection device

下载图片 查看所有图片

镜片表面疵病的反射率与折射率会受到照明方式的影响,因此在单一的照明环境下有些疵病无法被识别,还有一些疵病与图像背景的对比度低,如图2所示。因此,为了提高疵病图像的对比度与疵病的识别率,本系统采用不同的照明方式(前照光和背照光)对光学镜片进行检测。在进行检测时,保证被测镜片与图像传感器的位置始终不变,只改变光照。将被测光学镜片放在载物台上,首先采用前照光对光学镜片进行照射,此时光学镜片表面的疵病就会产生散射光,散射光经过远心镜头呈现在CMOS图像传感器上。光源照射至被测表面,没有疵病时,反射光平行入射到照相系统;有疵病时,入射光位置产生不平行的散射光,形成一幅暗背景亮疵病图像,如图2(a)所示。然后关闭前照光,打开背照光,光源从待测镜片背面入射,在无疵病处发生透射,在疵病处发生折射。当CMOS图像传感器只接收到透射光而接收不到折射光时,可以得到一幅亮背景暗疵病图像,如图2(b)所示。前照光照明主要用来检测镜片表面的划痕,背照光照明主要用来检测内部麻点。最后,通过计算机对在不同光照下采集到的图像进行图像处理,就可以得到光学镜片表面的疵病信息。

图 2. 镜片在不同照明下采集的图像。(a)前照光下采集的表面图像;(b)背照光下采集的表面图像

Fig. 2. Images acquired from the lenses under different illumination. (a) Surface image collected under forward light; (b) surface image collected under backlight

下载图片 查看所有图片

2.1 图像采集系统——光学镜头的选择

检测光学镜片表面疵病时,进入成像系统的被测物体上的发光点呈一个立体轮廓。选用普通的光学镜头会使成像畸变大,被测物表面无法成像在一个像平面上,造成成像视差,影响检测的精确度;而选用远心镜头可以消除成像视差的影响。远心镜头分为物方远心镜头、像方远心镜头和双远心镜头。由物镜射出的光线都会经过光阑中心所在的像方焦点,这阻碍了某些方向的光线入射。只有平行于光轴方向的入射光线才能被物镜捕捉。当物体保持在一定的景深范围时,远心镜头获得的尺寸不会随物体位移的变化发生变化。

物方远心镜头具有景深大、分辨率高、离焦测量误差小等特点,而且成像不受视场角的影响。在景深范围内,即便改变待测光学元件的物距,光学倍率也不会变,这样能够有效消除如图3所示的成像视差6。本采集系统选用工作距离为110 mm放大倍数为0.8×景深为1.52 mm的物方远心镜头。

图 3. 远心镜头成像特点

Fig. 3. Telecentric lens imaging features

下载图片 查看所有图片

2.2 图像采集系统——光源的选择

在采集系统中,光源的作用是将光学元件表面的疵病与背景区分开来,获得高质量、高对比度的图像7。通过对CMOS相机性能的分析发现,相机对波长为600~630 nm的光源敏感度较高,因此本系统选用波长为625 nm的红色低角度环形光与红色平行背光,其中:低角度环形光作为前照光源,照明方式如图4(a)所示;平行背光作为背照光源,照明方式如图4(b)所示。

图 4. 两种光源照明方式。(a)环形光源照明方式;(b)平行背光光源照明方式

Fig. 4. Two light source illumination modes. (a) Ring-light source illumination mode; (b) parallel backlight source illumination mode

下载图片 查看所有图片

3 图像处理

图像处理流程如图5所示,由图像预处理、图像融合、疵病识别三个模块组成。在图像预处理模块中,使用大律(Otsu)图像分割算法对在前照光和背照光两种不同照明方式下采集到的疵病图像进行二值化处理,使用形态学处理法对图像进行去噪。然后,通过加权和的图像融合算法将预处理后的两种光源下获得的疵病图像融合在一幅图像上。最后,通过Canny边缘算子检测识别算法识别融合后图像中的疵病,并且对识别疵病结果进行分析。

图 5. 图像处理流程图

Fig. 5. Flow chart of image processing

下载图片 查看所有图片

3.1 图像预处理

利用Otsu图像分割算法与形态学处理法对图像进行预处理,使图像中的疵病更加容易被识别8-9。Otsu图像分割算法是图像二值化算法的一种,它利用图像直方图的信息得到一个阈值,通过判断像素是否大于阈值将灰度图像呈现出只有纯黑色和纯白色的视觉效果。经过Otsu算法处理后的图像轮廓分明,疵病与背景对比明显。Otsu算法表示为

T=WL(EL-E)2+WH(EH-E)2

式中:WL为暗部像素点占整幅图像的比例;WH为亮部像素点占整幅图像的比例;EL为暗部像素均值;EH为亮部像素均值;E为全图像素均值;T为所求的阈值。

形态学处理就是对图像进行腐蚀与膨胀操作,以减少图像中的噪声10-11。腐蚀操作使图像沿着自己的边界向内收缩,该步骤通过“核”来实现收缩计算。“核”在形态学中可以理解为“由n个像素构成的像素块”。像素块会在图像的边缘移动,在像素块移动的过程中,“核”会将图像的边缘中与“核”重合但又没有越过“核”心的像素点消除。膨胀与腐蚀恰好相反。

3.2 图像融合

图像融合就是将多幅图像的信息融合在一幅图像中12-13。本系统采集到的图像为空间域,因此采用加权和的方式进行图像融合,即按照不同的权重取两幅图像的像素之和,最后组成新的图像。加权和不会像纯加法运算那样让图像丢失信息,而是在保留原有图像信息的基础上把两幅图像融合在一起,其数学表达式为

Fi,j=ω1Ai,j+ω2Bi,j

式中:Fi,j为融合后的图像;Ai,jBi,j为融合前的图像;ω1ω2为加权系数,并且ω1+ω2=1

3.3 疵病识别

为了精确辨认疵病,采取了Canny边缘检测算法和最小外界矩形算法14-15。Canny边缘检测算法是一个多级边缘检测算法,该算法根据像素的梯度变化寻找图像的边缘,最终可以绘制出精细的轮廓。使用该算法可以提高疵病的识别率。

MBR(minimum bounding rectangle)是寻找最小外接矩形的一种算法。将疵病轮廓每次以定量的角度增量旋转,每旋转一次记录其疵病轮廓外接矩形边界点的坐标,当旋转到某一个角度时,获得的外接矩形的周长最小,这时的矩形是该疵病轮廓的最小外界矩形11

检验标准是判断产品合格与否的重要依据,国内大多数工厂将美国军用规范(MIL-PRF-13830B)作为判断疵病等级的标准,因此本系统采用该标准对疵病进行了分类。根据美国军用规范MIL-PRF-13830B∶2000《火控仪器光学零件制造、装配和检验通用技术条件》中对光学元件表面疵病的规定,将长与宽之比大于等于4∶1的疵病视为划痕,长与宽之比小于4∶1的疵病视为麻点,并用两组数字来表示表面疵病或缺陷大小,以S-D表示。其中:S限制划痕宽度大小,单位为μm;D限制麻点等效直径大小,单位为0.01 mm16

4 像素标定

按照评价标准的规定,对疵病的评价是根据真实尺寸进行判断的,因此需要对所得疵病的图像进行像素标定,再将标定尺寸与真实尺寸进行对比,通过统计误差的大小来检验本系统的测量精度。本系统使用精度较高的白光干涉仪(NewView8000)进行像素标定,通过白光干涉仪可以得到光学镜片表面上任意疵病的尺寸,将其作为疵病尺寸的标准值。

像素标定为世界坐标系下三维坐标与图像二维坐标之间的对应关系17。为了满足这种对应关系,一般采用容易提取特征的标定板来实现。由于相机的设计和制造等因素引起的系统误差,图像中存在不同程度的畸变(其中径向畸变占主导地位),使得采集到的图像失真。可以通过对相机镜头进行标定来修正畸变。本系统选取halcon标定助手完成相机的标定。通过确定相机的参数以及采集合格的标定板图像,最终获取标定结果,如表1所示。

表 1. 标定参数

Table 1. Calibration parameters

Calibration parameters of the imaging system
A single pixel wide(Sx)/μm3.44961Center point y coordinates(Cy)/pixel1024.02
A single pixel high(Sy)/μm3.45Medium image wide /pixel2448
Magnification /times0.801082Medium image high /pixel2048
X rotation direction /(°)357.985Y rotation direction /(°)358.914
Center point x coordinates(Cx)/pixel1223.81Z rotation direction /(°)3.24858

查看所有表

选取口径为12 mm的平面光学镜片作为被测物,对被测镜片任意处的疵病进行标记,使用ZYGO干涉仪测量标记处疵病的真实尺寸,使用检测系统得到疵病的标定尺寸。两种统计结果如表2所示(结果保留小数点后三位)。表2中,ZYGO干涉仪标准尺寸为同一疵病不同位置6次测量的平均值:划痕用宽度描述,麻点用直径描述。

表 2. 误差分析

Table 2. Error analysis

NumberDefectZYGO interferometer /μmSystem test /μmError ratio /%
WidthDiameterWidthDiameter
1Pitting17.48417.6951.206
2Pitting7.5967.3942.659
3Pitting42.32541.9750.826
4Pitting53.23553.2970.116
5Pitting96.53396.5050.029
6Scratch8.4128.4300.214
7Scratch15.19615.3030.704
8Scratch28.49528.5510.196
9Scratch37.62337.6270.011
10Scratch67.76967.8920.181

查看所有表

根据表2可以得出,麻点误差不超过2.7%,划痕误差不超过0.8%,误差在μm级别,符合光学元件检测标准精度要求。

5 实验及结果分析

在不同的光场下对等效直径为12 mm的光学镜片进行系统检测,然后利用带刻度的显微镜对该镜片进行人工检测,使用ZYGO干涉仪进行疵病检测,最后将三种方法的检测结果进行比对。图6为同一光学镜片在不同照明下采集到的疵病图,图7为算法预处理后的疵病图像,表3为不同照明下识别到的疵病数量,表4为系统检测结果与ZYGO检测及人工检测结果的对比。

图 6. 光学镜片在不同光源下采集到的图像。(a)前照光下的疵病图像;(b)背照光下的疵病图像

Fig. 6. Images acquired from optical lenses under different light sources. (a) Forward light defect image; (b) backlight defect image

下载图片 查看所有图片

图 7. 预处理后的疵病图像。(a)前照光下识别到的疵病;(b)背照光下识别到的疵病;(c)图像融合后识别到的疵病

Fig. 7. Preprocessed defect images. (a) Defects identified in forward light; (b) defects identified in backlight; (c) defects identified after image fusion

下载图片 查看所有图片

表 3. 镜片疵病检测结果

Table 3. Lens defect detection results

Detection methodTotal number of defectNumber of pitingNumber of scratch
Forward light detection15510
Backlight detection1486
Image fusion detection251312

查看所有表

表 4. 本系统检测结果与ZYGO检测及人工检测结果的对比

Table 4. Comparison among system detection results, ZYGO detection results and manual detection results

Detection methodScratch maximum width /μmScratch minimum width /μmPiting maximum diameter /μmPiting minimum diameter /μmTime /s
System713.80823.80063.29734.0355.327
ZYGO713.62524.57563.39834.021304.000
Manual710.00030.00060.00030.000

查看所有表

通过表3可知:前照光下检测识别到的光学镜片疵病总数量为15,其中,麻点数量为5,划痕数量为10。背照光下检测识别到的光学镜片疵病数量为14,其中,麻点数量为8,划痕数量为6。将两种光场下采集到的图片融合在一起后,检测到的疵病数量为25,其中,麻点数量为13,划痕数量为12。与人工检测的疵病数量(21)进行比较可得,采用双光源的方式将疵病的识别率有效地提高了19.04%。

通过表4可知:本系统检测到划痕的最小宽度为23.800 μm,最大宽度为713.808 μm;检测到麻点的最大直径为63.297 μm,最小直径为34.035 μm。与ZYGO检测相比,检测效率提升了98.24%。与人工检测相比,检测的识别率与精度更高。

6 结论

本检测方法利用机器视觉检测光学镜片表面的疵病,在检测结构中采用了双光源,取得了较好的效果。在检测系统中,首先对采集到的图像进行图像预处理,消除了噪声的干扰,增加了疵病的对比度;然后利用图像融合算法将在不同光场下采集到的疵病图像融合在一幅图像中;最后通过疵病识别算法准确识别光学镜片表面的疵病。该检测系统还进行了像素标定,完成了标定尺寸与ZYGO干涉仪标准尺寸的对比,结果显示,麻点误差不超过2.7%,划痕误差不超过0.8%,检测效率提升了98.24%,缩短了检测时间。与单一照明环境下的检测方法和人工检测方法相比,该方法提高了疵病的识别率与精度,为实现光学元件表面质量数字化评价迈出了重要的一步。

参考文献

[1] 武雄骁. 基于散射分布的光学元件表面缺陷反演研究[D]. 西安: 西安工业大学, 2021.

    WuX X. Research on surface defect inversion of optical elements based on scattering distribution[D]. Xi’an: Xi’an Technological University, 2021.

[2] 陆敏, 王治乐, 高萍萍, 等. 光学元件的疵病检测及现状[J]. 光学仪器, 2020, 42(3): 88-94.

    Lu M, Wang Z L, Gao P P, et al. Defect detection and current situation of optical components[J]. Optical Instruments, 2020, 42(3): 88-94.

[3] 曹频. 球面光学元件表面疵病评价系统中关键技术研究[D]. 杭州: 浙江大学, 2015.

    CaoP. Research on key technologies in surface defect evaluation system of spherical optical elements[D]. Hangzhou: Zhejiang University, 2015.

[4] Choi W J, Wang R K. Optical coherence tomography imaging of cranial meninges post brain injury in vivo[J]. Chinese Optics Letters, 2017, 15(09): 20-23.

[5] 向江华, 刘缠牢. 基于多光谱图像融合的光学表面疵病检测[J]. 电子测量技术, 2022, 45(3): 131-135.

    Xiang J H, Liu C L. Optical surface defect detection based on multispectral image fusion[J]. Electronic Measurement Technology, 2022, 45(3): 131-135.

[6] 冯琰, 郭忠达, 李宏, 等. 安防镜头内部疵病的检测技术研究[J]. 光学与光电技术, 2021, 19(2): 88-92.

    Feng Y, Guo Z D, Li H, et al. Detection technology of internal defects of security lens[J]. Optics & Optoelectronic Technology, 2021, 19(2): 88-92.

[7] 储茂祥. 钢板表面缺陷检测关键技术研究[D]. 沈阳: 东北大学, 2014.

    ChuM X. Research on key technology of steel plate surface defect detection[D]. Shenyang: Northeastern University, 2014.

[8] 疏义桂. 基于机器视觉的铝塑泡罩包装药品缺陷检测[D]. 武汉: 华中科技大学, 2013. 10.4028/www.scientific.net/amm.325-326.1267

    ShuY G. Defect detection of aluminum-plastic blister packaging drugs based on machine vision[D]. Wuhan: Huazhong University of Science and Technology, 2013.

[9] 邓子青, 王阳, 张兵, 等. 基于Otsu算法与形态学的火龙果图像分割研究[J]. 智能计算机与应用, 2022, 12(6): 106-109, 115.

    Deng Z Q, Wang Y, Zhang B, et al. Research on pitaya image segmentation based on Otsu algorithm and morphology[J]. Intelligent Computer and Applications, 2022, 12(6): 106-109, 115.

[10] 贾同超. 基于双目视觉的运动目标跟踪技术研究[D]. 哈尔滨: 哈尔滨工程大学, 2017.

    JiaT C. Research on moving object tracking technology based on binocular vision[D]. Harbin: Harbin Engineering University, 2017.

[11] 徐祥, 陈洪, 叶文华. 基于阈值分割和形态学相结合的金属废料X射线图像轮廓提取方法[J]. 机械与电子, 2022, 40(4): 31-36.

    Xu X, Chen H, Ye W H. A method for extracting X-ray image contours of metal scraps based on the combination of threshold segmentation and morphology[J]. Machinery & Electronics, 2022, 40(4): 31-36.

[12] 冯贺, 李立, 赵凯. 基于拉普拉斯分解耦合亮度调节的可见光与红外图像融合算法[J]. 电子测量与仪器学报, 2020, 34(10): 91-97.

    Feng H, Li L, Zhao K. Fusion algorithm of visible and infrared image based on Laplace decomposition coupled with brightness adjustment[J]. Journal of Electronic Measurement and Instrumentation, 2020, 34(10): 91-97.

[13] 刘承裕. 基于特征融合的脑部图像多级分类[J]. 国外电子测量技术, 2020, 39(11): 28-33.

    Liu C Y. Brainimage recognition and multi-level classification[J]. Foreign Electronic Measurement Technology, 2020, 39(11): 28-33.

[14] 黄梦涛, 连一鑫. 基于改进Canny算子的锂电池极片表面缺陷检测[J]. 仪器仪表学报, 2021, 42(10): 199-209.

    Huang M T, Lian Y X. Lithium battery electrode plate surface defect detection based on improved Canny operator[J]. Chinese Journal of Scientific Instrument, 2021, 42(10): 199-209.

[15] 徐武, 张强, 王欣达, 等. 基于改进Canny算子的图像边缘检测方法[J]. 激光杂志, 2022, 43(4): 103-108.

    Xu W, Zhang Q, Wang X D, et al. Image edge detection method based on improved Canny operator[J]. Laser Journal, 2022, 43(4): 103-108.

[16] 王丽荣. 美国军用规范MIL-PRF-13830B表面疵病要求详解[J]. 硅谷, 2012, 5(4): 181-182, 193.

    Wang L R. Detailed explanation of surface defect requirements of US military specification MIL-PRF-13830B[J]. Silicon Valley, 2012, 5(4): 181-182, 193.

[17] 胡泽波. 光学曲面的表面疵病检测与评价方法研究[D]. 西安: 西安工业大学, 2023.

    HuZ B. Research on detection and evaluation method of surface defects of optical curved surface[D]. Xi’an: Xi’an Technological University, 2023.

徐顺琴, 杨利红, 付秦月, 陈千喜, 李星元, 葛航. 双光源下光学镜片表面疵病视觉检测方法[J]. 激光与光电子学进展, 2024, 61(10): 1012004. Shunqin Xu, Lihong Yang, Qinyue Fu, Qianxi Chen, Xingyuan Li, Hang Ge. Visual Detection Method of Optical Lens Surface Defect Under Dual Light Source[J]. Laser & Optoelectronics Progress, 2024, 61(10): 1012004.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!