双光源下光学镜片表面疵病视觉检测方法
1 引言
光学元件表面的疵病主要是由制造和使用过程中的不当行为造成的,严重影响了光学系统的性能和寿命[1]。表面疵病是评价光学镜片表面质量的重要指标,常见疵病的主要类型有划痕、麻点、灰尘、气泡等,其中:划痕为条状;麻点、灰尘、气泡等为直径尺寸较小、呈凹下的点状。它们的颜色大多为灰白色或与抛光剂颜色相同,故在单一的透射光和反射光观察检测时,难以被精确检测出来。目前已有的疵病检测方法具有视场受限、难以定量等技术障碍,无法进一步建立高效、自动化的检测分析设备[2]。目前大多数工厂还在使用人工目视的方法检测光学元件表面的疵病。人工目视检测方法存在效率低、识别率低、无法对疵病进行准确分类等问题。此外,目前精度较高的测量元件疵病的器件价格昂贵、视场较小、无法做到全覆盖、检测时间长,不适用于大规模的快速元件检测。
随着图像传感器与图像处理算法的快速发展,机器视觉检测技术取代人工目视检测方法已成大势所趋。现在已有的镜片疵病视觉检测方法采取双系统进行疵病的采集,双系统都采用单一的暗场照明方式,该检测方法虽然提高了检测效率,但是没有考虑到不同照明方式下检测系统对镜片表面疵病的敏感度差异。还有针对大口径球面光学元件表面疵病检测的方法[3],该方法在暗场的环境下对光学元件表面拍摄多张子孔径图像,对子孔径图像进行拼接后再进行特征提取。此方法存在效率低、误差大的问题。Choi等[4]提出了一种光热反射显微成像法来检测疵病,其检测精度可达到nm级别。该方法虽然精度高,但其检测过程复杂,而且受环境影响较大。向江华等[5]提出了基于多光谱图像融合的光学表面疵病检测方法,该方法令不同波长的光源入射到光学表面,在显微暗场成像系统中获得不同光源下采集到的图像,最后通过图像融合算法对采集到的图像进行融合。该方法虽然提高了疵病的识别率,但成本较高,且没有考虑到光学元件表面疵病在明场照明下的情况。
综合上述学者的研究,本文提出了一种在前照光和背照光两种不同照明方式下通过机器视觉获取光学镜片表面图像,然后对图像进行算法处理来检测光学镜片表面疵病的方法。该方法成本低、操作简单、疵病识别率高、受环境影响小。该检测系统可以解决球面光学元件表面疵病成像视差的问题,并且可以检测尺度为10 μm及以上的表面疵病。
2 检测原理
利用机器视觉检测光学镜片表面疵病时,需要光源对光学镜片进行照射,使疵病处与无疵病处产生不同的光信号,这些光信号被图像传感器所接收就形成了对比度较高的疵病图像。机器视觉照明方式有前照光与背照光两种方式:前照光即光源以某入射角入射到待测元件表面;背照光即光源从待测元件背面入射。
双光源光学镜片表面疵病检测装置由高分辨率互补金属氧化物半导体(CMOS)相机、物方远心镜头、背光源、环形光源、载物台、计算机组成,如
镜片表面疵病的反射率与折射率会受到照明方式的影响,因此在单一的照明环境下有些疵病无法被识别,还有一些疵病与图像背景的对比度低,如
图 2. 镜片在不同照明下采集的图像。(a)前照光下采集的表面图像;(b)背照光下采集的表面图像
Fig. 2. Images acquired from the lenses under different illumination. (a) Surface image collected under forward light; (b) surface image collected under backlight
2.1 图像采集系统——光学镜头的选择
检测光学镜片表面疵病时,进入成像系统的被测物体上的发光点呈一个立体轮廓。选用普通的光学镜头会使成像畸变大,被测物表面无法成像在一个像平面上,造成成像视差,影响检测的精确度;而选用远心镜头可以消除成像视差的影响。远心镜头分为物方远心镜头、像方远心镜头和双远心镜头。由物镜射出的光线都会经过光阑中心所在的像方焦点,这阻碍了某些方向的光线入射。只有平行于光轴方向的入射光线才能被物镜捕捉。当物体保持在一定的景深范围时,远心镜头获得的尺寸不会随物体位移的变化发生变化。
物方远心镜头具有景深大、分辨率高、离焦测量误差小等特点,而且成像不受视场角的影响。在景深范围内,即便改变待测光学元件的物距,光学倍率也不会变,这样能够有效消除如
2.2 图像采集系统——光源的选择
在采集系统中,光源的作用是将光学元件表面的疵病与背景区分开来,获得高质量、高对比度的图像[7]。通过对CMOS相机性能的分析发现,相机对波长为600~630 nm的光源敏感度较高,因此本系统选用波长为625 nm的红色低角度环形光与红色平行背光,其中:低角度环形光作为前照光源,照明方式如
图 4. 两种光源照明方式。(a)环形光源照明方式;(b)平行背光光源照明方式
Fig. 4. Two light source illumination modes. (a) Ring-light source illumination mode; (b) parallel backlight source illumination mode
3 图像处理
图像处理流程如
3.1 图像预处理
利用Otsu图像分割算法与形态学处理法对图像进行预处理,使图像中的疵病更加容易被识别[8-9]。Otsu图像分割算法是图像二值化算法的一种,它利用图像直方图的信息得到一个阈值,通过判断像素是否大于阈值将灰度图像呈现出只有纯黑色和纯白色的视觉效果。经过Otsu算法处理后的图像轮廓分明,疵病与背景对比明显。Otsu算法表示为
式中:
形态学处理就是对图像进行腐蚀与膨胀操作,以减少图像中的噪声[10-11]。腐蚀操作使图像沿着自己的边界向内收缩,该步骤通过“核”来实现收缩计算。“核”在形态学中可以理解为“由n个像素构成的像素块”。像素块会在图像的边缘移动,在像素块移动的过程中,“核”会将图像的边缘中与“核”重合但又没有越过“核”心的像素点消除。膨胀与腐蚀恰好相反。
3.2 图像融合
图像融合就是将多幅图像的信息融合在一幅图像中[12-13]。本系统采集到的图像为空间域,因此采用加权和的方式进行图像融合,即按照不同的权重取两幅图像的像素之和,最后组成新的图像。加权和不会像纯加法运算那样让图像丢失信息,而是在保留原有图像信息的基础上把两幅图像融合在一起,其数学表达式为
式中:
3.3 疵病识别
为了精确辨认疵病,采取了Canny边缘检测算法和最小外界矩形算法[14-15]。Canny边缘检测算法是一个多级边缘检测算法,该算法根据像素的梯度变化寻找图像的边缘,最终可以绘制出精细的轮廓。使用该算法可以提高疵病的识别率。
MBR(minimum bounding rectangle)是寻找最小外接矩形的一种算法。将疵病轮廓每次以定量的角度增量旋转,每旋转一次记录其疵病轮廓外接矩形边界点的坐标,当旋转到某一个角度时,获得的外接矩形的周长最小,这时的矩形是该疵病轮廓的最小外界矩形[11]。
检验标准是判断产品合格与否的重要依据,国内大多数工厂将美国军用规范(MIL-PRF-13830B)作为判断疵病等级的标准,因此本系统采用该标准对疵病进行了分类。根据美国军用规范MIL-PRF-13830B∶2000《火控仪器光学零件制造、装配和检验通用技术条件》中对光学元件表面疵病的规定,将长与宽之比大于等于4∶1的疵病视为划痕,长与宽之比小于4∶1的疵病视为麻点,并用两组数字来表示表面疵病或缺陷大小,以S-D表示。其中:S限制划痕宽度大小,单位为μm;D限制麻点等效直径大小,单位为0.01 mm[16]。
4 像素标定
按照评价标准的规定,对疵病的评价是根据真实尺寸进行判断的,因此需要对所得疵病的图像进行像素标定,再将标定尺寸与真实尺寸进行对比,通过统计误差的大小来检验本系统的测量精度。本系统使用精度较高的白光干涉仪(NewView8000)进行像素标定,通过白光干涉仪可以得到光学镜片表面上任意疵病的尺寸,将其作为疵病尺寸的标准值。
像素标定为世界坐标系下三维坐标与图像二维坐标之间的对应关系[17]。为了满足这种对应关系,一般采用容易提取特征的标定板来实现。由于相机的设计和制造等因素引起的系统误差,图像中存在不同程度的畸变(其中径向畸变占主导地位),使得采集到的图像失真。可以通过对相机镜头进行标定来修正畸变。本系统选取halcon标定助手完成相机的标定。通过确定相机的参数以及采集合格的标定板图像,最终获取标定结果,如
表 1. 标定参数
Table 1. Calibration parameters
|
选取口径为12 mm的平面光学镜片作为被测物,对被测镜片任意处的疵病进行标记,使用ZYGO干涉仪测量标记处疵病的真实尺寸,使用检测系统得到疵病的标定尺寸。两种统计结果如
表 2. 误差分析
Table 2. Error analysis
|
根据
5 实验及结果分析
在不同的光场下对等效直径为12 mm的光学镜片进行系统检测,然后利用带刻度的显微镜对该镜片进行人工检测,使用ZYGO干涉仪进行疵病检测,最后将三种方法的检测结果进行比对。
图 6. 光学镜片在不同光源下采集到的图像。(a)前照光下的疵病图像;(b)背照光下的疵病图像
Fig. 6. Images acquired from optical lenses under different light sources. (a) Forward light defect image; (b) backlight defect image
图 7. 预处理后的疵病图像。(a)前照光下识别到的疵病;(b)背照光下识别到的疵病;(c)图像融合后识别到的疵病
Fig. 7. Preprocessed defect images. (a) Defects identified in forward light; (b) defects identified in backlight; (c) defects identified after image fusion
表 3. 镜片疵病检测结果
Table 3. Lens defect detection results
|
表 4. 本系统检测结果与ZYGO检测及人工检测结果的对比
Table 4. Comparison among system detection results, ZYGO detection results and manual detection results
|
通过
通过
6 结论
本检测方法利用机器视觉检测光学镜片表面的疵病,在检测结构中采用了双光源,取得了较好的效果。在检测系统中,首先对采集到的图像进行图像预处理,消除了噪声的干扰,增加了疵病的对比度;然后利用图像融合算法将在不同光场下采集到的疵病图像融合在一幅图像中;最后通过疵病识别算法准确识别光学镜片表面的疵病。该检测系统还进行了像素标定,完成了标定尺寸与ZYGO干涉仪标准尺寸的对比,结果显示,麻点误差不超过2.7%,划痕误差不超过0.8%,检测效率提升了98.24%,缩短了检测时间。与单一照明环境下的检测方法和人工检测方法相比,该方法提高了疵病的识别率与精度,为实现光学元件表面质量数字化评价迈出了重要的一步。
[1] 武雄骁. 基于散射分布的光学元件表面缺陷反演研究[D]. 西安: 西安工业大学, 2021.
WuX X. Research on surface defect inversion of optical elements based on scattering distribution[D]. Xi’an: Xi’an Technological University, 2021.
[2] 陆敏, 王治乐, 高萍萍, 等. 光学元件的疵病检测及现状[J]. 光学仪器, 2020, 42(3): 88-94.
[3] 曹频. 球面光学元件表面疵病评价系统中关键技术研究[D]. 杭州: 浙江大学, 2015.
CaoP. Research on key technologies in surface defect evaluation system of spherical optical elements[D]. Hangzhou: Zhejiang University, 2015.
[4] Choi W J, Wang R K. Optical coherence tomography imaging of cranial meninges post brain injury in vivo[J]. Chinese Optics Letters, 2017, 15(09): 20-23.
[5] 向江华, 刘缠牢. 基于多光谱图像融合的光学表面疵病检测[J]. 电子测量技术, 2022, 45(3): 131-135.
Xiang J H, Liu C L. Optical surface defect detection based on multispectral image fusion[J]. Electronic Measurement Technology, 2022, 45(3): 131-135.
[6] 冯琰, 郭忠达, 李宏, 等. 安防镜头内部疵病的检测技术研究[J]. 光学与光电技术, 2021, 19(2): 88-92.
[7] 储茂祥. 钢板表面缺陷检测关键技术研究[D]. 沈阳: 东北大学, 2014.
ChuM X. Research on key technology of steel plate surface defect detection[D]. Shenyang: Northeastern University, 2014.
[8] 疏义桂. 基于机器视觉的铝塑泡罩包装药品缺陷检测[D]. 武汉: 华中科技大学, 2013. 10.4028/www.scientific.net/amm.325-326.1267
ShuY G. Defect detection of aluminum-plastic blister packaging drugs based on machine vision[D]. Wuhan: Huazhong University of Science and Technology, 2013.
[9] 邓子青, 王阳, 张兵, 等. 基于Otsu算法与形态学的火龙果图像分割研究[J]. 智能计算机与应用, 2022, 12(6): 106-109, 115.
Deng Z Q, Wang Y, Zhang B, et al. Research on pitaya image segmentation based on Otsu algorithm and morphology[J]. Intelligent Computer and Applications, 2022, 12(6): 106-109, 115.
[10] 贾同超. 基于双目视觉的运动目标跟踪技术研究[D]. 哈尔滨: 哈尔滨工程大学, 2017.
JiaT C. Research on moving object tracking technology based on binocular vision[D]. Harbin: Harbin Engineering University, 2017.
[11] 徐祥, 陈洪, 叶文华. 基于阈值分割和形态学相结合的金属废料X射线图像轮廓提取方法[J]. 机械与电子, 2022, 40(4): 31-36.
Xu X, Chen H, Ye W H. A method for extracting X-ray image contours of metal scraps based on the combination of threshold segmentation and morphology[J]. Machinery & Electronics, 2022, 40(4): 31-36.
[12] 冯贺, 李立, 赵凯. 基于拉普拉斯分解耦合亮度调节的可见光与红外图像融合算法[J]. 电子测量与仪器学报, 2020, 34(10): 91-97.
Feng H, Li L, Zhao K. Fusion algorithm of visible and infrared image based on Laplace decomposition coupled with brightness adjustment[J]. Journal of Electronic Measurement and Instrumentation, 2020, 34(10): 91-97.
[13] 刘承裕. 基于特征融合的脑部图像多级分类[J]. 国外电子测量技术, 2020, 39(11): 28-33.
Liu C Y. Brainimage recognition and multi-level classification[J]. Foreign Electronic Measurement Technology, 2020, 39(11): 28-33.
[14] 黄梦涛, 连一鑫. 基于改进Canny算子的锂电池极片表面缺陷检测[J]. 仪器仪表学报, 2021, 42(10): 199-209.
Huang M T, Lian Y X. Lithium battery electrode plate surface defect detection based on improved Canny operator[J]. Chinese Journal of Scientific Instrument, 2021, 42(10): 199-209.
[15] 徐武, 张强, 王欣达, 等. 基于改进Canny算子的图像边缘检测方法[J]. 激光杂志, 2022, 43(4): 103-108.
Xu W, Zhang Q, Wang X D, et al. Image edge detection method based on improved Canny operator[J]. Laser Journal, 2022, 43(4): 103-108.
[16] 王丽荣. 美国军用规范MIL-PRF-13830B表面疵病要求详解[J]. 硅谷, 2012, 5(4): 181-182, 193.
Wang L R. Detailed explanation of surface defect requirements of US military specification MIL-PRF-13830B[J]. Silicon Valley, 2012, 5(4): 181-182, 193.
[17] 胡泽波. 光学曲面的表面疵病检测与评价方法研究[D]. 西安: 西安工业大学, 2023.
HuZ B. Research on detection and evaluation method of surface defects of optical curved surface[D]. Xi’an: Xi’an Technological University, 2023.
Article Outline
徐顺琴, 杨利红, 付秦月, 陈千喜, 李星元, 葛航. 双光源下光学镜片表面疵病视觉检测方法[J]. 激光与光电子学进展, 2024, 61(10): 1012004. Shunqin Xu, Lihong Yang, Qinyue Fu, Qianxi Chen, Xingyuan Li, Hang Ge. Visual Detection Method of Optical Lens Surface Defect Under Dual Light Source[J]. Laser & Optoelectronics Progress, 2024, 61(10): 1012004.