光学学报, 2019, 39 (12): 1212001, 网络出版: 2019-12-06  

基于彩色相机颜色转换算法的彩色共聚焦测量方法 下载: 1191次

Chromatic Confocal Measurement Method Using Color Camera and Color Conversion Algorithm
作者单位
华侨大学机电及自动化学院, 福建 厦门 361021
摘要
鉴于彩色共聚焦测量技术无需做轴向扫描即可获得高度信息,且轴向分辨率能达到亚微米级、甚至纳米级,基于彩色相机的彩色共聚焦测量方法,提出一种颜色转换算法,并通过仿真对该算法进行优化,建立轴向高度与颜色的对应关系。经过实验分析,该颜色转换算法能够在轴向高度与颜色之间建立良好的线性关系,线性判断系数R2达到了0.9979;同时,对100 μm高度的台阶进行测量,测量精度达到了亚微米级;最后,对硬币表面进行测量和分析,修正了一系列误差后,较好地还原了硬币表面的三维形貌轮廓。
Abstract
In this study, we propose a chromatic confocal measurement method that employs a color camera. The chromatic confocal measurement technology is extensively used in microscopic detection, biomedical applications, and other fields because of its sub-micron or even nanometer axial resolution and the advantage of obtaining height information without axial scanning. Furthermore, a color conversion algorithm is proposed and optimized by simulations to establish the corresponding relationship between the axial height and color. Experimental results indicate that the proposed color conversion algorithm can establish a good linearity between the axial height and color, and the linear judgment coefficient is R2=0.9979. We evaluate a step with a height of 100 μm and observe that the measurement accuracy can reach the sub-micron level. We also measure the coin surface and observe that our color conversion algorithm can reconstruct the three-dimensional surface topography of the coin after correcting a series of errors.

1 引言

随着科学技术与生产制造业的迅速发展,不管是商业生产还是科学研究,都对精密测量技术有了更高的要求。常用的表面形貌测量方法一般分为接触式测量和非接触式测量,其中:接触式测量容易损坏探针、划伤被测物表面[1];而非接触式测量则不会产生这类问题,因此引起了国内外研究者的普遍关注[2]。光学检测是非接触式测量方法中重要的组成部分,常用的光学检测方法有激光三角法[3]、结构光法[4]、投影栅相位法[5]、白光干涉法[6-8]、激光共焦法[9-10]等,但这些方法无一例外都需要轴向运动扫描,增加了测量时间。彩色共聚焦显微技术(CCM)是共焦测量技术中新兴的一个研究方向,因无需纵向扫描、测量效率高的特点,被认为在快速化在线检测等领域中有广阔的市场前景。

彩色共聚焦测量技术最早由Molesini等[11]提出,通过对镜头进行特殊处理,利用并加强轴向色差,获得具有轴向色散能力的镜头,在此基础上,结合波长位移编码原理,搭建了一台表面轮廓仪;Boyde[12]将其进一步研究并推广应用,从而衍生出新的技术——CCM,这给显微测量领域带来了革命性变化。理论上,彩色共聚焦技术的精度低于激光共聚焦技术的测量精度,为进一步提高其测量精度,不少学者将频谱干涉技术和彩色共焦技术相结合。2006年,德国Stuttgart大学Papastathopoulos等[13]结合彩色共聚焦技术与频谱干涉技术,设计了一套综合测量系统,此系统在 50 μm 的测量范围内,无需标定波长与位置的关系,即可实现深度层析测量。2012年,Lyda等[14]验证此项技术相比于普通彩色共焦技术具有更高的精度。2012年,Hillenbrand等[15]对复合衍射和折射元件的色散透镜组的设计做出了分析和研究,综合衍射和折射两种方式的优势,并根据具体需求设计了具有相应色散能力的色散物镜。随着学者们的深入研究,CCM因测量速度的优势,被广泛应用于不同领域,如表面形貌检测[16-18]、透明材质厚度检测[19]、生物医疗检测[20-21]等。

彩色共聚焦系统的视场较小,在测量较大表面的形貌信息时仍比较耗时。为进一步提高彩色共聚焦技术的测量速度,研发并行测量系统势在必行。并行测量方法可以实现多点同时测量,所以要求接收端对每个点反射的光波进行单独的数据处理。然而,现有的单通道的波长检测方法(光谱仪)只能处理单点信号,不适用于并行测量光路,因此,研发相应的并行波长检测设备很有必要。本文提出使用面阵彩色相机代替光谱仪作为测量系统接收端,利用面阵相机可以同时采集多点信息的特点,深入研究颜色转换算法。该方法构成并行彩色共聚焦测量技术的重要组成部分。

2 系统原理与系统设计

2.1 彩色共聚焦测量原理

彩色共聚焦技术的核心原理在于光谱编码技术,其原理如图1所示。根据色散原理可知,复色光源发出的复色光经过色散系统后,不同波长的光会聚焦在不同的轴向位置。一般来说,光学系统设计中应避免这种轴向色散,但是在彩色共聚焦技术中,可以通过合理的光学设计,实现光轴方向的均匀色散,建立波长与轴向位置的映射关系,最后实现通过检测波长而获取轴向位置信息的目的。

图 1. 光谱编码技术原理图

Fig. 1. Principle of spectral coding technology

下载图片 查看所有图片

彩色共聚焦显微技术原理如图2所示,复色光源前方加入小孔后形成点光源,所发出的光束穿过分光棱镜,并由色散物镜进行轴向色散,此时在物方,不同波长的光线会聚在光轴方向的不同位置上;随着被测物面沿光轴方向移动,所有波长的光束将由被测物表面反射,再经分光棱镜反射后,通过小孔到达光探测器的表面。其中,像方的小孔能够对光束进行滤波,即去除聚焦点外的其他波长的光线,理论上只允许一种波长的光束通过该小孔。通过建立波长与被测物面轴向位移的关系,即可由所接收到的波长信息获知被测物面的实际位移。

图 2. 彩色共聚焦测量方法原理图

Fig. 2. Principle of chromatic confocal measurement method

下载图片 查看所有图片

当样品位于测量范围内时,聚焦在样品表面特定波长的光束将以最大能量通过探测针孔(像方小孔)到达彩色相机,而其他大量的离焦光波将被探测针孔屏蔽。不同波长光的颜色各不相同,因此当特定波长的单色光通过探测针孔时,彩色相机上也会呈现相应的颜色,根据颜色的不同就可以确定样品表面该点所处的轴向高度。结合位移平台的二维移动,完成样品表面轴向高度的全场测量,实现样品表面三维形貌测量研究。

2.2 颜色转换算法

2.2.1 颜色转换算法的提出

彩色共聚焦测量系统通过色散透镜将白光沿光轴方向分解为不同波长的光,不同波长的光聚焦在不同高度的平面上,形成轴向色散。实验研究表明,不同高度的聚焦光斑颜色各不相同,因此可用颜色表征高度信息,如图3所示。彩色相机拍摄的图片上每个像素都有4个通道,分别储存着该像素的RGB信息和光强值,不同RGB值代表不同的颜色。对拍摄的彩色图片进行图像处理,建立RGB值与轴向高度的对应关系,从而实现用颜色表征轴向高度的目的。该方案难点在于:每一个高度对应一种颜色,而每种颜色却有RGB三项数值参数,高度与RGB值无法形成良好的对应关系。因此本文着重研究颜色转换算法,其研究思路如图4所示,通过颜色转换公式确定波长和RGB颜色空间的对应关系,进而确定轴向高度与颜色的对应关系。

图 3. 样品位于不同高度时彩色相机接受到的图像

Fig. 3. Images received by color camera when sample is at different heights

下载图片 查看所有图片

图 4. 颜色转换算法的研究思路

Fig. 4. Research idea of color conversion algorithm

下载图片 查看所有图片

2.2.2 颜色空间转换

颜色空间也称彩色模型,是使用一组数值(通常使用3个或者4个值)表示颜色的抽象数学模型。颜色空间有许多种,常用的颜色空间有RGB颜色空间、CMY颜色空间、HSV颜色空间、HSI颜色空间等。不同的颜色空间实际上是从不同的角度对同一种颜色使用不同的参数进行描述,比如RGB颜色空间是依据人眼识别的颜色定义的空间,可表示大部分颜色。但在科学研究中一般不采用RGB颜色空间,因为它的细节难以进行数字化的调整,所以会出现轴向高度与RGB值无法对应的情况。而在其他的颜色空间中,存在与波长相关的参数,既可以描述颜色信息,又与波长(轴向位置)相关,十分符合本次颜色转换算法研究。

HSI颜色模型从人的视觉系统出发,用H(色调)、S(饱和度)、I(亮度)3个参数来描述色彩。其中色调H描述纯色的属性(纯黄色、橘黄或者红色),纯色即光谱色,人眼受可见光不同波长的刺激,产生了红、橙、黄、绿、青、蓝、紫等颜色的感觉,每种颜色对应一个波长值,这种颜色称为光谱色,所以色调H是一个与波长相关的参数。色调H的角度范围为[0,2π],其中,纯红色的角度为0,纯绿色的角度为2π/3,纯蓝色的角度为4π/3。

图5为RGB颜色空间与HSI颜色空间。通过RGB-HSI颜色空间转换,将彩色相机采集的颜色信息RGB值转换为与波长相关的色调参数H值,建立颜色信息与轴向位置的映射关系。RGB 向HSI 模型的转换实际是由一个基于笛卡尔直角坐标系的单位立方体向基于圆柱极坐标的双锥体的转换。基本要求是将RGB 中的亮度因素分离,将色度分解为色调和饱和度,并用角向量表示色调。常用的RGB-HSI转换公式有很多,经典的几何推导法转换公式为

H=θ,GB2π-θ,G<B,(1)θ=arccos(R-G)+(R-B)2(R-G)2+(R-B)(G-B)(2)

图 5. RGB颜色空间与HSI颜色空间。(a) RGB;(b) HSI

Fig. 5. RGB color space and HSI color space. (a) RGB; (b) HSI

下载图片 查看所有图片

3 实验分析

3.1 实验系统构建与标定

图6为基于彩色相机的彩色共聚焦形貌测量系统的装置图。宽光谱的光纤光源(MHF-V501卤素灯光源)经过准直镜及针孔后,形成点光源;该点光源发出的光线经自制的色散管镜后,沿光轴方向形成均匀的色散;通过分光镜和物镜后,照射在置于位移平台上的被测物上。光线被被测物面反射后,再次经过分光镜,并由分光镜转折光路后,通过另一个针孔到达彩色相机(acA2440-35uc)表面。

上下移动位移平台,聚焦在被测物面的光线的波长将发生改变,而彩色相机所接收到的图像的颜色也将随之产生变化。在测量范围内上下移动反射镜,记录与位移平台相连的电感测微仪的读数,该读数表示位移平台轴向高度;同时保存相应位置彩色相机的图像,代入本文颜色转换算法,即可计算出该轴向位置下聚焦光斑颜色所对应的色调参数H值。

图 6. 彩色共聚焦测量系统装置图

Fig. 6. Experimental setup of chromatic confocal measurement system

下载图片 查看所有图片

将若干位置的轴向高度数据与色调参数H值数据放入统一坐标系中,得到颜色与轴向高度映射关系,实验结果如图7所示。

图 7. 标定实验结果及拟合结果。 (a)标定;(b)线性拟合

Fig. 7. Results of calibration experiment and linear fitting. (a) Calibration; (b) linear fitting

下载图片 查看所有图片

其中线性区间为轴向高度600~1700 μm区域,该区间实验数据如表1所示。

表 1. 不同位置时颜色转换结果

Table 1. Results of color conversion in different positions

Axial height /μmHue parameterAxial height /μmHue parameter
600227.01721200147.6741
700216.86811300132.2257
800203.68791400115.4890
900190.0995150097.9931
1000173.7393160083.8637
1100161.7365170072.2192

查看所有表

表1中,为不丢失数据精度,色调参数数据H选择保留到小数点后第4位,轴向高度数据Z也采用了同样的数据精度。

拟合后得到色调参数H和轴向高度Z的关系为

H=-0.1451Z+231.7170(3)

标定实验结果表明,测量系统测量范围为1.1 mm左右,且线性拟合后判定系数R2=0.9979,线性度良好,颜色转换算法可以满足实验要求。

3.2 台阶实验

为验证测量系统轴向测量能力,对标准量块组成的阶梯高度进行测量,实物图如图8所示。选用高度差为100 μm的两个量块(量块厚度分别为1.3 mm和1.4 mm)进行台阶高度测量,通过调节载物台高度,使量块表面处于系统的轴向测量范围之内。横向移动载物台,使测量光斑依次扫过两个量块,记录测量光斑扫描量块台阶过程中的图像数据,根据轴向标定结果计算台阶高度差。

实验结果如图9所示。

将测量结果代入标定实验得到的(3)式中,计算台阶高度,计算结果如表2所示。

图 8. 量块台阶实物图

Fig. 8. Photograph of measuring block step

下载图片 查看所有图片

图 9. 台阶实验结果图

Fig. 9. Results of step experiment

下载图片 查看所有图片

表 2. 彩色相机台阶实验数据及台阶高度计算结果

Table 2. Data of step experiment with color camera and calculation results of step height

Experiment numberH value of 1.3 mm gauge block's surfaceH value of 1.4 mm gauge block's surfaceDifference of HHeight difference /μm
189.4441103.844514.400499.2447
289.9892103.981013.991896.4285
389.0367103.381814.345198.8633
489.8664105.056815.1904104.6892
589.2076104.163314.9557103.0717
690.1667104.128613.961996.2225
Average value89.6185104.092714.474299.7534
Relative error0.25%

查看所有表

表2数据可知该测量系统在测量100 μm高度差的台阶时,测量平均值为99.7534 μm,相对误差为0.25%,因此可认为该实验系统的测量分辨率达到了亚微米级。

将彩色相机替换为光谱仪,测量系统的其他部分不做任何改变,对1.3 mm量块和1.4 mm量块组成的台阶的高度进行测量实验,量块表面实验数据及台阶高度的计算结果如表3所示。

表 3. 光谱仪台阶实验数据及台阶高度计算结果

Table 3. Data of step experiment with spectrometer and calculation results of step height

Experiment numberWavelength of 1.3 mm gauge block's surface /nmWavelength of 1.4 mm gauge block's surface /nmDifference of wavelength /nmHeight difference /μm
1584.8549583.07641.7785100.4802
2584.8486583.05871.7899101.1243
3584.8429583.07801.764999.7119
4584.8594583.05131.8081102.1525
5584.8355583.05011.7854100.8701
6584.8608583.06911.7917101.2260
7584.8470583.10401.743098.4746
8584.8480583.10041.747698.7345
9584.8337583.06491.768899.9322
10584.8454583.10531.740198.3107
Average value584.8476583.07581.7718100.1017
Relative error0.10%

查看所有表

对比两种方案的测量结果不难发现,两者轴向分辨率均能达到亚微米级,其中,使用彩色相机时,测量标准差为3.4626 μm;而使用光谱仪时,测量标准差为1.2976 μm。故使用光谱仪的测量结果会更加稳定。

综上所述,虽然彩色相机方案在测量稳定性方面不如光谱仪方案,但也能够满足测量系统的需求。

3.3 三维形貌重构

为证明本系统的三维重构能力,对硬币表面进行扫描。由于一元硬币正面的花纹凸起高度大约在50 μm,与本实验的线性测量范围十分契合,故选择对一元硬币(图10)正面的“元”字及“1”字进行扫描。采用本文颜色转换算法进行三维重构,“元”字还原结果如图11所示。

图 10. 一元硬币实物图

Fig. 10. Photograph of one-yuan coin

下载图片 查看所有图片

图 11. “元”字三维重构结果

Fig. 11. Three-dimensional reconstruction result of “yuan” character

下载图片 查看所有图片

图11可知,硬币表面三维重构图像能够清晰地看到“元”字的轮廓,但是该图片仍然存在一定的失真,右半部分尤其明显。经实验分析得知,该误差是由位移平台的倾斜所导致的。对位移平台的倾斜度等误差进行修正及补偿后,得到的“元”字的三维重构效果如图12所示。

图 12. 误差修正后“元”字三维重构结果

Fig. 12. Three-dimensional reconstruction result of “yuan” character after error correction

下载图片 查看所有图片

可以看到,图12中“元”字的轮廓清晰度有了显著提升,由此表明对位移平台进行的倾斜补偿有效。为进一步说明本实验的可靠性,使用与扫描“元”字时相同的运动轨迹参数,对硬币表面上面积更大的“1”字进行扫描和三维重构,并对测量结果进行倾斜度误差补偿,其三维重构结果如图13所示。

图 13. 误差修正后“1”字三维重构结果

Fig. 13. Three-dimensional reconstruction result of “1” character after error correction

下载图片 查看所有图片

图13中,整个数字“1”轮廓被完整、清晰地呈现出来。至此,本实验成功对“元”字与“1”字进行了三维重构,该实验的结果也证明基于彩色相机颜色转换算法的彩色共聚焦测量方法可用于实际的微观表面检测与三维重构。

4 结论

通过颜色转换算法的研究,解决彩色共聚焦系统中聚焦光波颜色如何与轴向高度线性相关的难题,进而提出基于彩色相机的彩色共聚焦测量方法。实验结果表明:所提颜色转换算法能够建立轴向位置与颜色的良好线性关系,解决了彩色相机获得的RGB信息无法直接对应轴向位置的问题;所提基于彩色相机的彩色共聚焦测量方法能够测量100 μm台阶高度差,且精度达到亚微米级;在此技术的基础上,配合位移平台的二维移动,及对位移平台的误差修正,能够实现对样品表面微观形貌的三维重构。在接下来的工作中,将重点优化三维重构算法,及分析测量系统的各项误差,结合正在进行的多点色散管镜设计,建立并行彩色共焦测量系统,进一步提升测量速度,以更精确地还原样品表面三维形貌。

参考文献

[1] 刘泊. 基于白光相移干涉法的表面三维微观轮廓测量技术研究[D]. 哈尔滨: 哈尔滨理工大学, 2013: 2- 3.

    LiuB. Research on the surface 3D microcosmic profile measurement based on white light phase-shift interferometry[D]. Harbin: Harbin University of Science and Technology, 2013: 2- 3.

[2] 倪媛. 表面三维形貌测量方法研究[D]. 济南: 山东大学, 2009: 1- 3.

    NiY. Research on methods in measuring of 3-D profilometry[D]. Jinan: Shandong University, 2009: 1- 3.

[3] 姚秋红. 一维激光三角法位移测量技术研究[D]. 哈尔滨: 哈尔滨工业大学, 2014: 1- 6.

    Yao QH. Research of one-dimensional laser triangulation displacement measurement technology[D]. Harbin: Harbin Institute of Technology, 2014: 1- 6.

[4] 解则晓, 朱瑞新, 张安祺. 超大尺度线结构光传感器三维测量系统外参数标定[J]. 中国激光, 2017, 44(10): 1004003.

    Xie Z X, Zhu R X, Zhang A Q. Extrinsic parameters calibration of three-dimensional measurement system for ultra-large scale line-structured light sensor[J]. Chinese Journal of Lasers, 2017, 44(10): 1004003.

[5] 姜宏志, 赵慧洁, 李旭东, 等. 用于强反射表面形貌测量的投影栅相位法[J]. 光学精密工程, 2010, 18(9): 2002-2008.

    Jiang H Z, Zhao H J, Li X D, et al. Projected fringe profilometry for profile measurement of high reflective surface[J]. Optics and Precision Engineering, 2010, 18(9): 2002-2008.

[6] 袁丽. 白光干涉仪的可用性研究[D]. 武汉: 华中科技大学, 2013: 8- 10.

    YuanL. The usability research of the white light interferometer[D]. Wuhan: Huazhong University of Science and Technology, 2013: 8- 10.

[7] 郭彤, 李峰, 倪连峰, 等. 基于白光干涉彩色图像的微结构表面形貌测量[J]. 光学学报, 2014, 34(2): 0212003.

    Guo T, Li F, Ni L F, et al. Microstructure surface topography measurement based on color images of white light interferometry[J]. Acta Optica Sinica, 2014, 34(2): 0212003.

[8] 邓钦元, 唐燕, 周毅, 等. 基于白光干涉频域分析的高精度表面形貌测量[J]. 中国激光, 2018, 45(6): 0604001.

    Deng Q Y, Tang Y, Zhou Y, et al. High-resolution surface topography measurement based on frequency-domain analysis in white light interferometry[J]. Chinese Journal of Lasers, 2018, 45(6): 0604001.

[9] 闫聚群, 柳忠尧, 林德教, 等. 大台阶高度测量的外差共焦方法[J]. 中国激光, 2005, 32(3): 389-393.

    Yan J Q, Liu Z Y, Lin D J, et al. Method of heterodyne confocal microscopy measuring big step height[J]. Chinese Journal of Lasers, 2005, 32(3): 389-393.

[10] 张洪飞, 谈梦科, 及少勇, 等. 激光共聚焦扫描显微镜的光学设计[J]. 光学仪器, 2016, 38(3): 221-225.

    Zhang H F, Tan M K, Ji S Y, et al. Optical design of laser confocal scanning microscopy[J]. Optical Instruments, 2016, 38(3): 221-225.

[11] Molesini G, Pedrini G, Poggi P, et al. Focus-wavelength encoded optical profilometer[J]. Optics Communications, 1984, 49(4): 229-233.

[12] Boyde A. Colour-coded stereo images from the tandem scanning reflected light microscope (TSRLM)[J]. Journal of Microscopy, 1987, 146(2): 137-142.

[13] Papastathopoulos E, Korner K, Osten W. Chromatic confocal spectral interferometry[J]. Applied Optics, 2006, 45(32): 8244-8252.

[14] Lyda W, Gronle M, Fleischle D, et al. Advantages of chromatic-confocal spectral interferometry in comparison to chromatic confocal microscopy[J]. Measurement Science and Technology, 2012, 23(5): 054009.

[15] Hillenbrand M, Mitschunas B, Wenzel C, et al. Hybrid hyperchromats for chromatic confocal sensor systems[J]. Advanced Optical Technologies, 2012, 1(3): 187-194.

[16] Darafon A, Warkentin A, Bauer R. Characterization of grinding wheel topography using a white chromatic sensor[J]. International Journal of Machine Tools and Manufacture, 2013, 70: 22-31.

[17] DarafonA. Measuring and modeling of grinding wheel topography[D]. Halifax: Dalhousie University, 2013.

[18] Wang A S, Xie B, Liu Z W. Design of measurement system of 3D surface profile based on chromatic confocal technology[J]. Proceedings of SPIE, 2018, 10616: 1061618.

[19] Miks A, Novak J, Novak P. Analysis of method for measuring thickness of plane-parallel plates and lenses using chromatic confocal sensor[J]. Applied Optics, 2010, 49(17): 3259-3264.

[20] Olsovsky C, Shelton R, Carrasco-Zevallos O, et al. Chromatic confocal microscopy for multi-depth imaging of epithelial tissue[J]. Biomedical Optics Express, 2013, 4(5): 732-740.

[21] Mullan F, Bartlett D, Austin R S. Measurement uncertainty associated with chromatic confocal profilometry for 3D surface texture characterization of natural human enamel[J]. Dental Materials, 2017, 33(6): e273-e281.

张昆, 余卿, 邵尊桂, 张一, 程方, 傅师伟. 基于彩色相机颜色转换算法的彩色共聚焦测量方法[J]. 光学学报, 2019, 39(12): 1212001. Kun Zhang, Qing Yu, Zungui Shao, Yi Zhang, Fang Cheng, Shiwei Fu. Chromatic Confocal Measurement Method Using Color Camera and Color Conversion Algorithm[J]. Acta Optica Sinica, 2019, 39(12): 1212001.

引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!