国内外很多学者已经对光学元件表面缺陷的在线检测技术进行了研究^[4-9]，对于光学系统中多个光学元件缺陷的检测通常采用暗场成像技术，光学元件如果产生缺陷，在照明光源的作用下缺陷处会产生散射光，利用图像采集系统可以采集到暗背景下的明亮缺陷图像。变焦距系统^[10-14]通过机械移动镜组或者改变像面位置的方式可以实现焦距的连续变化，依次对焦不同物距下的每个光学元件，可以明确区分所探测损伤光学元件的位置，且检测精度较高，再结合成像系统的放大倍率可以得到缺陷的几何特征，方便更换存在损伤的元件。但是这种光学元件在线缺陷检测方式存在着一定的局限性：依次调焦的方式，不仅操作复杂且对调焦位移精度要求较高，难以实现真正意义上的在线检测；景深内无法区分开不同光学元件具有的缺陷，不能同时对多个光学元件表面缺陷进行在线检测。为此，本文提出了一种利用相机阵列对多个光学元件进行在线检测的方法，利用此方法可以一次性拍照成像之后再通过数字重聚焦算法得到景深内不同物距下的多个光学元件表面缺陷分布状况。

光学元件表面质量的好坏对光学系统的性能有着重要的影响，如果光学元件表面出现缺陷，整个光学系统的光学质量将会下降，产生杂散光，严重影响成像质量^[1-2]。光学仪器要想保持正常运行的工作状态，不仅需要在元件加工阶段严格控制光学元件的表面质量，在光学元件装配成光学系统之后进行在线检测也是必不可少的工作。光学元件表面缺陷主要是指元件表面存在的麻点、划痕、破边等^[3-5]，产生的原因是在加工过程中引入的加工缺陷或后续运输阶段的不当操作。

1 成像原理

根据相机成像模型^[15-17]，物体空间到图像空间的成像过程是一个投影变换，在不考虑成像镜头畸变的情况下，对于物空间的一点 $O{(X,Y,Z)^T}$投影到图像平面，世界坐标系到图像坐标之间的变换关系如下

1$ \left[ {\begin{array}{*{20}{c}} x\\ y\\ 1 \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {\dfrac{f}{{{f_x}}}}&{\dfrac{{ - f}}{{{f_x}{\rm{tan}}\theta }}}&{{x_0}}\\ 0&{\dfrac{f}{{{f_y}{\rm{tan}}\theta }}}&{{y_0}}\\ 0&0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{R}}&{{t}}\\ 0&1 \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {\begin{array}{*{20}{c}} X\\ Y \end{array}}\\ {\begin{array}{*{20}{c}} Z\\ 1 \end{array}} \end{array}} \right] = {{K}}\left[ {\begin{array}{*{20}{c}} {{R}}&{{t}}\\ 0&1 \end{array}} \right] \left[ {\begin{array}{*{20}{c}} {{W}}\\ 1 \end{array}} \right] $

式中：K是相机内参数矩阵，表示世界坐标系下点经过摄像机的镜头转化为像素点的过程； $\left[ {\begin{array}{*{20}{c}} {{R}}&{{t}}\\ 0&1 \end{array}} \right]$是相机外参数矩阵，表示世界坐标系下的相机的位置和朝向；R为旋转矩阵；t为平移矩阵； $\left( {x,y} \right)$是O点通过相机成像的图像坐标系下的坐标；f为相机镜头焦距； $\left( {{x_0},{y_0}} \right)$为图像主点位置； ${f_x}$和 ${f_y}$分别表示在x坐标轴、y坐标轴的有效焦距。

如图1所示，为计算方便，光路图中像平面置于相机光心平面之前，不影响计算。位于不同空间位置处的相机对于要聚焦的物平面中的任意一物点p，对应在C₀相机图像坐标 ${{q}}'$和C₋₁相机图像坐标 ${{q}}$之间满足一定的关系

图 1. Schematic diagram of the same object imaging separately in the camera array

Fig. 1. Schematic diagram of the same object imaging separately in the camera array

下载图片 查看所有图片

2${{q'}} = {{K'}}({{R}} + {{t}}{{{w}}^{{{\rm{T}}}}}){{{K}}^{ - 1}}{{q}}$

式中：R是C₀相机和C₋₁相机坐标系之间的相对旋转矩阵；t是C₀相机相对C₋₁相机坐标系的平移矩阵； ${{w}} = \dfrac{{{n}}}{{{Z}}}$，n是聚焦平面的法向量；Z是相机光心到聚焦物平面之间的距离； ${{K'}}$是C₋₁相机内参数矩阵；如果C₀相机位置是C₋₁相机通过位移台移动所得，则有 ${{K}} = {{K'}}$。

令 ${{H}} = {{K'}}({{R}} + {{t}}{{{w}}^{\rm{T}}}){{{K}}^{ - 1}}$，则H是由将要聚焦的物平面引出的C₀相机与C₋₁相机图像平面对应的矩阵，聚焦物平面物距不一样，对应的矩阵也不一样。

数字重聚焦过程数学表达式如下^[15-17]

3${{{I}}_{{\rm{rf}}}}^\prime = \frac{{\rm{1}}}{N}\sum\nolimits_{i = {\rm{1}}}^N {{{{H}}_i}} {I_i}$

式中：N是相机数量；I_i是第i台相机的图像；H_i是第i台相机对应的矩阵。从上述表达式可以看出，对应矩阵H会随着聚焦平面物距的变化随之发生变化，如果空间中的某一点正好处于聚焦的物平面上，则该物点投影的像点满足式（3），对所有相机对应于此物点的像点进行累加求均值之后，可以得到这个点的清晰像。相反，如果空间中的某一点不在聚焦物平面上，那么对应的像点则不满足上面的变换关系，此时每个相机累加起来的像点则是来自不同的空间点，像点变得很模糊。于是可以实现不同焦距下的成像效果，从而可以实现对不同物距下的目标进行成像，此时非聚焦面上的缺陷点就会形成混叠噪声，需要在后续图像处理阶段进行考虑。

空间分辨率是成像系统在垂直于镜头光轴的物平面上能够区分的最小尺寸，是检测系统的一个重要参数。假设成像的艾里斑小于像素尺寸，忽略衍射效应，结合物像关系可以得到，成像系统可以区分的最小物面尺寸p满足

7$\frac{p}{c} = \frac{L}{l}$

8$\frac{1}{L} + \frac{1}{l} = \frac{1}{f}$

式中：c为像素大小；p为物平面的最小尺寸；L为物距； $l$为像距； $f$为镜头焦距。由（4），（5）式可得 $p = \dfrac{{c(L - f)}}{f}$。当对不同物距下的物面信息进行重新聚焦时，物距越小，可以区分物平面的最小尺寸p越小。

2 模拟仿真

根据几何光学与光线追迹理论的相关内容，利用MATLAB仿真软件来模拟相机阵列成像过程和数字重聚焦过程。利用计算机仿真生成三个目标，如图2所示，分辨率均为300×300，分别位于三个平行平面且距离相机平面分别为2 600，3 000，3 600 mm。相机的阵列数M×M；相机基线间距为16.5 mm；镜头焦距 $f$＝30 mm；镜头F数为10；CCD像素为1 024×1 024；像元大小为5.5 μm×5.5 μm。通过成像系统景深公式计算可得，前景深为461 mm，后景深为665 mm，三个仿真物体均位于景深范围之内。

图 2. Three simulated objects with different object distances

Fig. 2. Three simulated objects with different object distances

下载图片 查看所有图片

通过张正友标定算法^[18]可以得到相机的内外参数矩阵，在这里令内参数矩阵

${{K}} = \left[ {\begin{array}{*{20}{c}} {{\rm{5\;454}}{\rm{.545}}}&{\rm{0}}&{{\rm{512}}} \\ {\rm{0}}&{{\rm{5\;454}}{\rm{.545}}}&{{\rm{512}}} \\ {\rm{0}}&{\rm{0}}&{\rm{1}} \end{array}} \right]$

外参数平移矩阵 ${{t}} = \left[ {\begin{array}{*{20}{c}} {{\rm{33}}}&{{\rm{49}}{\rm{.5}}}&{\rm{0}} \end{array}} \right]$，旋转矩阵为单位矩阵。

利用相机阵列对三个不同物距下的光学元件进行成像，利用物像关系根据三个目标与相机的距离可得像距分别为30.252，30.303，30.35 mm。以5×5相机阵列获取到的图像为例，如图3所示，图（a）是相机阵列中各相机对目标的成像，图（b）是对（a）的局部放大图，可以看出，相机可以对景深范围内各光学元件表面缺陷进行清晰成像。

图 3. 5×5 camera array simulation imaging

Fig. 3. 5×5 camera array simulation imaging

下载图片 查看所有图片

接下来，利用提前标定好的相机内外参数矩阵，将不同相机采集到的图像投影到指定的物平面的成像平面，然后通过公式（3）对每个相机图像投影之后的图像进行叠加并求平均值获得重聚焦图像，这样可以依次得到不同物距下的光学元件表面缺陷的成像图像。对相机阵列采集到的图像进行数字重聚焦如图4所示。

图 4. Digital refocusing results of surface defects of optical elements at different object distances

Fig. 4. Digital refocusing results of surface defects of optical elements at different object distances

下载图片 查看所有图片

光学组件缺陷检测结果如图5所示，红色区域是2 600 mm物距处的光学元件缺陷，白色区域是3 000 mm物距处的光学元件缺陷，绿色区域是3 600 mm物距处的光学元件缺陷。

图 5. Schematic diagram of defect detection results of optical components

Fig. 5. Schematic diagram of defect detection results of optical components

下载图片 查看所有图片

根据仿真计算结果，在2 600 mm物距处的空间放大率为0.012，成像视场为469 mm，单个像素对应的物方分辨率大小为0.458 mm；该光学检测系统在3 000 mm物距处的空间放大率为0.01，成像视场为563 mm，单个像素对应的物方分辨率大小为0.55 mm；在3 600 mm物距处的空间放大率为0.008 4，成像视场为670 mm，单个像素对应的物方分辨率大小为0.655 mm。

通过仿真可以看出，每个相机对景深范围内目标可以进行清晰成像，符合参数设计预期，所成图像也基本符合真实相机阵列的成像规律。与传统调焦成像相比，基于相机阵列成像虽然可以真正实现多个光学元件在线检测，可进行数字重聚焦，但相机间的稀疏分布使得光场角度欠采样，会使得聚焦物面图像产生混叠噪声，即非聚焦区域最终成像存在明显的边缘重复。通过对相机阵列采集到的图像进行数字重聚焦，可以得到不同物距下的光学元件表面缺陷信息分布。

为了定量地表征数字重聚焦的像质，将不同物距下的三个模拟目标采用依次对焦成像的图像作为参考图像，对不同相机阵列数目重聚焦的图像的像质进行定量评价，以目标3为例，如表1所示。

从图4中可以看出，聚焦物平面的缺陷信息与非聚焦物平面背景有着良好的强度对比，从峰值信噪比（PSNR）和均方误差（MSE）两个方面进行量化。通过仿真发现，随着阵列数的增大，PSNR逐渐变大，MSE逐渐变小，说明随着相机阵列数目的增大，相机阵列等效口径越大，数字重聚焦的像质越好，但是像质变化的速度逐渐变缓，此时相机阵列数目的变化对重聚焦成像的像质改善作用不大。应该考虑到在线检测系统空间有限，在提升检测效率的同时兼顾检测系统的复杂程度来设计相机阵列的数量，同时后续通过图像处理最终获得不同物距下的光学元件表面缺陷信息特征。

3 实验和分析

3.1 实验系统设计

基于以上理论分析，搭建了一套如图6所示的基于相机阵列的光学组件表面缺陷检测系统。检测系统主要是由光学组件、照明系统、相机阵列组成。照明方式对成像系统获得高缺陷信噪比的图像非常重要，在本实验中采用了300 mm条形白光源掠入射照明来提高缺陷的对比度，通过光源控制器控制光源的功率大小，实验在暗室环境中进行以降低杂光干扰。

图 6. Schematic diagram of optical components defect detection based on camera array

Fig. 6. Schematic diagram of optical components defect detection based on camera array

下载图片 查看所有图片

三个光学元件为表面有缺陷的200 mm×200 mm有机玻璃板，距离相机光心平面分别为2 380，2 580和2 780 mm。相机的阵列数为5×5；相机基线间距30 mm。可见光波段CCD，分辨率为2 048×2 048，像素大小5.5 μm。光学定焦镜头F数为1.4，焦距50 mm，波段为400～700 nm；为达到阵列相机的效果，利用有效平移范围为150 mm×150 mm的二维平移台带动相机移动。成像系统对焦物距为2 580 mm时，通过成像系统景深公式计算可得，前景深为211 mm，后景深为252 mm，三个物体均位于成像系统景深范围之内，因此在阵列相机中均可清晰成像。CCD像素大小为5.5 μm，当像点为一个像素大小时，对应物距为2 380 mm的目标1物空间的尺寸，即空间分辨率为0.256 3 mm；对应物距为2 580 mm的目标2物空间的空间分辨率为0.278 3 mm；对应物距为2 780 mm的目标3物空间的空间分辨率为0.300 3 mm。

阵列相机成像之前要确定相机的内外参数矩阵，建立物空间物点到图像坐标系像点的映射关系，即阵列相机标定的过程，本实验采用张正友标定算法^[18]，该算法精度高、操作简单，是相机标定领域最为经典的算法之一。本文使用的平面黑白棋盘格标定板标定相机，标定板每个方格边长均为30 mm。

3.2 实验结果与分析

从不同角度、不同距离拍摄14幅图像对棋盘图像进行标定，通过MATLAB相机标定工具箱计算获得相机内参数矩阵

${{K}} = \left[ {\begin{array}{*{20}{c}} {{\rm{9\;007}}{\rm{.5}}}&{\rm{0}}&{\rm{0}} \\ {\rm{0}}&{{\rm{9\;008}}{\rm{.8}}}&{\rm{0}} \\ {{\rm{1\;020}}{\rm{.6}}}&{{\rm{1\;002}}{\rm{.3}}}&{\rm{1}} \end{array}} \right]$

按照图6相机阵列光路检测示意图进行验证性实验，利用相机阵列采集缺陷图像。不同物距所对应的单应矩阵H不一样，对相机阵列采集到的图像进行数字重聚焦，分别得到不同物距下的光学元件表面缺陷的成像图像，如图7所示，利用相机分别对焦不同物距下的三块光学元件的缺陷图像，每块光学元件缺陷的轮廓清晰，在本实验中以离线检测三块光学元件的缺陷检测结果作为对比标准。

图 7. Digital refocusing results of the three targets

Fig. 7. Digital refocusing results of the three targets

下载图片 查看所有图片

从重聚焦图像 $f(x,y)$中提取出缺陷点的一种常用方法是选取一个阈值T来分割背景和目标，满足 $f(x,y) > T$条件，二值化图像 $g(x,y) = 1$的点 $(x,y)$为目标点，其他点为背景点。在本实验中，当T＝101时，缺陷点与背景能够完全区分开，采取同样的T对重聚焦图像和离线检测图像进行二值化，并对二值化图像进行开运算，最后统计缺陷点的长度和宽度等特征信息。图8是数字重聚焦以后的不同光学元件表面缺陷点与离线检测时缺陷点的长度和宽度对比示意图，通过对比可以发现，数字重聚焦以后的光学元件缺陷点所占像素和离线检测时的缺陷点所占像素的变化趋势大致相似，说明了基于相机阵列的多个光学元件缺陷在线检测技术是可行的。但是数字重聚焦下的缺陷点所占像素无论长度还是宽度，都略大于离线检测时的缺陷点所占像素，产生此误差的主要原因是：光学元件材料的不均匀性引起的成像像差以及标定阶段存在一定的误差，以后将继续围绕提升检测精度开展工作。至此，完成了基于相机阵列的光学组件表面缺陷在线检测方法的原理验证实验。

图 8. Schematic diagram of length and width comparison of defects’ external rectangle under digital refocusing and off-line detection methods

Fig. 8. Schematic diagram of length and width comparison of defects’ external rectangle under digital refocusing and off-line detection methods

下载图片 查看所有图片

相比传统调焦的在线检测方法，基于相机阵列的光学组件表面缺陷在线检测方法有一些独特的优势，首先，集成后的相机阵列可以对装配好的光学系统进行缺陷检测，可以同时对多个光学元件进行在线检测，可以更好地辅助光学系统的工作。其次，相机阵列还具备深度估计的能力，可以对光学系统中产生缺陷的光学元件进行定位，方便更换和维修。最后，基于波前编码技术的长景深相机具备长景深进行成像的能力，结合本文的检测方法可以提高多个光学元件表面缺陷在线检测的精度和效率。

4 结　论

本文针对光学系统中序列光学组件提出了基于相机阵列的光学组件表面缺陷在线检测方法，建立了相机阵列的成像模型并给出了数字重聚焦表达式，以及空间分辨率的表达式。接着利用MATLAB模拟相机阵列成像过程和数字重聚焦过程。最后通过实验验证了相机阵列检测系统对光学组件缺陷检测的可行性，对比相机阵列数字重聚焦和离线检测缺陷点的外接矩形长度和宽度，结果表明，本文提出的检测技术能够同时对位于景深范围内的多个光学元件进行在线检测。将来可以结合长景深成像技术方面进行进一步研究，该方法在光学元件缺陷在线检测中有着一定的应用前景。