基于亚像素图像拼接的透明元件视觉测量方法

；通过添加网格背景实现透明元件特征匹配。所提基于滑动窗口预匹配、随机采样一致性筛选最佳偏移向量的配准算法，使图像拼接精度达到0.05 pixel，较已有研究明显提升。将该方案应用于透明光学元件视觉检测系统中，在移动精度仅为0.02 mm的条件下，获得了平均误差为0.12 pixel的图像拼接结果，实现了透明光学元件的大视场、高精度尺寸测量。

Abstract

A vision measurement scheme based on sub-pixel image stitching is proposed to solve the problems of unclear features of transparent optical elements, difficulty in the large field of view, and high-precision dimension measurement by machine vision. Furthermore, the rotation angle between the camera coordinate system and the world coordinate system is calibrated in the proposed scheme to obtain accurate scale factors and image-matching results. The rotation angle of the image coordinate system is less than 0.1° after correction. Additionally, feature matching of transparent components is achieved by adding a grid background. The proposed registration algorithm based on sliding window pre-matching and random sampling consistency to screen the best offset vector increases the image mosaic accuracy to attain 0.05 pixel, which is significantly improved compared with the previous studies. The scheme is applied to the vision inspection system of transparent optical elements. Under the condition that the moving accuracy is only 0.02 mm, the image mosaic result with an average error of 0.12 pixel is obtained, and the large field of view and high-precision size measurement of transparent optical elements are realized.

1　引言

“多色成像与无缝光谱巡天”模块是中国科学院载人空间站工程应用系统——“多功能光学设施”的天文终端模块，其中无缝光谱组件主要完成巡天观测任务中的无缝光谱观测。无缝光谱组件拼接光栅研制需得到光栅等透明光学元件高精度测量结果。机器视觉因其无接触、精度高的特点被应用到无缝光谱组件拼接光栅的高精度测量。

大视场精密测量通过局部成像、图像拼接来获得高分辨率图像，图像拼接的精度决定着测量精度^［1］。目前，提高图像拼接精度的方法主要有算法改进与移动精度提高2个方向。典型算法包括：基于特征的scale-invariant feature transform（SIFT）、speeded-up robust features（SURF）、oriented fast and rotated brief（ORB）的特征匹配方法^［2-4］、直方图分布法等；基于频域的相位相关法^［5］、扩展相位相关法^［6］；基于灰度相关的匹配算法^［7］。文献［8］将样条插值与相位相关法结合得到亚像素偏移向量，提高了图像配准精度。移动精度提高方面，文献［9-11］通过精度为1 $μ m$ 或0.2 $μ m$ 光栅进行精确定位结合图像匹配算法得到误差为0.8 pixel、0.2 pixel的图像拼接结果。以上研究的图像拼接均依赖被测对象的特征点匹配或运动结构的精度，并不适用于本研究中透明元件的视觉测量。

文献［12-14］利用图像灰度、表面疵病对透明元件进行图像配准，精度为像素级且不适用于图像信息不丰富的完好透明光学元件图像拼接。透明元件尺寸测量难点包含：1）如何通过特征匹配得到图像配准结果；2）校正系统误差以减小特征匹配误差，包括图像坐标系与世界坐标系的安装旋转角、CCD与基准面之间的旋转矩阵；3）图像拼接需达到亚像素精度，减小图像拼接对尺寸测量的影响。

本文通过添加网格背景实现透明元件图像拼接时的特征匹配，为实现重复特征的图像拼接，提出一种基于滑动窗口预匹配、随机采样一致性（RANSAC）筛选最佳偏移向量的图像拼接方法，在 $610 p i x e l \times 800 p i x e l$ 的图像拼接测试中拼接误差小于0.05 pixel。基于成像模型分析坐标系 $U$ 轴与 $X_{W}$ 轴夹角、 $V$ 轴与 $Y_{W}$ 轴夹角、CCD平面与世界坐标系 $Z_{W}^{'} = 0$ 平面旋转矩阵 $R (α, β)$ 并进行标定与校正，减小其对图像拼接与尺度因子标定的影响。在机器人移动精度仅为0.02 mm的情况下，得到拼接误差为0.12 pixel的大小为 $4976 p i x e l \times 3936 p i x e l$ 的标定板图像拼接结果。该方法对特征点加以滑动窗口限制得到预匹配关系，提高特征点匹配效率，降低特征点误匹配率，已成功应用于无缝光谱组件拼接光栅的高精度测量。对于透明光学元件视觉测量，在相机安装误差校正及图像拼接方面的研究具有积极的意义。

2　理论分析

2.1　系统设计

视觉检测系统如图1所示，机器人HBR560移动精度为0.02 mm，末端执行处安装直角支撑板固定相机。相机AVT2750与上位机相连，分辨率为2750 pixel $\times$ 2200 pixel。光源选择环形灯光，安装于远心镜头侧面，镜头畸变小于0.05%。下方测量平台添加如图2所示的网格背景并放置待测元件。网格背景位于元件边缘内侧且覆盖所有子图，该背景在较小重叠区域中提供足够多的特征点，以便进行特征匹配。测量平台所在世界坐标系与CCD图像坐标系之间存在旋转关系，因此需要进行误差校正。校正后机器人沿世界坐标系 $X_{W} 、 Y_{W}$ 轴移动，采集 $X_{W} 、 Y_{W}$ 方向上的局部图像并传到上位机进行图像处理。图像处理部分完成图像拼接与网格背景去除，最终边缘定位得到测量结果。该检测系统主要包含两个环节：1）误差校正，包括图像坐标系与世界坐标系的安装旋转角、CCD与 $Z_{W} = 0$ 之间的旋转矩阵；2）图像拼接，采用基于滑动窗口特征点匹配的亚像素图像拼接方法。

图 1. 视觉检测系统

Fig. 1. System of visual inspection

下载图片查看所有图片

图 2. 光学元件及网格背景

Fig. 2. Optical elements and gridding background

下载图片查看所有图片

2.2　坐标系标定与校正

图3（a）为CCD安装误差模型，图像坐标系 $U 、 V$ 轴应与世界坐标系 $X_{W} 、 Y_{W}$ 轴分别平行，CCD平面应与 $Z_{W} = 0$ 平面平行，但实际安装时存在偏差。需标定校正以下参数：1） $U$ 轴与 $X_{W}$ 轴夹角 $α_{U, X}$ ， $V$ 轴与 $Y_{W}$ 轴的夹角 $β_{V, Y}$ ；2）CCD平面与 $Z_{W}^{'} = 0$ 平面旋转矩阵 $R (α, β)$ 。

图 3. 系统误差。（a）CCD安装误差模型；（b）存在 $α_{U, X}$ 的成像模型

Fig. 3. System error. (a) Installation error model of CCD; (b) imaging model with $α_{U, X}$

下载图片查看所有图片

图像坐标系与世界坐标系的旋转角如图3（b）所示，CCD沿 $X_{W}$ 轴方向于 $O_{1}$ 与 $O_{2}$ 时采集图像，存在 $α_{U, X}$ 时，CCD位于矩形 $a' b' c' d'$ 位置，待拼接图像出现误对齐。特征点匹配需给定预匹配区域， $α_{U, X}$ 过大导致预匹配误差较大，影响配准结果。CCD平面 $U O' V$ 相对 $Z_{W} = 0$ 平面的位置关系如图3（a）所示， $Z_{W} = 0$ 平面安装时实际为 $Z_{W}^{'} = 0$ 平面，平面不平行导致尺度因子标定存在偏差并造成检测对象投影变形。标定时所采用的标定板为黑白棋盘格标定板，棋盘格数目为 $20 \times 16$ ，单格边长为1.0 mm，尺寸精度为 $\pm$ 0.001 mm，角度精度为 $\pm 1 μ r a d$ 。

2.2.1　坐标轴旋转角校正

世界坐标系标定时， $X_{W}$ 、 $Y_{W}$ 轴不完全垂直，因此校正时无法将 $α_{U, X}$ 与 $β_{V, Y}$ 完全消除。图像分辨率为 $R_{U} \times C_{V}$ ，校正目标修改为 $R_{U} \times s i n α_{U, X}$ 、 $C_{V} \times s i n β_{V, Y}$ 尽量小。

图4（a）为 $α_{U, X}$ 标定模型， $α_{U, X} = 0$ 时，重叠区域点P在左子图中的坐标为 $(u, v)$ ，右子图坐标为 $(u', v')$ ，此时 $v = v'$ ，但当 $α_{U, X} \neq 0$ 时， $v \neq v'$ 。分别采集具有重叠部分的黑白棋盘格标定板图像，重叠区域采集10组亚像素角点，根据式（1）计算 $α_{U, X}$ ，取平均值得到 $α_{U, X}$ 标定结果：

α_{U, X} = a r c t a n (\frac{a' d}{a d}) = a r c t a n (\frac{v - v'}{u - u'})

。（1）

图 4. 坐标系旋转角标定。（a） $α_{U, X}$ 标定；（b） $β_{V, Y}$ 标定

Fig. 4. Calibration of coordinate system rotation angle. (a) Calibration of $α_{U, X}$ ; (b) Calibration of $β_{V, Y}$

下载图片查看所有图片

$β_{V, Y}$ 的标定方法与 $α_{U, X}$ 一致，但此时 $U$ 轴与 $X_{W}$ 轴已平行， $β_{V, Y}$ 的存在是由于 $X_{W} 、 Y_{W}$ 轴不完全垂直，于是校正时如图4（b）所示，将 $Y_{W}^{'}$ 校正为 $Y_{W}$ 。

旋转角校正过程：1）沿 $X_{W}$ 移动并采集具有重叠区域的两幅图像，重叠区域选择10组亚像素角点，根据式（1）得到 $α_{U, X}$ ，移动机器人将CCD旋转对应角度以校正 $α_{U, X}$ ，校正后 $U$ 轴与 $X_{W}$ 轴平行；2）沿 $Y_{W}$ 移动并采集具有重叠区域的图像，计算方式同 $α_{U, X}$ ，得到 $β_{V, Y}$ ，通过重新标定机器人移动坐标系将 $Y_{W}^{'}$ 校正为 $Y_{W}$ 。此时， $X_{W}$ 与 $Y_{W}$ 轴垂直， $U$ 轴与 $X_{W}$ 轴平行， $V$ 轴与 $Y_{W}$ 轴平行，坐标系旋转角校正完成。

2.2.2　CCD平面与 $Z_{W}^{'} = 0$ 平面校正

由于存在 $R (α, β)$ ，实际世界坐标系与图像坐标系为 $X_{W}^{'} Y_{W}^{'} Z_{W}^{'}$ 与 $U O' V$ ，如图3（a）所示。为将 $X_{W}^{'} Y_{W}^{'} Z_{W}^{'}$ 校正为平行条件下的 $X_{W} Y_{W}^{} Z_{W}^{}$ ，需标定得到 $X_{W}^{'} Y_{W}^{'} Z_{W}^{'}$ 关于 $X_{W}$ 逆时针旋转的旋转角 $α$ 、关于 $Y_{W}$ 顺时针旋转的旋转角 $β$ 。

成像模型如图5所示， $Z_{W}^{'} = 0$ 平面存在矩形 $A B' C' D'$ ，其在 $X_{W} O Y_{W}$ 平面的投影为四边形 $A B C D$ ， $∠ C A B$ 记为 $∠ φ$ ， $X_{W}^{'} Y_{W}^{'} Z_{W}^{'}$ 坐标系中的 $Z_{W}^{'} = 0$ 平面与 $X_{W} O Y_{W}$ 平面的夹角为 $γ$ 。

图 5. 坐标系 $X_{W}^{'} Y_{W}^{'} Z_{W}^{'}$ 下的成像模型

Fig. 5. Imaging model with $X_{W}^{'} Y_{W}^{'} Z_{W}^{'}$

下载图片查看所有图片

为简化校正量关系，考虑 $A B' = A C'$ 、 $A B = A C$ 的特殊情况。首先调整 $A B - A C < ε$ （ $ε$ 足够小），由于 $A B 、 A C$ 在角度 $α 、 β$ 较小时变化很小，因此， $A B 、 A C$ 需尽量大。此时 $γ = ∠ D A D'$ ，由坐标系变换分析得到坐标系 $X_{W} Y_{W} Z_{W}$ 到 $X_{W}^{'} Y_{W}^{'} Z_{W}^{'}$ 的变换关系：

[\begin{matrix} x' \\ y' \\ z' \end{matrix}] = R_{Y, β} \times R_{X, α} \times [\begin{matrix} x \\ y \\ z \end{matrix}]

，（2）

式中 : R_{Y, β} = [\begin{matrix} c o s β & 0 & - s i n β \\ 0 & 1 & 0 \\ s i n β & 0 & c o s β \end{matrix}]; R_{X, α} = [\begin{matrix} 1 & 0 & 0 \\ 0 & c o s α & - s i n α \\ 0 & s i n α & c o s α \end{matrix}]

。

根据坐标变换，D'点坐标的Z分量为sin αcos β+ sin β，可知γ与α满足关系式：

γ = a r c s i n (\frac{s i n α c o s β + s i n β}{\sqrt[]{2}})

。（3）

通过 $C 、 C'$ 坐标变换与投影角度关系分析得到 $φ 、 α 、 β$ 关系为

s i n β s i n α - c o s α t a n (φ - 90 °) = 0

。（4）

又有 $A B = A C$ ，可知 $α 、 β$ 满足关系式：

c o s^{2} β = s i n^{2} β \times s i n^{2} α + c o s^{2} α

。（5）

CCD与 $Z_{W}^{'} = 0$ 平面校正过程如下：

1）标定板摆放时保持所选择的 $A B' 、 A C'$ 与 $U 、 V$ 轴尽量平行，采集标定板图像，角点检测得到 $A B 、 A C$ 长度，调整CCD绕 $U$ 或 $V$ 轴旋转微小角度，直到满足投影线段 $A B = A C$ ；

2）检测 $A B 、 A C$ 所包含的角点，采用最小二乘法拟合得到直线 $A B 、 A C$ 的方程，两直线夹角即为 $φ$ ，联立式（4）、（5）即可得到标定结果 $α$ 与 $β$ ；

3）校正时首先旋转CCD绕 $Y_{W}$ 逆时针旋转 $β$ ，再绕 $X_{W}$ 顺时针旋转 $α$ ，当误差 $Δ e = 2750 \times c o s γ$ 足够小时校正完成。

2.3　图像拼接

为得到亚像素级图像拼接结果，在图像配准时，采用角点作为特征点并进行角点亚像素定位。通过移动距离估计图像间粗匹配关系，提出一种基于滑动窗口预匹配、随机采样一致性筛选偏移向量最佳值的图像配准算法。

2.3.1　角点检测

角点检测常用方法包括Harris^［15］、Shi-Tomasi^［16］、SUSAN^［17］角点。Harris角点相较于SUSAN角点在准确率、漏检率上表现更好。本实验希望筛选得到最佳偏移向量，而Shi-Tomasi作为Harris的改进方法在很多情况下可得到更准确的检测结果，因此选择Shi-Tomasi角点。选择Gauss函数作为窗口核函数 $w (x, y)$ ，点 $(x, y)$ 的能量函数 $E (u, v)$ 为

E (u, v) = \sum_{x, y} w (x, y) [I (x + u, y + v) - I {(x, y)]}^{2}

，（6）

式中： $I (x + u, y + v) 和 I (x, y)$ 表示像素（x，y）附近像素（x+u，y+v）的灰度值与像素（x，y）的灰度值。当 $(u, v)$ 取任意值时，角点的 $E (u, v)$ 都将趋近于较大的值。将 $I (x + u, y + v)$ 泰勒近似取到一阶项，有

E (u, v) = [u, v] M [\begin{matrix} u \\ v \end{matrix}]

，（7）

式中： $M = \sum_{x, y} w (x, y) [\begin{matrix} I_{x}^{2} & I_{x} I_{y} \\ I_{x} I_{y} & I_{y}^{2} \end{matrix}]$ 。根据实对称矩阵正交相似对角化，令

M = P [\begin{matrix} λ_{1} & 0 \\ 0 & λ_{2} \end{matrix}] P^{T}

。（8）

此时， $E (u, v) = λ_{1} {(u')}^{2} + λ_{2} {(v')}^{2}$ ，可知 $λ_{1}$ 与 $λ_{2}$ 同时很大时，能量函数 $E (u, v)$ 为较大值。Harris角点令评价函数 $R = d e t M - k {(t r a c e M)}^{2}$ ， $k$ 为经验常数，取值为0.04~0.06。Shi-Tomasi角点检测将评价函数改进为 $R = m i n (λ_{1}, λ_{2})$ ：当 $M$ 的较小特征值大于阈值时，该点评价为强角点。

2.3.2　亚像素特征点定位

Shi-Tomasi角点精确到整数级，但角点通常不对应整数像素。图6为角点分析模型， $a$ 为角点， $b_{i}$ 为其邻域内一点，考虑以下情况：1） $b_{i}$ 位于均匀区域，则 $b_{i}$ 处的梯度 $\nabla G_{i}$ 为0；2） $b_{i}$ 位于边缘位置，则其梯度 $\nabla G_{i}$ 与 $\vec{a b_{i}}$ 垂直。

图 6. 角点分析模型

Fig. 6. Model of corner analysis

下载图片查看所有图片

综合两种情况均满足 $\sum \nabla G_{i} (\vec{a b_{i}}) = 0$ ， $\nabla G_{i}$ 为 $b_{i}$ 梯度。亚像素角点计算公式为

{a = \sum (\nabla G_{i}^{T} \nabla G_{i})}^{- 1} \times (\nabla G_{i}^{T} \nabla G_{i}) \times b_{i}

。（9）

由于各点对亚像素角点贡献不同，引入高斯权重 $δ_{i}$ ，得到亚像素角点计算公式为

a = \sum (\nabla G_{i}^{T} \nabla G_{i} δ_{i})^{- 1} \times (\nabla G_{i}^{T} \nabla G_{i} δ_{i}) \times b_{i}

。（10）

角点亚像素定位步骤如下：

1）a点为中心点，邻域 $Φ$ ，采用Sobel算子对 $Φ$ 卷积得到 $b_{i}$ 点的梯度 $\nabla G_{i}$ ；

2）利用式（10）得到新角点 $a_{n}$ 作为中心点，利用插值法得到新邻域 $Φ$ ；

3）重复步骤1）、2）直到满足迭代条件，连续两次迭代中心点的距离小于阈值 $σ$ ，本实验中 $σ$ 取 $10^{- 3}$ 。

2.3.3　特征点匹配

图7为滑动窗口特征点检测与匹配过程。重叠区域设置滑动窗口，窗口大小 $O_{w}$ 需满足 $O_{w} ≫ n$ ， $n$ 为校正后系统误差，小于10 pixel，本实验 $O_{w} = 50 p i x e l \times 50 p i x e l$ 。窗口沿 $U 、 V$ 轴同步移动，每移动一次，记录窗口中评价函数值最高的 $m$ 个特征点在窗口内的坐标，为减少误匹配，本实验中取 $m = 2$ 。同组窗口下的特征点为可能的对应特征点，记录每组可能对应特征点之间的坐标偏移量 $(D_{x}, D_{y})$ 组成偏移向量数据集 $D (D_{x}, D_{y})$ ，显然 $D$ 中存在误匹配偏移向量。

图 7. 基于滑动窗口特征点匹配示意图

Fig. 7. Schematic diagram of feature point matching based on sliding window

下载图片查看所有图片

RANSAC通过迭代方式筛选符合模型的局内点，去除偏离模型的局外点。将RANSAC思想应用到偏移向量集 $D$ 的局内点筛选，以获得偏移向量最佳值。图8为偏移向量筛选原理，离群值为误匹配点间的偏移向量，成功匹配的偏移向量位于实际偏移量 $(E_{x}, E_{y})$ 附近并组成数据点群。筛选局内点步骤如下：

图 8. 偏移向量筛选

Fig. 8. Filter of offset vector

下载图片查看所有图片

1）设定阈值 $r$ ，集合内每两个点作为直径，计算半径不超过 $r$ 的圆记为模型 $C$ ；

2）模型 $C$ 内的点为局内点，统计样本集中模型 $C$ 的局内点数量；

3）局内点最多的模型为最佳模型 $C_{b e s t}$ ，局内点平均值为偏移向量最佳值。

2.3.4　亚像素级图像拼接

利用双线性插值实现图像拼接，加权平均值法实现图像融合。待拼接子图为 $I_{1}$ 与 $I_{2}$ ，图像配准偏移向量为 $(x_{1 - 2}, y_{1 - 2})$ ，像素灰度计算公式为

I_{m} (x, y) = \{\begin{matrix} I_{1} (x, y), & (x, y) \in I_{1}, (x, y) \notin O_{A} \\ I_{m e r g e} (x, y), & (x, y) \in O_{A} \\ I^{'} (x, y), & (x, y) \in I_{2}, (x, y) \notin O_{A} \end{matrix}

，（11）

式中： $I^{'} (x, y)$ 是插值重建的 $I_{2}$ ； $I_{m e r g e} (x, y)$ 为重合区域图像融合结果； $O_{A}$ 为重合区域。

图像融合在图像拼接时用于去除缝合线。利用加权平均值融合去裂缝，权重 $α$ 与当前点到重叠区域边界距离成正比，加权平均融合获得重合区域像素灰度值：

I_{m e r g e} (i, j) = I_{1} (i, j) \times α + I' (i, j) \times (1 - α)

。（12）

3　实验验证

3.1　标定

根据第2.2.1节方法得到的 $α_{U, X}$ 、 $β_{V, Y}$ 进行图像坐标系与世界坐标系的标定与校正。图像采集时，两次采集距离为2/3视场以上。校正前 $α_{U, X} = 0.34 °$ 、 $β_{V, Y} = 0.78 °$ ，对粗匹配影响分别为 $16.3 p i x e l [2750 \times t a n (0.34 °)]$ 与 $29.9 p i x e l [2200 \times t a n (0.78 °)]$ ，即重叠区域同一点坐标粗匹配误差为16.3 pixel与29.9 pixel，此时滑动窗口内特征点出现大量不匹配情况。校正后 $α_{U, X} = 0.055 °$ 、 $β_{V, Y} = 0.024 °$ ，粗匹配坐标误差在 $U$ 轴、 $V$ 轴上分别为2.66 pixel、0.90 pixel。校正结果有利于得到准确的预匹配关系、提高滑动窗口中的特征点匹配率。

CCD平面与 $Z_{W}^{'} = 0$ 平面标定，调整得到 $A B$ 为1748.81 pixel、 $A C$ 为1748.66 pixel。采集标定板图像后 $φ = 90.18 °$ 、 $α = 3.19 ° 、 β = 3.18 °$ 、 $γ = 4.50 °$ 。此时， $2750 \times c o s (4.50 °) = 2741.51 p i x e l$ ，即实际占2750 pixel的线段成像后只占2741.51 pixel。校正后 $φ$ =90.02°、 $α = 1.0026 °$ 、 $β = 1.028 °$ 、 $γ = 1.44 °$ ，实际2750 pixel的线段成像后为2749.13 pixel，误差很小。由于 $φ$ 拟合时本身存在误差且校正结果已满足需求，校正完成。利用标定板标定尺度因子 $k_{w - c} = 4.57 μ m / p i x e l$ 。

3.2　算法测试

为验证图像拼接算法准确性，选择610 pixel $\times$ 800 pixel的测试图像、50 pixel $\times$ 50 pixel的 $O_{w}$ 进行算法测试，阈值 $r$ 设为0.3~1 pixel。取不同图像偏移向量（范围0~10 pixel）得到15组测试图像，偏移向量 $(T_{U}, T_{V})$ 与测试结果 $(T_{U}^{'}, T_{V}^{'})$ 的对比如表1所示。最佳模型 $C_{b e s t}$ 与偏移向量内点筛选结果如图9所示，筛选得到偏移向量局内点集合。由表1可知，对于尺寸为610 pixel $\times$ 800 pixel的测试图像， $U$ 、 $V$ 轴拼接误差平均值均为0.04 pixel，有效提高了图像拼接精度，拼接误差最大值为0.1 pixel，算法稳定性也很高。

表 1. 偏移向量测试结果

Table 1. Test results of offset vector

No.	$T_{U}$	$T_{U}^{'}$	$Δ T_{U}$	$T_{V}$	$T_{V}^{'}$	$Δ T_{V}$
1	1.10	1.07	0.03	1.10	1.05	0.05
2	2.20	2.17	0.03	2.20	2.13	0.07
3	2.65	2.62	0.03	2.65	2.66	0.01
4	3.15	3.10	0.05	3.15	3.07	0.08
5	3.30	3.28	0.02	3.30	3.29	0.01
6	4.40	4.37	0.03	4.40	4.32	0.08
7	5.50	5.53	0.03	5.50	5.42	0.08
8	6.60	6.61	0.01	6.60	6.68	0.08
9	7.75	7.84	0.09	7.75	7.67	0.08
10	7.70	7.74	0.04	7.70	7.67	0.03
11	8.50	8.53	0.03	8.50	8.47	0.03
12	8.80	8.83	0.03	8.80	8.77	0.03
13	8.85	8.95	0.10	8.85	8.86	0.01
14	9.90	9.93	0.03	9.90	9.93	0.03
15	10.00	9.99	0.01	10.00	10.00	0.00

查看所有表

图 9. 内点筛选结果

Fig. 9. Results of interior point screening

下载图片查看所有图片

3.3　尺寸测量实验

3.3.1　标定板测试

实际拼接误差测试利用棋盘格标定板进行，机器人移动控制CCD在X轴移动距离为10 mm，Y轴为8 mm，采集2 $\times$ 2幅图像，小图分辨率为 $2750 p i x e l \times 2200 p i x e l$ ，拼接得到标定板完整图像。图像拼接误差来自重叠区域的缝合处，因此，对比拼接缝处单个棋盘格所占像素与非缝合线处单个棋盘格所占像素即可得到拼接误差。单个棋盘格所占像素通过棋盘格的角点亚像素定位并计算角点距离即可。表2为拼接缝处与非拼接缝处1 mm所占像素对比，结果显示，本实验的图像拼接方法在实际应用时图像拼接精度得到有效提升，标定板实验中拼接所得的图像分辨率为 $4976 p i x e l \times 3936 p i x e l$ ，平均拼接误差约0.12 pixel。通过标定板实验可知，视觉系统在经过坐标系校正后，图像拼接算法对所获得的实际元件拼接图像的拼接误差很小，对尺寸测量时的影响极小，该视觉系统拼接所得图像满足精密测量的要求。

表 2. 单位长度在拼接处与非拼接处所占像素对比

Table 2. Pixels per unit length compared at stitching and unstitched area

No.	Stitching area	Unstitched area	Error
Average	218.87	218.79	0.12
1	218.89	218.78	0.12
2	218.74	218.80	0.05
3	218.93	218.78	0.15
4	218.71	218.82	0.10
5	218.82	218.85	0.03
6	218.93	218.76	0.18
7	218.74	218.70	0.03
8	218.94	218.71	0.23
9	219.02	218.82	0.20
10	218.94	218.85	0.08

查看所有表

3.3.2　透明光学元件尺寸测量

误差校正完成、采集标定板图像并获得尺度因子 $k_{w - c}$ 后，在测量平台上放置待测透明元件，机器人于 $X_{W}$ 、 $Y_{W}$ 轴移动，移动距离分别为10 mm与8 mm，对透明光学元件采集图像并进行图像拼接。采集的3 $\times$ 3共9幅子图如图10（a）所示，拼接得到完整图像并去背景得到的测试元件如图10（b）所示，分辨率为 $7172 p i x e l \times 5662 p i x e l$ 。拼接衔接处无明显的灰度跳变，拼接缝有效去除。

图 10. 光学元件拼接。（a）图像采集；（b）图像去背景

Fig. 10. Optical element splicing. (a) Image acquisition; (b) image after removing background

下载图片查看所有图片

选取边界点，拟合边界所在直线并求边界直线之间的距离得到测量结果，并将其与工具测量尺寸进行对比，如表3所示。人工筛选边界点时未精确到亚像素边缘导致视觉测量结果中含一定误差，但视觉系统测量结果平均值仍与人工测量结果偏差在1 pixel以内，亚像素图像拼接对测量结果的影响很小，后续通过边缘亚像素定位可将视觉系统的测量结果进一步提升。

表 3. 视觉测量与人工测量对比

Table 3. Comparison between visual measurement and manual measurement

No.	Artificial	Visual
Average	19946	19946.86
1	19945	19943.88
2	19948	19949.07
3	19946	19948.35
4	19946	19944.82
5	19945	19948.21

查看所有表

4　结论

针对透明光学元件大视场高精度尺寸测量中，CCD分辨率与视场相互制约、透明光学元件特征点不明显，难以进行特征匹配的问题，提出一种基于亚像素图像拼接的视觉测量方法。该方法通过分析成像模型完成相机外参-旋转矩阵的标定，对透明元件添加特征背景进行图像配准得到亚像素偏移向量，图像拼接精度远高于运动机构的移动精度。相较于文献［10-11］，所提方法应用于实际测量系统时对机器人的定位精度为0.02 mm，但图像拼接精度提高到0.12 pixel，拼接精度明显提升，图像拼接结果对尺寸测量影响极小。该视觉测量系统适用于二维图像拼接的透明光学元件与非透明元件测量，但由于待测量元件边缘难以精确定位，需要对边缘定位进一步研究以获得更精确的测量结果。

参考文献

[1] 刘飞, 吴晓琴, 赵琳, 等. 广域高分辨率计算光学成像系统研究进展[J]. 激光与光电子学进展, 2021, 58(18): 1811001.

Liu F, Wu X Q, Zhao L, et al. Research progress of wide-field and high-resolution computational optical imaging system[J]. Laser & Optoelectronics Progress, 2021, 58(18): 1811001.

[2] Lowe D G. Distinctive image features from scale-invariant keypoints[J]. International Journal of Computer Vision, 2004, 60(2): 91-110.

[3] Bay H, Ess A, Tuytelaars T, et al. Speeded-up robust features (SURF)[J]. Computer Vision and Image Understanding, 2008, 110(3): 346-359.

[4] RubleeE, RabaudV, KonoligeK, et al. ORB: an efficient alternative to SIFT or SURF[C]∥2011 International Conference on Computer Vision, November 6-13, 2011, Barcelona, Spain. New York: IEEE Press, 2011: 2564-2571.

[5] 方俊伟, 翟超, 金熠. 相位相关法实现图像拼接的仿真与优化[J]. 计算机应用与软件, 2008, 25(1): 207-208.

Fang J W, Zhai C, Jin Y. Simulation and optimization of phase correlation algorithms in image mosaics[J]. Computer Applications and Software, 2008, 25(1): 207-208.

[6] de Castro E, Morandi C. Registration of translated and rotated images using finite Fourier transforms[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1987(5): 700-703.

[7] 李晓娟. 图像拼接技术研究[D]. 西安: 西安电子科技大学, 2007.

LiX J. Research on image mosaic technology[D]. Xi’an: Xidian University, 2007.

[8] 赵飞, 王仲, 叶声华. 基于图像拼接的微小零件视觉检测方法[J]. 宇航计测技术, 2006, 26(4): 8-12.

Zhao F, Wang Z, Ye S H. Vision measurement method based on image mosaicing for micro-part[J]. Journal of Astronautic Metrology and Measurement, 2006, 26(4): 8-12.

[9] 王小龙. 基于光栅定位的序列图像快速拼接技术研究[D]. 成都: 四川大学, 2004.

WangX L. Study on fast mosaic technique of sequence images based on orientation by grating[D]. Chengdu: Sichuan University, 2004.

[10] 陈世哲, 胡涛, 刘国栋, 等. 基于光栅的快速精确图像拼接[J]. 光学精密工程, 2006, 14(2): 242-246.

Chen S Z, Hu T, Liu G D, et al. Fast and precision image mosaic based on grating[J]. Optics and Precision Engineering, 2006, 14(2): 242-246.

[11] 宋昀岑, 陈伟, 叶玉堂, 等. 具重复特征的大物面自动视觉检测中的亚像素级拼接[J]. 光学学报, 2014, 34(3): 0315002.

Song Y C, Chen W, Ye Y T, et al. Sub-pixel stitching method for large object with duplicate texture of automatic visual inspection[J]. Acta Optica Sinica, 2014, 34(3): 0315002.

[12] 陆春华. 基于机器视觉的大口径精密表面疵病检测系统研究[D]. 杭州: 浙江大学, 2008.

LuC H. Research on machine vision-based large-aperture precision surface defect detection system[D]. Hangzhou: Zhejiang University, 2008.

[13] 冯博, 陈凤东, 张建隆, 等. 基于图像拼接的惯性约束聚变终端光学元件在线检测[J]. 光学精密工程, 2014, 22(3): 555-561.

Feng B, Chen F D, Zhang J L, et al. Online inspection of final optics based on image mosaic for ICF system[J]. Optics and Precision Engineering, 2014, 22(3): 555-561.

[14] 刘旭, 任寰, 杨一, 等. 适合表面疵病检测的图像拼接方法[J]. 中国激光, 2010, 37(S1): 234-238.

Liu X, Ren H, Yang Y, et al. Sub-aperture synthesis method for detecting defects of optical components[J]. Chinese Journal of Lasers, 2010, 37(S1): 234-238.

[15] HarrisC G, StephensM J. A combined corner and edge detector[C]∥Proceedings of the Alvey Vision Conference 1988, September, 1988, Manchester, UK. London: Alvey Vision Club, 1988: 147-151.

[16] ShiJ B, Tomasi. Good features to track[C]∥1994 Proceedings of IEEE Conference on Computer Vision and Pattern Recognition, June 21-23, 1994, Seattle, WA, USA. New York: IEEE Press, 1994: 593-600.

[17] Smith S, Brady J. SUSAN: a new approach to low level image processing[J]. International Journal of Computer Vision, 1997, 23(1): 45-78.

Z_{W}^{'} = 0

李世林, 戴松新, 胡中文, 季杭馨. 基于亚像素图像拼接的透明元件视觉测量方法[J]. 激光与光电子学进展, 2023, 60(6): 0615004. Shilin Li, Songxin Dai, Zhongwen Hu, Hangxin Ji. Visual Measurement Method for Transparent Elements Based on Sub-Pixel Image Mosaics[J]. Laser & Optoelectronics Progress, 2023, 60(6): 0615004.