基于区域蛙跳搜索与轮廓匹配的显微图像拼接

颜振翔; 王寒迎; 石齐双; 莫艳红; 杨辉华

doi:doi:10.3788/LOP56.151002

激光与光电子学进展, 2019, 56 (15): 151002, 网络出版: 2019-08-05

基于区域蛙跳搜索与轮廓匹配的显微图像拼接下载： 866次

Microscopic Image Stitching Based on Regional Frog Leaping Search Algorithm and Image Contour Matching

论文大纲

颜振翔 ^1,*王寒迎 ¹石齐双 ²莫艳红 ¹杨辉华 ^2,3

作者单位

¹ 桂林电子科技大学电子工程与自动化学院, 广西桂林 541004

² 桂林电子科技大学计算机与信息安全学院, 广西桂林 541004

³ 北京邮电大学自动化学院, 北京 100876

图像处理图像拼接线索感知相似度蛙跳策略轮廓曲线 image processing image stitching clue-aware similarity frog leaping strategy contour curve

AI 词云图 AI一句话精读 AI短摘要

注：本部分内容由 AI 自动生成，请您知悉。

摘要

为解决传统显微图像拼接中产生的几何畸变和错位,及特征稀少造成的正确匹配率低、时效性差等问题,提出基于区域蛙跳搜索和图像轮廓匹配的拼接算法。提取连续采集且有重叠区域的图像轮廓曲线;引入轮廓线索感知相似度和均方误差距离,计算图像轮廓曲线间的相似度或曲线离散距离,并将其作为匹配的衡量指标;在决策域内采用区域蛙跳算法更新鸣叫分贝和蛙跳策略,搜索图像轮廓最优匹配,实现图像快速精确的拼接。结果表明,所提算法不仅具有较高的拼接精度和较强的稳健性,还减小了其简化匹配策略的计算量,具有较强的时效性。

Abstract

To solve geometric distortion and misalignment generated in the traditional microscopic image stitching process and avoid low matching rate and high computational burden caused by rare features, a stitching algorithm based on the regional frog leaping search algorithm and image contour matching is proposed. First, the image contour curves of continuous acquisition and overlapping regions were extracted. Then, the clue-aware trajectory similarity or mean square error distance was introduced to calculate the similarity and discrete distance between image contour curves. Finally, the regional frog leaping algorithm was used in the decision domain, and by updating the tweet decibel and frog leaping strategy, optimal contour matching for the image was searched. Consequently, the images were stitched quickly and accurately. Experimental results verify that the proposed algorithm demonstrates high stitching precision and strong robustness. In addition, the simplified matching strategy reduces the amount of calculation and exhibits strong timeliness.

1 引言

高分辨率、宽视场的工业图像对于缺陷检测、毛刺预警、劈裂诊断等非常重要,但受工业镜头传感器的限制,存在视场与分辨率之间矛盾难以平衡的问题。

为了满足焦距和分辨率的双重要求,通常采用机载工业相机对某一区域以不同视角、一定重叠率进行连续采集,然后将采集的图像序列利用图像拼接算法生成高分辨率、宽视场的整张图像。传统的图像拼接算法包括图像配准和图像融合两部分,其中高效精确的配准算法对图像拼接至关重要,图像拼接算法可依据配准方法分为基于区域的方法(如模板匹配算法)和基于特征的方法两类。基于特征点匹配的拼接算法是目前研究的热点之一。仇国庆等^[1]提出的基于自适应阈值的Harris角点检测改进拼接算法,具有较高的稳健性和可靠性,但可能产生伪角点,难以满足精确定位要求。许佳佳等^[2]和徐鑫等^[3]提出的Harris与尺度不变特征变换(SIFT)算子相结合的图像配准方法,对图像尺度变换和缩放具有较好的稳健性,但由于其计算复度较高,难以满足实际工程的实时性。黄琼丹等^[4]提出的基于相位一致性特征点的匹配方法与Levenberg-Marquardt (LM )优化理论方法相结合的拼接算法,具有较高的准确度,但易受匹配点间距的影响。封靖波等^[5]提出的利用两张图像的列梯度最大点寻找两条曲线最匹配区域的图像拼接方法,简化了匹配策略,但特征匹配精度不足。上述拼接算法已在诸多领域得到广泛应用,但是在工业显微图像应用领域具有很大的局限性,其中特征描述统计类方法存在复杂度高和时效性差等缺点;另外,受机械振动、离焦模糊等因素的影响,上述算法会使拼接后的图像产生几何畸变,进而干扰后续图像缺陷的定位和测量结果。

针对上述问题,本文提出基于区域蛙跳搜索(RFL)的轮廓最优匹配算法,通过寻找图像轮廓线索感知相似度(CATS)和均方误差距离(MSED)实现图像拼接。该方法简化匹配策略并减小计算量,具有较高的拼接精度和稳定性,以保证拼接的质量和速度,可用于特征稀少的图像,以及工业显微图像等机器视觉领域的图像拼接。

2 图像轮廓曲线距离

针对连续采集且有重叠区域的前后两张图像,引入两种指标衡量其轮廓曲线的相似距离,用于图像的精确匹配。其中, CATS是基于轮廓曲线形状的距离,而MSED是基于轮廓曲线点的距离,两者分别用于计算图像轮廓曲线间的相似度和曲线离散距离。

2.1 轮廓线索感知相似度量

给定空间阈值ε和分别来自两条轮廓曲线(T_i和T_j)的数据点p_i_,l=(x_i_,l,y_i_,l),p_j_,_k=(x_j_,_k,y_j_,_k),l为该点在此轮廓的索引顺序,定义p_i_,l和p_j_,_k的空间衰减函数^[6]为

\begin{matrix} f_{ε} (p_{i, l}, p_{j, k}) = \{\begin{matrix} 0, if D_{dist} (p_{i, l}, p_{j, k}) > ε \\ 1 - \frac{D_{dist} (p_{i, l}, p_{j, k})}{ε}, ot h erwise \end{matrix}, (1) \end{matrix}

式中:D_dist(·,·)表示两个数据点之间的欧几里德距离。空间衰减函数的取值范围为0到1,两个数据点越近,则值越大;如果两个数据点的位置完全相同,则值为1;如果两个点之间的距离大于ε,则值为0。图1为两个轮廓线T₁和T₂的轮廓线索感知相似性,图中实心点表示T₁和T₂的数据点,轮廓线上下标出的数字表示其在曲线中的序列顺序。

图 1. T1到T2的轮廓线索感知相似性

Fig. 1. Clue-aware trajectory similarity from T1 to T2

下载图片查看所有图片

在空间衰减函数中,参数ε可以包容数据点的空间偏差和移位。空间衰减函数执行连续的空间量化(即从0到1),反映了两个数据点之间的接近程度,如果将其值设置为10,则考虑两种情况:1)距离为1的两个点;2)距离为9的两个点。如上所述,对于两个数据点,如果它们两者之间的位置越接近,那么它们之间的线索感知相似性就越强,因为两者很可能位于彼此的附近区域。因此,在这种情况下,情况1揭示了比情况2相似性更强的线索。而在最长公共子序列(LCSS)和编辑距离(EDR)中使用的离散空间量化(即0或1),不区分这两种情况,因为其距离都小于10。

根据数据点的空间和序列信息,可以计算关于参考轮廓数据点的分数。对于数据点,有多种方法可以评估该点和参考轮廓之间的线索,常用方法是通过容忍一些序列顺序上的偏移,将该数据点映射到参考轮廓上最近的点,即将数据点与参考轮廓中线索性最强的点对齐。为此,定义数据点相对于参考轮廓曲线的线索评分,给定数据点p_i_,l∈T_i和参考曲线T_j,将数据点p_i_,l相对于曲线T_j的线索用于从空间和序列维度上识别针对p_i_,l在曲线T_j上的最佳映射点。

在线索评分的定义中,将序列参数τ用于检索其发生在特定序列间隔内的轮廓的数据点,使用CATS处理序列偏移。由于要映射的数据点受序列参数的约束,线索评分对序列敏感,同样,线索评分也对位置敏感。但其仍然能够容忍空间和序列阈值指定的空间和时间偏差。根据数据点定义的线索评分,将两条轨迹之间的线索感知相似性定义如下:给定空间阈值ε和序列阈值τ,从T_i到T_j的线索感知轨迹相似性为

\begin{matrix} C_{CATS, ε, τ} (T_{i}, T_{j}) = \frac{1}{|T_{i}|} \times \sum_{pi, l \in Ti} S_{score, ε, τ} (p_{i, l}, T_{j}) 。 (2) \end{matrix}

图1显示了根据线索评分进行的数据映射关系,其中有两个轮廓曲线T₁和T₂,设ε=5,τ=3。例如,轮廓T₁上的数据点p_1,9,关于轮廓T₂的数线索在l-τ和l+τ之间的序列间隔内,寻找与T₂的最佳映射数据点。f₅(p_1,9,p_2,10)是所有其他点中的最大值,所以S_score,5,3(p_1,9,T₂)=f₅(p_1,9,p_2,10),找到最佳映射。根据数据点的线索进行评分匹配,图1中箭头表示从T₁的每个数据点到T₂的数据点的映射关系,最终可知从T_i到T_j的线索感知轨迹相似性C_CATS,_ε_,_τ(T_i,T_j)。CATS的算法流程如图2所示。

图 2. 线索感知相似度的算法流程

Fig. 2. Algorithm flowchart of clue-aware trajectory similarity

下载图片查看所有图片

2.2 MSED

图3表示轮廓曲线中所有数据点及其相应的轨迹。从图3可以看出,T₁和T₂的数据点在序列或空间维度上并不完全对齐,即使这两个轮廓表示从图像同一位置提取的轮廓线,这种不完全对齐造成的偏差称之为轮廓的序列偏移或空间偏差。由于数据丢失或在形成轮廓时采用的边缘提取策略的差异,可能出现没有数据点存在的持续序列。

图 3. 轮廓曲线T1和T2的插补

Fig. 3. Interpolation of contour curves T1 and T2

下载图片查看所有图片

在连续曲线中,给定轮廓曲线的函数f₁(x)、f₂(x),定义d(f₁,f₂)= $\begin{matrix} \int_{c}^{0} \end{matrix} \begin{matrix} |f_{1} (x) - f_{2} (x)| \end{matrix}$ dx为两个函数之间的距离,[c₁,c₂]为函数的定义域,给定阈值ε,如果d(f₁,f₂)≤ε,则认为f₁(x)、f₂(x)相似,否则不相似。当计算轮廓离散曲线距离时,进行如下插补方法。

1) 从n张图像中分别提取图像的边缘T={T₁,T₂,…,T_n},第i张图像的边缘曲线为T_i={p_i_,1,p_i_,2,…,p_i_,_n},数据点p_i_,l表示边缘曲线T_i的像素坐标;T_i中的数据点在水平方向并不是连续的,可能存在缺失,如图3所示,我们称为待补充数据B_i={b_i_,1,b_i_,2,…,b_i_,_m},分别统计B_i中属于水平序列上连续的空缺数据段,设共有s个连续的空缺数据段,每段上连续空缺数据数量为q;

2) 当s=0时,直接执行步骤6),当s≠0时重复执行步骤3)~5);

3) 设第s个连续空缺数据段在T_i中的位置为{b_i_,_j,b_i_,_j₊₁,…,b_i_,_j₊_q_-1};

4) 求Δp= $\begin{matrix} \frac{x_{j + q} - x_{j - 1}}{q + 1} \end{matrix}$ 和x_j₊_k= $\begin{matrix} \overset{q - 1}{\sum_{k = 0}} [x_{j - 1} + (k + 1) \end{matrix}$ ×Δp];

5) s=s-1,返回步骤2);

6) 对于不同图像的轮廓曲线,T_i经过步骤2)~5)后可以得到插补后的轮廓 $\begin{matrix} {\hat{T}}_{i} \end{matrix}$ ={ $\begin{matrix} {\hat{p}}_{i, 1} \end{matrix}$ , $\begin{matrix} {\hat{p}}_{i, 2} \end{matrix}$ ,…, $\begin{matrix} {\hat{p}}_{i, n} \end{matrix}$ }。

设定轮廓曲线相似观测窗口的尺度为L,则边缘曲线T_i和T_i₊₁位于观测窗口区域的区间分别为:[ $\begin{matrix} |{\hat{T}}_{i}| \end{matrix}$ -L, $\begin{matrix} |{\hat{T}}_{i}| \end{matrix}$ ],[1,L],在相似观测窗口中边缘曲线T_i和T_i₊₁的MSED为

\begin{matrix} M_{MSED} (T_{i}, T_{i + 1}, L) = \frac{1}{L} \overset{L - 1}{\sum_{l = 0}} | p_{i, |{\hat{T}}_{i}| - L + l} - p_{i + 1, l + 1} |^{2} 。 (3) \end{matrix}

设轮廓匹配阈值为ε,若M_MSED(T_i,T_i₊₁)<ε,则轮廓T_i与T_i₊₁在观测相似度尺度窗口L中匹配,即边缘T_i和T_i₊₁重叠区域拼接成功,否则匹配失败。MSED的算法流程如图4所示。

图 4. 均方误差距离的算法流程

Fig. 4. Algorithm flowchart of mean square error distance

下载图片查看所有图片

3 区域蛙跳搜索算法

3.1 算法原理

区域蛙跳算法模拟了青蛙群体(解)在池塘(解空间)中跳跃觅食的行为。利用蛙鸣分贝越大,对同伴吸引力越强这一现象,通过青蛙个体在决策域范围内寻找鸣叫分贝最高的邻居来实现寻优的目的。

在觅食过程中,每只青蛙作为群体之间交流的载体,发出特定频率的鸣叫,以此方式与其他青蛙实现信息传递和思想交流。借鉴萤火虫优化算法^[7]中群体交流的思想,对其进行改进及简化。蛙鸣声音分贝大小取决于其决策区域内0<r≤ $\begin{matrix} r_{s}^{i} \end{matrix}$ 猎物密度,并与其所在位置的目标函数相关,分贝越大的青蛙表示其所在的位置越好,即有较优的目标值。青蛙个体在决策域范围内的邻居集合中寻找最优邻居,在邻居集合 $\begin{matrix} {N^{i}}_{d} \end{matrix}$ 中,鸣叫分贝越大的邻居 $\begin{matrix} {N^{i}}_{obj} \end{matrix}$ 具有越强的吸引力,能够吸引青蛙向这个方向跳跃,每次蛙跳方向的选择都会随着决策域邻居的不同而改变。此外,决策域的大小也会受到邻居蛙鸣分贝的影响,目标猎物越近,青蛙的决策半径越小,以便寻找更精准的邻居;如果邻居蛙鸣分贝较弱,决策半径保持不变。

群体中每只蛙都包含其所属区域的目标函数,利用其周围不同邻居传递的信息,进行蛙跳搜索,每次搜索和跳跃迭代行为结束后进行一次信息交流,该过程一直重复演进,并持续到收敛条件为止。

3.2 算法流程

蛙跳算法主要包括蛙群的初始分布、鸣叫分贝的更新、青蛙的跳跃和决策域的更新四个阶段。

初始化青蛙群体分布。参数初始化,设定基蛙种子数s,在第i只青蛙周围生成s个邻居蛙形成初始蛙群,初始跳跃步长S_step0,最小步长S_stepmin,青蛙听觉感知分贝D_min,迭代次数t,最大迭代次数I_{iter_max};初次蛙跳,初始跳跃位置x₀(t),青蛙的初始鸣叫分贝 $\begin{matrix} D_{0}^{i} \end{matrix}$ ,即第i只青蛙在t次迭代时的位置x_i(t)对应的目标函数值 $\begin{matrix} D_{0}^{i} \end{matrix}$ =J[x_i(t)]。

决策域半径及邻居集合。设置决策域半径 $\begin{matrix} r_{0}^{i} \end{matrix}$ ,感知范围0<r≤ $\begin{matrix} r_{s}^{i} \end{matrix}$ ,决策邻居集合 $\begin{matrix} N_{s}^{i} \end{matrix}$ 和位置 $\begin{matrix} X_{s}^{i} \end{matrix}$ 为

\begin{matrix} [rλ {(- 1)}^{m}, r (1 - λ) {(- 1)}^{n}] [r {(- 1)}^{m}, r {(- 1)}^{n}], λ, m, n = 0,1 。 (4) \end{matrix}

鸣叫分贝更新。更新邻居集合 $\begin{matrix} N_{s}^{i} \end{matrix}$ 内每只青蛙的鸣叫分贝 $\begin{matrix} D_{s}^{i} \end{matrix}$ ,其中 $\begin{matrix} D_{c}^{i} \end{matrix}$ =J[ $\begin{matrix} x_{c}^{i} \end{matrix}$ (t)],0<c≤s。

最优邻居选择和信息交流。最优邻居 $\begin{matrix} {N^{i}}_{obj} \end{matrix}$ 将邻居集合内的青蛙个体按照分贝(目标函数)值降序排列,找到全局最优解 $\begin{matrix} {D^{i}}_{obj} \end{matrix}$ ;通过与邻居集合之间的分贝传递进行信息交流,得到蛙跳激活值

\begin{matrix} F_{flag} = \{\begin{matrix} 1, if (D_{obj}^{i} > D_{0}^{i}) ⋂ (D_{obj}^{i} > D_{\min}) \\ 0, ot h erwise \end{matrix} 。 (5) \end{matrix}

蛙跳策略。青蛙是否跳跃到新的解空间取决于蛙跳激活值。当F_flag=1,表示最优邻居蛙 $\begin{matrix} {N^{i}}_{obj} \end{matrix}$ 位置具有更强的吸引力,且在听觉范围D_min内,以步长S_step,_t= $\begin{matrix} {r^{i}}_{obj} \end{matrix}$ (t)发生跳跃;当F_flag=0时,则不发生跳跃,缩小决策半径继续寻找新邻居。

更新当前位置分贝:

\begin{matrix} D_{0}^{i} = J [x_{i} (t + 1)] = F_{flag} \cdot D_{obj}^{i} + (1 - F_{flag}) \cdot D_{0}^{i} 。 (6) \end{matrix}

决策域更新:

\begin{matrix} r_{d}^{i} (t + 1) = F_{flag} \cdot r_{d}^{i} (t) + (1 - F_{flag}) \cdot \frac{r_{d}^{i} (t)}{2} 。 (7) \end{matrix}

判断收敛条件。当蛙跳步长S_step和迭代次数t满足算法收敛条件时停止计算,否则重新设置邻居集合。

4 轮廓曲线拼接算法

4.1 拼接算法流程

基于区域蛙跳搜索的轮廓最优匹配算法(RFL-CSA),寻找图像中最优的匹配轮廓线,并依据此变换作为图像匹配的最终结果,实现图像拼接。由于工业显微系统下的图像通常为灰度图像,且金属材质表面可用特征稀少,为避免陷入SIFT和加速稳健特征(SURF)算法中特征点匹配失败的困境,RFL-CSA算法将零件的边缘作为可用信息,提取图像的轮廓曲线,用于图像匹配。其中,提取轮廓曲线的方法包括高斯中值滤波、形态学操作、canny边缘检测等步骤,从连续采集的图像中分别提取轮廓。在初始重叠区间内,计算其轮廓曲线的相似度函数,在此解空间内利用区域蛙跳算法寻优,求解相似度最高的轮廓匹配,使轮廓曲线完全吻合,达到精准的图像拼接效果。基于区域蛙跳搜索的图像拼接算法流程图如图5所示。

图 5. 基于区域蛙跳的图像拼接算法流程图

Fig. 5. Flowchart of regional frog leaping based image stitching algorithm

下载图片查看所有图片

图 6. 图像轮廓线的匹配。(a)初始位置;(b)调整后的位置

Fig. 6. Matching of image contour curves. (a) Initial position; (b) adjusted position

下载图片查看所有图片

两张连续采集图像I_i和I_i₊₁,其两条轮廓曲线分别为T_i和T_i₊₁,如图6所示。图6(a)为初始位置,图6(b)为调整后的位置。设此相邻的两条轮廓在首尾区域的重叠部分约占比例为κ₀,首先进行初次蛙跳,T_i₊₁中每个数据点p_i_,l两个分量的初次跳跃步长分别为ΔH=p_yi_,Δ_W-p_yi_+1,1,ΔW=κ₀· $\begin{matrix} |T_{i}| \end{matrix}$ ,即,

\begin{matrix} p_{i, l} = (p_{xi, l} + ΔW, p_{yi, l} + ΔH), p_{i, l} \in T_{i} 。 (8) \end{matrix}

首先计算轮廓曲线T_i₊₁跳跃到初始位置x₀(t)时与T_i的轮廓距离 $\begin{matrix} {D^{i}}_{0} \end{matrix}$ =M_MSED(T_i,T_i₊₁)。设定邻居种子数s,最大迭代次数I_{iter_max},最小步长S_stepmin和感知分贝D_min,通过区域蛙跳算法寻找最优邻居。第t次迭代时,在x(t)位置周围生成s个邻居,根据最优邻居和感知取值,采用蛙跳策略决定是否起跳,当F_flag=1时确定蛙跳步长和方向,更新当前轮廓的位置x_i(t)和此位置的轮廓匹配度,进入下一轮迭代;否则缩小决策半径,在较近的决策域寻找新的邻居,跳向轮廓相似度更高的位置。RFL-CSA的算法流程如图7所示。

图 7. RFL-CSA图像拼接算法流程

Fig. 7. Flowchart of regional frog leaping based contour stitching algorithm

下载图片查看所有图片

图 8. 图像拼接结果。(a)原始图像;(b)拼接图像

Fig. 8. Results of image stitching. (a) Original images; (b) stitched image

下载图片查看所有图片

根据所得最优拼接线T₁生成两张掩码图像用于图像缝合,拼接后的重叠区域起点做竖直线T₂,作为缝合线,将缝合线以及左侧像素值设置为1,右侧像素值设置为0,得到左侧掩码图,同理生成右侧掩码图。然后将两张连续采集的原始图像分别点乘其对应的掩码图,经过叠加产生最后的拼接图,如图8所示。图8(a)为相邻且有重叠区域的三张原始图像,图8(b)为经过算法产生的拼接图像。拼接后整张图像的像素值表示为

\begin{matrix} P^{*} (x, y) = \{\begin{matrix} P_{1} (x, y), x \leq \max T_{2} (y) \\ P_{2} (x, y), x > \max T_{2} (y) \end{matrix} 。 (9) \end{matrix}

4.2 轮廓线拼接算法的优化改进

1) 相似距离衡量指标

RFL-CSA是一种基于区域蛙跳的图像拼接算法,其中的相似距离可以采用多种衡量指标:当RFL-CSA算法采用CATS作为相似距离的衡量指标时,称为RFL-CSA算法;当RFL-CSA算法采用MSED作为相似距离的衡量指标时,称为RFL-MSED算法。在计算轮廓曲线之间的相似距离时,分别采用基于点的距离MSED和基于形状的距离CATS两种方法作对比,即在RFL-CSA图像拼接算法的基础上分别形成了RFL-MSED和RFL-CSA两种拼接算法。另外,RFL-CATS8、RFL-MSED4₁、RFL-MSED4₂、RFL-MSED8具体的搜索方式略有差异,其不同之处在于蛙跳搜索邻居集合的设置。其中,RFL-MSED4₁和RFL-MSED4₂的初始子数s=4,RFL-MSED8和RFL-CATS8的初始子数s=8。

2) 蛙跳搜索方式

在设置区域蛙跳算法决策域内的邻居集合中采用三种方式,寻找最优邻居。

在初始化青蛙群体分布时,基蛙种子数s默认为4。当种子数s=4时,设置两种搜索方式,决策邻居集合分别为 $\begin{matrix} N_{1, s = 4}^{i} \end{matrix}$ 和 $\begin{matrix} N_{2, s = 4}^{i} \end{matrix}$ ,即

$\begin{matrix} N_{1, s = 4}^{i} \end{matrix}$ :[r(-1)^m,r(-1)ⁿ],m,n=0,1;

$\begin{matrix} N_{2, s = 4}^{i} \end{matrix}$ :[rλ(-1)^m,r(1-λ)(-1)ⁿ],λ,m,n=0,1。

此外,当种子数s=8时,集合为 $\begin{matrix} N_{s = 8}^{i} \end{matrix}$ : $\begin{matrix} N_{s = 8}^{i} \end{matrix}$ = $\begin{matrix} N_{1, s = 4}^{i} \end{matrix}$ ∪ $\begin{matrix} N_{2, s = 4}^{i} \end{matrix}$ 。

5 实验结果和讨论

本文实验硬件条件为Intel(R) Core(TM) i5-6500 CPU @3.20 GHz,8 G RAM。

显微图像采集装置由目镜、物镜、摄像机和光源组成,整个显微系统决定了显微检测系统图像的分辨率。为了增加显微图像的可用特征和边缘信息,使用双光源的打光方式进行采集,上光源采用环形光,底光源采用平行光。采用Carl Zeiss显微物镜,摄像机采用Basler工业相机。实验使用的图像数据为动力电池分切刀具金属零件显微图像。

5.1 参数设置

最小决策半径r₀为0.5,最大迭代次数I_{iter_max}均为45,初始重叠比例κ₀=0.33。采用1200张具有重叠区域的图像作为实验数据,对本文算法分别进行600次实验,其中包括了新出厂刀具、用后刀具、待返修刀具的显微图像,各取其平均结果,如图7所示。同时给出RFL-CATS和RFL-MSED算法的收敛曲线及搜索轨迹坐标,如图9~10所示。

图 9. RFL-CATS算法收敛曲线及搜索轨迹坐标。(a)收敛曲线;(b)搜索轨迹坐标

Fig. 9. Convergence curves and search trajectory coordinates of RFL-CATS algorithm. (a) Convergence curves; (b) search trajectory coordinates

下载图片查看所有图片

图 10. RFL-MSED算法的收敛曲线及搜索轨迹坐标。(a)收敛曲线;(b)搜索轨迹坐标

Fig. 10. Convergence curves and search trajectory coordinates of RFL-MSED algorithm. (a) Convergence curves; (b) search trajectory coordinates

下载图片查看所有图片

5.2 算法有效性测试

为了检验本文算法的有效性,分别采用不同邻域种子 $\begin{matrix} N_{s}^{i} \end{matrix}$ 对RFL-CATS和RFL-MSED拼接算法进行测试。图9(a)和(b)分别为RFL-CATS算法的收敛曲线和搜索轨迹;图10(a)和(b)分别为RFL-MSED算法的离散距离曲线和轨迹图。对于RFL-CATS拼接算法,由图9可以看出,达到收敛时所需的迭代次数总体较少,迭代10次以内即可收敛,其中RFL-CATS8具有较高的求解精度和速度。对于RFL-MSED拼接算法,由图10可知,RFL-MSED8迭代约10次即可达到最优值,平均求解误差比RFL-MSED4₁和RFL-MSED4₂减小70%~85%。

为了进一步对比RFL-CATS算法与RFL-MSED算法在搜索精度、速度等优化性能上的差异,将RFL-CATS算法达到收敛时的C_CATS值转化为M_MSED值进行对比,距离指标M_MSED为离散曲线的绝对平方误差,曲线相似度指标C_CATS的取值为0~1。RFL-CATS算法收敛时的绝对平方误差M_MSED=31.436,RFL-MSED算法达到稳定时M_MSED=9.522。结果表明,在相同的收敛条件下,RFL-MSED算法具有较快的搜索速度和较小的求解误差,其寻优精度和稳定性高于RFL-CATS算法。由本研究所用的光学系统精度(0.345 μm/pixel)可知,RFL-MSED算法的实际图像拼接误差为3.29 μm。

5.3 算法的效率测试

为了进一步对本文算法的效率进行测试,对几种拼接算法进行对比测试实验。分别为RFL-CATS和RFL-MSED两个算法指定收敛精度,通过600次实验比较M_MSED与C_CATS在达到目标精度时的平均时耗和成功率(达到目标精度的实验次数/总实验次数)。

指定迭代次数上限为50,即经过50次迭代均未能达到指定精度,认为算法匹配失败。数值实验结果如图10所示。由图10中数据可以明显看出,RFL-CATS算法耗时次数远远少于RFL-MSED算法,但是正确匹配率略低,而RFL-MSED算法中RFL-MSED8算法只需要相对较少的迭代次数就能达到指定精度,表明RFL-MSED8算法不仅具有更好的寻优精度,还减少了迭代次数,加快了收敛速度。

另外,由表1可知,对于本文提出的基于图像轮廓曲线的拼接算法:RFL-MSED算法的正确匹配成功率均为100%,RFL-CATS拼接算法为99.5%;而基于SIFT和SURF^[8-9]拼接算法的图像成功率较低,SIFT-Stitch的成功率不足80%。结果表明,RFL-MSED算法的正确匹配率更高,且具有相对较快的收敛速度,有效地解决了SIFT和SURF匹配算法中特征点个数不足、算法成功率低等问题,且效果较好。

表 1. 拼接算法比较

Table 1. Comparison of different image stitching algorithms

Algorithm	Time /s	Accuracy /%	Precision /μm
RFL-CATS8	2.940	99.5	10.85
RFL-MSED4₁	6.720	100.0	3.34
RFL-MSED4₂	5.990	100.0	4.28
RFL-MSED8	3.167	100.0	3.21
SIFT-Stitch	25.900	78.0	-
SURF-Stitch	18.530	83.5	-

查看所有表

6 结论

基于轮廓线离散距离和区域蛙跳寻优算法,建立了一种图像最优拼接线的搜索算法,用于机器视觉场景下显微图像的拼接。在图像轮廓线离散距离衡量准则、决策域邻居集合选择等方面进行优化,不仅提高了拼接速度,还提高了精准拼接精度,能够保证拼接目标的完整性、去除重叠区域,同时简化的匹配策略减小了算法的计算量,增强了算法的时效性。实验数据表明,区域蛙跳搜索轮廓匹配算法有效提高了求解效率和质量,具有较好的优化性能和实用性。

参考文献

[1] 仇国庆, 冯汉青, 蒋天跃, 等. 一种改进的Harris角点图像拼接算法[J]. 计算机科学, 2012, 39(11): 264-266, 297.

Qiu G Q, Feng H Q, Jiang T Y, et al. Improved image mosaic algorithm based on Harris corner[J]. Computer Science, 2012, 39(11): 264-266, 297.

[2] 许佳佳. 结合Harris与SIFT算子的图像快速配准算法[J]. 中国光学, 2015, 8(4): 574-581.

Xu J J. Fast image registration method based on Harris and SIFT algorithm[J]. Chinese Optics, 2015, 8(4): 574-581.

[3] 徐鑫, 孙韶媛, 沙钰杰, 等. 一种基于改进RANSAC的红外图像拼接方法[J]. 激光与光电子学进展, 2014, 51(11): 111001.

Xu X, Sun S Y, Sha Y J, et al. A method of infrared image mosaic based on improved RANSAC[J]. Laser & Optoelectronics Progress, 2014, 51(11): 111001.

[4] 黄琼丹, 邱跃洪, 田小平. 基于特征点及优化理论的图像自动拼接方法[J]. 光子学报, 2009, 38(8): 2139-2143.

Huang Q D, Qiu Y H, Tian X P. Image automatic mosaic method based on feature points and optimization theory[J]. Acta Photonica Sinica, 2009, 38(8): 2139-2143.

[5] 封靖波, 苏志勋, 刘秀平. 一种基于相似曲线的全景图自动拼接算法[J]. 计算机学报, 2003, 26(11): 1604-1608.

Feng J B, Su Z X, Liu X P. An similar-curve based automatic mosaic algroithm of panoramic image[J]. Chinese Journal of Computers, 2003, 26(11): 1604-1608.

[6] Hung C C, Peng W C, Lee W C. Clustering and aggregating clues of trajectories for mining trajectory patterns and routes[J]. The VLDB Journal, 2015, 24(2): 169-192.

[7] 欧阳喆, 周永权. 自适应步长萤火虫优化算法[J]. 计算机应用, 2011, 31(7): 1804-1807.

Ouyang Z, Zhou Y Q. Self-adaptive step glowworm swarm optimization algorithm[J]. Journal of Computer Applications, 2011, 31(7): 1804-1807.

[8] 李尊, 申小萌, 苗同军. 对比度阈值自适应的SIFT图像拼接算法[J]. 红外技术, 2017, 39(10): 946-950.

Li Z, Shen X M, Miao T J. Image mosaic based on contract threshold adaptive SIFT algorithm[J]. Infrared Technology, 2017, 39(10): 946-950.

[9] 夏岩, 刘智, 王俊然. 图像拼接中SURF配准算法的研究[J]. 长春理工大学学报(自然科学版), 2017, 40(2): 98-101.

Xia Y, Liu Z, Wang J R. Research on SURF registration algorithm in image mosaic[J]. Journal of Changchun University of Science and Technology (Natural Science Edition), 2017, 40(2): 98-101.

颜振翔, 王寒迎, 石齐双, 莫艳红, 杨辉华. 基于区域蛙跳搜索与轮廓匹配的显微图像拼接[J]. 激光与光电子学进展, 2019, 56(15): 151002. Zhenxiang Yan, Hanying Wang, Qishuang Shi, Yanhong Mo, Huihua Yang. Microscopic Image Stitching Based on Regional Frog Leaping Search Algorithm and Image Contour Matching[J]. Laser & Optoelectronics Progress, 2019, 56(15): 151002.

基于区域蛙跳搜索与轮廓匹配的显微图像拼接 下载： 866次

1 引言

2 图像轮廓曲线距离

2.1 轮廓线索感知相似度量

图 1. T1到T2的轮廓线索感知相似性

Fig. 1. Clue-aware trajectory similarity from T1 to T2

图 2. 线索感知相似度的算法流程

Fig. 2. Algorithm flowchart of clue-aware trajectory similarity

2.2 MSED

图 3. 轮廓曲线T1和T2的插补

Fig. 3. Interpolation of contour curves T1 and T2

图 4. 均方误差距离的算法流程

Fig. 4. Algorithm flowchart of mean square error distance

3 区域蛙跳搜索算法

3.1 算法原理

3.2 算法流程

4 轮廓曲线拼接算法

4.1 拼接算法流程

图 5. 基于区域蛙跳的图像拼接算法流程图

Fig. 5. Flowchart of regional frog leaping based image stitching algorithm

图 6. 图像轮廓线的匹配。(a)初始位置;(b)调整后的位置

Fig. 6. Matching of image contour curves. (a) Initial position; (b) adjusted position

图 7. RFL-CSA图像拼接算法流程

Fig. 7. Flowchart of regional frog leaping based contour stitching algorithm

图 8. 图像拼接结果。(a)原始图像;(b)拼接图像

Fig. 8. Results of image stitching. (a) Original images; (b) stitched image

4.2 轮廓线拼接算法的优化改进

5 实验结果和讨论

5.1 参数设置

图 9. RFL-CATS算法收敛曲线及搜索轨迹坐标。(a)收敛曲线;(b)搜索轨迹坐标

Fig. 9. Convergence curves and search trajectory coordinates of RFL-CATS algorithm. (a) Convergence curves; (b) search trajectory coordinates

图 10. RFL-MSED算法的收敛曲线及搜索轨迹坐标。(a)收敛曲线;(b)搜索轨迹坐标

Fig. 10. Convergence curves and search trajectory coordinates of RFL-MSED algorithm. (a) Convergence curves; (b) search trajectory coordinates

5.2 算法有效性测试

5.3 算法的效率测试

表 1. 拼接算法比较

Table 1. Comparison of different image stitching algorithms

6 结论

Article Outline

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

基于区域蛙跳搜索与轮廓匹配的显微图像拼接下载： 866次