基于BLOB区域和边缘特征分析的准直图像双光学目标识别方法

何文轩; 王拯洲; 魏际同; 王力; 弋东驰

doi:doi:10.3788/gzxb20245302.0210001

光子学报, 2024, 53 (2): 0210001, 网络出版: 2024-03-28

基于BLOB区域和边缘特征分析的准直图像双光学目标识别方法

Dual Optical Target Recognition Method for Collimated Images Based on BLOB Region and Edge Feature Analysis

论文大纲

何文轩 ^1,2王拯洲 ^1,*魏际同 ¹王力 ¹弋东驰 ¹

作者单位

¹ 中国科学院西安光学精密机械研究所，西安 710119

² 中国科学院大学，北京 100039

摘要

针对光路对接准直目标识别算法对双目标粘连状态无法判别的问题，提出了基于二进制大对象（Binary Large Object，BLOB）区域和边缘特征分析的准直图像双光学目标识别方法。首先，对二值化图像进行数字形态学处理，计算全图各BLOB区域的面积、中心、轴长、区域、有效BLOB区域个数等信息。其次，对有效BLOB区域个数大于1的完全分离双目标准直图像，统计各BLOB区域中心分别为位于两个面积最大的BLOB区域内的BLOB数量，数量小的候选BLOB区域为主激光目标，数量大的候选BLOB区域为模拟光目标。然后，对于有效BLOB区域个数等于1的待识别图像，从左、右、上、下4个方向分别提取模板边缘图像的有效坐标序列和待识别边缘图像坐标序列，搜索有效坐标序列和待识别边缘图像坐标序列的最大相关系数对应的有效坐标序列。当4个方向的相关系数全部大于0.95时，待识别图像为模拟光目标；当4个方向的相关系数都小于0.95时，待识别图像为主激光目标；否则待识别图像为粘连图像。实验结果表明：提出的双光学目标识别算法，不仅能够识别完全分离的模拟光目标和主激光目标，误差小于3个像素，处理时间小于1 s，而且能够判别处于粘连状态的光学目标和单个独立的光学目标，满足光路对接准直图像识别算法对于自适应性、精度和效率的要求。

Abstract

In order to solve the problem that the collimated target recognition algorithm of optical path docking cannot distinguish the adhesive state of double targets, a new method of collimated image dual optical target recognition based on Binary Large Object (BLOB) region feature analysis is proposed. There are two optical targets in the optical alignment image, that is, the simulated optical target and the main laser target. In the initial beam control stage, the positions of the two optical targets are random and uncertain, and there is a possibility of the two optical targets sticking together, which causes great difficulties in beam control. Therefore, optical path alignment needs to solve the image recognition problem in two cases: 1) In the initial beam control stage, when the main laser beam and the analog beam are just introduced, the adhesion recognition algorithm needs to be used to identify the adhesion state of the two optical targets. If the two optical targets are in the adhesion state, the two targets need to be completely separated by adjusting the 2D frame BM6XY motor; 2) In the case of two optical targets completely separated, it is necessary to distinguish between the analog light target and main laser target in the two optical targets. Firstly, the binary image is processed by digital morphology to calculate the area, center C_xy, axis length len_xy and region Regin_xy, of each BLOB region in the whole image. Secondly, the number of valid BLOB regions vblobcount is counted, and the distance between the two maximum connected domains dir is calculated. When vblobcount>1 and dir>100, the collimation image is the completely separated double target image, otherwise it is the adhered image. Then, for the completely separated dual-target image, the number of BLOBs located in the two largest BLOB regions with the center of each BLOB region is counted. The small number of candidate BLOB regions is the main laser target, and the large number of candidate BLOB regions is the analog light target. Finally, for the adhered image, when dir<100, the two optical targets are in a close adhered state. The axis length coefficient len_xs is calculated. When len_xs≥1.2, the two targets are in a very close adhesion state, otherwise it is a single main excitation target or simulated light target. Moreover, the repetition accuracy analysis of the adhesive optical target recognition method based on edge feature analysis showed that the correlation coefficients of the adhesive image in the left, right, up and down directions are 0.967 1, 0.990 0, 0.999 7 and 0.922 4, respectively. The mean value of the correlation coefficients is 0.969 8 and the mean square error was 0.034 4. Among them, the correlation coefficients in the left, right and upper directions are greater than 0.95, which are marked by red, green and yellow curves respectively. The mean value of the correlation coefficients in the left, right and upper directions is 0.985 6, and the mean square error is 0.016 7. Since the third type of adhesive image is mainly the adhesive image formed after the laser target and the simulated optical target are migrated in the vertical direction, the overlap area is mainly located in the upper half of the adhesive image. The experimental results show that the proposed dual optical target recognition algorithm can not only realize the recognition of completely separated analog light targets and main laser targets with the error less than 3 pixels and the processing time less than 1 s, but also realize the identification of optical targets in the state of adhesion and a single independent optical target. It meets the requirements of self-adaptability, accuracy and efficiency of the optical alignment image recognition algorithm and the repetition accuracy of the recognition of different adhesive images, and can solve the problem of the optical alignment target recognition algorithm to accurately identify the adhesion state of two targets

0　引言

光束控制与诊断系统是某原型装置的一个闭环调控监视系统，具备多功能和高准确度的激光参量诊断平台^［1］，该系统包含光学取样组件、探测元器件、伺服系统、监视系统和控制系统等，用于精密诊断装置输出激光光束的能量、近场、远场和时间波形等特性。在大型激光装置中，光路自动准直系统需要完成三个准直流程：光路自准直、模拟光准直和光路对接准直。光路对接准直的主要目的是通过启动光束收敛线程，结合图像识别和二维电动镜架的调整，反复迭代将主激光目标调整到相对模拟光目标的相对偏差位置。

光路对接准直图像中包含两个光学目标，即模拟光目标和主激光目标。在光束初始调控阶段，两个光学目标的位置是随机的、不确定的，存在两个光学目标粘连在一起的可能，对光束调控造成了巨大的困难。因此，光路对接准直需要解决两种情况下的图像识别问题：1）在光束初始调控阶段，当主激光束和模拟光束刚被导入时，需要采用粘连识别算法对两个光学目标的粘连状态进行识别，如果两个光学目标处于粘连状态，需要通过调整二维镜架BM6XY电机使得两个目标完全分开；2）在两个光学目标完全分开的情况下，需要确定两个光学目标哪个是模拟光目标，哪个是主激光目标。

在光路对接准直流程^［2-4］中，双目标粘连状态的无法判别是一个需要解决的问题。郭嘉富^［5］针对大型激光装置^［6］光路自动准直中的光学目标识别问题，提出了基于圆拟合的双光学目标识别方法，但无法对两个光学目标的粘连状态进行判别。为了应对这个问题，首先需要分析粘连图像^［7］和完全分离图像的特点。对于处于粘连状态的双光学目标准直图像^［7］，可以观察到以下特点：1）准直图像可能包含1个或2个光学目标；2）目标完全分离时，距离大于100像素；3）目标距离较近或完全重合时，会合并为一个光斑。由以上分析可知采用适当的图像处理和分类算法来解决双目标粘连状态无法判别的问题，可成功完成光路对接准直操作。

粘连图像的识别^［8-10］是指从一个待识别图像中判断是否分别包含两个单独目标的部分特征信息的过程。因此，粘连目标识别需要同时处理待识别图像和模板图像。通过观察待识别图像和模板图像的边缘轮廓特征，发现在待识别图像中包含了大部分模板图像的边缘轮廓特征^［11］。基于此，将两幅图像的边缘轮廓信息作为判断待识别图像是否为粘连图像的重要特征信息。选择模拟光目标^［12］作为模板图像，提取该模板图像的特征信息，记为E_f，同时在待识别图像中提取特征信息，记为E_g。通过比较两个图像特征信息的相似度，判断在待识别图像中是否包含模板图像的特征信息。如果E_g中包含E_f的特征信息大于某个阈值，则说明待识别图像中包含了模板图像，从而证明待识别图像为粘连图像。

两个完全分离的双光学目标准直^［12］图像具有以下特点：1）模拟光目标为实心、目标区域连续、目标区域中心无孔洞的光学目标，边缘轮廓较为平滑，主体目标区域形成一个完整的连通域；2）主激光目标是一个非实心的光学目标，其目标区域不连续且包含许多孔洞，边缘区域轮廓非常曲折，整个目标区域包含多个连通域，且连通域内存在孔洞；3）主激光目标的光束质量较差，其光斑形状多变，纹理不规则，边缘曲折不连续明显。最明显的特征是模拟光目标仅包含一个连通域，而主激光目标则包含多个连通域。基于这个特征，通过统计和比较两种光学目标在各自的目标区域中包含的连通域个数来区分模拟光目标和主激光目标。

为了对主激光和模拟光粘连光学目标进行分离，本文提出了一种基于二进制大对象（Binary Large Object，BLOB）区域和边缘特征分析的准直图像双光学目标识别方法。该方法通过统计经过数字图像处理后的光学目标BLOB数目，建立数学模型，以实现对主激光和模拟光目标在完全分离和粘连状态下的识别。

1　理论背景

基于BLOB区域和边缘特征分析的准直图像双光学目标识别方法的目的是提出一个统一的图像识别算法，同时完成两个功能：1）对处于粘连状态的两个光学目标的粘连状态进行判别；2）对于完全分离的准直图像中双光学目标进行识别，并标识模拟光目标和主激光目标的识别标志。为了实现该功能，提出的基于BLOB区域^［12-13］和边缘特征分析的准直图像双光学目标识别方法的主要步骤为：1）二值化和数字形态学处理；2）BLOB区域特征信息提取；3）基于BLOB区域数量特征统计的双光学目标识别；4）基于边缘特征分析的粘连光学目标识别。

1.1　二值化和数字形态学处理

在光路对接准直流程中，通常采集到的准直图像包含主激光和模拟光两个光学目标，两个目标的分布特征不同。为了识别两个目标中的主激光目标和模拟光目标，需要将包含不规则纹理的主激光目标合并为一个较完整的、面积更大的连通域，对二值化图像进行膨胀运算。

假设光路对接准直图像表示为I（x，y），是尺寸为n×m的8位位图图像（Bitmap，BMP），m=600，n=800。为了方便统计准直图像的特征信息，使用类间最大方差法（OTSU）对I（x，y）进行二值化处理，二值化图像表示为I_bin（x，y）。按照数字形态学理论，膨胀运算实质上是集合运算，A被B膨胀看作是所有结构单元原点位置组成的集合。选择尺寸为5×5的结构单元，结构单元如矩阵B所示，即

B = [\begin{matrix} 0 & 0 & 1 & 0 & 0 \\ 0 & 1 & 1 & 1 & 0 \\ 1 & 1 & 1 & 1 & 1 \\ 0 & 1 & 1 & 1 & 0 \\ 0 & 0 & 1 & 0 & 0 \end{matrix}]

经过数字形态学膨胀运算图像I_morph（x，y）为二值化图像I_bin（x，y）与矩阵B的异或运算^［14］。

1.2　BLOB区域特征信息提取

BLOB区域^［15］指图像中具有相似特征且在空间上相互连通的像素集合，也称作连通域。通过BLOB特征分析不仅可以将目标从背景中分离出来，而且可以提取目标的特征参数，如面积、周长、形心和重心位置、水平/垂直方向轴长、边缘轮廓等。

本文目标识别方法需要对每一个BLOB区域进行裁剪，重点关注每个BOLB区域的水平/垂直方向轴长和重心位置。一幅准直图像的目标识别函数用公式表示为

I_{b l o b}^{i} (x, y) = B R {I_{m o r p h} (x, y)}

（1）

式中，i表示BLOB区域编号，BR为准直目标识别函数（Blob Recognize）。

对每个BLOB区域来说，特征信息提取的结果包括：面积area_i、XY方向中心位置centerx_i和centery_i、XY方向轴长lenx_i和leny_i、裁剪区域从region_i.left到region_i.bottom、粘连标志join_flag_i、目标识别类别mng_flag_i等。BLOB区域编号i满足0<=i<blobcount，blobcount为BLOB区域个数，Iⁱ_blob（x，y）为第i个BLOB区域。

将一幅准直图像提取出的每个BLOB区域特征信息存储在BLOB链表中，链表长度等于BLOB区域个数blobcount，每个BLOB区域的面积、XY方向轴长、中心坐标位置、裁剪区域、目标识别类别用公式表示为

\{\begin{array}{l} a r e a_{i} = \sum_{k = 0, k + = 2}^{e n d s N u m b e r} [(p P o i n t [k + 1] . x - p P o i n t [k] . x) + 1] \\ l e n x_{i} = \overset{}{\underset{0 < = k < e n d s N u m b e r}{m a x (p P o i n t [k + 1] . x)}} - \overset{}{\underset{0 < = k < e n d s N u m b e r}{m i n (p P o i n t [k] . x)}} + 1 \\ l e n y_{i} = \overset{}{\underset{0 < = k < e n d s N u m b e r}{m a x (p P o i n t [k + 1] . y)}} - \overset{}{\underset{0 < = k < e n d s N u m b e r}{m i n (p P o i n t [k] . y)}} + 1 \\ c e n t e r x_{i} = \sum_{k = 0, k + = 2}^{e n d s N u m b e r} [\sum_{l = p P o i n t [k] . x, p o i n t_s u m + +}^{p P o i n t [k + 1] . x} (l)] / p o i n t_s u m \\ c e n t e r y_{i} = \sum_{k = 0, k + = 2}^{e n d s N u m b e r} [\sum_{l = p P o i n t [k] . y, p o i n t_s u m + +}^{p P o i n t [k + 1] . y} (l)] / p o i n t_s u m \\ r e g i o n_{i} . l e f t = 0; r e g i o n_{i} . r i g h t = 0; r e g i o n_{i} . t o p = 0; r e g i o n_{i} . b o t t o m = 0 \\ m n g_f l a g_{i} = 0 \end{array}

（2）

式中，endsNumber为链码表所对应的线段表个数，即一个BLOB区域所包含的行数，pPoint［k］.x分别为水平线段表的起点位置和终点位置，point_sum为一个BLOB区域的像素个数，即面积，mng_flag_i为目标识别类别，取值为0、1、2、3。

1.3　基于BLOB区域数量特征统计的双光学目标识别方法

在正常的光路对接准直流程中，两个光学目标处理^［16］处于完全分开状态，粘连标志join_flag_i=0。为了实现光学对接准直流程，通过移动二维电动镜架BM6XY使得主激光移动到相对模拟光的相对偏差位置，这需要对模拟光目标和主激光目标两个光学目标进行识别。

通过分析光路对接准直两种光学目标特点，发现两种光学目标分别包含的连通域个数不同，模拟光目标只包含一个连通域，主激光目标包含多个连通域，基于此特征，通过统计和比较两种光学目标在各自目标区域中包含的连通域个数来区分模拟光目标和主激光目标。目标识别主要分为4个步骤：1）搜索面积最大的两个区域，将识别标志mng_flag_i置为3；2）搜索每个BLOB区域的矩形区域；3）统计每一个BLOB中心坐标位于两个面积最大的区域内的各BLOB个数，分别记为blobcount1和blobcount2；4）比较blobcount1和blobcount2大小，对模拟光目标和主激光目标进行目标识别。

1.3.1　搜索面积最大的两个连通域

一般地，主激光目标和模拟光目标对应的两个连通域面积都是最大的，每一个BLOB区域的详细信息，包括面积、中心位置、XY方向轴长可用式（2）获得，假设面积最大的连通域为I^p_blob（x，y），面积次大的连通域为I^q_blob（x，y），从所有的BLOB区域中搜索面积最大和次大的两个BLOB区域，作为主激光目标和模拟光目标的候选BLOB区域，用公式表示为

\{\begin{array}{l} p = \underset{0 < i < b l o b c o u n t, i = p}{m a x} a r e a_{i} \\ q = \underset{0 < j < b l o b c o u n t, j = q, p \neq q}{m a x} a r e a_{j} \end{array}

（3）

式中，area_i为第i个BLOB区域的面积，p、q分别为面积最大和面积次大BLOB区域所对应的区域编号。面积最大和次大的两个连通域为候选区域，将式（4）中的mng_flag_i设置为3，其他连通域保持初始值mng_flag_i=0不变，这样就可以将候选连通域与剩余连通域区别开来。

1.3.2　搜索两个面积最大的BLOB区域对应的矩形区域

搜索两个面积最大的候选BLOB区域对应的矩形区域，是为统计每一个BLOB中心坐标位于两个面积最大的区域内的各BLOB个数做准备。两个面积最大的BLOB区域的对应的矩形区域，表示为［region_i.leftregion_i.top］［region_i.right region_i.bottom］，分别表示BLOB区域的［左上X 左上Y］［右下X 右下Y］，用公式表示为

\{\begin{array}{l} r e g i o n_{i} . l e f t = c e n t e r x_{i} - l e n x_{i} \\ r e g i o n_{i} . r i g h t = c e n t e r x_{i} + l e n x_{i} - 1 \\ r e g i o n_{i} . t o p = c e n t e r y_{i} - l e n y_{i} \\ r e g i o n_{i} . b o t t o m = c e n t e r y_{i} + l e n y_{i} - 1 \end{array}

（4）

每个BLOB区域的边界必须满足左上X和左上Y大于0，且右下X小于图像水平尺寸，右下Y小于图像尺寸的约束条件region_i.left>=0，region_i.right<n，region_i.top>=0，region_i.bottom<m。

根据以上区域计算公式，所选择的每个BLOB区域裁剪范围是原先BLOB区域水平和垂直轴长的2倍。对于每个BLOB区域来说，裁剪图像用公式表示为

\begin{array}{l} I_{b l o b_c u t}^{i} = \{I_{b l o b}^{i} (x, y) | c e n t e r x_{i} - l e n x_{i} \leq x < c e n t e r x_{i} + l e n x_{i} - 1, \\ c e n t e r y_{i} - l e n y_{i} \leq y < c e n t e r y_{i} + l e n y_{i} - 1\} \end{array}

（5）

式中，Iⁱ_blob（x，y）表示第i个BLOB区域，是不规则的光斑区域，Iⁱ_{blob_cut}（x，y）为每个连通域对应的裁剪图像，水平尺寸为2×lenx_i，垂直尺寸为2×leny_i。

1.3.3　统计每一个BLOB中心坐标位于两个面积最大区域内的各BLOB个数

模拟光目标和主激光目标的目标识别决策过程主要通过统计每一个BLOB中心坐标位于两个面积最大的区域内的各BLOB个数来实现的。该决策算法是依据光路对接准直两种光学目标特点来决定的，对模拟光目标来说，模拟光是一个实心的光斑，当模拟光目标的裁剪区域region_i水平和垂直方向被放大2倍后，在模拟光目标的裁剪区域region_i内基本上不存在面积较小的连通域，如果原始图像中存在离散点的话，经过腐蚀运算已经被消除掉了。对主激光目标来说，由于主激光目标周围存在很多的衍射条纹，当主激光目标的裁剪区域region_i水平和垂直方向也被放大2倍后，衍射条纹相比离散点的面积大很多，通过腐蚀运算无法将主激光目标裁剪区域region_i内的衍射条纹消除掉。两个面积最大的区域内的各BLOB个数用公式表示为

\{\begin{array}{l} b l o b c o u n t 1 = \underset{0 < i < b l o b c o u n t, i = = p}{c o u n t (i)} w h i l e (r e g i o n_{i} . l e f t < c e n t e r x_{i} < r e g i o n_{i} . r i g h t & r e g i o n_{i} . t o p < c e n t e r y_{i} < r e g i o n_{i} . b o t o o m) \\ b l o b c o u n t 2 = \underset{0 < i < b l o b c o u n t, i = = q}{c o u n t (i)} w h i l e (r e g i o n_{i} . l e f t < c e n t e r x_{i} < r e g i o n_{i} . r i g h t & r e g i o n_{i} . t o p < c e n t e r y_{i} < r e g i o n_{i} . b o t o o m) \end{array}

（6）

式中，blobcount1表示面积最大光学目标裁剪区域内包含的连通域个数，blobcount2表示面积次大的光学目标裁剪区域内包含的连通域个数，p和q分别为面积最大和次大的BLOB区域编号，count（i）表示每个连通域中心坐标（centerx_i，centery_i）在面积最大的连通域region_m或region_n内的个数。

1.3.4　设置两个最大BLOB区域的识别标志mng_flag_i

当获得每一个BLOB中心坐标位于两个面积最大区域内的各BLOB个数blobcount1和blobcount2后，比较blobcount1和blobcount2大小，如果blobcount1<blobcount2，则blobcount1对应的最大面积BLOB区域为模拟光目标，识别标志mng_flag_i置为1，blobcount2对应的最大面积BLOB区域为主激光目标，识别标志mng_flag_i置为1；反之blobcount1>blobcount2，blobcount1对应的最大面积BLOB区域为主激光目标，识别标志mng_flag_i置为2，blobcount2对应的最大面积BLOB区域为模拟光目标，识别标志mng_flag_i置为1。以上目标分类过程用公式表示为

m n g_f l a g_{i} = \{\begin{array}{l} 1, w h i l e (b l o b c o u n t 1 < b l o b c o u n t 2 & i = = p) \\ 2, e l s e) \end{array}

（7）

对于blobcount1等于blobcount2的情况，需要根据面积系数area_xs_i进行判断，面积系数定义为最大或者次大连通域面积与最大或者次大连通域裁剪区域面积的比值，公式为

a r e a_x s_{i} = \frac{S_{L}^{i}}{S_{A}^{i}} = \frac{a r e a_{i}, (i = = p | i = = q)}{\sum_{x = c e n t e r x_{i} - l e n x_{i}}^{c e n t e r x_{i} + l e n x_{i} - 1} \sum_{y = c e n t e r y_{i} - l e n y_{i}}^{c e n t e r y_{i} + l e n y_{i} - 1} f_{b l o b_c u t}^{i} (x, y)}

（8）

式中，area_i表示第i个BLOB区域面积，Iⁱ_{blob_cut}（x，y）为两个面积最大连通域的裁剪图像，水平和垂直尺寸分别为2×lenx_i和2×leny_i。Iⁱ_blob（x，y）是一个不规则的光斑区域，Iⁱ_{blob_cut}（x，y）为原始图像中的一个矩形区域，Iⁱ_blob（x，y）为Iⁱ_{blob_cut}（x，y）的一个子区域，所以area_xs_i面积系数小于等于1。对于模拟光目标来说，周围没有干涉条纹，只有极少的离散点，因此面积系数接近于1，对主激光目标来说，周围存在干涉条纹，面积系数远小于1。所以，当blobcount1等于blobcount2时，面积系数area_xs_i大的为模拟光目标。将识别标志mng_flag_i设置为1，面积系数area_xs_i小的为主激光目标，将识别标志mng_flag_i设置为2。用公式表示为

m n g_f l a g_{i} = \{\begin{array}{l} 1, w h i l e (a r e a_x s_{p} > a r e a_x s_{q} & i = = p & b l o b c o u n t 1 = = b l o b c o u n t 2) \\ 2, e l s e \end{array}

（9）

1.4　基于边缘特征分析的粘连光学目标识别方法

对于大多数粘连图像来说，由于两个光学目标处于一个视窗中，生成粘连图像的两个光学目标的位置大体可以分为4种布局，即左和右、上和下、右上和左下、左上和右下，根据以上布局可以预见的是，在粘连图像中，50%以上的轮廓信息保持了原有模板图像的轮廓信息，只有在完全重叠区域才损失了原先图像的轮廓信息。例如，在待识别图像的轮廓特征中，左边保留了模板图像轮廓特征的100%，上面和下面分别包含了模板图像轮廓特征的50%以上。因此，从左右上下4个方向，分别对待识别图像的轮廓进行分段检测，依次计算4个方向模板图像轮廓与待识别图像轮廓之间的相关系数，如果有一个相关系数大于0.95，说明待识别图像为粘连图像。主要识别步骤为：1）模板图像和待识别图像轮廓特征提取；2）模板图像和待识别图像轮廓特征匹配；3）待识别图像粘连标志判断；4）从其他方向待识别图像是否为粘连图像。

1.4.1　模板图像和粘连图像轮廓特征提取

模板图像和待识别图像轮廓特征提取主要是提取边缘图像坐标序列。假设边缘图像表示为f（x，y），图像尺寸为n×m，待识别边缘图像表示为g（x，y），图像尺寸为n×m。为了从左右上下方向在待识别边缘图像中检测所包含的模板图像的边缘，需要依次从左右上下4个方向分别检测模板边缘图像和待识别边缘图像所包含的边缘序列。其中左右方向对应X坐标序列，上下方向对应Y坐标序列。

检测边缘图像X坐标序列的原则是，从上到下扫描每一行，从左到右依次搜索，记录第一个灰度值等于255的X坐标值，如果一行中所有的灰度值都等于0，则该行的X坐标记为0。m行全部搜索完毕，共获得m个X坐标序列。将从左边检测的模板边缘图像X坐标序列记为 $f_{l e f t}^{'}$ （y），从左边检测的待识别边缘图像X坐标序列记为g_left（y），用公式分别表示为

\{\begin{array}{l} f_{l e f t}^{'} (y) = x, w h i l e (f (x, y) = = 255 & & x = = m i n (x)) \\ g_{l e f t}^{} (y) = x, w h i l e (g (x, y) = = 255 & & x = = m i n (x)) \end{array}

（10）

式中， $f_{l e f t}^{'}$ （y）和g_left（y）的坐标序列个数等于m，x取值范围为（0，n-1），y取值范围为（0，m-1）。

在使用坐标序列进行边缘特征识别时，需要剔除模板边缘图像所有灰度值全部等于0的行所对应的坐标序列，只保留灰度值等于255的坐标序列，该序列为有效坐标序列。从左边检测的模板边缘图像有效X坐标序列记为f_left（y），用公式表示为

f_{l e f t}^{} (y) = x, w h i l e (f (x, y) = = 255 & & x = = m i n (x) & & x > 0)

（11）

式中，x取值范围为（0，n-1），y取值范围为（0，m-1）。

假设模板图像的有效X坐标序列长度为C₁，待识别图像的X坐标序列长度为C₂，通常情况下，C₁<C₂，C₂=m。从左边检测的模板边缘图像有效X序列f_left（y）为X序列f^’_left（y）的子集，是灰度等于255最左边X坐标序列的集合。

1.4.2　模板图像和待识别图像轮廓特征匹配

1）在待识别边缘图像坐标序列中搜索最佳匹配位置

经过以上处理，在模板边缘图像和待识别边缘图像中从左边检测到两个X坐标序列f_left（y）和g_left（y），两个序列长度不同。为了对两个序列的相似度和相关性进行比较，需要将g_left（y）裁剪成与f_left（y）长度相同的子序列。

g_left（y）裁剪后长度等于C₁的子序列，记为gⁱ_left（y），将获得的m-C₁个子序列分别与f_left（y）做相关运算，得到m-C₁个相关系数。用公式表示为

r (i) = c o r r (f_{l e f t}^{} (x), g_{l e f t}^{i} (x))

（12）

式中，corr表示一维相关函数，i的取值范围为［0，m-C₁-1］。

在m-C₁个相关系数中，选择相关系数最大的子序列对应的起始位置作为最佳匹配点，记为s_left，最大相关系数记为r_left。用公式表示为

\{\begin{array}{l} s_{l e f t}^{} = i, w h i l e (r (i) = m a x (r (i)) \\ r_{l e f t} = r (i), w h i l e (r (i) = m a x (r (i)) \end{array}

（13）

2）在待识别边缘图像坐标序列中搜索最佳匹配序列

搜索最佳匹配序列是从X坐标序列g_left（y）中裁剪起点位置为s_left、长度为C₁的子序列，该序列为最佳匹配X序列，记为h_left（y），用公式表示为

h_{l e f t}^{} (y) = g_{l e f t} (y), w h i l e (s_{l e f t} < = y < s_{l e f t} + C_{l e f t}^{1})

（14）

将最佳匹配X序列和对应的Y方向坐标组合一起，组成最佳匹配位置，记为（h_left（y），y），y的取值范围为［s_left，s_left+C₁-1］。该最佳匹配位置是一个2维列向量，第一列表示X坐标，第二列表示Y坐标。表示在待识别边缘图像中所找到的与模板边缘图像相匹配的位置序列。

1.4.3　待识别图像粘连标志判断

待识别图像粘连标志判断是利用待识别边缘图像的最佳匹配序列判断待识别图像是否为粘连图像。通过以上处理，获得了从左边检测的待识别边缘图像的最佳匹配序列h_left（y），该最佳匹配序列是否与模板边缘图像X坐标序列f_left（y）完全相似，通过相关系数r_left来判断。由于待识别边缘图像是由主激光目标和模拟光目标重叠而成，两个序列之间的相关系数无法等于1，当相关系数r_left越接近于1，则表示两个序列越相似。根据实验结果，选定阈值Tr=0.95，当r_left>0.95时，说明在待识别边缘图像位置序列中包含了模板边缘图像对应的位置序列。换句话说，从左边检测结果来看，在待识别图像的边缘g_left（y）中包含了模板图像的边缘f_left（y）。由此说明，待识别图像为粘连图像。用公式表示为

j o i n_{l e f t} = \{\begin{array}{l} 1, w h i l e (r_{l e f t} > T_{r}) \\ 0, e l s e \end{array}

（15）

式中， $T_{r}$ 表示图像粘连标志阈值，默认值为0.95；join_left为粘连图像判断标志，取值0或者1，1表示粘连，0表示不粘连。

1.4.4　从其他方向待识别图像是否为粘连图像

经过式（10）~（15），完成了根据从左边检测到的边缘来识别判断待识别图像是否为粘连图像。为了确保图像粘连识别结果的可靠性，需要分别从右边、上边、下边3个方向依次来判断待识别图像是否为粘连图像，这3个方向的检测原理与从左边检测原理相同。主要不同点是：1）从右边进行检测时，边缘图像的x下标从n-1到0，依次减小，当f（x，y）或者g（x，y）灰度值等于255时，记录X坐标序列，分别记为f_right（y）和g_right（y）；2）从上边进行检测时，从模板边缘图像f（x，y）和待识别边缘图像g（x，y）中获得坐标序列为Y方向坐标值，分别记为f_up（x）和g_up（x），x取值范围［0，n-1］；3）从下边进行检测时，边缘图像的y下标从n-1到0，依次减小，当f（x，y）或者g（x，y）灰度值等于255时，记录Y方向坐标序列，分别记为f_down（x）和g_down（x）；4）依次计算3个方向的最佳匹配坐标序列，分别为h_right（y）、h_up（x）、h_down（x），相关系数分别为r_right、r_up和r_down，粘连标志分别为join_right、join_up和join_down。

综合4个方向的图像粘连标识，当4个方向中有1个粘连标志等于1时，判断整个待识别图像为粘连图像，整个待识别图像的粘连标志join_flag用公式表示为

j o i n_f l a g = \{\begin{array}{l} 1, w h i l e (j o i n_{l e f t} = = 1 | | j o i n_{r i g h t} = = 1 | | j o i n_{u p} = = 1 | | j o i n_{r i g h t} = = 1) \\ 0, e l s e \end{array}

（16）

2　数据处理

在光路对接准直流程中，根据光路准直所处的阶段不同，对准直图像采用的数据处理方法不同。在起始阶段，由于主激光束和模拟光束刚被导入，需要采用粘连识别算法对两个光学目标的粘连状态进行识别，并通过调整二维镜架BM6XY电机使得两个目标完全分开；在准直阶段，由于主激光束和模拟光束完全被分开，粘连标志为完全分开的状态，只需要对两个光学目标的类型识别，启动光束收敛线程，反复迭代将主激光目标移动到目标位置。因此，本文的识别算法在不同阶段分别实现对粘连状态和两个光学目标类型的识别。本文提出的基于BLOB特征分析的粘连类型和光束类型识别算法处理步骤为：1）二值化；2）数字形态学处理；3）目标识别。双光学目标识别数据处理流程如图1所示。

基于BLOB区域和边缘特征分析的准直图像双光学目标识别方法

0 引言

1 理论背景

1.1 二值化和数字形态学处理

1.2 BLOB区域特征信息提取

1.3 基于BLOB区域数量特征统计的双光学目标识别方法

1.3.1 搜索面积最大的两个连通域

1.3.2 搜索两个面积最大的BLOB区域对应的矩形区域

1.3.3 统计每一个BLOB中心坐标位于两个面积最大区域内的各BLOB个数

1.3.4 设置两个最大BLOB区域的识别标志mng_flagi

1.4 基于边缘特征分析的粘连光学目标识别方法

1.4.1 模板图像和粘连图像轮廓特征提取

1.4.2 模板图像和待识别图像轮廓特征匹配

1.4.3 待识别图像粘连标志判断

1.4.4 从其他方向待识别图像是否为粘连图像

2 数据处理

图 1. 双光学目标识别数据处理流程

Fig. 1. Dual optical target recognition data processing flow

2.1 双光学目标识别数据处理

2.1.1 二值化

图 2. 原始图像

Fig. 2. Original image

图 3. 二值化图像

Fig. 3. Binary image

2.1.2 数字形态学处理

图 4. 第一次数字形态学处理结果

Fig. 4. Results of the first digital morphological processing

表 1. 第一次和第二次统计各BLOB区域详细信息

Table 1. First and second BLOB statistics comparison of BLOB details

图 5. 主激光目标大尺寸膨胀运算结果

Fig. 5. Large expansion calculation results of the main laser target

2.1.3 目标识别

表 2. 目标识别结果对比

Table 2. Comparison of target recognition results

图 6. 面积最大的两个BLOB区域详细参数

Fig. 6. The detailed parameters of two BLOB regions with the largest areas

表 3. 目标识别决策过程

Table 3. Decision process of target recognition

图 7. 目标识别过程示意图

Fig. 7. Schematic diagram of target recognition process

表 4. 4个方向判断待识别图像是否为粘连图像

Table 4. Four directions to determine whether the image to be recognized is an adhered image

图 8. 目标识别结果

Fig. 8. Target recognition results

2.2 粘连光学目标识别数据处理

2.2.1 预处理

图 9. 原始图像

Fig. 9. Original images

图 10. 预处理图像

Fig. 10. Preprocessed images

2.2.2 模板图像和待识别图像轮廓特征提取

图 11. 从左边检测模板边缘图像结果

Fig. 11. Detect template edge image results from the left

图 12. 从左边检测待识别边缘图像结果

Fig. 12. Detect the result of the edge image to be recognized from the left

2.2.3 模板图像和待识别图像轮廓特征匹配

图 13. 在待识别边缘图像中搜索最佳匹配序列

Fig. 13. Searching for the best matching sequence in the edge image to be recognized

2.2.4 待识别图像粘连标志判断

2.2.5 从其他方向判断待识别图像是否为粘连图像

图 14. 从4个方向判断待识别图像是否为粘连图像

Fig. 14. Judging whether the image to be recognized is adhesive image from four directions

图 15. 粘连图像区域分割效果

Fig. 15. Region segmentation effect of adhesive image

3 实验结果分析

3.1 基于BLOB区域数量特征统计的双光学目标识别方法重复精度分析

图 16. 对于5幅不同的对接准直图像光学目标识别结果

Fig. 16. Optical target recognition results for 5 different butt collimation images

表 5. 对于5幅不同的对接准直图像光学目标识别结果

Table 5. Optical target recognition results for 5 different butt collimation images

3.2 基于BLOB区域数量统计的双光学目标识别方法处理时间性能分析

表 6. 多光学目标识别算法处理时间性能分析

Table 6. Processing time performance analysis of multi-optical target recognition algorithm

3.3 粘连目标识别方法对于粘连和单独光学目标识别结果分析

图 17. 单个有效目标的识别过程和结果

Fig. 17. Identification process and results of a single valid target

表 7. 单个有效目标识别过程参数

Table 7. Single valid target recognition process parameters

3.4 基于边缘特征分析的粘连光学目标识别方法重复精度分析

图 18. 不同粘连图像的识别过程和结果

0　引言

1　理论背景

1.1　二值化和数字形态学处理

1.2　BLOB区域特征信息提取

1.3　基于BLOB区域数量特征统计的双光学目标识别方法

1.3.1　搜索面积最大的两个连通域

1.3.2　搜索两个面积最大的BLOB区域对应的矩形区域

1.3.3　统计每一个BLOB中心坐标位于两个面积最大区域内的各BLOB个数

1.3.4　设置两个最大BLOB区域的识别标志mng_flag_i

1.4　基于边缘特征分析的粘连光学目标识别方法

1.4.1　模板图像和粘连图像轮廓特征提取

1.4.2　模板图像和待识别图像轮廓特征匹配

1.4.3　待识别图像粘连标志判断

1.4.4　从其他方向待识别图像是否为粘连图像

2　数据处理

2.1　双光学目标识别数据处理

2.1.1　二值化

2.1.2　数字形态学处理

2.1.3　目标识别

2.2　粘连光学目标识别数据处理

2.2.1　预处理

2.2.2　模板图像和待识别图像轮廓特征提取

2.2.3　模板图像和待识别图像轮廓特征匹配

2.2.4　待识别图像粘连标志判断

2.2.5　从其他方向判断待识别图像是否为粘连图像

3　实验结果分析

3.1　基于BLOB区域数量特征统计的双光学目标识别方法重复精度分析

3.2　基于BLOB区域数量统计的双光学目标识别方法处理时间性能分析

3.3　粘连目标识别方法对于粘连和单独光学目标识别结果分析

3.4　基于边缘特征分析的粘连光学目标识别方法重复精度分析

4　结论