基于BLOB区域和边缘特征分析的准直图像双光学目标识别方法
0 引言
光束控制与诊断系统是某原型装置的一个闭环调控监视系统,具备多功能和高准确度的激光参量诊断平台[1],该系统包含光学取样组件、探测元器件、伺服系统、监视系统和控制系统等,用于精密诊断装置输出激光光束的能量、近场、远场和时间波形等特性。在大型激光装置中,光路自动准直系统需要完成三个准直流程:光路自准直、模拟光准直和光路对接准直。光路对接准直的主要目的是通过启动光束收敛线程,结合图像识别和二维电动镜架的调整,反复迭代将主激光目标调整到相对模拟光目标的相对偏差位置。
光路对接准直图像中包含两个光学目标,即模拟光目标和主激光目标。在光束初始调控阶段,两个光学目标的位置是随机的、不确定的,存在两个光学目标粘连在一起的可能,对光束调控造成了巨大的困难。因此,光路对接准直需要解决两种情况下的图像识别问题:1)在光束初始调控阶段,当主激光束和模拟光束刚被导入时,需要采用粘连识别算法对两个光学目标的粘连状态进行识别,如果两个光学目标处于粘连状态,需要通过调整二维镜架BM6XY电机使得两个目标完全分开;2)在两个光学目标完全分开的情况下,需要确定两个光学目标哪个是模拟光目标,哪个是主激光目标。
在光路对接准直流程[2-4]中,双目标粘连状态的无法判别是一个需要解决的问题。郭嘉富[5]针对大型激光装置[6]光路自动准直中的光学目标识别问题,提出了基于圆拟合的双光学目标识别方法,但无法对两个光学目标的粘连状态进行判别。为了应对这个问题,首先需要分析粘连图像[7]和完全分离图像的特点。对于处于粘连状态的双光学目标准直图像[7],可以观察到以下特点:1)准直图像可能包含1个或2个光学目标;2)目标完全分离时,距离大于100像素;3)目标距离较近或完全重合时,会合并为一个光斑。由以上分析可知采用适当的图像处理和分类算法来解决双目标粘连状态无法判别的问题,可成功完成光路对接准直操作。
粘连图像的识别[8-10]是指从一个待识别图像中判断是否分别包含两个单独目标的部分特征信息的过程。因此,粘连目标识别需要同时处理待识别图像和模板图像。通过观察待识别图像和模板图像的边缘轮廓特征,发现在待识别图像中包含了大部分模板图像的边缘轮廓特征[11]。基于此,将两幅图像的边缘轮廓信息作为判断待识别图像是否为粘连图像的重要特征信息。选择模拟光目标[12]作为模板图像,提取该模板图像的特征信息,记为Ef,同时在待识别图像中提取特征信息,记为Eg。通过比较两个图像特征信息的相似度,判断在待识别图像中是否包含模板图像的特征信息。如果Eg中包含Ef的特征信息大于某个阈值,则说明待识别图像中包含了模板图像,从而证明待识别图像为粘连图像。
两个完全分离的双光学目标准直[12]图像具有以下特点:1)模拟光目标为实心、目标区域连续、目标区域中心无孔洞的光学目标,边缘轮廓较为平滑,主体目标区域形成一个完整的连通域;2)主激光目标是一个非实心的光学目标,其目标区域不连续且包含许多孔洞,边缘区域轮廓非常曲折,整个目标区域包含多个连通域,且连通域内存在孔洞;3)主激光目标的光束质量较差,其光斑形状多变,纹理不规则,边缘曲折不连续明显。最明显的特征是模拟光目标仅包含一个连通域,而主激光目标则包含多个连通域。基于这个特征,通过统计和比较两种光学目标在各自的目标区域中包含的连通域个数来区分模拟光目标和主激光目标。
为了对主激光和模拟光粘连光学目标进行分离,本文提出了一种基于二进制大对象(Binary Large Object,BLOB)区域和边缘特征分析的准直图像双光学目标识别方法。该方法通过统计经过数字图像处理后的光学目标BLOB数目,建立数学模型,以实现对主激光和模拟光目标在完全分离和粘连状态下的识别。
1 理论背景
基于BLOB区域和边缘特征分析的准直图像双光学目标识别方法的目的是提出一个统一的图像识别算法,同时完成两个功能:1)对处于粘连状态的两个光学目标的粘连状态进行判别;2)对于完全分离的准直图像中双光学目标进行识别,并标识模拟光目标和主激光目标的识别标志。为了实现该功能,提出的基于BLOB区域[12-13]和边缘特征分析的准直图像双光学目标识别方法的主要步骤为:1)二值化和数字形态学处理;2)BLOB区域特征信息提取;3)基于BLOB区域数量特征统计的双光学目标识别;4)基于边缘特征分析的粘连光学目标识别。
1.1 二值化和数字形态学处理
在光路对接准直流程中,通常采集到的准直图像包含主激光和模拟光两个光学目标,两个目标的分布特征不同。为了识别两个目标中的主激光目标和模拟光目标,需要将包含不规则纹理的主激光目标合并为一个较完整的、面积更大的连通域,对二值化图像进行膨胀运算。
假设光路对接准直图像表示为I(x,y),是尺寸为n×m的8位位图图像(Bitmap,BMP),m=600,n=800。为了方便统计准直图像的特征信息,使用类间最大方差法(OTSU)对I(x,y)进行二值化处理,二值化图像表示为Ibin(x,y)。按照数字形态学理论,膨胀运算实质上是集合运算,A被B膨胀看作是所有结构单元原点位置组成的集合。选择尺寸为5×5的结构单元,结构单元如矩阵
经过数字形态学膨胀运算图像Imorph(x,y)为二值化图像Ibin(x,y)与矩阵
1.2 BLOB区域特征信息提取
BLOB区域[15]指图像中具有相似特征且在空间上相互连通的像素集合,也称作连通域。通过BLOB特征分析不仅可以将目标从背景中分离出来,而且可以提取目标的特征参数,如面积、周长、形心和重心位置、水平/垂直方向轴长、边缘轮廓等。
本文目标识别方法需要对每一个BLOB区域进行裁剪,重点关注每个BOLB区域的水平/垂直方向轴长和重心位置。一幅准直图像的目标识别函数用公式表示为
式中,i表示BLOB区域编号,BR为准直目标识别函数(Blob Recognize)。
对每个BLOB区域来说,特征信息提取的结果包括:面积areai、XY方向中心位置centerxi和centeryi、XY方向轴长lenxi和lenyi、裁剪区域从regioni.left到regioni.bottom、粘连标志join_flagi、目标识别类别mng_flagi等。BLOB区域编号i满足0<=i<blobcount,blobcount为BLOB区域个数,Iiblob(x,y)为第i个BLOB区域。
将一幅准直图像提取出的每个BLOB区域特征信息存储在BLOB链表中,链表长度等于BLOB区域个数blobcount,每个BLOB区域的面积、XY方向轴长、中心坐标位置、裁剪区域、目标识别类别用公式表示为
式中,endsNumber为链码表所对应的线段表个数,即一个BLOB区域所包含的行数,pPoint[k].x分别为水平线段表的起点位置和终点位置,point_sum为一个BLOB区域的像素个数,即面积,mng_flagi为目标识别类别,取值为0、1、2、3。
1.3 基于BLOB区域数量特征统计的双光学目标识别方法
在正常的光路对接准直流程中,两个光学目标处理[16]处于完全分开状态,粘连标志join_flagi=0。为了实现光学对接准直流程,通过移动二维电动镜架BM6XY使得主激光移动到相对模拟光的相对偏差位置,这需要对模拟光目标和主激光目标两个光学目标进行识别。
通过分析光路对接准直两种光学目标特点,发现两种光学目标分别包含的连通域个数不同,模拟光目标只包含一个连通域,主激光目标包含多个连通域,基于此特征,通过统计和比较两种光学目标在各自目标区域中包含的连通域个数来区分模拟光目标和主激光目标。目标识别主要分为4个步骤:1)搜索面积最大的两个区域,将识别标志mng_flagi置为3;2)搜索每个BLOB区域的矩形区域;3)统计每一个BLOB中心坐标位于两个面积最大的区域内的各BLOB个数,分别记为blobcount1和blobcount2;4)比较blobcount1和blobcount2大小,对模拟光目标和主激光目标进行目标识别。
1.3.1 搜索面积最大的两个连通域
一般地,主激光目标和模拟光目标对应的两个连通域面积都是最大的,每一个BLOB区域的详细信息,包括面积、中心位置、XY方向轴长可用
式中,areai为第i个BLOB区域的面积,p、q分别为面积最大和面积次大BLOB区域所对应的区域编号。面积最大和次大的两个连通域为候选区域,将
1.3.2 搜索两个面积最大的BLOB区域对应的矩形区域
搜索两个面积最大的候选BLOB区域对应的矩形区域,是为统计每一个BLOB中心坐标位于两个面积最大的区域内的各BLOB个数做准备。两个面积最大的BLOB区域的对应的矩形区域,表示为[regioni.left
每个BLOB区域的边界必须满足左上X和左上Y大于0,且右下X小于图像水平尺寸,右下Y小于图像尺寸的约束条件regioni.left>=0,regioni.right<n,regioni.top>=0,regioni.bottom<m。
根据以上区域计算公式,所选择的每个BLOB区域裁剪范围是原先BLOB区域水平和垂直轴长的2倍。对于每个BLOB区域来说,裁剪图像用公式表示为
式中,Iiblob(x,y)表示第i个BLOB区域,是不规则的光斑区域,Iiblob_cut(x,y)为每个连通域对应的裁剪图像,水平尺寸为2×lenxi,垂直尺寸为2×lenyi。
1.3.3 统计每一个BLOB中心坐标位于两个面积最大区域内的各BLOB个数
模拟光目标和主激光目标的目标识别决策过程主要通过统计每一个BLOB中心坐标位于两个面积最大的区域内的各BLOB个数来实现的。该决策算法是依据光路对接准直两种光学目标特点来决定的,对模拟光目标来说,模拟光是一个实心的光斑,当模拟光目标的裁剪区域regioni水平和垂直方向被放大2倍后,在模拟光目标的裁剪区域regioni内基本上不存在面积较小的连通域,如果原始图像中存在离散点的话,经过腐蚀运算已经被消除掉了。对主激光目标来说,由于主激光目标周围存在很多的衍射条纹,当主激光目标的裁剪区域regioni水平和垂直方向也被放大2倍后,衍射条纹相比离散点的面积大很多,通过腐蚀运算无法将主激光目标裁剪区域regioni内的衍射条纹消除掉。两个面积最大的区域内的各BLOB个数用公式表示为
式中,blobcount1表示面积最大光学目标裁剪区域内包含的连通域个数,blobcount2表示面积次大的光学目标裁剪区域内包含的连通域个数,p和q分别为面积最大和次大的BLOB区域编号,count(i)表示每个连通域中心坐标(centerxi,centeryi)在面积最大的连通域regionm或regionn内的个数。
1.3.4 设置两个最大BLOB区域的识别标志mng_flagi
当获得每一个BLOB中心坐标位于两个面积最大区域内的各BLOB个数blobcount1和blobcount2后,比较blobcount1和blobcount2大小,如果blobcount1<blobcount2,则blobcount1对应的最大面积BLOB区域为模拟光目标,识别标志mng_flagi置为1,blobcount2对应的最大面积BLOB区域为主激光目标,识别标志mng_flagi置为1;反之blobcount1>blobcount2,blobcount1对应的最大面积BLOB区域为主激光目标,识别标志mng_flagi置为2,blobcount2对应的最大面积BLOB区域为模拟光目标,识别标志mng_flagi置为1。以上目标分类过程用公式表示为
对于blobcount1等于blobcount2的情况,需要根据面积系数area_xsi进行判断,面积系数定义为最大或者次大连通域面积与最大或者次大连通域裁剪区域面积的比值,公式为
式中,areai表示第i个BLOB区域面积,I iblob_cut(x,y)为两个面积最大连通域的裁剪图像,水平和垂直尺寸分别为2×lenxi和2×lenyi。I iblob(x,y)是一个不规则的光斑区域,I iblob_cut(x,y)为原始图像中的一个矩形区域,I iblob(x,y)为I iblob_cut(x,y)的一个子区域,所以area_xsi面积系数小于等于1。对于模拟光目标来说,周围没有干涉条纹,只有极少的离散点,因此面积系数接近于1,对主激光目标来说,周围存在干涉条纹,面积系数远小于1。所以,当blobcount1等于blobcount2时,面积系数area_xsi大的为模拟光目标。将识别标志mng_flagi设置为1,面积系数area_xsi小的为主激光目标,将识别标志mng_flagi设置为2。用公式表示为
1.4 基于边缘特征分析的粘连光学目标识别方法
对于大多数粘连图像来说,由于两个光学目标处于一个视窗中,生成粘连图像的两个光学目标的位置大体可以分为4种布局,即左和右、上和下、右上和左下、左上和右下,根据以上布局可以预见的是,在粘连图像中,50%以上的轮廓信息保持了原有模板图像的轮廓信息,只有在完全重叠区域才损失了原先图像的轮廓信息。例如,在待识别图像的轮廓特征中,左边保留了模板图像轮廓特征的100%,上面和下面分别包含了模板图像轮廓特征的50%以上。因此,从左右上下4个方向,分别对待识别图像的轮廓进行分段检测,依次计算4个方向模板图像轮廓与待识别图像轮廓之间的相关系数,如果有一个相关系数大于0.95,说明待识别图像为粘连图像。主要识别步骤为:1)模板图像和待识别图像轮廓特征提取;2)模板图像和待识别图像轮廓特征匹配;3)待识别图像粘连标志判断;4)从其他方向待识别图像是否为粘连图像。
1.4.1 模板图像和粘连图像轮廓特征提取
模板图像和待识别图像轮廓特征提取主要是提取边缘图像坐标序列。假设边缘图像表示为f(x,y),图像尺寸为n×m,待识别边缘图像表示为g(x,y),图像尺寸为n×m。为了从左右上下方向在待识别边缘图像中检测所包含的模板图像的边缘,需要依次从左右上下4个方向分别检测模板边缘图像和待识别边缘图像所包含的边缘序列。其中左右方向对应X坐标序列,上下方向对应Y坐标序列。
检测边缘图像X坐标序列的原则是,从上到下扫描每一行,从左到右依次搜索,记录第一个灰度值等于255的X坐标值,如果一行中所有的灰度值都等于0,则该行的X坐标记为0。m行全部搜索完毕,共获得m个X坐标序列。将从左边检测的模板边缘图像X坐标序列记为
式中,
在使用坐标序列进行边缘特征识别时,需要剔除模板边缘图像所有灰度值全部等于0的行所对应的坐标序列,只保留灰度值等于255的坐标序列,该序列为有效坐标序列。从左边检测的模板边缘图像有效X坐标序列记为fleft(y),用公式表示为
式中,x取值范围为(0,n-1),y取值范围为(0,m-1)。
假设模板图像的有效X坐标序列长度为C1,待识别图像的X坐标序列长度为C2,通常情况下,C1<C2,C2=m。从左边检测的模板边缘图像有效X序列fleft(y)为X序列f’left(y)的子集,是灰度等于255最左边X坐标序列的集合。
1.4.2 模板图像和待识别图像轮廓特征匹配
1)在待识别边缘图像坐标序列中搜索最佳匹配位置
经过以上处理,在模板边缘图像和待识别边缘图像中从左边检测到两个X坐标序列fleft(y)和gleft(y),两个序列长度不同。为了对两个序列的相似度和相关性进行比较,需要将gleft(y)裁剪成与fleft(y)长度相同的子序列。
gleft(y)裁剪后长度等于C1的子序列,记为gileft(y),将获得的m-C1个子序列分别与fleft(y)做相关运算,得到m-C1个相关系数。用公式表示为
式中,corr表示一维相关函数,i的取值范围为[0,m-C1-1]。
在m-C1个相关系数中,选择相关系数最大的子序列对应的起始位置作为最佳匹配点,记为sleft,最大相关系数记为rleft。用公式表示为
2)在待识别边缘图像坐标序列中搜索最佳匹配序列
搜索最佳匹配序列是从X坐标序列gleft(y)中裁剪起点位置为sleft、长度为C1的子序列,该序列为最佳匹配X序列,记为hleft(y),用公式表示为
将最佳匹配X序列和对应的Y方向坐标组合一起,组成最佳匹配位置,记为(hleft(y),y),y的取值范围为[sleft,sleft+C1-1]。该最佳匹配位置是一个2维列向量,第一列表示X坐标,第二列表示Y坐标。表示在待识别边缘图像中所找到的与模板边缘图像相匹配的位置序列。
1.4.3 待识别图像粘连标志判断
待识别图像粘连标志判断是利用待识别边缘图像的最佳匹配序列判断待识别图像是否为粘连图像。通过以上处理,获得了从左边检测的待识别边缘图像的最佳匹配序列hleft(y),该最佳匹配序列是否与模板边缘图像X坐标序列fleft(y)完全相似,通过相关系数rleft来判断。由于待识别边缘图像是由主激光目标和模拟光目标重叠而成,两个序列之间的相关系数无法等于1,当相关系数rleft越接近于1,则表示两个序列越相似。根据实验结果,选定阈值Tr=0.95,当rleft>0.95时,说明在待识别边缘图像位置序列中包含了模板边缘图像对应的位置序列。换句话说,从左边检测结果来看,在待识别图像的边缘gleft(y)中包含了模板图像的边缘fleft(y)。由此说明,待识别图像为粘连图像。用公式表示为
式中,
1.4.4 从其他方向待识别图像是否为粘连图像
经过式(
综合4个方向的图像粘连标识,当4个方向中有1个粘连标志等于1时,判断整个待识别图像为粘连图像,整个待识别图像的粘连标志join_flag用公式表示为
2 数据处理
在光路对接准直流程中,根据光路准直所处的阶段不同,对准直图像采用的数据处理方法不同。在起始阶段,由于主激光束和模拟光束刚被导入,需要采用粘连识别算法对两个光学目标的粘连状态进行识别,并通过调整二维镜架BM6XY电机使得两个目标完全分开;在准直阶段,由于主激光束和模拟光束完全被分开,粘连标志为完全分开的状态,只需要对两个光学目标的类型识别,启动光束收敛线程,反复迭代将主激光目标移动到目标位置。因此,本文的识别算法在不同阶段分别实现对粘连状态和两个光学目标类型的识别。本文提出的基于BLOB特征分析的粘连类型和光束类型识别算法处理步骤为:1)二值化;2)数字形态学处理;3)目标识别。双光学目标识别数据处理流程如
2.1 双光学目标识别数据处理
2.1.1 二值化
光路对接准直原始图像如
2.1.2 数字形态学处理
1)腐蚀运算
对原始图像二值化处理后,需要统计二值化图像中的BLOB信息。为了消除主激光目标周围的离散点,需要对二值化图像使用腐蚀运算进行第一次数字形态学处理,将主激光目标拆分成更多的非连通BLOB区域,处理结果如
整个准直图像进行腐蚀运算处理结果如
主激光目标经过腐蚀运算前后的结果如
2)大尺寸膨胀运算
通过对腐蚀运算后的图像进行第二次数字形态学处理大尺度膨胀运算,将非连通的主激光目标膨胀成更大面积的连通区域。依据
表 1. 第一次和第二次统计各BLOB区域详细信息
Table 1. First and second BLOB statistics comparison of BLOB details
|
由
大尺寸膨胀运算,用来将每个BLOB区域进行膨胀放大。对于模拟光目标,因为模拟光目标是实心的,运算后目标周围被等比例放大,几何形态几乎没有变化。运算后主激光目标的主要变化为:1)各BLOB区域变为面积更大的连通区域;2)几个BLOB区域可能会合并成一个面积更大的BLOB区域;3)每个BLOB区域内的孔洞可能变小,甚至消失。主激光目标大尺寸膨胀运算前后对比结果如
从
2.1.3 目标识别
目标识别是根据两次数字形态学处理获得的各个BLOB区域的量化特征信息进行比较分析,确定哪个是主激光目标,哪个是模拟光目标。假设模拟光目标对应的中心坐标位于两个面积最大的区域内的各BLOB个数为blobcount1,主激光目标对应的中心坐标位于两个面积最大的区域内的各BLOB个数为blobcount2,比较blobcount1和blobcount2大小,如果blobcount1<blobcount2,blobcount1对应的最大面积BLOB区域为模拟光目标,blobcount2对应的最大面积BLOB区域为主激光目标;反之亦然。
因此,目标识别主要分为4个步骤:
1)搜索面积最大的两个BLOB区域
根据面积最大的两个BLOB区域的搜索结果,可以确定No.1和No.2对应的BLOB区域分别作为模拟光目标和主激光目标的候选目标。将这两个BLOB区域的mng_flagi设置为3,如
表 2. 目标识别结果对比
Table 2. Comparison of target recognition results
|
图 6. 面积最大的两个BLOB区域详细参数
Fig. 6. The detailed parameters of two BLOB regions with the largest areas
2)搜索两个面积最大的BLOB区域的对应的矩形区域
该步骤是为统计每一个BLOB中心坐标位于两个面积最大矩形区域内所有的BLOB区域个数做准备。两个面积最大的BLOB区域所对应的矩形区域,表示为[left top][right bottom],依次为BLOB区域的左上X、左上Y、右下X、右下Y坐标位置,用公式表示为:left=中心坐标X-X方向轴长,top =中心坐标Y-Y方向轴长,right=中心坐标X+X方向轴长,bottom=中心坐标Y+Y方向轴长。
如
表 3. 目标识别决策过程
Table 3. Decision process of target recognition
|
3)统计每一个BLOB中心坐标位于两个面积最大的区域内的各BLOB个数
模拟光目标和主激光目标的目标识别决策过程是通过统计每个BLOB中心坐标位于两个面积最大的区域内的所有BLOB个数来实现的。目标识别的过程如
表 4. 4个方向判断待识别图像是否为粘连图像
Table 4. Four directions to determine whether the image to be recognized is an adhered image
|
4)比较中心坐标位于两个最大BLOB区域的个数
当获得每个BLOB中心坐标位于两个面积最大区域内的BLOB个数blobcount1和blobcount2后,比较blobcount1和blobcount2大小,如果blobcount1<blobcount2,则blobcount1对应的最大面积BLOB区域为模拟光目标,blobcount2对应的最大面积BLOB区域为主激光目标;反之亦然。
本次实验中目标识别结果如
2.2 粘连光学目标识别数据处理
粘连光学目标识别可以分为5个步骤:1)预处理;2)模板图像和待识别图像轮廓特征提取;3)模板图像和待识别图像轮廓特征匹配;4)待识别图像粘连标志判断;5)从其他方向判断待识别图像是否为粘连图像。
2.2.1 预处理
为了说明基于轮廓特征提取的粘连光学目标识别算法的处理过程,选择具有代表性的粘连图像进行说明,假设边模板原始图像表示为forg(x,y),图像尺寸为n×m,待识别边缘图像表示为gorg(x,y),图像尺寸为n×m,其中m=600,n=800,模板原始图像和待识别原始图像分别如
由于待识别原始图像和模板图像基本上都处于饱和状态,无法通过图像内部的纹理信息识别。通过分析两幅图像的边缘轮廓特征,发现在待识别图像中包含了大部分模板图像的边缘轮廓特征。所以,分别对两幅图像进行二值化和边缘检测处理,获取两幅图像的边缘特征信息,作为判断待识别图像是否为粘连图像。模板图像和待识别图像的二值化处理结果分别如
2.2.2 模板图像和待识别图像轮廓特征提取
模板图像和待识别图像轮廓特征提取主要是提取边缘图像坐标序列,对从左边方向检测边缘X坐标序列过程进行说明。从左边检测模板边缘图像有效X坐标序列fleft(y)坐标值分布曲线如
从左边检测待识别边缘图像X坐标序列gleft(y)坐标值分布曲线如
图 12. 从左边检测待识别边缘图像结果
Fig. 12. Detect the result of the edge image to be recognized from the left
2.2.3 模板图像和待识别图像轮廓特征匹配
模板图像和待识别图像轮廓特征匹配的目的是在待识别边缘图像X坐标序列gleft(y)中搜寻与模板边缘图像X坐标序列fleft(y)长度相同的子序列,hleft(y)和fleft(y)的相关系数最大,该子序列为最佳匹配序列hleft(y),将该子序列的起始值sleft当作最佳位置。在本次实验中,最佳匹配序列hleft(y)在
图 13. 在待识别边缘图像中搜索最佳匹配序列
Fig. 13. Searching for the best matching sequence in the edge image to be recognized
为了说明待识别边缘图像最佳匹配序列的检测效果,将模板边缘图像坐标序列fleft(y)和待识别图像的最佳匹配序列hleft(y)的坐标值曲线进行比较,结果如13(b)所示。可以看出,两条曲线的轮廓相似性极大,但坐标值不同,这是因为模板图像中的光学目标距离左边界更近,而待识别图像中的光学目标距离边界更远。
在待识别边缘图像中最佳匹配序列对应位置如
2.2.4 待识别图像粘连标志判断
待识别图像粘连标志判断的目的是利用待识别边缘图像的最佳匹配序列判断待识别图像是否为粘连图像。根据
2.2.5 从其他方向判断待识别图像是否为粘连图像
为了确保图像粘连识别结果的可靠性,需要分别从左、右、上、下4个方向依次来判断待识别图像是否为粘连图像,处理过程如
图 14. 从4个方向判断待识别图像是否为粘连图像
Fig. 14. Judging whether the image to be recognized is adhesive image from four directions
经过以上处理,综合4个方向的图像粘连标识,当4个方向中有1个粘连标志=1时,判断整个待识别图像为粘连图像,因此,join_flag=1,即待识别图像为粘连图像。粘连图像区域分割效果如
3 实验结果分析
3.1 基于BLOB区域数量特征统计的双光学目标识别方法重复精度分析
实验环境为LENOVO Think Pad T410i,处理器 Intel(R)Core(TM)i5 CPU M 450@2.4 GHz,所用软件为Matlab2016b,内存4 G。
为了验证本文基于BLOB区域数量特征统计的双光学目标识别算法的可重复性,本次实验选择5幅不同的准直图像进行双光学目标识别处理,5幅准直图像具有相同的特点:1)图像中包含两个光学目标,分别是主激光目标和模拟光目标;2)模拟光目标是一个实心的、边缘轮廓连续的、形状不规则的光学目标;3)主激光目标是一个非实心的、边缘轮廓曲折的、光斑中心存在很多孔洞的光学目标,而且光学目标外围区域的亮斑与中心高能量区域存在非连续、非粘连的情况。
针对以上特点的准直图像,不仅需要识别出主激光目标和模拟光目标,更重要的是在识别主激光目标时,主激光目标的外围亮斑区域与中心高能量区域必须看作同一个光学目标来处理。5幅不同的准直图像的双光学目标识别结果如
图 16. 对于5幅不同的对接准直图像光学目标识别结果
Fig. 16. Optical target recognition results for 5 different butt collimation images
表 5. 对于5幅不同的对接准直图像光学目标识别结果
Table 5. Optical target recognition results for 5 different butt collimation images
|
从
对于图像5来说,No.1对应BLOB的面积大于No.2对应BLOB的面积,连通域个数blobcount为10;在所有中心位于两个面积最大Region内的BLOB区域中,No.1对应BLOB的blobcount1为9,No.2对应BLOB的blobcount2为1,因为blobcount1>blobcount2,所以No.1对应BLOB为主激光目标,No.2对应BLOB为模拟光目标。
通过以上分析说明,本文的双光学目标识别算法不仅实现了主激光目标和模拟光目标的识别,而且能够满足识别不同准直图像时对于重复精度的要求,是光路对接准直流程中用来实现双光学目标识别和判断的一个非常有效的方法。
3.2 基于BLOB区域数量统计的双光学目标识别方法处理时间性能分析
对于双光学目标识别算法,不仅要保证算法的识别准确率和精度,同时需要保证算法的处理时间满足光路对接准直流程对于时间的要求。根据大型激光装置光路对接准直的设计指标,要求每一幅准直图像目标识别的处理时间小于1 s。一幅准直图像的目标识别过程共分为4个步骤,分别是二值化、腐蚀运算、膨胀运算、光学目标识别。其中光学目标识别包含BLOB特征提取和光学目标分离两个步骤。对5幅光路准直图像进行光学目标识别,各个步骤的处理时间如
表 6. 多光学目标识别算法处理时间性能分析
Table 6. Processing time performance analysis of multi-optical target recognition algorithm
|
从
对于5幅准直图像来说,在所有的目标识别4个步骤中,膨胀运算所消耗的平均时间最长,为0.218 4 s,二值化和BLOB特征提取的处理时间最短,都小于0.1 s。5幅准直图像中目标识别所消耗的最短时间为0.344 s,最长时间为0.703 s,平均时间为0.559 6 s。
由此看见,本文提出的双光学目标识别算法不仅能够实现主激光目标和模拟光目标的准确识别,而且目标识别耗时全部小于1 s,满足了大型激光装置光路对接准直流程中光学目标识别算法对于时间的要求。
3.3 粘连目标识别方法对于粘连和单独光学目标识别结果分析
粘连目标识别是指当初始阶段主激光束和模拟光束刚被导入时,由于主激光目标和模拟光目标处于同一个视窗中,两个目标可能会处于粘连状态,根据本文的粘连目标识别算法进行判断,如果两个光学目标处于粘连状态,需要通过调整二维镜架BM6XY电机使得两个目标完全分开。粘连光学目标识别的前提条件是待识别图像中的有效光学目标个数为1,但是此时会有三种情况:1)待识别图像是一个粘连图像;2)待识别图像中只有1个模拟光目标;3)待识别图像中只有1个主激光目标。
为了提高粘连目标识别算法的适应性,需要对本算法在对以上三种情况的识别能力进行分析和验证。对于有效光学目标vblobcount等于1的待识别图像,从左、右、上、下4个方向分别提取模板边缘图像的有效坐标序列Ef和待识别边缘图像的坐标序列Eg,搜素Ef和Eg的最大相关系数r对应的有效坐标序列Eh。以上三种情况的判断条件是:1)当4个方向的相关系数中至少2个大于0.95且1个小于0.95时,待识别图像为粘连图像;2)当4个方向的相关系数r全部大于0.95时,待识别图像为模拟光目标;3)当4个方向的相关系数r都小于0.95时,待识别图像为主激光目标。
实验选择三幅最有代表性的图像来说明本文方法在对有效目标个数等于1的粘连目标、单个模拟光目标、单个主激光目标图像的识别结果。单个有效目标的识别过程如
图 17. 单个有效目标的识别过程和结果
Fig. 17. Identification process and results of a single valid target
表 7. 单个有效目标识别过程参数
Table 7. Single valid target recognition process parameters
|
3.4 基于边缘特征分析的粘连光学目标识别方法重复精度分析
为了说明基于边缘特征分析的粘连光学目标识别方法对于不同粘连图像的识别重复精度,选择5幅具有代表性的图像进行比较说明。不同粘连图像的识别过程如
图 18. 不同粘连图像的识别过程和结果
Fig. 18. Identification process and results of different adhesive images
表 8. 不同粘连图像的识别过程参数
Table 8. Recognition process parameters of different adhesive images
|
该5幅图像与论文数据处理部分,如
本文粘连识别方法能够对处于不同粘连和重叠程度的粘连光学目标进行识别,说明该方法具有极大的适用性和鲁棒性,满足识别不同粘连图像时对于重复精度的要求,可解决光路对接准直目标识别算法对双目标粘连状态准确判别的问题。
4 结论
本文提出了一种基于BLOB区域和边缘特征分析的准直图像双光学目标识别方法。通过建立数学模型与仿真实验,实现了对主激光和模拟光目标在完全分离和粘连状态下的识别。在实验过程中,计算全图各BLOB区域的面积Area、中心Cxy、轴长lenxy、区域Reginxy、有效BLOB区域个数vblobcount等信息;对vblobcount大于1的完全分离双目标准直图像,统计各BLOB区域中心分别为位于两个面积最大的BLOB区域Region内的BLOB数量,数量小的候选BLOB区域为主激光目标,数量大的候选BLOB区域为模拟光目标;对于vblobcount等于1的待识别图像,从左、右、上、下4个方向分别提取模板边缘图像的有效坐标序列Ef和待识别边缘图像的坐标序列Eg,搜素Ef和Eg的最大相关系数r对应的有效坐标序列Eh,当4个方向的相关系数r全部大于0.95时,待识别图像为模拟光目标;当4个方向的相关系数r都小于0.95时,待识别图像为主激光光目标;否则待识别图像为粘连图像。所提方法不仅能够实现对完全分离的模拟光目标和主激光目标的识别,误差小于3个像素,处理时间小于1 s,而且能够实现对处于粘连状态的光学目标和单个独立的光学目标的判别,满足光路对接准直图像识别算法对于自适应性、精度和效率的要求。
[1] 刘代中, 徐仁芳, 范滇元. 激光聚变装置光束自动准直系统的研究进展[J]. 激光与光电子学进展, 2004(2): 1-5.
LIU Daizhong, XU Renfang, FAN Dianyuan. Evolution of beam automatic alignment system in laser-fusion facility[J]. Laser & Optoelectronics Progress, 2004(2): 1-5.
[2] YINGJ, HEY, ZHOUZ. High speed gradient Hough transform algorithm for laser spot location[C]. SPIE, 2008, 6625: 152-157.
[3] RAMTEKE R, MONALI K Y. Automatic medical image classification and abnormality detection using k-nearest neighbour[J]. International Journal of Advanced Computer Research, 2012, 2(4): 190.
[4] SHIY, CHENGX. Laser spot center detection based on the geometric feature[C]. 2010 Third International Symposium on Information Science and Engineering, IEEE, 2010: 322-325.
[5] 郭嘉富, 王拯洲, 段亚轩, 等. 基于双目标识别和准直数学模型改进的光路自动准直方法[J]. 光子学报, 2022, 51(11): 1114006.
[6] JIANG G, ATTIYA S, OCVIRK G, et al. Red diode laser induced fluorescence detection with a confocal microscope on a microchip for capillary electrophoresis[J]. Biosensors and Bioelectronics, 2000, 14(10-11): 861-869.
[7] SCHRAMM N U, EBEL G, ENGELAND U, et al. High-resolution SPECT using multipinhole collimation[J]. IEEE Transactions on Nuclear Science, 2003, 50(3): 315-320.
[8] BOERSCH I, FÜSSEL U, GRESCH C, et al. Data mining in resistance spot welding: a non-destructive method to predict the welding spot diameter by monitoring process parameters[J]. The International Journal of Advanced Manufacturing Technology, 2018, 99: 1085-1099.
[9] GIRSHICKR, DONAHUEJ, DARRELLT, et al. Rich feature hierarchies for accurate object detection and semantic segmentation[C]. 2014 IEEE Conference on Computer Vision and Pattern Recognition, IEEE, 2014: 8-13.
[10] BROMAGE J, BAHK S W, IRWIN D, et al. A focal-spot diagnostic for on-shot characterization of high-energy petawatt lasers[J]. Optics Express, 2008, 16(21): 16561-16572.
[11] 田浩南, 李素梅. 基于边缘的SSIM图像质量客观评价方法[J]. 光子学报, 2013, 42(1): 110-114.
[12] 王拯洲, 王维, 胡炳樑, 等. 综合诊断快速自动准直系统设计与实现[J]. 光子学报, 2014, 43(5): 0512005.
[13] 达争尚, 李东坚, 周维, 等. 光路自动准直快速调整数学模型研究[J]. 光子学报, 2008, 37(12): 2534-2538.
Zhengshang DA, LI Dongjian, ZHOU Wei, et al. Mathematical model for beam automatic fast alignment[J]. Acta Photonica Sinica, 2008, 37(12): 2534-2538.
[14] 章毓晋.图像工程图像分析[M].北京: 清华大学出版社,2005, 222-223.
ZHANGYujin. Image project, image analysis[M].Tsinghua University Press, Beijing, 2005, 222-223.
[15] JAINA K. Fundamentals of digital image processing[M]. Prentice-Hall, Inc., 1989.
[16] 王拯洲,郭嘉富,王力,等. 一种基于 BLOB 区域数量特征统计的多光学目标识别方法[P].中国: CN202210917908.3,2022-8-1.
WANGZhengzhou, GUOJiafu, WANGLi, et al. A multiple optical target recognition method based on blob region quantitative feature statistics[P]. China: CN202210917908.3, 2022-8-1.
Article Outline
何文轩, 王拯洲, 魏际同, 王力, 弋东驰. 基于BLOB区域和边缘特征分析的准直图像双光学目标识别方法[J]. 光子学报, 2024, 53(2): 0210001. Wenxuan HE, Zhengzhou WANG, Jitong WEI, Li WANG, Dongchi YI. Dual Optical Target Recognition Method for Collimated Images Based on BLOB Region and Edge Feature Analysis[J]. ACTA PHOTONICA SINICA, 2024, 53(2): 0210001.