1 引言

智能手机PCBA (Printed Circuit Board Assembly)元器件规格较小、集成紧密,其边缘检测是视觉测量与定位的关键步骤,对智能机器人视觉引导自动化生产线中的装配精度起着决定性的作用。传统Canny算子^[1-2]集高斯去噪、非极大值抑制、阈值分割于一体,广泛应用于工业生产中元器件的边缘检测。将传统算法直接应用于PCBA元器件边缘检测时,PCBA电路板元件密集区域因受复杂背景的影响出现边缘粘连的情况,且伪边缘数量随着背景复杂度的增加而急剧增加,难以进行后续亚像素边缘轮廓的提取和拟合^[3-4]。文献[ 5]指出,传统Canny算子NMS(Non-Maximum Suppression)仅适合捕捉“屋脊状”边缘而不适合捕捉“阶梯状”边缘。PCBA电路板背景与元器件的灰度差异较小,且元器件边缘密集、较细,“阶梯状”边缘占据较大比例。文献[ 6-7]指出,传统Canny算子的阈值分割过程存在筛选过度问题,部分弱边缘被过滤,导致检测边缘不完整,出现边缘断裂的情况。文献[ 8]采用类间差分计算Canny最优阈值,并对水平和垂直方向的边缘点进行非极大值抑制,在细化边缘的同时尽可能减少边缘断缺现象。通过本文实验发现,文献[ 8]对稀疏直线有较好的边缘检测效果,对各向异性的圆形以及密集边缘的检测仍存在一定的局限性。文献[ 9]中使用直方图分层法对阈值的选取策略进行优化,点区与边缘点区分割结果表明并非所有阶梯状边缘都要保留,文献[ 8]中的方法虽然具有较好的边缘细化能力,但是在边缘丰富区域会引入较多的伪边缘。文献[ 9]为了提高边缘检测的完整度,使用区域划分法进行阈值分割,这对图像质量要求较高,且区域划分的依据难以判定,从而导致分割效果出现块状效应^[10]。

GVF(Gradient Vector Flow) Snake模型最初应用于医学图像分割,在对病灶区的分割过程中,该模型因部分边缘较弱,极易发生边缘穿透现象^[11];EPGVF(Edge-Preserving Gradient Vector Flow) Snake模型^[11]在GVF Snake模型的基础上加入边缘保护项,用于防止弱边缘或断缺边缘的穿透,可以对目标区域实现较完整的分割。鉴于该模型曲线良好的扩散性和边缘依附能力,本文将EPGVF Snake模型应用到PCBA电路板目标区域的分割中,期望能够对元器件的边缘实现精确完整的分割,同时在分割过程中根据局部的梯度方向和模板对断缺的边缘部位实现像素填充,进而达到对不完整边缘的修复功能。

针对以上问题和设想,本文提出邻域窗自适应阈值非极大值抑制(NWATNMS)算法与EPGVF Snake模型相结合的策略。首先将阶梯状边缘点与像素块中灰度均值进行比较,剔除不属于边缘的像素点,确定局部梯度的幅值和方向,实现密集边缘的分离,这在一定程度上减少了伪边缘的数量。针对部分边缘断缺区域,先使用EPGVF Snake模型完成边缘分割,再利用本文设计的像素填充模板实现断缺边缘的有效修复。根据实验对比结果,改进后算法对图像边缘检测的完整度得到提升,能有效保留边缘细节。在应用于PCBA元器件边缘检测时,改进后算法能有效减少元器件密集区域边缘断缺和粘连现象,实现对元器件边缘较完整的提取。

2 高完整度PCBA元器件边缘检测方法

2.1 邻域窗自适应阈值Canny算子

边缘作为描述图像信息的有效手段,最大限度地保留图像的边缘信息、抑制非边缘信息是非极大值抑制的主要工作原理。传统Canny算法的非极大值抑制过程简单地将像素点与其边缘方向的2个邻近像素值进行比较,若中间值最大,则保留为边缘像素,否则对该像素进行抑制,即保留屋脊状边缘。文献[ 8]中不但考虑屋脊状边缘,还要考虑阶梯状边缘,文献[ 8]中方法在实验中取得了较好的边缘细化效果。考虑到梯度方向并非与边缘像素具有一一对应关系,且距离越远相关性越差,从而带来一定的随机误差^[12]。通过本文实验发现,文献[ 8]中提出的方法在处理边缘丰富、背景复杂的区域以及各向异性的圆形时仍会产生一定数量的伪边缘,且无法很好地解决边缘粘合的情况,边缘提取效果不理想。

为了尽可能减小随机误差,防止边缘丰富区域出现边缘粘合现象,本文将文献[ 8-9]中的方法进行改进和推广,提出对屋脊状和阶梯状边缘的保留条件进行限制。以3×3像素块为例,假设边缘为水平方向(对其他方向仍然适用,在此仅以水平和垂直方向为例进行说明),像素(i,j)处的灰度值记为A(i,j),屋脊状边缘和阶梯状边缘的改进计算方法为

T=[1/(n-1)]∑i=1int(n/2)∑j=1int(n/2)A(i,j)+∑i=int(n/2)+1n∑j=int(n/2)+1nA(i,j),(1)Ar=A(i,j)[A(i,j)≥A(i,j-1)A(i,j)≥A(i,j+1)A(i,j)≥T],(2)Al=A(i,j)[A(i,j)≥A(i-1,j)A(i,j)≥A(i+1,j)A(i,j)≥T],(3)

式中:T表示目标像素点保留的条件阈值,通过计算8邻域均值得到;A表示当前像素点;n表示像素块的大小;A_r表示屋脊状边缘像素点,通过与同列邻近值以及阈值性比较得到;A_l表示阶梯状边缘像素点,通过同行邻近值以及阈值比较得到。当前像素点参与均值运算时会减小算法的抗噪能力^[13],故本文对除当前像素点之外的8邻域像素点求均值。

2.2 基于EPGVF Snake模型的断缺边缘修复方法

本文采用NWATNMS算法进行处理后,图像边缘被细化、分离,这较好地解决了边缘粘合问题,但在实际应用过程中,由于手机PCBA电路板元件密集、背景复杂,不同的元件材质对光源的反射程度不同,提取边缘图像局部仍存在轻微边缘断缺现象,从而影响整体边缘提取的完整度。

本文受文献[ 14-15]中外力场边角能量保持模型的启发,将GVF与Snake模型结合,并加入边缘保护项,得到EPGVF Snake模型。该模型可以促使外力场沿着边缘梯度方向进行扩散,防止发生弱边缘泄漏,将Snake曲线依附后的图像进行卷积处理,使用像素置换模板,从而恢复出边缘断裂部位。

EPGVF Snake模型的最优解可通过最小化计算得到,即

S=1/q(∇f)(1+Gσ·∇V2)q(∇f)/2ε=∬g(∇f)-mGσ·∇VL∞2+(1-m)S+h(∇f)(μJvP2+V-∇f)dxdy,(4)

式中:m,μ,g,h均为权重系数;J_v表示外力场v的雅可比矩阵;S表示具有各向异性光滑作用的平滑项;G_σ为标准差为σ的二维高斯函数;ÑV为拉普拉斯算子;ε为能量泛函;P为边缘梯度的方向向量,当 P→¥时,∬ Gσ*∇VL∞2表示拉普拉斯算子的泛函;Ñf表示原图边缘梯度的映射,K=1.5E∇f-E(∇f)[其中E(·)为均值],若f²/6>K²(其中f为梯度场),则m=0,反之m=1,这表明外力场的扩散主要由泛函控制。其他参数的具体选取原则可以参考文献[ 16]。m和P可分别表示为

m=(1-f2/6K2)2, f2/6≤K20,(5)P=-Ixy/Ixx2+Ixy2Ixx/Ixx2+Ixy2-Iyy/Iyx2+Iyy2Iyx/Iyx2+Iyy2,(6)

式中:I表示一幅图像;下标x、y表示方向。

以具有各向异性的圆形图像为例,利用图1说明像素填充的原理。图1中x表示附着曲线像素点,1表示边缘点,0表示缺失像素点,填充模板大小为3×3。(1)为拐点缺失情况,(2)为正常缺失(线性)情况,(3)为未缺失情况。填充步骤如下:

1) 扫描附着曲线像素点的行或列方向,判断是否具有1标记点;

2) 扫描附着曲线像素点与1同向位置,判断是否存在0标记点,如果存在,进行标记;

3) 将标记点设置为1标记点位置的像素值,循环直至完成填充。

图 1. 像素填充原理

Fig. 1. Pixel filling principle

下载图片 查看所有图片

通过加入边缘保护项的模型参数,可以保证Snake曲线沿着边缘的梯度方向进行扩散,且不会发生弱边缘穿透现象。如图2所示,图2(a)为边缘断裂圆环图像,图2(b)为根据原图计算得到的边缘梯度场图像,将梯度场f的偏微分f_x和f_y代入计算中,最终得到图2(c)所示的EPGVF场,图像断裂区域特征可以被清晰地捕捉,同时边缘的梯度方向也被清晰地标记。在图2(d)所示的边缘能量图中可以看到边缘断裂区域能量值波动较大,利用该特点,本文使用局部图像拟合(LIF)能量法提取图像的局部信息,以达到根据图像梯度能量图分割图像的目的,分割效果如图2(e)所示,图像中边缘断裂区域被分割为4个独立部分。

图 2. 利用EPGVF场确定缺失边缘。(a)测试图2;(b)边缘梯度场图;(c) EPGVF场图;(d)边缘能量图;(e)边缘断裂标记图

Fig. 2. Determine missing edges by EPGVF field. (a) Test image 2; (b) edge gradient field image; (c) EPGVF field image; (d) edge energy image; (e) edge fracture mark image

下载图片 查看所有图片

利用EPGVF场确定图像的缺损边缘后,本文利用本节中提到的像素置换模板进行缺失边缘的恢复,如图3所示,图3(a)为边缘拟合初始插值图像,图3(b)为300次迭代之后的拟合效果,图3(c)为恢复图像。图3(c)中边缘断裂区域具有较好的恢复效果,表明算法对各向边缘具有较好的兼容性,适合各向断裂边缘的恢复。

图 3. Snake算法实现边缘恢复。(a)边缘拟合初始插值图像;(b)迭代拟合后的图像;(c)恢复后的图像

Fig. 3. Edge recovery by Snake algorithm. (a) Initial interpolation image of edge fitting; (b) image after iterative fitting; (c) restored image

下载图片 查看所有图片

3 实验结果与分析

本文仿真是在visual studio 2017平台进行。EPGVF Snake模型可以利用梯度扩散场检测边缘的缺失,且在Snake曲线扩张时不会出现缺失边缘的穿透现象。Canny算子检测后的边缘仍存在一定数量的弱边缘像素点,利用梯度向量流模型的自由扩散性对Canny算子检测后的边缘进行分割并完成像素置换,使之成为EPGVF Snake模型和Canny算子结合的切入点。

图4为本文算法对2.1节处理后的图像进行修复的结果,图4(a)为使用2.1节算法处理得到的边缘图像。图4(b)、(c)为分别对该图像边缘梯度场x和y方向进行微分后得到的能量图。图4(d)、(e)为对改进后的梯度向量流场分别求x和y方向的微分得到的能量图。图4(f)为EPGVF梯度场,图4(g)为图像的边缘阶跃能量图,图4(h)为经过EPGVF Snake方法处理得到的标记但未经修复的图像。

图 4. 本文算法的实验结果。(a) PCBA边缘图;(b)边缘梯度场x微分;(c)边缘梯度场y微分;(d) EPGVF场x微分;(e) EPGVF场y微分;(f) EPGVF梯度场;(g)边缘阶跃能量图;(h)本文方法的边缘标记图像

Fig. 4. Experimental results of proposed method. (a) PCBA edge map; (b) differentiation of x direction of edge gradient field; (c) differentiation of y direction of edge gradient field; (d) differentiation of x direction of EPGVF field; (e) differentiation of y direction of EPGVF field; (f) EPGVF gradient field; (g) edge step energy map; (h) edge mark image of proposed method

下载图片 查看所有图片

为了证明本文算法对边缘密集区域的分离特性,使用具有8个方向的“米”字形和具有各个方向特性的圆环图像进行测试,结果如图5所示, 图像均未经任何滤波操作。

图 5. 各向异性密集边缘分离测试图。(a)(g)测试图局部放大图;(b)(h)测试图;(c)(i)传统算法的结果;(d)(j)文献[ 8]中算法的结果;(e)(k)文献[ 9]中算法的结果;(f)(l)本文方法的结果

Fig. 5. Test images of anisotropic dense edge separation. (a)(g) Local enlarged images of test images; (b)(h) test images; (c)(i) results of traditional algorithm; (d)(j) results of algorithm in Ref. [8]; (e)(k) results of algorithm in Ref. [9]; (f)(l) results of proposed method

下载图片 查看所有图片

图5(b)、(h)中每条边缘均由两条细边缘组合而成,其中图5(a)中水平与垂直方向为实线,其他方向为虚线,图5(a)为图5(b)中框选区域的放大图,图5(g)为图5(h)中框选区域的放大图。图5(c)中垂直与水平方向均没有将两条边缘进行分离,表明传统算法检测到数量较多的伪边缘,图中出现了边缘粘合现象。图5(d)表明文献[ 8]中方法对虚线的分离效果明显好于实线,但两条虚线的分离情况不相同,这表明该方法在处理连续性较差的屋脊状边缘时效果较好,存在各向异性,处理连续性较好且密集的阶梯状边缘时出现粘连现象。

如图5(e)所示,文献[ 9]中方法对实线的分离效果以及整体分离效果明显好于文献[ 8]中方法,但仍存在各向异性的干扰,这使得两条斜线的分离效果不明显,粘连现象使得边缘加粗。图5(f)为本文算法的处理结果,本文算法对水平与垂直方向的两条直线进行了很好的区分,而且对两条虚线的处理效果也比较明显,说明本文算法对阶梯状边缘的选择性保留策略的效果较为明显,在边缘不连续且丰富的情况下得到了很好的分离效果,这对解决边缘粘连的情况有很大的帮助。

图5(i)中既存在粘连,也存在缺失,表明传统算法的缺陷较多。图5(j)中圆环上下部的分离不明显,出现粘连现象。而图5(k)中仅在圆环上部出现粘连现象,表明阶梯状边缘保留策略对边缘的分离效果有较好的提升,但仍存在粘合问题。图5(l)为本文算法处理后的图像,本文算法将两个圆环进行了较好的分离,但由于圆形的特殊结构,分离后的填充过程中不可避免地会将边缘进行粗化处理,图5(l)表明选择性保留策略对边缘密集区域各个方向的分离效果有较好的提升。

图6为几种算法的处理结果。图6(b)为传统Canny处理后的图像,区域1中元件紧密排列,出现边缘粘连现象,无法清晰检测元件的边缘轮廓,且全局出现较多无关的伪边缘噪点,效果较差。从图6(c)可以看出,经过文献[ 8]中的算法处理之后,背景部分的刻线边缘得到抑制,但同时削弱了边缘轮廓,区域1位置出现大量边缘断裂现象,全局仍存在少量孤立噪点,这表明在非极大值抑制过程判定条件不充分。从图6(d)可以看出,经文献[ 9]中算法的处理之后,图像边缘缺失现象得到了较好的解决,但出现较明显的块状效应。从图6(e)可以看出,本文算法处理后的图像整体轮廓较为清晰,尤其对于区域1,元件本身无边缘缺失现象,因为对非极大值抑制过程使用较大惩罚项之后全局噪点得到控制,这表明本文算法对处理边缘密集且存在较大干扰因素的PCBA元件边缘时具有良好的效果;但目前算法处理后的图像存在一定的局限性,在大范围面积边缘修复后,断裂边缘会导致二次填充,出现1~2个像素的边缘点堆积和毛刺现象,实验发现该现象未对边缘提取造成影响,本实验过程可以忽略不计。

图 6. 几种算法的处理结果。(a)原图;(b)传统算法;(c)文献[ 8]中算法;(d)文献[ 9]中算法;(e)本文算法

Fig. 6. Processing results of several algorithms. (a) Original image; (b) traditional algorithm; (c) algorithm in Ref. [8]; (d) algorithm in Ref. [9]; (e) proposed method

下载图片 查看所有图片

为直观评价各种算法对边缘提取的完整程度,本文采用文献[ 17]中提出的边缘量化方法。用m表示边缘点的数量,n表示满足3×3像素块中多连通像素区域的数目,表示了边缘线性连续程度,n与m的比值反映了边缘连接的完整度,该比值越小表示边缘连接的完整度越高。图7所示为连通域的标记图。本文以图6中芯片部位为例进行效果展示,图7(a)为未标记图像,图7(b)为计算连通域后的标记图像。

图 7. 连通域未标记图像和标记图像。(a)未标记图像;(b)标记图像

Fig. 7. Unlabeled image and labeled image of connected domain. (a) Unlabeled image; (b) labeled image

下载图片 查看所有图片

将本文算法与文献[ 8]、文献[ 9]中算法进行比较,结果如表1所示,其中A为134×122圆环测试图,B为1000×744的PCBA电路板图。文献[ 8]中算法较文献[ 9]中算法在背景复杂度较高时的边缘检测效果较好,对各向异性背景单一的图像边缘检测效果较差。本文将改进后的非极大值抑制算法与EPGVF Snake模型相结合,在边缘提取后进行修复,整体算法的边缘完整度较高,伪边缘数量较少,对各向异性的图像和手机PCBA电路板元件的边缘检测完整度有较好的提升。较文献[ 8]和文献[ 9]中的方法,本文方法的平均完整度提升约15.5%。平均完整度的具体计算方法为:(文献方法完整度-本文方法完整度)/文献方法完整度。

4 结论

边缘检测是整个图像处理工作的重要环节,是决定感兴趣区域提取精度的重要保障。传统的非极大值抑制方法存在漏检边缘点的缺陷问题。本文算法对此进行了改进,提出了利用像素均值排除非边缘像素点的方法,从而减少伪边缘的数量,对解决光源充足情况下环形光源与环形漫反射光源均因无法克服元件反光差异而导致图像中灰度不均进而产生的边缘粘合问题具有良好的效果。通过将EPGVF模型与Snake模型进行结合,使用扩散向量对外力场进行强化,并且使用两个权重函数调节外力场以防止出现边缘泄漏问题。整体算法对于边缘检测中出现的边缘断缺现象具有较好的修复效果, 但由于算法的执行过程对初始点的选取有较大的依赖性,需要以人工标记的方式初始化扩散点,因此今后的改进方向主要为初始点的自动化选择。