1 引言

在我国航空航天产业、****、汽车高铁等相关领域的产品中,有许多内部零件众多且装配结构复杂的关键产品。由于要求工期短、生产批量大等客观因素,这些产品很容易在装配过程中出现错装、漏装、内部零件错位等装配错误。这些结构性隐患不仅会导致零件的自身故障,而且有可能使整个系统在使用过程中发生重大事故,造成难以估量的损失。因此,对复杂结构件内部零件装配的正确性识别进行研究是极为必要的。

待检测产品的密封性较好,其外部由不透光的金属壳体封装,普通的检测手段很难在保证产品完好的前提下进行产品内部零件装配的正确性检测。目前,产品内部结构检测技术主要有数字射线(DR)成像技术^[1]和计算机层析成像技术^[2-3]等。由于工件内部零件之间相互遮挡,DR成像技术不能直接对目标内部的零配件进行三维识别;计算机断层扫描(CT)检测方法计算量大、检测成本高、耗费时间久,不适用于大批量工件的检测。基于以上技术,韩跃平等^[4]研发了复杂产品内部结构装配正确性X射线在线自动检测系统,并将其成功应用于重庆长安汽车集团的多种复杂结构产品的快速自动检测;此方法误检率低、检测速度快,但是由于采取对目标图像进行自适应分割、以分割区域作为匹配特征库的方法,当工件内部零件出现轻微位移等不影响工件使用的情况时,容易将其检测为不合格件。近年来,利用深度学习思想解决特征匹配是一个研究热点,而复杂工件内部零件装配正确性识别根本上是完成待检测工件与标准工件之间的匹配识别,因此找到更高效的识别特征是匹配的关键。2006年,Hinton等^[5]在《Science》上提出了深度学习的概念。经过近年来的不断发展^[6-7],Girshick等^[8-10]将基于区域合并算法与深度卷积神经网络相结合,提出了一系列的目标检测方法,如区域卷积神经网络(R-CNN)^[8]、快速RCNN(Fast-RCNN)^[9]和加速RCNN(Faster-RCNN)^[10]。深度学习方法在目标检测领域的广泛应用证明了其在学习有规律数据时具有特有的优势^[11-13],而在由CT系统、转台旋转采集得到的工件内部零件的投影数据中,无论是内部零件的结构信息还是分布状态,都有一定的规律可寻。基于上述思想,设计了一个卷积神经网络对投影数据进行特征提取,输出产品内部零件分类结果和检测框坐标分别用于零件漏装检测和零件换位检测。

2 基于卷积神经网络的工件内部零件分类识别

2.1 卷积神经网络识别原理

利用卷积神经网络解决目标检测问题的基本过程是:输入一幅可能含有待检测类的图像,输出所识别待检测类的分类结果及检测框坐标。为了实现对密封工件内部零件装配正确性的检测,利用卷积神经网络在训练阶段逐层提取产品内部零件特征以训练分类器,输出分类模型以及检测框坐标,并将检测图像代入分类模型完成工件内部零件分类及零件漏缺检测;同时,以检测框坐标匹配标准工件内部零件坐标,完成零件换位检测。为了提取更多的特征,在权值共享的基础上,给出多组不同的权值,对局部进行多种特征提取,将以往方法中对区域特征的关注变为对个体特征的关注,也正是因为对局部特征的关注,卷积神经网络在一定意义上具有了尺度不变性和位移不变性,这在一定程度上解决了现有方法稳健性较差的问题,使得检测系统在物体内部零件轻微偏移等情况下仍可获得较好的检测效果。

2.2 卷积神经网络的基本结构

典型的神经网络一般由特征提取层和全连接层组成,开始的几层均由间隔分布的卷积层和池化层组成,靠近输出层的部分为全连接的一维网络。以输入一幅图像为例,首先经过第一个卷积层对图像进行卷积操作,每个卷积层有多个不同大小的卷积核,每个卷积核都会对图像进行不同的特征提取,从而可得到多个不同的卷积结果,卷积结果通过一个激活函数后,即可得到输出的特征映射,每一个输出特征映射可能是组合多个输入特征映射的值,可表示为

xjl=f∑i∈Mjxjl-1cijl+bjl,(1)

式中i表示特征映射图上的点,j表示特征映射图上的编号,x表示计算数值,f(·)为非线性函数, cijl为卷积核, bjl为加性偏置,l为层数,M_j为特征映射图。由下采样层对经过卷积操作得到的卷积结果进行局部相加,利用训练参数对其添加乘性偏置和加性偏置,然后将其输入非线性函数中进行计算,得到的下采样结果为

xjl=fβjldown(xjl-1)+bjl,(2)

式中down(·)为下采样函数, βjl为乘性偏置。对于下采样层,有多少个输入的特征映射 xjl-1,就有多少个输出的特征映射,但每个输出都会变小,这就是一个由一个卷积层和一个下采样层构成的特征提取层,提取特征后,将特征提取层的卷积结果作为输入,经全连接网络对提取到的特征进行判定,该过程起到分类的作用,输出即为该网络的分类结果。

2.3 基于卷积神经网络的工件内部零件分类模型

简单来说,训练算法可分为候选区域生成、特征提取、分类及位置精修4个步骤,具体过程如下:1) 将图像分割成许多个小区域,并对候选框进行筛选;2) 使用卷积神经网络提取每个候选区域的特征;3) 将提取到的特征送入每一类的支持向量机分类器,并判别是否属于该类,样本为正样本/负样本;4) 对于某一特征的候选框,使用回归器修正其位置,将深度网络最后的池化层数据作为输入,输出的修正结果即为XY方向的平移和缩放值。

卷积神经网络的输入包含3个部分:样本图像、样本图像的标定值以及目标的可能位置。算法流程示意图如图1所示,输入样本图像及其标定值,经过候选区域生成阶段判断目标可能的位置,通过计算数据集标定的样本图像的标定值与目标的可能位置的覆盖率,得到每个数据集图像中的感兴趣区域(ROIs)。卷积神经网络通过一些卷积层和池化层获得样本的卷积特征,在ROIs池化层提取每一个ROIs对应的特征向量,所有的特征向量经过全连接层后,可得到两个输出层,分别为分类结果以及检测框坐标结果。前一个输出层用来判断每个感兴趣区域为k个类型的概率p,后一个输出层用来计算k个类型检测框的坐标值。基于此,将卷积神经网络定义为工件内部所有零件的分类模型,利用分类结果对工件内部零件装配缺漏进行检测,再利用检测框坐标结果对工件内部零件进行换位检测。同时,在训练阶段加入一部分全卷积网络,实现区域建议网络(RPN)的生成,使得它与检测网络共享卷积层,以此代替以往RCNN算法选择性搜索^[14]生成候选框的过程,卷积神经网络模型结构及训练、分类流程如图2所示。

图 1. 算法流程示意图

Fig. 1. Flow chart of algorithm

下载图片 查看所有图片

图 2. 卷积神经网络训练、分类流程示意图

Fig. 2. Flow chart of training and classification process of convolutionneural network

下载图片 查看所有图片

采用的卷积神经网络由5个卷积层和2个池化层组成,提取的特征包括边缘特征和零件组合特征,将经5个卷积层提取的特征输入RPN网络。RPN的输入是任意大小的图像,输出是一组打过分的候选框。在卷积的最后一层特征图上使用固定大小的窗口滑动,每个窗口会输出维度固定的特征,每一个窗口对候选的9个盒子[3种尺度(128,256,512),3种长宽比(1∶1,1∶2,2∶1)的组合,共9种]进行坐标回归和分类。训练数据的生成标准为判断盒子覆盖的标定值是否超过70%,超过则将当前盒子的目标分类标记为存在,未超过则将一个覆盖比例最大的盒子标记为存在。最后将生成的训练数据与真值框进行对比,取前300个与真实区域重叠度较高的区域作为输入,进行目标检测,其他的区域直接抛弃,这样可大大加快训练速度和检测速度。图3为单一零件输出结果,图中最大值池化为对邻域内特征点取最大,LRN层的作用是对局部输入区域进行归一化,ROI池化层的作用是对输出的多个矩形框进行池化。经过卷积的特征图进入两个全连接层,输出分类结果和坐标框,至此在卷积神经网络完成了对工件内部零件的分类。将检测图像直接代入训练好的分类模型,输出零件的分类结果和检测框坐标,形成了端到端的检测过程,避免了输入图像的预处理和输出图像的后续处理过程。

图 3. 单一零件输出结果。(a)零件“battery”检测结果;(b)零件“gear”检测结果

Fig. 3. Output results of single part. (a) Test result of "battery"; (b) test result of "gear"

下载图片 查看所有图片

2.4 输出分类结果及检测框

将特征提取层的卷积结果输入两个并行的全连接层(图2),用于分类和调整候选区域位置,网络的损失函数由分类损失和检测框定位损失组成。分类损失由真实分类k的概率决定,分类损失L_cls可表示为

Lcls=-lgpk,(3)

式中p_k为分到第k个类的概率。通过比较分类得到的预测参数和真实平移缩放参数之间的差别,得出定位损失L_box为

Lbox=∑i=14g(tiu-vi),(4)

式中g(·)为损失函数, tiu代表预测平移参数( txu, tyu, twu, thu),v_i代表真实平移参数(v_x,v_y,v_w,v_h)。

单一零件的输出结果如图3所示,对零件“battery”进行了分类,由图可见,检测框坐标与标定值的重合率为0.987,保证了后续工作中检测框坐标与标定值坐标匹配的正确率。

3 基于CT投影数据正弦分布特性的工件角度匹配

在卷积神经网络输出工件内部零件分类信息和坐标框的基础上,根据整个正确性检测流程完成了对于工件内部是否漏缺零件的检测,并在此基础上输出了检测图像中零件分布的坐标信息,以进行下一步的匹配工作。

3.1 投影数据的正弦分布特性

根据CT系统的成像原理,物体的投影在不同的探测角度是不同的。当在成像光路的方向上以某一轴线为旋转中心,对标准合格工件进行360°周向间歇式旋转,并在所有方位下成像生成投影时,某一角度θ与投影值ρ(s,θ)之间的关系可表示为

s=rsinθ,(5)

式中s为点源在探测器的位置产生脉冲的位置,且s为θ的正弦函数。如果把ρ(s,θ)显示在s-θ坐标系中,即可得到一条完整的正弦曲线,因此投影数据也被称为正弦图。

3.2 基于零件正弦分布特性的匹配流程

基于工件内部零件投影数据的正弦分布特性,在卷积神经网络下完成零件分类,检测工件内部零件是否有缺漏并输出检测图像工件内部零件的定位坐标信息。分别将检测图像中各个零件的坐标信息与标准工件中对应零件的坐标信息进行匹配,若得到匹配图像,对比检测工件投影和与当前检测工件投影角度相符的标准工件投影,以完成换位检测;若无法得到匹配图像,则说明该零件有可能出现位移、换位故障,继续将检测工件中其他零件的坐标信息与标准工件相对应零件的坐标信息进行匹配,直到找出相符的角度投影以进行零件位置对比,从而完成零件的位移检测,检测工件投影与标准工件投影的角度匹配流程如图4所示。

图 4. 检测工件投影与标准工件投影的角度匹配流程

Fig. 4. Angle matching process between testing workpiece projection and standard workpiece projection

下载图片 查看所有图片

4 复杂构件内部零件装配正确性识别实验

4.1 数据集的构建

数据集由训练图像和测试图像组成,将实验工件置于旋转台上并带动其旋转,利用射线源采集投影数据,依次获取合格产品的全方位图像X₁,X₂,…,X_n(共N=360/n幅)并建库。同时,取出工件中的某几个零件进行零件换位,将其作为模拟的不合格件以测试检测效果,将在随机方位下的成像作为测试图像。每幅图像的分辨率为373 pixel×365 pixel,10个自制工件的内部零件定义及投影数据训练集分别如图5和图6所示。在数据集的制作过程中,每隔0.5°利用射线源对工件投影进行一次采集。同时,为了解决数据量不足的问题,利用灰度变化和图像翻转等技术人工扩容数据集,数据集由2160张投影数据组成。

图 5. 自制工件内部零件定义

Fig. 5. Internal part definition of homemade parts

下载图片 查看所有图片

图 6. 投影数据训练集

Fig. 6. Training set of projection data

下载图片 查看所有图片

4.2 零件分类与零件漏缺检测

对训练图像集中的工件内部零件进行标定,将标定结果作为样本真值框。实验环境的配置选取Windows 7 64位+Cuda 7.5+VS2013,同时选取caffe深度学习框架+Quadro m4000显卡训练实验数据集,分类模型训练完成后用测试图像测试模型的分类效果。模型的训练时间因图像的大小不同而有所不同,约为8~12 h。将未参与训练的检测图像(包括10个零件装配正确的合格工件和零件缺失的不合格工件)代入训练好的卷积神经网络模型,进行工件内部零件的分类,每张图片的平均检测时间约为0.092 s,合格工件的检测结果和内部零件缺失不合格件的检测结果分别如图7和图8所示。

图 7. 合格工件的检测结果

Fig. 7. Test result of qualified workpiece

下载图片 查看所有图片

图 8. 内部零件缺失不合格件的检测结果

Fig. 8. Test result of unqualified workpiece which missing internal parts

下载图片 查看所有图片

将检测图像代入训练好的卷积神经网络模型,利用分类器逐个对检测图像中的零件进行类别判定,当工件内部10个零件装配正确时,模型会对工件内部10个零件进行检测,以完成分类。图7中不同颜色的框代表不同类零件,框上方的文字代表该类零件的类名,数字代表检测零件与该类零件的符合程度。由图8可见,当工件内部零件缺失时,模型会对剩余零件进行分类,将检测图像中未检测到的类作为缺漏零件类型并报错,将工件检测为故障件。

图9为两个角度下的检测结果。在检测过程中,如果当前采集角度下工件内部零件遮挡过于紧密,模型很可能会出现分类错误的情况,不能精确定位零件,误检测结果如图9(a)所示。在这种情况下,只需要将工件旋转90°,再利用射线源采集当前角度下工件的投影,以改善工件内部零件的遮挡情况,再进行检测。在两个角度下分别利用CT采集投影数据,对内部零件进行分类定位,就能避免模型的误分类,旋转90°进行检测所得的结果如图9(b)所示。然而,在实际产品的检测过程中,零件的遮挡情况并没有自制工件这么严重,利用CNN模型能得到很好的分类结果。

在完成自制工件实验检测的基础上,分别对某引信工件内部三层零件进行缺漏检测,引信工件内部零件缺漏检测结果如图10所示。

图 9. 两个角度下的检测结果。(a)误检测;(b)旋转90°进行检测

Fig. 9. Detection results under two angles. (a) Misdetection; (b) detection under 90° rotation

下载图片 查看所有图片

图 10. 引信工件内部零件缺漏检测结果。(a)上层检测结果;(b)中层检测结果;(c)下层检测结果

Fig. 10. Detection results of internal parts missing of fuze workpiece. (a) Upper test result; (b) middle test result; (c) lower test result

下载图片 查看所有图片

该引信工件分为3层,第1层为3个较大的金属球体,第2层为3个较小的金属球体,下部分由弹簧、螺丝等金属部件组成。将某角度下的检测图像代入训练所得模型,得到其分类结果,以完成检测。

4.3 检测工件投影与标准工件投影角度匹配

根据第2节所述,当转台带动工件旋转时,射线源采集到的图像序列中物体呈现正弦分布状态,因此任一角度下采集的检测工件投影总能在标准工件投影数据集序列中找到与之角度相符的一幅或几幅图像(零件轻微位移引起的偏差)。基于此,在完成工件内部零件缺漏检测后,输入检测网络输出的检测工件内部零件坐标信息,与样本工件零件坐标数据库进行匹配,找到当前角度下与之对应的标准工件的投影图像,并进行对比,判断工件内部零件是否有移位、换位等缺陷,当前角度检测图像与标准工件相同角度图像的匹配如图11所示。

图 11. 当前角度检测图像与标准工件相同角度图像的匹配。(a)分类结果;(b)匹配结果;(c)换位检测

Fig. 11. Current-angle detection image matching standard workpiece image at same angle. (a) Classification result; (b) matching result; (c) displacement detection

下载图片 查看所有图片

图 12. 所提方法与以往方法特征选择结果对比。(a)以往方法选取的区域特征;(b)所提方法选取的个体特征

Fig. 12. Contrast of feature selection results of proposed method and previous methods. (a) Regional features of previous methods; (b) individual characteristics of proposed method

下载图片 查看所有图片

在这组实验数据中,首先对检测工件进行零件分类并完成缺漏检测。由图11可见,检测结果中缺少定义为“part1”的零件(图中不同颜色框代表不同类,文本框为相应零件类名及此零件与训练模型的符合程度)。在卷积神经网络完成缺漏检测后,以工件中零件坐标信息为匹配准则,将检测算法分类的标识框坐标与标准工件内零件坐标进行匹配,得出匹配结果如图11(b)所示。将检测工件投影与匹配得到的对应角度标准工件投影进行对比,找出换位的零件[在分类结果的基础上,将图11(a)与图11(b)中零件坐标信息对比后仅保留坐标发生较大变化的类],完成工件内部零件换位检测,结果如图11(c)所示,将内部零件换位、位移件定义为不合格件。

4.4 分析与讨论

在完成对自制工件内部零件装配正确性检测实验的基础上,所提方法与以往方法的特征选择结果对比如图12所示。

以往的检测方法将每个层面看作一种独立且具有单一结构的产品,将单个产品的检测转化为对多个产品的并行检测,虽然漏检率很低,但误检率很高。但对某些产品,某些小区域内部零件的位移并不会造成该产品的使用故障(如本实验所采取的实验工件,第一层和第二层的铝珠未固定,有可能产生一定的位移),但以区域为识别特征则会导致该产品被检测为故障件,虽然保证了无漏检故障件的刚需,却在很大程度上造成了资源的浪费。与之对比,采用卷积神经网络输入图像提取特征,将产品内的每个零件标记为模型的感兴趣区域,先以分类结果判断零件是否缺漏,再以检测框坐标判断零件的位移,在保证了识别效率的同时,降低了检测方法的误检率。对于有一定偏差角度的旋转图像,模型也有着较好的泛化能力,检测图像进行5°旋转后的检测结果如图13所示。同时,在检测的过程中,也可以不断将各种不同状态下的检测产品加入训练数据,以增强模型的泛化能力,提升分类结果的准确率。

图 13. 检测图像进行5°旋转后的检测结果

Fig. 13. Detection result after rotation of 5°

下载图片 查看所有图片

5 结论

提出了一种将卷积神经网络分类识别算法与CT系统相结合的检测方法,利用卷积神经网络对感兴趣区域逐个提取特征的特点,将以往复杂结构件内部零件装配正确性检测方法中对区域特征的关注变为对局部个体特征的关注。首先利用卷积神经网络训练模型对工件内部零件进行分类识别和漏装检测,输出零件分类结果和检测坐标框。以工件内部零件分类结果作为漏缺检测的判断标准,再根据CT射线源生成投影数据的正弦分布特性将当前角度下检测工件投影与标准样本工件投影相匹配,进行进一步的零件位移和换位检测,从而完成整个正确性检测流程。采用的检测方法验证了卷积神经网络在位移、尺度、形变上的位移不变性,整个系统具有较强的稳健性。为了更好地完善整个检测系统,形成一套通用的自动在线检测理论体系,下一步将对整体发生旋转和位移的工件进行内部零件装配正确性检测研究。