基于改进YOLOv5s的激光软钎焊焊点缺陷检测算法

针对现有激光软钎焊流水线上焊点缺陷检测设备成本高和传统算法检测速度慢的问题，提出了一种能部署在激光软钎焊设备上的改进YOLOv5s焊点缺陷检测算法。通过引入GhostNetV2卷积方式对骨干网络进行轻量化改进，减少了原网络模型的参数量，提高了网络模型的检测速度；同时引入全维动态卷积模块，提升了网络模型的特征提取能力，提高了网络模型的检测精度。实验结果表明：对YOLOv5s模型进行改进后，其网络参数量较原模型下降了23.89%；模型在自制的激光软钎焊焊点缺陷数据集和验证集上的均值平均精度达到了95.0%，相比原模型提高了1个百分点；实验平台上检测速度较原模型提高了12.62 frame/s。最后，在激光软钎焊设备上部署了所提算法，设备基本能够检测出相应的焊点缺陷，并且运行速度达到42.2 frame/s，基本达到了激光软钎焊实时焊点缺陷检测的应用需求。

Abstract

To address the high cost of detection equipment and slow detection speed of traditional algorithms for detecting point defects in laser soldering on the production line, we propose an improved YOLOv5s algorithm that can directly detect defects on the laser soldering equipment. By introducing GhostNetV2 convolution mechanism, the backbone network is lightweight improved, the parameter quantity of the original network model reduced and the detection speed increased. Simultaneously, omni-dimensional dynamic convolution module is used to improve both the feature extraction capability and detection accuracy of the model. The experimental results show that the improved YOLOv5s model has a reduced network parameter quantity of 23.89% compared to the original model. The mean average precision of improved model reached 95.0% on the self-made laser soldering point defect dataset and validation set, reflecting a 1 percentage point improvement over the original model. The detection rate increased by 12.62 frame/s on the experimental platform compared to the original model. Finally, the proposed algorithm is deployed on the laser soldering equipment and can detect corresponding soldering defects at a running speed of 42.2 frame/s, basically meet the real-time welding defect detection needs of laser soldering.

1　引言

激光软钎焊作为电路板上微小元器件的主要焊接方法之一^［1］，被国内各大厂家广泛使用。在配备有激光软钎焊设备的电路板生产线上，由于锡膏分布不均、激光参数误差等因素的影响，电路板上的焊点会出现质量缺陷^［2］。因此，在生产时必须增加相应的检测焊点缺陷的环节^［3］。常规的焊点缺陷检测环节是用人工目视方法或者在生产线末端配备自动光学检测（AOI）设备来检测激光软钎焊的焊点缺陷^［4］，此外，也可以使用红外热成像或者超声探测的方法对激光下的焊点进行检测。目前，国内外学者们提出了激光焊接技术下的缺陷检测方法：宋海燕等^［5］基于红外热成像技术提出了一种提高激光焊接焊缝处质量检测精度的在线检测方法；刘强等^［6］基于超声Lamb波法检测激光焊结构的质量有无缺陷；Taco等^［7］利用锡膏检测技术和AOI设备检测印刷电路板是否含有缺陷。

工业中，通常于生产线末端使用相应的缺陷检测方法或添加缺陷检测设备。但人力以及相关检测设备的成本高昂，若能在激光软钎焊设备上部署相关缺陷检测算法则可以降低生产线的设备成本。随着相关硬件设备的发展，在激光软钎焊设备的工控机中调用摄像头，并运行缺陷检测算法从而实现激光软钎焊焊点缺陷的检测成为了可能。因此，研究一种能在激光软钎焊设备上运行的高效的轻量型焊点缺陷检测算法是十分有意义的^［8］。

近年来，随着神经网络和深度学习的发展，利用卷积神经网络（CNN）进行深度学习的目标检测算法被广泛运用于诸多领域^［9-10］，如模式识别^［11］、交通标志检测^［12］、行人检测^［13］、工件表面质量检测^［14-16］等。由于深度学习具有稳定性高、鲁棒性能好等特点，深度学习成为了工业表面缺陷检测的一种主流算法^［17］。郁岩等^［18］运用多尺度特征融合网络对Faster R-CNN（region CNN）模型进行了改进，并将其应用于微型扁平电机FPC（flexible printed circuit）的表面焊点缺陷检测，检测精度达到了91.89%，但检测速度只能达到6.5 frame/s。Selamet等^［19］结合阴影形状方法改进了Faster R-CNN模型，并将其用于金属零件上缺陷部分的检测和分类，检测的精度能达到83%。周彦等^［20］在YOLOv5s模型上融入注意力机制及Focal loss损失函数，并将其应用于钢板表面缺陷检测，检测精度达到了78.4%，检测速度与原模型基本持平。宋敏毓等^［21］用ShuffleNetv2和卷积注意力机制修改YOLOv5网络，并将其应用于光纤端面缺陷检测。实验结果表明，与原模型相比，改进后模型的大小缩小了20%，检测速度提升了31.1 frame/s，检测精度提高了1.7%，能满足实时性的要求。这些学者们将深度学习和神经网络技术作为工业表面缺陷检测的核心算法，使工业表面缺陷检测的精度和速度达到了生产的需求。

对于工业表面缺陷检测中的激光软钎焊焊点缺陷检测，在激光软钎焊设备中使用深度学习技术作为焊接质量的检测手段，不仅能降低缺陷检测的设备成本，也能使生产线的生产效率以及生产质量得到有效的提升^［22］。因此，研究一种能应用于激光软钎焊流水线上的深度学习网络模型是十分有意义的。本文将以YOLOv5s网络模型作为激光软钎焊焊点缺陷检测的基本模型，在骨干网络中引入GhostNetV2卷积方式，在颈部网络中引入全维度动态卷积（ODConv）模块，使得改进后的YOLOv5s网络模型在满足轻量化要求的同时，检测精度以及检测速度也得到有效的提高。

2　基础理论

2.1　YOLOv5s网络结构

YOLO系列模型是one-stage网络中的一类经典模型。YOLOv5是Ultralytics团队于2020年在YOLOv4^［23］的基础上修改提出的，该团队通过对网络模型宽度和深度的控制将YOLOv5模型分为YOLOv5s、YOLOv5l、YOLOv5m和YOLOv5x。虽然网络模型宽度和深度的增加会提升最后的检测精度，但同时也会降低检测速度。因此，为研究出一种适合激光软钎焊焊点缺陷检测并且可应用于实际生产流水线的网络模型，选用YOLOv5系列中的轻量模型，即YOLOv5s作为基础模型进行改进。

如图1所示，YOLOv5s模型由骨干网络（backbone）、颈部网络（neck）以及检测头（detect head）组成，其基本模块是Conv层、BN（batch normalization）层和SiLU激活函数组成的CBS模块。YOLOv5s将跨阶段局部网络（CSP）作为backbone来提取图像特征，解决了其他大型CNN框架中backbone的优化梯度信息重复问题，并在第9层用SPPF（spatial pyramid pooling-fast）模块来实现快速自适应尺寸输出功能；将路径聚合网络（PAN）作为neck来聚合特征图像的特征；使用detect head来检测特征聚合后的特征图像，生成带有类别概率、对象得分和包围框的最终输出向量。

图 1. YOLOv5s网络结构

Fig. 1. YOLOv5s network structure

下载图片查看所有图片

2.2　YOLOv5s损失函数

YOLOv5s的损失函数 $L$ 是定位损失 $L_{b o x}$ 、分类损失 $L_{c l s}$ 和置信度损失 $L_{o b j}$ 的线性相加，表示为

L = α_{b o x} \times L_{b o x} + α_{c l s} \times L_{c l s} + α_{o b j} \times L_{o b j}

，（1）

式中： $α_{b o x}$ 为定位损失的权重系数，其值为0.05； $α_{c l s}$ 为分类损失的权重系数，其值为0.50； $α_{o b j}$ 为置信度损失的权重系数，其值为0.05。

YOLOv5s中利用complete IoU（intersection over union）损失算法来计算定位损失。 $L_{b o x}$ 表示为

L_{b o x} = 1 - R_{I o U} + \frac{ρ^{2} (σ, σ_{p r e})}{d^{2}} + α v

，（2）

式中： $R_{I o U}$ 为标注矩形与预测矩形的交并比； $ρ (σ, σ_{p r e})$ 为标注矩形中心 $σ$ 和预测矩形中心 $σ_{p r e}$ 的欧氏距离； $d$ 为标注矩形与预测矩形的最小外接矩形的对角距离； $α$ 为权重系数； $v$ 为测量纵横比的一致性系数。 $α$ 和 $v$ 的表达式为

α = \frac{v}{(1 - R_{I o U}) + v}

，（3）

v = \frac{4}{π^{2}} {[a r c t a n (\frac{w}{h}) - a r c t a n (\frac{w_{p r e}}{h_{p r e}})]}^{2}

，（4）

式中： $w$ 和 $h$ 为标注矩形的宽和高； $w_{p r e}$ 和 $h_{p r e}$ 为预测矩形的宽和高。

YOLOv5s中利用二元交叉熵函数来计算分类损失 $L_{c l s}$ ，其表达式为

L_{c l s} = - \sum_{i = 0}^{S^{2}} I_{i j}^{o b j} \sum_{c \in c l a s s e s} [{\hat{P}}_{i, j}^{} l n P_{i, j}^{} + (1 - {\hat{P}}_{i, j}^{}) l n (1 - P_{i, j}^{})]

，（5）

式中： $S^{2}$ 为网格数量； $I_{i j}^{o b j}$ 表示单元 $i$ 中的第 $j$ 个边界框预测器的预测对象出现在该单元中； $c$ 为样本类别； $P_{i, j}^{}$ 为样本预测为正的概率； ${\hat{P}}_{i, j}^{}$ 为样本实际为正的概率。

YOLOv5s中，同样利用二元交叉熵函数来计算置信度损失 $L_{o b j}$ ，其表达式为

\begin{matrix} L_{o b j} = - \sum_{i = 0}^{S^{2}} \sum_{j = 0}^{B} I_{i j}^{o b j} [{\hat{C}}_{i, j}^{} l n C_{i, j}^{} + (1 - {\hat{C}}_{i, j}^{}) l n (1 - C_{i, j}^{})] - \\ λ_{n o o b j} \sum_{i = 0}^{S^{2}} \sum_{j = 0}^{B} I_{i j}^{n o o b j} [{\hat{C}}_{i, j}^{} l n C_{i, j}^{} + (1 - {\hat{C}}_{i, j}^{}) l n (1 - C_{i, j}^{})], \end{matrix}

（6）

式中： $B$ 为单元网格中的锚框数量； $I_{i j}^{n o o b j}$ 表示预测器的预测对象未出现在该单元中； $C_{i, j}^{}$ 为真实置信度； ${\hat{C}}_{i, j}^{}$ 为预测置信度； $λ_{n o o b j}$ 为未出现目标时的置信度预测惩罚因子。

3　激光软钎焊焊点缺陷检测算法

3.1　YOLOv5s骨干网络改进

GhostNetV2卷积方式^［24］是华为诺亚方舟实验室于2022年提出的一种在Ghost卷积方式^［25］上并行添加解耦全连接（DFC）注意力机制的卷积方式。由于其特殊的Ghost卷积方式以及引入了DFC注意力机制，网络模型在轻量化的同时也能保证精度不下降。

为减少backbone的参数量，令GhostV2瓶颈模块（GBneckV2）替代原backbone中大部分的普通卷积部分，如图2所示。当步长（stride）为2时，首先通过GhostNetV2卷积调整输入X的通道数量 $C_{i n}$ 至 $C_{h i d d e n}$ ，然后通过步长为2的深度可分离卷积（DwConv）调整其尺寸大小，最后通过Ghost卷积调整通道数量为 $C_{o u t}$ 并与输入进行逐元素相加操作得到输出Y；当步长为1时，输入直接经过GhostNetV2卷积和一次Ghost卷积操作，再与输入逐元素相加得到输出。

图 2. GhostV2瓶颈模块的结构。（a）卷积步长为2时的瓶颈结构；（b）卷积步长为1时的瓶颈结构

Fig. 2. Structure of GhostV2 bottleneck module. (a) Bottleneck structure when the convolution stride is 2; (b) bottleneck structure when the convolution stride is 1

下载图片查看所有图片

同时，对backbone中的C3模块进行轻量化改进，提出了C3GhostV2模块，其结构如图3所示。其中主要的瓶颈部分由n个GhostV2瓶颈模块串联组成。首先通过1×1卷积操作拓展输入特征图的通道，经过批处理化（BN）和SiLU激活函数后，将中间特征图输入瓶颈结构提取其特征，然后与另一个用1×1卷积操作拓展通道后的特征图进行拼接操作，最后将其输入1×1卷积模块中调整通道数量得到特征图输出。

图 3. C3GhostV2模块的结构

Fig. 3. Structure of C3GhostV2 module

下载图片查看所有图片

3.2　YOLOv5s颈部网络改进

ODConv模块^［26］是Intel实验室姚安邦团队提出的融合多维度注意力机制的动态卷积模块。传统动态卷积中的注意力机制仅仅只针对卷积核的空间维度，而ODConv模块则对多个维度的动态卷积核添加注意力机制。

图4为ODConv模块的结构示意图，表示了输入经过由全局平均池化（GAP）、全连接（FC）层和ReLU激活函数后，多维注意力机制乘以4类卷积核的过程。针对卷积核 $W_{i}$ ， $α_{s n}$ 是每个卷积核滤波器卷积参数分配的不同注意标量， $α_{c n}$ 是每个卷积核滤波器输入通道分配的不同注意标量， $α_{f n}$ 是每个卷积核滤波器输出通道分配的不同注意标量， $α_{w n}$ 将注意标量分配给整个卷积核。由于多维注意力机制具有注意力互补性，多维注意力机制下的动态卷积核能注意到输入X的所有空间位置、输入通道信息、滤波器信息以及所有内核信息。因此，ODConv模块能增强CNN中基本卷积运算的特征提取能力。

图 4. ODConv模块的结构

Fig. 4. Structure of ODConv module

下载图片查看所有图片

为提高网络模型的精度，在YOLOv5s的neck部分引入ODConv模块，替换原网络在第18层和第21层的Conv模块。由于ODConv模块特殊的多维注意力机制，网络的聚合特征部分在进行卷积操作的时候能更充分地捕捉到上下文信息，使得送入检测头的特征图包含更多有效特征，从而达到提升网络模型精度的目的。

3.3　改进YOLOv5s的整体结构

改进YOLOv5s模型如图5所示，输入图片的尺寸调整至640 pixel×640 pixel。输入图片经过改进的骨干网络（improved backbone）和改进的颈部网络（improved neck）后，输出3个不同尺寸的特征图，然后经过检测头作尺寸归一化得到3种结果，最后将3种结果拼接并通过非极大值抑制得到模型的预测结果。

图 5. 改进YOLOv5s的结构

Fig. 5. Structure of improved YOLOv5s

下载图片查看所有图片

4　实验结果与分析

4.1　实验环境配置及参数设置

实验操作系统为Windows 10系统，构建深度学习模型所用的框架为PyTorch 1.13，CUDA（compute unified device architecture）11.8加速版本。实验所用的中央处理器（CPU）为Inter（R）Core（TM）i9-9900K CPU @ 3.60 GHz（8核），实验所用的图形处理器（GPU）为2张NVIDIA RTX 2080Ti 12 GB显卡。

本实验使用COCO预训练模型进行权重、偏差等参数的初始化，训练轮次为500，batch-size为16。采用SGD（stochastic gradient descent）优化器，初始学习率为0.01，动量为0.937，权重衰减系数为0.0005。使用mosaic数据增强手段。

4.2　数据集采集与预处理

在带激光软钎焊设备的模拟流水线上采集数据集，利用激光软钎焊设备自带的摄像头拍摄焊接之后的焊点图像。数据集的数据标注工具为labelImg软件，图像标注格式为pascal voc格式。

一共采集了888张焊点缺陷图片，图片的分辨率为1280 pixel×1024 pixel，每张图片含有一个或多个焊点缺陷。如图6所示，除了正常（N）焊点特征以外，图片共包含7类激光软钎焊焊点缺陷特征，分别是：少锡（LT）、多锡（PT）、飞溅（FT）、未焊（UT）、无锡（NT）、连锡（CT）和贯穿（ST）。

图 6. 激光软钎焊焊点缺陷数据集类别。（a）正常焊点；（b）少锡；（c）多锡；（d）飞溅；（e）未焊；（f）无锡；（g）连锡；（h）贯穿

Fig. 6. Dataset categories for laser soldering defects. (a) Normal; (b) less tin; (c) poly tin; (d) fired tin; (e) unwelded tin; (f) no tin; (g) continuous tin; (h) soldering through

下载图片查看所有图片

由于数据集中少锡、多锡、贯穿和连锡缺陷类型的样本数量在整体中的占比很小，为保证训练模型时不出现过拟合情况，需要对样本数据进行扩充，扩充前后的样本分布如图7所示。采用的数据扩充方法为翻转、缩放、平移、旋转和增加噪声等，并按照0~1的概率随机组合上述扩充方法，同时对每张图像的标注文件进行同步变换。最后扩增数据集图像至1250张，并按照7∶2∶1的比例将数据集随机分为训练集、测试集和验证集。

图 7. 激光软钎焊焊点缺陷数据集扩充前后的样本分布

Fig. 7. Sample distribution of laser soldering solder joint defect dataset before and after expansion

下载图片查看所有图片

训练前对数据集使用mosaic数据增强手段，随机选9张图片的任意位置进行裁剪并组合成一张大图像，使其可以提供更多的上下文信息，帮助模型更好地理解目标在复杂场景中的上下文关系，提高模型的鲁棒性和泛化能力。并且通过mosaic数据增强手段将多个图像拼接在一起，可以生成更多的训练样本，提升数据集的多样性，有助于减轻过拟合问题，提高模型的泛化性能^［27］。

4.3　评价指标

针对网络模型的复杂度和速度，所采用的评价指标有参数量（Parameters）、计算量（GFLOPs）和模型每秒检测图像的速度（FPS）。针对网络模型精度，所采用的评价指标主要有激光软钎焊焊点缺陷每个类别的平均精度（ $V_{A P}$ ）、焊点缺陷各类别的均值平均精度（ $V_{m A P}$ ）、准确率（P）和召回率（R）。其公式为

P = \frac{T_{P}}{T_{P} + F_{P}}

，（7）

R = \frac{T_{P}}{T_{P} + F_{N}}

，（8）

V_{A P} = \int P (R) d R

，（9）

V_{m A P} = \frac{\sum V_{A P}}{N}

，（10）

式中： $T_{P}$ 为检测样本中正样本被检测正确的数量； $F_{P}$ 为检测样本中正样本被检测错误的数量； $F_{N}$ 为检测样本中负样本被检测正确的数量； $V_{A P}$ 是以 $P$ 为纵坐标， $R$ 为横坐标的P-R曲线下的面积大小； $N$ 为样本种类数量。

在目标检测任务中，除了准确分类目标以外，还需要准确定位目标所在位置。因此，为评价网络模型的定位精准度，引进IoU评价指标，定义为

V_{I o U} = \frac{|A ⋂ B|}{|A ⋃ B|}

，（11）

式中： $A$ 为数据集中目标位置的标注框面积； $B$ 为预测目标位置的预测框面积。

一般情况下，当 $V_{I o U}$ >0.5时，认为预测框里面含有预测目标；当 $V_{I o U}$ =1时，认为预测框与标注框完全符合。为评估网络模型的分类精度和定位精度，用 $m A P @ 0.5$ 作为综合评价指标，其定义为

V_{m A P @ 0.5} = \frac{\sum_{V_{I o U} = 0.5} V_{A P}}{N}

，（12）

式中， $\sum_{V_{I o U} = 0.5} V_{A P}$ 是当 $V_{I o U}$ 被设置为0.5时的每个类别的 $V_{A P}$ 之和。

4.4　对比实验

用激光软钎焊焊点缺陷数据集分别训练改进前后的YOLOv5s模型和两种主流的轻量化网络模型，即YOLOv5-Lite和YOLOv7-Tiny，训练后在125张验证集上进行验证，得到的结果如表1所示。

表 1. 不同模型在激光软钎焊焊点缺陷数据集上的验证结果对比

Table 1. Comparison of verification results of different models in laser soldering solder joint defect dataset

Model	$V_{A P}$ of each category /%								mAP@0.5 /%	GFLOPs
Model	N	LT	PT	FT	UT	NT	CT	ST	mAP@0.5 /%	GFLOPs
YOLOv5s	95.6	84.5	85.8	90.4	99.4	97.5	99.5	99.5	94.0	15.8
Improved YOLOv5s	95.1	86.0	91.3	90.9	99.5	98.1	99.5	99.5	95.0	11.3
YOLOv5-Lite	93.5	76.4	70.1	88.3	99.4	97.6	74.5	99.4	87.4	3.7
YOLOv7-Tiny	95.2	82.8	93.0	93.9	99.6	97.9	94.5	99.4	94.5	13.2

查看所有表

从表1中可以看出：改进后网络模型的平均检测精度优于原模型，与原模型相比，改进后模型多锡焊点缺陷的检测精度提高了5.5个百分点，少锡焊点缺陷的检测精度提高了1.5个百分点，无锡焊点缺陷的检测精度提高了0.6个百分点，飞溅焊点缺陷的检测精度提高了0.5个百分点，其他焊点缺陷的检测精度基本持平，且GFLOPs降低了28.5%；与YOLOv5-Lite相比，所提模型的GFLOPs增加了8.6，mAP@0.5高出7.6%；与YOLOv7-Tiny相比，所提模型的GFlOPs减小了1.9，mAP@0.5高出0.5%。

图8为YOLOv5s和改进的YOLOv5s在自制激光软钎焊焊点缺陷数据集上的实验效果对比。可以看出：改进后模型识别的准确率得到提升，对于图8（a）、（b）左上方的图片，焊点为少锡缺陷，改进后的模型可以准确识别出来；针对焊点周围的一些飞溅焊点，如图8（a）、（b）右上方图片的微小飞溅焊点，改进后的模型也能够将该缺陷识别进该焊点缺陷的预测框内；针对图8（a）、（b）左下角的图片中边缘的飞溅焊点缺陷，改进后的模型也能够识别出来。针对其他类型的焊点缺陷，改进后模型的检测精度基本上也与原模型持平。

图 8. 改进前后的YOLOv5s在自制数据集上的实验效果对比。（a）YOLOv5s；（b）改进YOLOv5s

Fig. 8. Comparison of experimental effects of YOLOv5s before and after improvement on self-made dataset. (a) YOLOv5s; (b) improved YOLOv5s

下载图片查看所有图片

4.5　消融实验

由于在YOLOv5s网络模型的backbone部分添加了GhostNetV2卷积方式，在neck部分添加了ODConv模块，为探究两种改进方式对原网络模型的影响，通过消融实验在激光软钎焊焊点缺陷数据集以及验证集上进行验证。得到的实验结果如表2所示，训练过程中mAP@0.5的变化曲线如图9所示。

表 2. YOLOv5s及其不同改进版本在激光软钎焊焊点缺陷数据集上的消融实验结果对比

Table 2. Comparison of ablation experimental results of YOLOv5s and its different improved versions in laser soldering solder joint defect dataset

Model	mAP@0.5 /%	Parameters /10⁶	FPS /（frame/s）
YOLOv5s	94.0	7.03	108.70
YOLOv5s-GhostNetV2	92.9	5.34	124.30
YOLOv5s-ODConv	95.2	7.10	105.36
YOLOv5s-GhostNetV2-ODConv	95.0	5.35	121.42

查看所有表

图 9. YOLOv5s及其不同改进版本的mAP@0.5训练曲线

Fig. 9. mAP@0.5 training curves of YOLOv5s and its different improved versions

下载图片查看所有图片

从表2中可以看出：与原网络相比，在YOLOv5s网络模型的backbone部分采用GhostNetV2卷积方式，改进后网络的参数量减少了24.04%，网络的检测速度（FPS）提高了14.35%，但是检测精度降低了1.1个百分点；只对YOLOv5s网络模型的neck部分进行ODConv模块改进，改进后网络的参数量提高了1%，网络的检测精度提升了1.2个百分点，但是检测速度下降了3.1%；同时对YOLOv5s网络模型进行两种改进，改进后网络的参数量减少了23.89%，检测精度增加了1个百分点，检测速度提高了11.7%。与只采用GhostNetV2卷积改进的网络相比，同时使用两种改进方式的网络的参数量和检测速度基本持平，但检测精度增加了2.1个百分点；与只采用ODConv模块改进的网络相比，同时使用两种改进方式的网络的检测精度基本持平，但参数量减少了24.6%，检测速度提高了13.2%。分析对比消融实验结果可以得出，结合了两种改进方式的YOLOv5s网络模型较原模型在网络参数量、检测速度以及检测精度上能同时得到有效的提升。从图9中可以看出，所提改进模型收敛后精度变化比较稳定，但在收敛速度上较原模型仍存在一定的局限性。

为研究ODConv在YOLOv5s颈部网络中的特征提取能力，以激光软钎焊飞溅焊点缺陷为例，利用CAM（computer aided manufacturing）技术生成YOLOv5s和YOLOv5s-ODConv的可视化热力图，如图10所示。可以看出，在YOLOv5s的颈部网络中添加ODConv模块后，网络对于焊点周围的飞溅焊点的敏感程度较原模型更强，特征提取能力更好。

图 10. 颈部网络改进前后飞溅焊点缺陷特征热力图

Fig. 10. Thermodynamic charts of fired tin solder joint defect characteristic before and after neck network improvement

下载图片查看所有图片

4.6　模拟实验

将所提改进YOLOv5s模型部署在激光软钎焊设备中，调取设备的摄像头信息，检测焊接过程中出现的焊点缺陷，并在上位机中显示，得到的结果如图11所示。从图11中可以看出，对测试板右上角的焊点进行焊接时，设备基本能够检测出电路板上的焊点飞溅、未焊和无锡缺陷，实际的运行速度也能达到42.2 frame/s，过程较为流畅。

图 11. 激光软钎焊焊点缺陷检测模拟实验

Fig. 11. Simulated experiment of laser soldering solder joint defect detection

下载图片查看所有图片

5　结论

为了研究出能在激光软钎焊设备上运行的轻量级深度学习算法模型，基于轻量级YOLOv5s网络模型提出了一种YOLOv5s模型改进方法。该方法主要利用GhostNetV2卷积方式和ODConv模块的优点，在YOLOv5s模型的backbone部分用基于DFC注意力机制的GBneckV2模块和改进后的C3GhostV2模块替换原网络的Conv模块和C3模块，使网络模型轻量化，减少了网络模型的整体参数量，提高了网络模型的检测速度；同时在原模型的neck末端引入基于多维注意力机制的ODConv模块，提升了网络模型对特征信息的提取能力，提高了网络模型的精度。在模拟激光软钎焊流水线的自制激光软钎焊焊点缺陷数据集上进行了实验，实验结果表明，改进后的YOLOv5s达到了轻量化的效果，并且检测精度和检测速度同时得到了提升，但模型的训练收敛速度仍存在局限性。通过分析对比引入ODConv模块前后的飞溅焊点缺陷的热力图，验证了改进后网络的特征提取能力得到了加强。最后在激光软钎焊设备上部署了所提模型并做了模拟实验，结果表明，所提模型基本可以达到激光软钎焊焊点缺陷实时检测的效果。下一步将优化算法的训练超参数，提高训练收敛速度，并对激光软钎焊焊点缺陷类型进行细化，增加缺陷类型，为激光软钎焊焊点质量分析提供研究基础。

参考文献

[1] 张丽丽, 孙树峰, 王茜, 等. 激光微纳连接技术研究进展[J]. 激光与光电子学进展, 2022, 59(3): 0300003.

Zhang L L, Sun S F, Wang X, et al. Research progress of laser micro-nano connection technology[J]. Laser & Optoelectronics Progress, 2022, 59(3): 0300003.

[2] 吴希杰, 周方明. 船舶控制设备用微连接器激光软钎焊电路设计[J]. 船海工程, 2021, 50(1): 64-67.

Wu X J, Zhou F M. Design of laser soldering circuit for micro connector of marine control equipment[J]. Ship & Ocean Engineering, 2021, 50(1): 64-67.

[3] 苏虎, 张家斌, 张博豪, 等. 基于视觉感知的表面缺陷检测综述[J]. 计算机集成制造系统, 2023, 29(1): 169-191.

Su H, Zhang J B, Zhang B H, et al. Summary of surface defect detection based on visual perception[J]. Computer Integrated Manufacturing Systems, 2023, 29(1): 169-191.

[4] 李文静, 张虎山, 焦键. 基于HALCON的贴片IC焊接缺陷检测算法研究[J]. 兵器装备工程学报, 2020, 41(8): 244-248.

Li W J, Zhang H S, Jiao J. Welding defect detection algorithm for chip IC based on HALCON[J]. Journal of Ordnance Equipment Engineering, 2020, 41(8): 244-248.

[5] 宋海燕, 陈继涛, 宋娟, 等. 基于红外热成像技术的激光焊接质量在线检测[J]. 激光杂志, 2020, 41(8): 45-49.

Song H Y, Chen J T, Song J, et al. On-line inspection of laser welding quality based on infrared thermal imaging technology[J]. Laser Journal, 2020, 41(8): 45-49.

[6] 刘强, 赵立彬, 迟大钊. 薄壁十字交叉激光焊结构缺陷超声Lamb波检测[J]. 焊接学报, 2021, 42(10): 40-43, 99.

Liu Q, Zhao L B, Chi D Z. Ultrasonic Lamb wave detection of defects in thin-walled cross laser welding structure[J]. Transactions of the China Welding Institution, 2021, 42(10): 40-43, 99.

[7] Taco J, Gore P, Minami T, et al. Novel methodology for health assessment in printed circuit boards[J]. PHM Society European Conference, 2022, 7(1): 566-562.

[8] 程松, 杨洪刚, 徐学谦, 等. 基于YOLOv5的改进轻量型X射线铝合金焊缝缺陷检测算法[J]. 中国激光, 2022, 49(21): 2104005.

Cheng S, Yang H G, Xu X Q, et al. Improved lightweight X-ray aluminum alloy weld defects detection algorithm based on YOLOv5[J]. Chinese Journal of Lasers, 2022, 49(21): 2104005.

[9] 胡珊珊, 肖勇, 王保帅, 等. 基于深度学习的PCB缺陷检测研究[J]. 电测与仪表, 2021, 58(3): 139-145.

Hu S S, Xiao Y, Wang B S, et al. Research on PCB defect detection based on deep learning[J]. Electrical Measurement & Instrumentation, 2021, 58(3): 139-145.

[10] Lin J P, Haberstroh F, Karsch S, et al. Applications of object detection networks in high-power laser systems and experiments[J]. High Power Laser Science and Engineering, 2023, 11(1): e7.

[11] 胡进坤, 郭晓洁, 李建平, 等. 基于深度学习的多模光纤通信系统的模式与模群识别[J]. 光学学报, 2022, 42(4): 0406004.

Hu J K, Guo X J, Li J P, et al. Deep learning-based recognition of modes and mode groups in multimode optical fiber communication system[J]. Acta Optica Sinica, 2022, 42(4): 0406004.

[12] Dewi C, Chen R C, Yu H. Weight analysis for various prohibitory sign detection and recognition using deep learning[J]. Multimedia Tools and Applications, 2020, 79(43/44): 32897-32915.

[13] 何自芬, 陈光晨, 陈俊松, 等. 多尺度特征融合轻量化夜间红外行人实时检测[J]. 中国激光, 2022, 49(17): 1709002.

He Z F, Chen G C, Chen J S, et al. Multi-scale feature fusion lightweight real-time infrared pedestrian detection at night[J]. Chinese Journal of Lasers, 2022, 49(17): 1709002.

[14] Xing J J, Jia M P. A convolutional neural network-based method for workpiece surface defect detection[J]. Measurement, 2021, 176: 109185.

[15] 沈希忠, 吴迪. 基于YOLO的铝型材料表面小缺陷检测[J]. 浙江工业大学学报, 2022, 50(4): 372-380.

Shen X Z, Wu D. Detection of small defects on aluminum profile surface based on YOLO[J]. Journal of Zhejiang University of Technology, 2022, 50(4): 372-380.

[16] 陈兵, 贺晟, 刘坚, 等. 基于轻量化DeepLab v3+网络的焊缝结构光图像分割[J]. 中国激光, 2023, 50(8): 0802105.

Chen B, He S, Liu J, et al. Weld structured light image segmentation based on lightweight DeepLab v3+ network[J]. Chinese Journal of Lasers, 2023, 50(8): 0802105.

[17] Zhang J M, Xie Z P, Sun J, et al. A cascaded R-CNN with multiscale attention and imbalanced samples for traffic sign detection[J]. IEEE Access, 2020, 8: 29742-29754.

[18] 郁岩, 齐继阳. 改进Faster R-CNN的微型扁平电机FPC表面焊点缺陷检测[J]. 电子测量技术, 2022, 45(7): 146-151.

Yu Y, Qi J Y. Defect detection of FPC surface welding spot defects of miniature flat motor based on Faster R-CNN[J]. Electronic Measurement Technology, 2022, 45(7): 146-151.

[19] Selamet F, Cakar S, Kotan M. Automatic detection and classification of defective areas on metal parts by using adaptive fusion of faster R-CNN and shape from shading[J]. IEEE Access, 2022, 10: 126030-126038.

[20] 周彦, 孟江南, 吴佳, 等. 改进YOLOv5s的钢板表面缺陷检测算法[J]. 激光与光电子学进展, 2023, 60(4): 0415009.

Zhou Y, Meng J N, Wu J, et al. Steel-plate surface-defect detection algorithm based on improved YOLOv5s[J]. Laser & Optoelectronics Progress, 2023, 60(4): 0415009.

[21] 宋敏毓, 陈力荣, 梁建安, 等. 轻量化改进网络的实时光纤端面缺陷检测模型[J]. 激光与光电子学进展, 2022, 59(24): 2415006.

Song M Y, Chen L R, Liang J A, et al. Real-time optical fiber end-face defect detection model based on lightweight improved network[J]. Laser & Optoelectronics Progress, 2022, 59(24): 2415006.

[22] CaliskanA, GurkanG. Design and realization of an automatic optical inspection system for PCB solder joints[C]∥2021 International Conference on INnovations in Intelligent SysTems and Applications (INISTA), August 25-27, 2021, Kocaeli, Turkey. New York: IEEE Press, 2021.

[23] WangC Y, BochkovskiyA, LiaoH Y M. Scaled-YOLOv4: scaling cross stage partial network[C]∥2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 20-25, 2021, Nashville, TN, USA. New York: IEEE Press, 2021: 13024-13033.

[24] TangY H, HanK, GuoJ Y, et al. GhostNetV2: enhance cheap operation with long-range attention[EB/OL]. (2022-11-23)[2023-03-02]. https://arxiv.org/abs/2211.12905.

[25] HanK, WangY H, TianQ, et al. GhostNet: more features from cheap operations[C]∥2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), June 13-19, 2020, Seattle, WA, USA. New York: IEEE Press, 2020: 1577-1586.

[26] LiC, ZhouA J, YaoA B. Omni-dimensional dynamic convolution[EB/OL]. (2022-09-16)[2023-02-05]. https://arxiv.org/abs/2209.07947.

[27] 程松, 戴金涛, 杨洪刚, 等. 基于改进型YOLOv4的焊缝图像检测与识别[J]. 激光与光电子学进展, 2022, 59(16): 1610002.

Cheng S, Dai J T, Yang H G, et al. Weld image detection and recognition based on improved YOLOv4[J]. Laser & Optoelectronics Progress, 2022, 59(16): 1610002.

严蓬辉, 陈绪兵, 彭伊丽, 谢发东. 基于改进YOLOv5s的激光软钎焊焊点缺陷检测算法[J]. 激光与光电子学进展, 2024, 61(8): 0812005. Penghui Yan, Xubing Chen, Yili Peng, Fadong Xie. Algorithm for Detecting Laser Soldering Point Defect Based on Improved YOLOv5s[J]. Laser & Optoelectronics Progress, 2024, 61(8): 0812005.