1 西安交通大学机械工程学院航空发动机研究所,陕西 西安 710049
2 空军工程大学航空动力系统与等离子体技术全国重点实验室,陕西 西安 710038
激光粉末床熔融增材制造面临质量稳定一致性的挑战,铺粉质量是影响成形件质量的重要因素。近年来,计算机视觉在铺粉缺陷监测中的应用表现突出,但其性能却受到标注数据数量不足的限制。针对这一问题,笔者设计了基于视觉大模型分割一切模型(SAM)的铺粉缺陷分割模型(PSAM)。针对SAM预训练参数的知识迁移问题,引入Adapter模块实现参数微调;针对铺粉分割任务中类别信息的需求,改进了SAM中的掩码解码器;针对工业场景中人工提示难的问题,提出了自动提示生成器,实现了视觉提示的自动生成。在训练样本数量仅为50的情况下,PSAM表现出了良好的分割性能,平均交并比(mIoU)可达到65.02%,相较于Deeplab v3和U-Net分别提升了8.52个百分点和5.31个百分点。本研究展示了视觉大模型在增材过程监控中的应用价值和应用潜力。
激光技术 激光粉末床熔融 过程监测 视觉大模型 缺陷检测 中国激光
2024, 51(10): 1002319
南京航空航天大学 电子信息工程学院,江苏南京211106
太阳能电池片(Photovoltaic, PV)表面缺陷检测是光伏组件生产中不可或缺的流程。基于机器视觉的自动缺陷检测方法因其高精度、实时性、低成本等优点得到了广泛应用。本文综述了基于机器视觉的太阳能电池片表面缺陷检测方法的研究进展。首先,阐述了太阳能电池片表面成像方式,列举了典型缺陷类型。然后重点分析了基于传统机器视觉算法及基于深度学习算法进行太阳能电池片表面缺陷检测的原理。将传统机器视觉算法分为图像域分析法、变换域分析法进行综述;从无监督学习、有监督学习和弱监督及半监督学习三个方面分别概述了近几年来基于深度学习的太阳能电池片表面缺陷检测的研究现状。对太阳能电池片表面缺陷检测各种典型方法进一步细分归类和对比分析,总结了每种方法的优缺点。随后,介绍了9种太阳能电池片表面缺陷图像数据集及缺陷检测性能评价指标。最后,系统总结了太阳能电池片缺陷检测常见的关键问题及其解决方法,对太阳能电池片表面缺陷检测的未来发展趋势进行了展望。
太阳能电池 缺陷检测 机器视觉 深度学习 检测网络 solar cells defect detection machine vision deep learning detection network
针对单可见光或单红外条件下的IC器件表面缺陷对比度不足,缺陷检测精度低的问题,提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题,引入拉普拉斯金字塔和特征描述符重组策略改进ORB(Oriented FAST and Rotated BRIEF)图像配准算法。在图像配准的基础上,提出NSST_VP图像融合方法,以非下采样剪切波变换(Non-Subsample Shearlet Transform, NSST)得到红外图像和已配准可见光图像的低频和高频子带,对低频子带采用视觉显著图(Visual Significance Map, VSM)加权融合规则,高频子带则采用自适应脉冲耦合神经网络(PA- Pulse Coupled Neural Network, PA-PCNN)决策融合规则,进而通过NSST逆变换得到高质量多光谱融合图像。最后,将融合图像输入YOLOv8s模型进行检测。实验结果表明,改进ORB的图像配准平均精度为87.8%,比ORB图像配准精度提高了62%,NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中,NSST_VP融合方法的均值平均精度(mean Average Precision, mAP)达到83.15%,比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%,28.31%,比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%,15.01%,20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
1 河北工业大学人工智能与数据科学学院,天津 300130
2 河北省控制工程技术研究中心,天津 300130
针对光伏(PV)电池缺陷检测中存在的数据不均衡、缺陷尺度不一和背景纹理复杂多变等因素导致的误检、漏检问题,提出一种基于YOLOv8的缺陷检测算法YOLOv8-EL。首先,使用GauGAN进行数据增强,处理数据集的类内和类间不均衡的问题,提高模型泛化能力,降低模型过拟合的风险;其次,在主干网络和特征融合网络之间嵌入上下文聚合模块,自适应地融合不同层次的语义信息,对齐局部特征,减少微小微弱缺陷信息的丢失,抑制无关背景信息的干扰;最后,构建多注意力检测头以替换解耦头,引入不同的注意力机制细化分类和定位任务,提取空间和通道层面上的关键信息,减少特征混淆。实验结果表明,该模型在扩充后的PV电池EL数据集上的平均精度达到89.90%,模型参数量为13.13×106,在提升精度的基础上兼顾了后续部署时轻量化的要求。在PASCAL VOC数据集上进行泛化性实验,证明了改进算法的泛化性能。
缺陷检测 YOLOv8 生成对抗网络 特征融合 注意力机制 解耦头 激光与光电子学进展
2024, 61(8): 0812008
强激光与粒子束
2024, 36(1): 012001
武汉工程大学机电工程学院,湖北 武汉 430205
针对现有激光软钎焊流水线上焊点缺陷检测设备成本高和传统算法检测速度慢的问题,提出了一种能部署在激光软钎焊设备上的改进YOLOv5s焊点缺陷检测算法。通过引入GhostNetV2卷积方式对骨干网络进行轻量化改进,减少了原网络模型的参数量,提高了网络模型的检测速度;同时引入全维动态卷积模块,提升了网络模型的特征提取能力,提高了网络模型的检测精度。实验结果表明:对YOLOv5s模型进行改进后,其网络参数量较原模型下降了23.89%;模型在自制的激光软钎焊焊点缺陷数据集和验证集上的均值平均精度达到了95.0%,相比原模型提高了1个百分点;实验平台上检测速度较原模型提高了12.62 frame/s。最后,在激光软钎焊设备上部署了所提算法,设备基本能够检测出相应的焊点缺陷,并且运行速度达到42.2 frame/s,基本达到了激光软钎焊实时焊点缺陷检测的应用需求。
YOLOv5s 激光软钎焊焊点缺陷检测 深度学习 轻量化 全维动态卷积 激光与光电子学进展
2024, 61(8): 0812005
1 南京理工大学电子工程与光电技术学院,江苏 南京 210094
2 南京理工大学理学院,江苏 南京 210094
传统激光超声合成孔径聚焦技术(LU-SAFT)通常需要在待测样品表面以小步长扫描来提高横向分辨率,但小扫描步长会导致总检测时间过长,影响检测效率。针对这一问题,笔者提出了基于压缩感知的LU-SAFT方法,以提升扫描效率。该方法首先使用压缩感知根据稀疏扫描点处A扫信号的最大强度恢复出全场的扫描点A扫信号最大强度,进而确定样品表面的最优扫描区域,然后在最优扫描区域内进行扫描,最后对缺陷进行SAFT图像重建。在实验中,笔者采用脉冲激光在含有缺陷的样品表面激发超声,使用激光多普勒测振仪探测超声,并利用基于压缩感知的LU-SAFT方法对样品内部缺陷进行检测,以验证所提方法的可行性。实验结果显示:针对相同的扫描区域,传统LU-SAFT需要扫查500个点,花费3.15 min;与传统LU-SAFT相比,本文所提方法在扫描点数上减少了80%,在扫描时间上缩短了80%,并且缺陷的SAFT成像信噪比提高了约42%。本文研究内容及结果可为激光超声无损检测提供更快速的检测方案。
激光光学 压缩感知 合成孔径聚焦技术 激光超声 缺陷检测