1 江南大学机械工程学院，江苏 无锡 214122
2 江苏省食品先进制造装备技术重点实验室，江苏 无锡 214122
3 江南大学物联网工程学院，江苏 无锡 214122
针对苹果表层存在多种缺陷类型、对不同缺陷的检测方法不同的问题，提出一种基于改进YOLOv7-tiny的缺陷检测模型，结合相机采集的RGB+NIR多光谱图像对苹果表层多种缺陷进行了检测和分类。首先，为了提取更多有效的特征信息，提高对缺陷的定位能力，在主干网络中使用坐标注意力（CA）机制聚合坐标信息，同时在主干网络后添加上下文转换器（CoT）模块以增加全局感受野；其次，为了增强高效聚合网络的特征融合能力，将其与加权双向特征金字塔结合，调整结构中各分支的占比；最后，为了解决难易样本不均衡的问题，将损失函数更换为Focal-EIoU损失。改进后网络的平均精度均值（mAP）@0.5提升了1.2百分点，达到93.2%，识别速度为89.3 frame/s。研究结果表明，本文研究内容为苹果表层的缺陷检测提供了更加高效的方法，同时为苹果的分级提供了更加精确的依据。
缺陷检测 苹果表层 多光谱图像 深度学习 YOLOv7-tiny 注意力机制 激光与光电子学进展
2024, 61(10): 1012003
1 西安理工大学印刷包装与数字媒体学院，陕西 西安 710054
2 渭南日报社印刷厂，陕西 渭南 714099
针对印刷生产中传统人工缺陷检测耗时耗力、小缺陷区域不易检测，以及传统图像处理方法鲁棒性差等问题，提出一种基于改进YOLOv5l模型的印刷品缺陷检测算法。首先，通过增加浅层特征图拓展检测尺度，以捕获微小缺陷信息，从而提高网络对小目标的检测能力；然后，使用全维度动态卷积替换Neck区中的普通卷积，以增强网络对印刷缺陷上下文信息的捕获能力；最后，为解决前两项工作带来的检测速度下降的问题，采用C3Ghost替换Neck中的C3模块，在检测精度损耗极低的情况下尽可能地提高检测速度。实验结果表明：改进后的YOLOv5l算法的平均精度均值（mAP）达到97.3%，较原YOLOv5l算法和现有的印刷品缺陷检测算法Siamese-YOLOv4的精度分别提高2.9百分点和2.7百分点；检测速度为44.1 frame/s。所提算法对印刷品缺陷的分类和定位效果优于原YOLOv5l和Siamese-YOLOv4算法，具有较高的检测精度和检测速度，可以应用于印刷质检来提高生产质量管控水平、降低人工成本。
机器视觉 缺陷检测 YOLOv5算法 多尺度融合 动态卷积 激光与光电子学进展
2024, 61(10): 1012002
1 西安工业大学光电工程学院，陕西 西安 710021
2 西安工业大学兵器科学与技术学院，陕西 西安 710021
3 西安应用光学研究所，陕西 西安 710065
近年来，内窥镜广泛应用于不同环境下管道内壁疵病检测。针对不同口径炮管内壁高精度疵病检测需求，通过设计一款大视场、短焦距的广角内窥镜头，实现对 Φ76～Φ155 mm 口径范围内炮管内壁的全景成像，确定内壁疵病位置。同时可以旋转整个镜头对炮管内壁进行侧视成像，实现对炮管内壁不同区域疵病 0.5 mm 的高精度测量。该系统基于Zemax 设计软件，采用反远距物镜设计思路，利用非球面改善系统成像质量。最终实现光学系统视场为 120°，焦距为 2.5 mm，总长小于 30 mm，最大畸变值小于 15%，在探测器截止频率 84 lp/mm 处全视场均大于 0.3，且光学系统结构简单、适用口径范围广、有较好的成像质量，满足炮管内壁疵病检的要求。
光学设计 内窥镜 炮管疵病检测 广角物镜 全景成像 optical design endoscope gun barrel defect detection wide-angle objective lens panoramic imaging
1 西安交通大学机械工程学院航空发动机研究所，陕西 西安 710049
2 空军工程大学航空动力系统与等离子体技术全国重点实验室，陕西 西安 710038
激光粉末床熔融增材制造面临质量稳定一致性的挑战，铺粉质量是影响成形件质量的重要因素。近年来，计算机视觉在铺粉缺陷监测中的应用表现突出，但其性能却受到标注数据数量不足的限制。针对这一问题，笔者设计了基于视觉大模型分割一切模型（SAM）的铺粉缺陷分割模型（PSAM）。针对SAM预训练参数的知识迁移问题，引入Adapter模块实现参数微调；针对铺粉分割任务中类别信息的需求，改进了SAM中的掩码解码器；针对工业场景中人工提示难的问题，提出了自动提示生成器，实现了视觉提示的自动生成。在训练样本数量仅为50的情况下，PSAM表现出了良好的分割性能，平均交并比（mIoU）可达到65.02%，相较于Deeplab v3和U-Net分别提升了8.52个百分点和5.31个百分点。本研究展示了视觉大模型在增材过程监控中的应用价值和应用潜力。
激光技术 激光粉末床熔融 过程监测 视觉大模型 缺陷检测 中国激光
2024, 51(10): 1002319
南京航空航天大学 电子信息工程学院，江苏南京211106
太阳能电池片（Photovoltaic， PV）表面缺陷检测是光伏组件生产中不可或缺的流程。基于机器视觉的自动缺陷检测方法因其高精度、实时性、低成本等优点得到了广泛应用。本文综述了基于机器视觉的太阳能电池片表面缺陷检测方法的研究进展。首先，阐述了太阳能电池片表面成像方式，列举了典型缺陷类型。然后重点分析了基于传统机器视觉算法及基于深度学习算法进行太阳能电池片表面缺陷检测的原理。将传统机器视觉算法分为图像域分析法、变换域分析法进行综述；从无监督学习、有监督学习和弱监督及半监督学习三个方面分别概述了近几年来基于深度学习的太阳能电池片表面缺陷检测的研究现状。对太阳能电池片表面缺陷检测各种典型方法进一步细分归类和对比分析，总结了每种方法的优缺点。随后，介绍了9种太阳能电池片表面缺陷图像数据集及缺陷检测性能评价指标。最后，系统总结了太阳能电池片缺陷检测常见的关键问题及其解决方法，对太阳能电池片表面缺陷检测的未来发展趋势进行了展望。
太阳能电池 缺陷检测 机器视觉 深度学习 检测网络 solar cells defect detection machine vision deep learning detection network
针对单可见光或单红外条件下的IC器件表面缺陷对比度不足，缺陷检测精度低的问题，提出多光谱图像融合的IC器件表面缺陷检测方法。针对IC器件可见光与红外图像配准中存在尺度不一致和对比度反转问题，引入拉普拉斯金字塔和特征描述符重组策略改进ORB（Oriented FAST and Rotated BRIEF）图像配准算法。在图像配准的基础上，提出NSST_VP图像融合方法，以非下采样剪切波变换（Non-Subsample Shearlet Transform， NSST）得到红外图像和已配准可见光图像的低频和高频子带，对低频子带采用视觉显著图（Visual Significance Map， VSM）加权融合规则，高频子带则采用自适应脉冲耦合神经网络（PA- Pulse Coupled Neural Network， PA-PCNN）决策融合规则，进而通过NSST逆变换得到高质量多光谱融合图像。最后，将融合图像输入YOLOv8s模型进行检测。实验结果表明，改进ORB的图像配准平均精度为87.8%，比ORB图像配准精度提高了62%，NSST_VP图像融合算法在主观视觉效果和客观评价指标上均有所提高。在缺陷检测实验中，NSST_VP融合方法的均值平均精度（mean Average Precision， mAP）达到83.15%，比单可见光、单红外缺陷图像检测的mAP分别提高了22.97%，28.31%，比双树复小波变换融合、曲线变换融合、非下采样轮廓波变换融合方法的mAP分别提高了13.14%，15.01%，20.35%。
缺陷检测 IC器件 多光谱图像融合 图像配准 非下采样剪切波变换 YOLOv8s defect detection IC device multispectral image fusion image registration non-subsample shearlet transform YOLOv8s
1 河北工业大学人工智能与数据科学学院，天津 300130
2 河北省控制工程技术研究中心，天津 300130
针对光伏（PV）电池缺陷检测中存在的数据不均衡、缺陷尺度不一和背景纹理复杂多变等因素导致的误检、漏检问题，提出一种基于YOLOv8的缺陷检测算法YOLOv8-EL。首先，使用GauGAN进行数据增强，处理数据集的类内和类间不均衡的问题，提高模型泛化能力，降低模型过拟合的风险；其次，在主干网络和特征融合网络之间嵌入上下文聚合模块，自适应地融合不同层次的语义信息，对齐局部特征，减少微小微弱缺陷信息的丢失，抑制无关背景信息的干扰；最后，构建多注意力检测头以替换解耦头，引入不同的注意力机制细化分类和定位任务，提取空间和通道层面上的关键信息，减少特征混淆。实验结果表明，该模型在扩充后的PV电池EL数据集上的平均精度达到89.90%，模型参数量为13.13×106，在提升精度的基础上兼顾了后续部署时轻量化的要求。在PASCAL VOC数据集上进行泛化性实验，证明了改进算法的泛化性能。
缺陷检测 YOLOv8 生成对抗网络 特征融合 注意力机制 解耦头 激光与光电子学进展
2024, 61(8): 0812008
强激光与粒子束
2024, 36(1): 012001
