针对光场成像的空间域图像分辨率限制，提出一种基于自监督学习的空间域图像超分辨成像方法。利用深度学习中的自编码器，对全部光场子孔径图像同步进行空间域的超分辨重构。设计一种基于多尺度特征结构和全变差正则化的混合损失函数，约束模型输出图像与原始低分辨率图像的相似度。数值实验结果表明，所提方法对噪声具有抑制作用，在光场成像的不同数据集上的超分辨结果平均值超过基于有监督学习的光场空间域超分辨方法。
光场 超分辨 自监督学习 深度学习 激光与光电子学进展
2024, 61(4): 0411007
Author Affiliations
Abstract
1 School of Instrumentation Science and Engineering, Harbin Institute of Technology, Harbin, China
2 Research Center of Laser Fusion, China Academy of Engineering Physics, Mianyang, China
Segmenting dark-field images of laser-induced damage on large-aperture optics in high-power laser facilities is challenged by complicated damage morphology, uneven illumination and stray light interference. Fully supervised semantic segmentation algorithms have achieved state-of-the-art performance but rely on a large number of pixel-level labels, which are time-consuming and labor-consuming to produce. LayerCAM, an advanced weakly supervised semantic segmentation algorithm, can generate pixel-accurate results using only image-level labels, but its scattered and partially underactivated class activation regions degrade segmentation performance. In this paper, we propose a weakly supervised semantic segmentation method, continuous gradient class activation mapping (CAM) and its nonlinear multiscale fusion (continuous gradient fusion CAM). The method redesigns backpropagating gradients and nonlinearly activates multiscale fused heatmaps to generate more fine-grained class activation maps with an appropriate activation degree for different damage site sizes. Experiments on our dataset show that the proposed method can achieve segmentation performance comparable to that of fully supervised algorithms.
class activation maps laser-induced damage semantic segmentation weakly supervised learning High Power Laser Science and Engineering
2024, 12(1): 010000e4
1 北京航空航天大学 仪器科学与光电工程学院 精密光机电一体化教育部重点实验室，北京009
2 季华实验室 智能机器人工程研究中心，广东佛山5800
在室内实例物体目标检测中，传统深度学习需要大量人工标注的训练样本进行网络训练，费时费力，为此提出并实现了一种采用奇异值分解（Singular Value Decomposition，SVD）和协同训练的半监督实例级目标检测网络SVD-RCNN。挑选关键样本进行人工标注并预训练SVD-RCNN，以确保其获取更多先验知识，采用基于SVD的收敛-分解-微调策略，在SVD-RCNN中得到两个较强独立性的检测器以满足协同训练的要求，最后提出一种自适应的自标注策略，获得高质量的自标注及检测结果。在多个室内实例数据集上对该方法进行测试，在GMU数据集上只需人工标注199个样本，均值平均精度（mean Average Precision，mAP）达到了79.3%，相较于需标注3 851个样本的全监督Faster RCNN的81.3% mAP仅下降了2%。消融实验及系列实验证明了本文方法的有效性和普适性，本文提出的方法仅需人工标注5%的训练数据，即可达到与全监督学习相当的实例级目标检测精度，有利于智能机器人高效识别不同实例物体的实际应用。
计算机视觉 目标检测 半监督学习 自标注 computer vision object detection semi-supervised learning self-labeling 光学 精密工程
2023, 31(13): 2000
浙江大学信息与电子工程学院，浙江 杭州 310027
为提高红外图像中目标检测的精度，提出一种基于CenterNet与OMix增强的半监督红外图像目标检测算法（IRCC-OMix）。针对红外图像中锚框先验信息难以确定的问题，利用CenterNet作为主干模型，通过关键点检测红外图像中的目标。由于红外图像标注成本昂贵，引入基于教师学生网络互学习的半监督学习方法，设计基于CenterNet与基于一致性的半监督红外图像目标检测（IRCC）模型。IRCC模型中的随机擦除（cutout）增强可能导致红外图像中的小目标消失，影响模型检测性能，因此采用一种基于目标的图像混合增强方法，提升算法对小目标的检测能力。在公开数据集FLIR上的实验结果表明，IRCC模型的平均精度均值（mAP）达到55.3%，与仅使用有标签数据训练情况相比，mAP提升1.9个百分点，说明该模型能够充分利用无标签数据、提高模型的鲁棒性。基于OMix增强的IRCC模型的mAP为56.8%，与使用cutout增强的IRCC模型相比提高1.5个百分点，取得了良好的检测性能。
图像处理 目标检测 卷积神经网络 红外图像 半监督学习 激光与光电子学进展
2023, 60(14): 1428005
1 中山大学物理学院, 广州 510275
2 广东省磁电物性分析与器件重点实验室, 广州 510275
在常压下寻找新型高温超导材料是物理和材料领域共同关注的热点问题。近年来, 机器学习技术和大数据成功地解决了材料特性与复杂物理因素之间关系建模的难题, 在新型材料的优化设计中获得了重要应用。然而利用机器学习在材料数据库中寻找常规Bardeen-Cooper-Schrieffer (BCS)超导材料, 存在可用数据量少的问题, 导致设计出的超导材料种类少, 结构构型单一。结合BCS超导理论和半监督学习方法, 发展了神经网络模型预测BCS超导体。通过充分利用材料数据库中大量的无标签数据, 即未知超导温度但已知电子结构的晶体材料, 使得训练出的分类模型准确性达72%。模型预测出数十种可常压下存在的新型BCS超导材料, 其中B-C和B-C-N体系的超导温度最高可达约60 K, 高于MgB2的39 K超导纪录。
高温超导 半监督学习 材料设计 神经网络 high-temperature superconductors semi-supervised learning materials design neural networks
针对传统表面缺陷检测无法适应工业复杂背景等问题，提出一种基于特征金字塔匹配和自监督的表面缺陷检测算法。首先，将两个基于通道注意力的残差网络提取的特征构成金字塔，根据网络各层输出的差异找到缺陷。其次，网络预训练的方式上采用了自我引导潜能（BYOL）自监督学习，经过自监督学习的网络可以提取通用特征，并提高缺陷检测方法的泛化性。最后，在遇到模糊图像时，采用基于不同分辨率的蒸馏训练来让学生网络充分学会提取图像的深度特征。对所提算法在3个数据集上进行了测试，实验结果证明，所提方法好于对照组，具有更高的缺陷检测精度。
图像处理 缺陷检测 特征金字塔 自监督学习 知识蒸馏 预训练网络 激光与光电子学进展
2023, 60(4): 0415006
江南大学人工智能与计算机学院，江苏 无锡 214122
为了能够在图像质量评价领域实现自监督学习，提出一种基于半监督学习的双分支网络训练的无参考图像质量评价算法。它是具有两个分支的训练过程，其中在一个分支使用少量手工标记数据样本来进行有监督学习，在另一个分支进行自监督学习来辅助前者训练同一个特征提取器，自监督学习部分采用几种传统的全参考方法联合为训练样本打上软标签。在6个公开的图像数据库中进行大量实验，结果表明所提算法不仅在合成失真图像数据集上优于目前大多数方法，而且在真实失真图像数据集上具有良好的泛化性能，预测结果与人类主观感知表现一致。
图像质量评价 特征提取 自监督学习 无参考 联合训练 激光与光电子学进展
2023, 60(4): 0410023
江南大学物联网工程学院轻工过程先进控制教育部重点实验室，江苏 无锡 214122
目前基于图像级注释信息的主流弱监督目标检测算法常常出现局部定位问题，仅仅关注图像中局部高辨别性的区域，却忽略了完整的目标。为了解决这种问题，提出了一种端对端的基于特征自蒸馏的弱监督目标检测网络（FSD-Net），其中可拆卸的特征自蒸馏模块充分利用不同层级特征表示中的细节信息和语义信息，并通过特征自蒸馏损失约束网络训练，在未增加测试期计算代价的前提下增强了检测器综合性能；同时构造回归分支简单却有效地提取并利用特征中隐性位置信息，并通过改善监督信息生成算法、平衡优化损失等策略进一步改善了弱监督目标检测器的局部定位问题。在Pascal VOC 2007、VOC 2012、MS-COCO等大规模公开数据集上的实验结果表明，FSD-Net拥有比Baseline及近年主流方法更好的检测性能，有效地缓解了局部定位问题。
图像处理 目标检测 深度学习 弱监督学习 特征自蒸馏 激光与光电子学进展
2023, 60(4): 0410009
光学 精密工程
2022, 30(20): 2501
