针对光场成像的空间域图像分辨率限制，提出一种基于自监督学习的空间域图像超分辨成像方法。利用深度学习中的自编码器，对全部光场子孔径图像同步进行空间域的超分辨重构。设计一种基于多尺度特征结构和全变差正则化的混合损失函数，约束模型输出图像与原始低分辨率图像的相似度。数值实验结果表明，所提方法对噪声具有抑制作用，在光场成像的不同数据集上的超分辨结果平均值超过基于有监督学习的光场空间域超分辨方法。
光场 超分辨 自监督学习 深度学习 激光与光电子学进展
2024, 61(4): 0411007
南开大学现代光学研究所，天津市微尺度光学信息技术科学重点实验室，天津 300350
以散斑噪声为主的噪声干扰严重影响视网膜光学相干层析（OCT）图像质量。深度学习是一种有效的去噪方法。但对活体成像而言，其很难获取多帧配准的真值图像，这影响了监督学习方法的效果。提出一种无监督深度残差稀疏注意力网络用于视网膜OCT图像去噪，并分别从视觉评价和数值评价两方面与传统的三维块匹配滤波去噪算法和经典的深度学习去噪网络进行对比。研究了监督学习与无监督学习策略下3种卷积神经网络的去噪性能，并利用公开的视网膜OCT图像数据集进行泛化能力测试。实验结果表明：所提算法的视觉评价和数值评价均具有良好的降噪效果，可以实现视网膜OCT图像高质量降噪，具有较强的泛化性，而且与监督学习相比，无监督学习在数据集不充分时仍能获得较好的降噪性能，可以有效地辅助医生进行准确高效的临床诊断。
光学相干层析技术 视网膜 图像去噪 深度学习 无监督学习 光学学报
2023, 43(20): 2010002
1 北京航空航天大学 仪器科学与光电工程学院 精密光机电一体化教育部重点实验室，北京009
2 季华实验室 智能机器人工程研究中心，广东佛山5800
在室内实例物体目标检测中，传统深度学习需要大量人工标注的训练样本进行网络训练，费时费力，为此提出并实现了一种采用奇异值分解（Singular Value Decomposition，SVD）和协同训练的半监督实例级目标检测网络SVD-RCNN。挑选关键样本进行人工标注并预训练SVD-RCNN，以确保其获取更多先验知识，采用基于SVD的收敛-分解-微调策略，在SVD-RCNN中得到两个较强独立性的检测器以满足协同训练的要求，最后提出一种自适应的自标注策略，获得高质量的自标注及检测结果。在多个室内实例数据集上对该方法进行测试，在GMU数据集上只需人工标注199个样本，均值平均精度（mean Average Precision，mAP）达到了79.3%，相较于需标注3 851个样本的全监督Faster RCNN的81.3% mAP仅下降了2%。消融实验及系列实验证明了本文方法的有效性和普适性，本文提出的方法仅需人工标注5%的训练数据，即可达到与全监督学习相当的实例级目标检测精度，有利于智能机器人高效识别不同实例物体的实际应用。
计算机视觉 目标检测 半监督学习 自标注 computer vision object detection semi-supervised learning self-labeling 光学 精密工程
2023, 31(13): 2000
浙江大学信息与电子工程学院，浙江 杭州 310027
为提高红外图像中目标检测的精度，提出一种基于CenterNet与OMix增强的半监督红外图像目标检测算法（IRCC-OMix）。针对红外图像中锚框先验信息难以确定的问题，利用CenterNet作为主干模型，通过关键点检测红外图像中的目标。由于红外图像标注成本昂贵，引入基于教师学生网络互学习的半监督学习方法，设计基于CenterNet与基于一致性的半监督红外图像目标检测（IRCC）模型。IRCC模型中的随机擦除（cutout）增强可能导致红外图像中的小目标消失，影响模型检测性能，因此采用一种基于目标的图像混合增强方法，提升算法对小目标的检测能力。在公开数据集FLIR上的实验结果表明，IRCC模型的平均精度均值（mAP）达到55.3%，与仅使用有标签数据训练情况相比，mAP提升1.9个百分点，说明该模型能够充分利用无标签数据、提高模型的鲁棒性。基于OMix增强的IRCC模型的mAP为56.8%，与使用cutout增强的IRCC模型相比提高1.5个百分点，取得了良好的检测性能。
图像处理 目标检测 卷积神经网络 红外图像 半监督学习 激光与光电子学进展
2023, 60(14): 1428005
1 西安工程大学电子信息学院，陕西 西安 710048
2 浙江大学工业控制技术国家重点实验室，浙江 杭州 310027
针对传统卷积神经网络对色织物花型缺陷检测效果不佳的问题，提出一种基于U型Swin Transformer重构模型和残差分析的缺陷检测方法。该方法使用Transformer模型，可更好地实现对图像全局特征的提取以及更准确的重构，同时解决了实际生产过程中缺陷样本数量少且种类不平衡的问题。首先，针对某种花型，采用叠加噪声后的无缺陷样本完成重构模型的训练过程；然后，将待测图像输入模型中获得重构图像；接着，计算待测图像和重构图像的残差图像；最后，通过阈值分割和数学形态学处理，即可实现对缺陷区域的检测和定位。实验结果表明，该方法在不需要对缺陷样本标记的情况下，能够有效地检测和定位多个色织物花型上的缺陷区域。
机器视觉 图像处理 色织物 缺陷检测 无监督学习 Swin Transformer 激光与光电子学进展
2023, 60(12): 1215001
在基于光学技术的机器视觉系统中, 雾天图像的退化问题给诸多应用造成困难, 尤其对公共安全领域中的预警分析影响比较大, 例如雾天情况下的无人机移动监测预警, 公安、边防的固定视频监控等。现有的采用合成数据集训练的深度学习去雾算法也难以应用于以上实际环境。为此, 提出一种基于无监督学习的单幅图像去雾算法。首先, 通过改进无监督算法YOLY的提取模块, 提高所获取的图像质量; 然后, 调整对大气光值参数的限制, 提高生成图像的亮度; 最后, 通过多种损失函数调整, 进一步提升图像的质量。实验结果表明, 该方法处理后的图像色彩鲜明, 细节完整, 更接近于真实图像, 并且图像噪声显著降低, 具有实际应用价值。
机器视觉 图像去雾 无监督学习 machine vision image dehazing unsupervised learning
1 中山大学物理学院, 广州 510275
2 广东省磁电物性分析与器件重点实验室, 广州 510275
在常压下寻找新型高温超导材料是物理和材料领域共同关注的热点问题。近年来, 机器学习技术和大数据成功地解决了材料特性与复杂物理因素之间关系建模的难题, 在新型材料的优化设计中获得了重要应用。然而利用机器学习在材料数据库中寻找常规Bardeen-Cooper-Schrieffer (BCS)超导材料, 存在可用数据量少的问题, 导致设计出的超导材料种类少, 结构构型单一。结合BCS超导理论和半监督学习方法, 发展了神经网络模型预测BCS超导体。通过充分利用材料数据库中大量的无标签数据, 即未知超导温度但已知电子结构的晶体材料, 使得训练出的分类模型准确性达72%。模型预测出数十种可常压下存在的新型BCS超导材料, 其中B-C和B-C-N体系的超导温度最高可达约60 K, 高于MgB2的39 K超导纪录。
高温超导 半监督学习 材料设计 神经网络 high-temperature superconductors semi-supervised learning materials design neural networks
1 天津大学精密仪器与光电子工程学院，天津 300072
2 天津大学光电信息技术教育部重点实验室，天津 300072
3 天津大学海洋科学与技术学院，天津 300072
提出一种基于无监督学习的偏振图像去噪方法，该方法打破了监督学习下深度学习需要严格配对图像的限制，使用非配对偏振图像训练一个偏振特化的循环生成对抗网络。该网络通过所提出的基于偏振信息的损失函数统计学习噪声图像和清晰图像的映射。实验结果表明，该网络可以有效地抑制室内外不同环境下偏振图像的噪声，同时能较好地恢复线性偏振度和偏振角。所提方法对复杂噪声环境下的偏振成像应用具有重要意义。
图像处理 偏振成像 偏振图像去噪 无监督学习 生成对抗网络
