江南大学 轻工过程先进控制教育部重点实验室,江苏无锡214122
声音作为物体固有属性之一能为目标检测提供有价值的信息,当前仅通过监测环境声进行目标定位的方法鲁棒性较低,为解决这一问题提出了跨级特征知识转移下的多模态自监督目标检测网络。首先,针对教师网络和学生网络同级特征间学习能力有限的问题,设计了基于注意力融合的多教师跨级特征知识转移损失,通过注意力融合的方式融合学生的深层和浅层特征,更高效地学习对应的教师中间层特征,以提取更多的知识,同时结合KL散度,实现教师和学生网络中间层特征的对齐。此外,为了解决定位信息的缺失的问题,加入定位蒸馏损失,通过让学生的包围盒分布去拟合教师的包围盒分布的方式,来获取更多的定位信息。在多模态视听检测MAVD数据集中对网络进行训练,该网络的mAP值在IOU值为0.5,0.75和平均的情况下较基线网络分别有6.71%,14.36%和10.32%的提升。实验结果证明了该检测网络的优越性。
多模态 知识蒸馏 目标检测 自监督 深度学习 multimodal knowledge distillation object detection self-supervised deep learning
设计了一种多阶段水下图像增强模型,可以同时将空间精细纹理和高级上下文信息两种特征融合。模型由三个阶段组成,前两个阶段采用编码器-解码器结构,第三阶段则采用并行注意子网,所提模型可以同时学习空间细节和上下文信息两种特征,并且引入了监督注意力模块,能够加强特征学习,还设计了一个跨阶段特征融合机制用来巩固前后子网的中间特征。最后将所提模型与其他水下增强模型在同一测试集上运行,从运行结果得出,所提模型处理后的水下图像在主观视觉效果和客观评价质量上均优于大部分对比算法,在Test-1测试集上,峰值信噪比和结构相似度分别达到了26.2962 dB和0.8267。
图像处理 水下图像增强 多阶段 空间细节 监督注意力 激光与光电子学进展
2024, 61(8): 0837003
针对光场成像的空间域图像分辨率限制,提出一种基于自监督学习的空间域图像超分辨成像方法。利用深度学习中的自编码器,对全部光场子孔径图像同步进行空间域的超分辨重构。设计一种基于多尺度特征结构和全变差正则化的混合损失函数,约束模型输出图像与原始低分辨率图像的相似度。数值实验结果表明,所提方法对噪声具有抑制作用,在光场成像的不同数据集上的超分辨结果平均值超过基于有监督学习的光场空间域超分辨方法。
光场 超分辨 自监督学习 深度学习 激光与光电子学进展
2024, 61(4): 0411007
光学 精密工程
2023, 31(19): 2884
1 中科技术物理苏州研究院,江苏 苏州215000
2 中科技术物理苏州研究院,江苏 苏州215000中国科学院上海技术物理研究所,上海200083中国科学院红外探测与成像技术重点实验室,上海200083
大量的训练样本可有效缓解模型过拟合,从而提高分类效果。在初始标记样本较少的情况下,开展借助不同尺度的同质区快速扩增大量高精度训练样本的实验,并利用初始标记样本和扩增样本训练支持向量机(Support Vector Machine, SVM)分类器,实现对高光谱数据的有效分类。该方法在Pavia University、Salinas和Indian Pines三种高光谱数据上均能获得大量高精度的训练样本,分类精度分别达到99%、99%和97%以上。实验结果表明,扩增的大量伪标签样本可以有效训练SVM分类器,提高分类效果。
高光谱影像 半监督分类 多尺度同质区 训练样本扩增 图像分割 支持向量机 hyperspectral image semi-supervised classification multi-scale homogeneous regions training sample amplification image segmentation SVM
河北工业大学电子信息工程学院, 天津 300401
随着越来越多的大型光谱巡天计划的实施, 产生了海量的恒星光谱数据, 这对于恒星演化理论的研究具有重大意义, 但也给传统的光谱分类和处理带来极大挑战。 2021年发布的LAMOST DR7(v2.0版本)光谱数据集中, 恒星光谱总量为百万量级, 但其中O型星的数量仅为129条, 远远小于其他六类恒星光谱数量。 对于这种数据量大、 数据集严重不平衡的情况, 传统的机器学习分类方法达不到较好的效果, 因此多用于对相邻两类、 部分类或子类恒星光谱进行分类。 针对以上问题, 使用一维卷积神经网络(CNN)和一维生成对抗网络(GAN)相结合的半监督学习模式对七类恒星光谱进行全分类。 实验首先对每条光谱进行裁剪和去噪, 截取光谱波长范围为370.00~867.16 nm部分, 然后进行均匀采样和归一化, 生成大小为1×3 700的数据集样本, 送入CNN进行训练。 为了避免过拟合并提高模型对未知数据的预测能力, 在CNN的全连接层和池化层之间添加正则项Dropout。 使用该网络对除O型星以外的六类光谱进行分类, 平均分类准确率达到98.08%。 针对O型星数量严重偏少的问题, 采用GAN来扩充数据集。 GAN的输入是1×900大小的噪声信号, 经过生成器中全连接的三层跨步卷积运算, 输出大小为1×3 700的数据。 通过对生成器和判别器进行单独交替迭代训练使GAN收敛, 最终输出所需数量的O型星样本, 达到扩充数据集的目的。 和常见的通过过采样扩充数据集相比, 利用GAN扩充数据集, 结合一维CNN对恒星光谱进行全分类, 可以将O型星的分类准确率由72.92%提升至97.92%, 整个分类器的准确率达到96.28%。 实验结果表明, 使用这种半监督模式的恒星光谱自动分类方法可以实现对七类恒星光谱的快速、 准确分类, 也可以用于对标记为“Unknown”的未分类恒星光谱进行挖掘, 达到充分利用光谱的目的。
恒星光谱 自动分类 卷积神经网络 生成对抗网络 半监督模式 Star spectra Automatic classification Convolutional neural networks Generative adversarial networks Semi-supervised mode 光谱学与光谱分析
2023, 43(6): 1875
强激光与粒子束
2023, 35(12): 126001