光电工程
2024, 50(12): 230239
王悦 1,2,3范慧杰 1,2,*刘世本 1,2,3唐延东 1,2
作者单位
摘要
1 中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110016
3 中国科学院大学,北京 100049
由于水体对光的吸收和散射作用,水下图像普遍存在颜色失真和细节模糊这两种退化问题。为了得到色彩鲜明、细节清晰的水下图像,提出了一个基于多尺度注意力和对比学习的水下图像增强算法模型。该模型采用编码-解码结构作为基础框架,为了提取到更细粒度的特征,在编码部分设计了一个多尺度通道像素注意力模块,利用3个并行支路提取图像中不同层次的特征,然后将3条支路提取的特征进行融合输入到下一层编码器以及对应的解码层,提高网络特征提取以及细节增强的能力。最后,为了进一步提高增强图像的质量,引入对比学习训练网络。大量实验证明,本文算法增强后的图像色彩鲜明且细节信息保留较好。峰值信噪比和结构相似性指标的平均值最高可达到25.46和0.8946,与其他方法相比至少提高了4.4%和2.8%;水下彩色图像质量指标和信息熵的平均值最高为0.5802和7.6668,与其他方法相比均至少提高了2%;特征点匹配平均比原始图像多24个。
图像增强 注意力 多尺度 对比学习 
激光与光电子学进展
2024, 61(4): 0437008
作者单位
摘要
1 东北大学 计算机科学与工程学院,辽宁 沈阳 110167
2 中国科学院 长春光学精密机械与物理研究所 网络与信息化技术中心,吉林 长春 130033
为了提高获取开源航天信息的效率并解决开源航天信息内容较长、数量较为有限、应用常用文本分类模型鲁棒性较差以及文本信息不够直观等问题,本文提出一种基于有监督对比学习的航天信息分类方法。该方法基于带有注意力机制(Attention)的双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM),融合对比学习技术,对开源的信息进行处理并分析,进而高效地筛选出航天类的信息,利用unCLIP(un-Contrastive Language-Image Pre-Training)模型生成信息对应的图像。实验结果表明,对比CNN(Convolutional Neural Networks)、BiLSTM、Transformer和BiLSTM-Attention等常用的文本分类方法,该方法在准确率、召回率和F1-Score上均表现良好,其中F1-Score达到0.97,同时以图像的形式呈现信息,使信息更加清晰直观。本文方法可以充分使用网络公开的数据资源,有效地提取开源航天信息并生成对应图像,对航天信息的分析和研究具有重要价值。
有监督文本分类 对比学习 文本生成图像 航天信息 supervised text classification contrastive learning text-to-image synthesis aerospace information 
液晶与显示
2023, 38(11): 1531
作者单位
摘要
海军航空大学 信息融合研究所,烟台 264001
提出了一种使用相似度矩阵辅助遥感图像无监督哈希跨模态关联的方法,解决哈希码转化过程中造成的部分语义信息的损失问题。利用构建的原始特征以及哈希特征的相似度矩阵整合不同模态间的语义相关信息,以尽可能地保留模态内以及不同模态间语义的相关性,通过相似度矩阵间的语义对齐减小原始特征转换为哈希编码的特征信息损失,并结合对比学习的方法有效提高了遥感图像文本间无监督哈希跨模态关联效果。在两个公开数据集上的实验验证表明,所提方法优于现有基准方法,具有较好的性能。
遥感 无监督学习 跨模态检索 相似度矩阵 对比学习 Remote sensing Unsupervised learning Cross-modal retrieval Dimilarity matrix Contrastive learning 
光子学报
2023, 52(1): 0110003
杨嘉楠 1,2王忠昊 1,2王昊霖 1,2耿国华 1,2曹欣 1,2,*
作者单位
摘要
1 西北大学 信息科学与技术学院,陕西西安7027
2 西北大学 文化遗产数字化国家地方联合工程研究中心,陕西西安71017
通过表皮生长因子受体(Epidermal Growth Factor Receptor,EGFR)突变情况可以对患者是否患有非小细胞肺癌(Non-small Cell Lung Cancer, NSCLC)进行检测。提出了一种基于对比学习的自监督EGFR基因突变预测方法,在不需要大量专家手工标注患者数据集的情况下,对输入网络的患者病灶区图像进行阴性、阳性预测。对自监督BYOL网络进行修改,增加了网络投影层非线性多层感知器(Multilayer Perceptron,MLP)的层数,并将患者CT和PET两个模态的图像数据融合作为网络的输入,在不需要大量标注患者数据集的情况下,对阴性、阳性病例进行预测。在非小细胞肺癌EGFR基因突变数据集上,与传统的影像组学、有监督VGG-16网络、有监督ResNet-50、有监督Inception v3和无监督迁移学习CAE进行对比。实验结果表明,使用对比学习从患者的CT和PET图像学习到的患者病灶区图像的实例特征可以对阴性、阳性病例进行区分,并取得了77%的曲线下面积(Area Under the Curve,AUC);相对于传统的影像组学方法分类结果AUC提高了7%,相对于有监督VGG-16网络的分类结果AUC提高了5%;在不需要大量专家手工标注数据集及大量患者临床数据的情况下仅比有监督ResNet-50 AUC低9%。改进BYOL网络仅需要少量标注的患者数据集便可得到比部分传统有监督方法更准确的检测结果,展示了其辅助临床决策的潜力。
医学图像处理 深度学习 对比学习 PET/CT 肺非小细胞肺癌基因突变预测 medical image processing deep learning contrastive learning PET/CT prediction of gene mutations in lung non-small cell lung cancer 
光学 精密工程
2022, 30(9): 1080
作者单位
摘要
1 合肥工业大学计算机与信息学院,安徽 合肥 230009
2 工业安全与应急技术安徽省重点实验室,安徽 合肥 230009
3 安徽省蚌埠市公安局科技信息科,安徽 蚌埠 233040
随着可见光-红外双模相机在视频监控中的广泛应用,跨模态人脸识别也成为计算机视觉领域的研究热点,而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题,在刑侦安防领域有着重要研究价值。针对近红外人脸图像在着色过程中面部轮廓易被扭曲、肤色还原不真实等问题,本文提出了一种双重对比学习框架下的近红外-可见光人脸图像转换方法。该方法构建了基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下,利用双向的对比学习挖掘人脸图像的精细化表征。同时,本文设计了一种面部边缘增强损失,利用从源域图像中提取的面部边缘信息进一步强化生成人脸图像中的面部细节、提高人脸图像的视觉效果。最后,在NIR-VIS Sx1和NIR-VIS Sx2数据集上的实验表明,与近期的主流方法相比,本文方法生成的可见光人脸图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息。

跨模态人脸识别 人脸图像转换 对比学习 StyleGAN2 cross-modal face recognition face image translation contrastive learning StyleGAN2 
光电工程
2022, 49(4): 210317
作者单位
摘要
1 火箭军工程大学 作战保障学院,陕西西安70025
2 解放军61068部队,陕西西安710100
为了解决使用深度学习进行遥感影像特征提取与分类时标注数据不足的问题,提出一种基于非对称预测算子的简易对比学习方法。首先,使用水平翻转、颜色抖动和灰度化方法对输入图像进行数据增强,得到同一幅图像的两个相关视图。接着,将其分别输入到孪生网络的两个分支进行特征提取。然后,使用非对称预测算子对特征进行变换,通过最大化两种特征间的相似度优化网络。最后,固定特征提取网络的参数,训练一个线性分类器完成特征分类。在四个公开数据集NWPU-RESISC45,EuroSAT,UC Merced,SIRI-WHU上使用20%的标注样本进行微调,分类精度分别达到77.57%,87.70%,60.52%和65.83%。本文提出的方法能够在不使用数据标签的情况下充分挖掘遥感影像中的高层语义特征,在只使用少量标注样本的情况下性能优于有监督方法得到的ImageNet预训练模型和目前最新的对比学习方法SimSiam。
对比学习 遥感影像 特征提取 特征分类 非对称预测算子 contrastive Learning remote sensing feature extraction feature classification asymmetric predictor 
光学 精密工程
2021, 29(9): 2222
作者单位
摘要
1 重庆邮电大学 重庆市空间大数据智能技术工程研究中心,重庆400065
2 南阳理工学院 计算机与软件学院,河南南阳473000
针对遥感场景图像中复杂背景以及类内多样性和类间相似性影响场景分类性能的问题,提出一种基于有监督对比学习的遥感场景分类方法。该方法包含判别性特征学习和线性分类两个阶段。在判别性特征学习阶段,引入有监督对比损失以拉近同类场景间的距离并增大不同类场景间的距离,提高类内多样性和类间相似性场景的判别能力;然后引入门控自注意模块对无用的背景信息进行过滤且聚焦关键场景区域,提高复杂背景的场景识别;最后引入一个预训练的Inception V3语义分支,把语义分支和原始模型提取的特征进行融合增强特征判别能力,以提高场景分类的整体性能。线性分类阶段通过对特征学习阶段训练的模型进行微调获得分类结果。在AID和NWPU-RESISC45数据集上的综合实验证明了所提方法的有效性。
有监督对比学习 特征融合 遥感场景分类 门控机制 自注意机制 遥感图像 预训练模型 Supervised contrastive learning Feature fusion Remote sensing scene classification Gated mechanism Self-attention mechanism Remote sensing image Pretrained model 
光子学报
2021, 50(7): 79

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!