光电工程
2024, 50(12): 230239
作者单位
摘要
1 东北大学 计算机科学与工程学院,辽宁 沈阳 110167
2 中国科学院 长春光学精密机械与物理研究所 网络与信息化技术中心,吉林 长春 130033
为了提高获取开源航天信息的效率并解决开源航天信息内容较长、数量较为有限、应用常用文本分类模型鲁棒性较差以及文本信息不够直观等问题,本文提出一种基于有监督对比学习的航天信息分类方法。该方法基于带有注意力机制(Attention)的双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM),融合对比学习技术,对开源的信息进行处理并分析,进而高效地筛选出航天类的信息,利用unCLIP(un-Contrastive Language-Image Pre-Training)模型生成信息对应的图像。实验结果表明,对比CNN(Convolutional Neural Networks)、BiLSTM、Transformer和BiLSTM-Attention等常用的文本分类方法,该方法在准确率、召回率和F1-Score上均表现良好,其中F1-Score达到0.97,同时以图像的形式呈现信息,使信息更加清晰直观。本文方法可以充分使用网络公开的数据资源,有效地提取开源航天信息并生成对应图像,对航天信息的分析和研究具有重要价值。
有监督文本分类 对比学习 文本生成图像 航天信息 supervised text classification contrastive learning text-to-image synthesis aerospace information 
液晶与显示
2023, 38(11): 1531
作者单位
摘要
海军航空大学 信息融合研究所,烟台 264001
提出了一种使用相似度矩阵辅助遥感图像无监督哈希跨模态关联的方法,解决哈希码转化过程中造成的部分语义信息的损失问题。利用构建的原始特征以及哈希特征的相似度矩阵整合不同模态间的语义相关信息,以尽可能地保留模态内以及不同模态间语义的相关性,通过相似度矩阵间的语义对齐减小原始特征转换为哈希编码的特征信息损失,并结合对比学习的方法有效提高了遥感图像文本间无监督哈希跨模态关联效果。在两个公开数据集上的实验验证表明,所提方法优于现有基准方法,具有较好的性能。
遥感 无监督学习 跨模态检索 相似度矩阵 对比学习 Remote sensing Unsupervised learning Cross-modal retrieval Dimilarity matrix Contrastive learning 
光子学报
2023, 52(1): 0110003
作者单位
摘要
昆明理工大学国土资源工程学院, 云南 昆明 650093
低空无人机(UAV)测量凭借着低成本、 高效率、 高精度的数据采集模式, 可快速获取高空间分辨率的影像数据, 已经成为遥感领域的一种重要技术手段。 其中, 影像匹配技术是UAV影像数据处理的重要步骤, 图像间的匹配直接影响后期三维场景的精度及视觉效果。 针对高原山地的高差起伏变化大地形复杂, 植被覆被率高及地物分布不规则等问题存在, 致使在该区域UAV地形测量处理中因局部噪声造成影像匹配较难。 由于影像获取时受到该区特殊地形的限制, 大场景影像需要借助多幅影像匹配拼接得到。 目前, 基于特征点的影像匹配是一种图像配准技术, 不仅适用于低重叠度影像之间的匹配, 还可以运用到运动恢复图像间的匹配。 为探索特殊地形地貌条件下快速有效的UAV影像匹配技术, 提出一种面向高原山地复杂地形的集成尺度不变特征变换(SIFT)算法与最近邻次近邻距离比(NNDR)、 随机抽样一致算法(RANSAC)模型约束改进的UAV影像匹配方法。 主要技术流程为: 首先, 基于SIFT算法, 进行尺度空间的极值检测, 构建高斯金字塔函数, 通过高斯差分运算来实现特征点定位, 并对所检测到的特征点的邻域位置、 方向、 尺度等进行统计分析, 据此生成适合UAV影像特征的描述符; 其次, 集成“马式距离”和NNDR模型的综合运用, 进行特征点对的第一次约束优化提取及相似度检测, 在此基础上, 利用RANSAC算法, 引入匹配点对的均方根误差值(RMSE)进行第二次约束, 以实现匹配错误点对的剔除, 保证了影像匹配精确优化。 此外, 为了证实所提出优化算法的有效性, 选择了1组高原山地典型地貌UAV影像数据进行匹配试验, 结果表明: 面向高原山地复杂地形进行无人机影像匹配中, 所提出的改进算法不仅可以提取大量的特征点对, 同时还可以提高同名特征点的检测正确率, 并且配准正确率达到了85%, 因此更加适用于高原山地复杂地形的无人机影像匹配处理技术优化。
影像匹配 改进SIFT算法 对比分析 UAV Image registration Improved SIFT algorithm Contrastive analysis UAV 
光谱学与光谱分析
2022, 42(5): 1497
杨嘉楠 1,2王忠昊 1,2王昊霖 1,2耿国华 1,2曹欣 1,2,*
作者单位
摘要
1 西北大学 信息科学与技术学院,陕西西安7027
2 西北大学 文化遗产数字化国家地方联合工程研究中心,陕西西安71017
通过表皮生长因子受体(Epidermal Growth Factor Receptor,EGFR)突变情况可以对患者是否患有非小细胞肺癌(Non-small Cell Lung Cancer, NSCLC)进行检测。提出了一种基于对比学习的自监督EGFR基因突变预测方法,在不需要大量专家手工标注患者数据集的情况下,对输入网络的患者病灶区图像进行阴性、阳性预测。对自监督BYOL网络进行修改,增加了网络投影层非线性多层感知器(Multilayer Perceptron,MLP)的层数,并将患者CT和PET两个模态的图像数据融合作为网络的输入,在不需要大量标注患者数据集的情况下,对阴性、阳性病例进行预测。在非小细胞肺癌EGFR基因突变数据集上,与传统的影像组学、有监督VGG-16网络、有监督ResNet-50、有监督Inception v3和无监督迁移学习CAE进行对比。实验结果表明,使用对比学习从患者的CT和PET图像学习到的患者病灶区图像的实例特征可以对阴性、阳性病例进行区分,并取得了77%的曲线下面积(Area Under the Curve,AUC);相对于传统的影像组学方法分类结果AUC提高了7%,相对于有监督VGG-16网络的分类结果AUC提高了5%;在不需要大量专家手工标注数据集及大量患者临床数据的情况下仅比有监督ResNet-50 AUC低9%。改进BYOL网络仅需要少量标注的患者数据集便可得到比部分传统有监督方法更准确的检测结果,展示了其辅助临床决策的潜力。
医学图像处理 深度学习 对比学习 PET/CT 肺非小细胞肺癌基因突变预测 medical image processing deep learning contrastive learning PET/CT prediction of gene mutations in lung non-small cell lung cancer 
光学 精密工程
2022, 30(9): 1080
作者单位
摘要
1 合肥工业大学计算机与信息学院,安徽 合肥 230009
2 工业安全与应急技术安徽省重点实验室,安徽 合肥 230009
3 安徽省蚌埠市公安局科技信息科,安徽 蚌埠 233040
随着可见光-红外双模相机在视频监控中的广泛应用,跨模态人脸识别也成为计算机视觉领域的研究热点,而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题,在刑侦安防领域有着重要研究价值。针对近红外人脸图像在着色过程中面部轮廓易被扭曲、肤色还原不真实等问题,本文提出了一种双重对比学习框架下的近红外-可见光人脸图像转换方法。该方法构建了基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下,利用双向的对比学习挖掘人脸图像的精细化表征。同时,本文设计了一种面部边缘增强损失,利用从源域图像中提取的面部边缘信息进一步强化生成人脸图像中的面部细节、提高人脸图像的视觉效果。最后,在NIR-VIS Sx1和NIR-VIS Sx2数据集上的实验表明,与近期的主流方法相比,本文方法生成的可见光人脸图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息。

跨模态人脸识别 人脸图像转换 对比学习 StyleGAN2 cross-modal face recognition face image translation contrastive learning StyleGAN2 
光电工程
2022, 49(4): 210317
作者单位
摘要
1 火箭军工程大学 作战保障学院,陕西西安70025
2 解放军61068部队,陕西西安710100
为了解决使用深度学习进行遥感影像特征提取与分类时标注数据不足的问题,提出一种基于非对称预测算子的简易对比学习方法。首先,使用水平翻转、颜色抖动和灰度化方法对输入图像进行数据增强,得到同一幅图像的两个相关视图。接着,将其分别输入到孪生网络的两个分支进行特征提取。然后,使用非对称预测算子对特征进行变换,通过最大化两种特征间的相似度优化网络。最后,固定特征提取网络的参数,训练一个线性分类器完成特征分类。在四个公开数据集NWPU-RESISC45,EuroSAT,UC Merced,SIRI-WHU上使用20%的标注样本进行微调,分类精度分别达到77.57%,87.70%,60.52%和65.83%。本文提出的方法能够在不使用数据标签的情况下充分挖掘遥感影像中的高层语义特征,在只使用少量标注样本的情况下性能优于有监督方法得到的ImageNet预训练模型和目前最新的对比学习方法SimSiam。
对比学习 遥感影像 特征提取 特征分类 非对称预测算子 contrastive Learning remote sensing feature extraction feature classification asymmetric predictor 
光学 精密工程
2021, 29(9): 2222
作者单位
摘要
1 重庆邮电大学 重庆市空间大数据智能技术工程研究中心,重庆400065
2 南阳理工学院 计算机与软件学院,河南南阳473000
针对遥感场景图像中复杂背景以及类内多样性和类间相似性影响场景分类性能的问题,提出一种基于有监督对比学习的遥感场景分类方法。该方法包含判别性特征学习和线性分类两个阶段。在判别性特征学习阶段,引入有监督对比损失以拉近同类场景间的距离并增大不同类场景间的距离,提高类内多样性和类间相似性场景的判别能力;然后引入门控自注意模块对无用的背景信息进行过滤且聚焦关键场景区域,提高复杂背景的场景识别;最后引入一个预训练的Inception V3语义分支,把语义分支和原始模型提取的特征进行融合增强特征判别能力,以提高场景分类的整体性能。线性分类阶段通过对特征学习阶段训练的模型进行微调获得分类结果。在AID和NWPU-RESISC45数据集上的综合实验证明了所提方法的有效性。
有监督对比学习 特征融合 遥感场景分类 门控机制 自注意机制 遥感图像 预训练模型 Supervised contrastive learning Feature fusion Remote sensing scene classification Gated mechanism Self-attention mechanism Remote sensing image Pretrained model 
光子学报
2021, 50(7): 79
作者单位
摘要
淮北师范大学物理与电子信息学院, 安徽 淮北 235000
基于多轴差分吸收光谱技术 (MAX-DOAS) 反演 NO2 柱浓度的方法, 构建了相应的地基 MAX-DOAS 系统, 开展了 NO2 柱浓度变化特征的观测。反演中选取天顶方向的光谱作为参考光谱, 通过非线性最小二乘法反演出 NO2 斜柱浓度 (SCD), 结合不同观测方向的斜柱浓度得到 NO2 差分斜柱浓度 (dSCD), 再利用几何近似法得到大气质量因子 (AMF), 最终获取 NO2 垂直柱浓度 (VCD)。于 2019 年 6 月至 2020 年 5 月在淮北地区开展了为期一年的外场实验, 研究结果表明淮北地区 NO2 VCD的月均值在观测期间内呈现倒“U”型变化, 在 12 月份达到最高值 2.13×1016 molecules·cm-2, 在 8 月份达到最低值 5.23×1015 molecules·cm-2。将 MAX-DOAS 观测结果的日均值与 OMI 卫星 (云系数分别为 0 多轴差分吸收光谱技术 NO2 垂直柱浓度 对比分析 multi-axis differential optical absorption spectro OMI OMI NO2 vertical column density contrastive analysis 
大气与环境光学学报
2021, 16(2): 107
作者单位
摘要
西安微电子技术研究所,陕西 西安 710065
红外和可见光图像块匹配在视觉导航和目标识别等任务中有着广泛的应用。由于红外和可见光传感器有不同的成像原理,红外和可见光图像块匹配更加具有挑战。深度学习在可见光领域图像的块匹配上取得了很好的性能,但是它们很少涉及到红外和可见光的图像块。文中提出了一种基于卷积神经网络的红外和可见光的图像块匹配网络。此网络由特征提取和特征匹配两部分组成。在特征提取过程中,使用对比和三重损失函数能够最大化不同类的图像块的特征距离,缩小同一类图像块的特征距离,使得网络能够更加关注于图像块的公共特征,而忽略红外和可见光成像之间差异。在红外和可见光图像中,不同尺度的空间特征能够提供更加丰富的区域和轮廓信息。红外和可见光图像块的高层特征和底层特征融合可以有效地提升特征的表现能力。改进后的网络相比于先前卷积神经匹配网络,准确率提升了9.8%。
红外和可见光图像块匹配 卷积神经网络 对比损失 三重损失 多尺度特征融合 infrared-visible image patches matching convolutional neural networks contrastive loss triplet loss multi-scale spatial feature integration 
红外与激光工程
2021, 50(5): 20200364

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!