1 中国科学院沈阳自动化研究所机器人学国家重点实验室,辽宁 沈阳 110016
2 中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110016
3 中国科学院大学,北京 100049
由于水体对光的吸收和散射作用,水下图像普遍存在颜色失真和细节模糊这两种退化问题。为了得到色彩鲜明、细节清晰的水下图像,提出了一个基于多尺度注意力和对比学习的水下图像增强算法模型。该模型采用编码-解码结构作为基础框架,为了提取到更细粒度的特征,在编码部分设计了一个多尺度通道像素注意力模块,利用3个并行支路提取图像中不同层次的特征,然后将3条支路提取的特征进行融合输入到下一层编码器以及对应的解码层,提高网络特征提取以及细节增强的能力。最后,为了进一步提高增强图像的质量,引入对比学习训练网络。大量实验证明,本文算法增强后的图像色彩鲜明且细节信息保留较好。峰值信噪比和结构相似性指标的平均值最高可达到25.46和0.8946,与其他方法相比至少提高了4.4%和2.8%;水下彩色图像质量指标和信息熵的平均值最高为0.5802和7.6668,与其他方法相比均至少提高了2%;特征点匹配平均比原始图像多24个。
图像增强 注意力 多尺度 对比学习 激光与光电子学进展
2024, 61(4): 0437008
1 东北大学 计算机科学与工程学院,辽宁 沈阳 110167
2 中国科学院 长春光学精密机械与物理研究所 网络与信息化技术中心,吉林 长春 130033
为了提高获取开源航天信息的效率并解决开源航天信息内容较长、数量较为有限、应用常用文本分类模型鲁棒性较差以及文本信息不够直观等问题,本文提出一种基于有监督对比学习的航天信息分类方法。该方法基于带有注意力机制(Attention)的双向长短期记忆网络(Bidirectional Long Short-Term Memory,BiLSTM),融合对比学习技术,对开源的信息进行处理并分析,进而高效地筛选出航天类的信息,利用unCLIP(un-Contrastive Language-Image Pre-Training)模型生成信息对应的图像。实验结果表明,对比CNN(Convolutional Neural Networks)、BiLSTM、Transformer和BiLSTM-Attention等常用的文本分类方法,该方法在准确率、召回率和F1-Score上均表现良好,其中F1-Score达到0.97,同时以图像的形式呈现信息,使信息更加清晰直观。本文方法可以充分使用网络公开的数据资源,有效地提取开源航天信息并生成对应图像,对航天信息的分析和研究具有重要价值。
有监督文本分类 对比学习 文本生成图像 航天信息 supervised text classification contrastive learning text-to-image synthesis aerospace information
1 西北大学 信息科学与技术学院,陕西西安7027
2 西北大学 文化遗产数字化国家地方联合工程研究中心,陕西西安71017
通过表皮生长因子受体(Epidermal Growth Factor Receptor,EGFR)突变情况可以对患者是否患有非小细胞肺癌(Non-small Cell Lung Cancer, NSCLC)进行检测。提出了一种基于对比学习的自监督EGFR基因突变预测方法,在不需要大量专家手工标注患者数据集的情况下,对输入网络的患者病灶区图像进行阴性、阳性预测。对自监督BYOL网络进行修改,增加了网络投影层非线性多层感知器(Multilayer Perceptron,MLP)的层数,并将患者CT和PET两个模态的图像数据融合作为网络的输入,在不需要大量标注患者数据集的情况下,对阴性、阳性病例进行预测。在非小细胞肺癌EGFR基因突变数据集上,与传统的影像组学、有监督VGG-16网络、有监督ResNet-50、有监督Inception v3和无监督迁移学习CAE进行对比。实验结果表明,使用对比学习从患者的CT和PET图像学习到的患者病灶区图像的实例特征可以对阴性、阳性病例进行区分,并取得了77%的曲线下面积(Area Under the Curve,AUC);相对于传统的影像组学方法分类结果AUC提高了7%,相对于有监督VGG-16网络的分类结果AUC提高了5%;在不需要大量专家手工标注数据集及大量患者临床数据的情况下仅比有监督ResNet-50 AUC低9%。改进BYOL网络仅需要少量标注的患者数据集便可得到比部分传统有监督方法更准确的检测结果,展示了其辅助临床决策的潜力。
医学图像处理 深度学习 对比学习 PET/CT 肺非小细胞肺癌基因突变预测 medical image processing deep learning contrastive learning PET/CT prediction of gene mutations in lung non-small cell lung cancer
1 合肥工业大学计算机与信息学院,安徽 合肥 230009
2 工业安全与应急技术安徽省重点实验室,安徽 合肥 230009
3 安徽省蚌埠市公安局科技信息科,安徽 蚌埠 233040
随着可见光-红外双模相机在视频监控中的广泛应用,跨模态人脸识别也成为计算机视觉领域的研究热点,而将近红外域人脸图像转化为可见光域人脸图像是跨模态人脸识别中的关键问题,在刑侦安防领域有着重要研究价值。针对近红外人脸图像在着色过程中面部轮廓易被扭曲、肤色还原不真实等问题,本文提出了一种双重对比学习框架下的近红外-可见光人脸图像转换方法。该方法构建了基于StyleGAN2结构的生成器网络并将其嵌入到双重对比学习框架下,利用双向的对比学习挖掘人脸图像的精细化表征。同时,本文设计了一种面部边缘增强损失,利用从源域图像中提取的面部边缘信息进一步强化生成人脸图像中的面部细节、提高人脸图像的视觉效果。最后,在NIR-VIS Sx1和NIR-VIS Sx2数据集上的实验表明,与近期的主流方法相比,本文方法生成的可见光人脸图像更加贴近真实图像,能够更好地还原人脸图像的面部边缘细节和肤色信息。
跨模态人脸识别 人脸图像转换 对比学习 StyleGAN2 cross-modal face recognition face image translation contrastive learning StyleGAN2