大多数基于深度学习的跨模态哈希方法直接通过神经网络学习不同模态数据的统一哈希码。这些方法忽略了单模态数据不同尺度包含不同语义信息这一影响数据特征表示的因素以及低维特征在弥合模态鸿沟上的重要性。基于上述问题，提出一种基于多尺度融合和投影匹配约束的跨模态哈希方法（MFPMC）。通过设计图像多尺度融合网络和文本多尺度融合网络来获取不同模态数据的低维特征，引入低维特征投影匹配约束和对抗训练来保证低维特征在模态间分布的一致性，同时用包含丰富语义信息的低维特征作为哈希函数的输入，进一步构建模态内哈希码损失、模态间哈希码损失、量化损失、标签嵌入损失来约束哈希函数及哈希码的学习，以此保证生成具有判别性的离散二进制哈希码。在MIRFlickr-25K和NUS-WIDE两个基准的跨模态检索数据集上的实验表明：所提方法比现有的几种哈希方法具有更好的检索性能。
激光与光电子学进展
2022, 59(24): 2410006
1 兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
2 兰州交通大学计算机科学与技术国家级实验教学示范中心, 甘肃 兰州 730070
3 兰州交通大学甘肃省人工智能与图形图像处理工程研究中心, 甘肃 兰州 730070
4 兰州交通大学甘肃省轨道交通装备系统动力学与可靠性重点实验室, 甘肃 兰州 730070
针对在遥感影像建筑物提取过程中,建筑物与周围环境信息混淆导致提取精度下降的问题,提出了一种低维特征信息增强的改进U型卷积神经网络(U-net)模型,用于遥感影像建筑物的提取。借鉴医学影像分割中应用广泛的U-net模型对建筑物进行提取;考虑到在网络传播过程中低维细节信息逐级削弱,在特征金字塔中的特征图与扩张路径同级上的特征融合前,先与上一层级的特征图进行融合,进一步优化了提取结果的边缘提取精度。在覆盖范围约340 km 2的遥感影像数据集上进行实验,结果表明本文提出的方法在交并比、像素精度和Kappa系数3个指标上的均值分别达到83.9%、92.8%和83.6%,均优于模糊C均值、全卷积网络与经典U-net方法。
遥感 建筑物提取 U-net 神经网络 低维特征 激光与光电子学进展
2019, 56(22): 222801
