1 中国科学院水利部成都山地灾害与环境研究所，成都 610299
2 中国科学院大学，北京 100049
冰湖溃决洪水是一种严重的山地自然灾害，威胁着中国高寒区的居民及铁路公路等重要基础设施，自动高效的冰湖遥感制图方法是冰湖灾害评估、监测预警的基础，然而现有自动制图方法在实际冰湖提取应用上难以达到传统人工和半自动冰湖提取方法上的精度，仍需进一步提高。文章在原生U-Net模型基础上，在各桥连接部分融合极化自注意力机制，将输入影像特征分别在空间和通道层保持高分辨率，并通过非线性合成输出细腻的特征，构建了一种改进的U-Net冰湖遥感深度学习制图方法，并将其成功应用在高原铁路关键区。研究结果表明：1）与PSPNet、DeepLabV3+、原生U-Net三种经典模型相比，改进模型在冰湖预测数据集上的各项指标上都有提升，精确率、召回率、交并比和F1值分别达到了0.972 5、0.966 5、0.940 8和0.969 4，相较于原生U-Net网络，精确度、召回率、交并比和F1值分别提高了5.01%、6.05%、10.73%和5.53%；2）基于Landsat-8卫星遥感数据，应用改进模型完成了2013—2022年帕隆藏布和易贡藏布案例区冰湖信息自动高效提取，如2020年冰湖总体精度为98.16%，与参照数据的重叠度达到96.66%，提取的精度满足冰湖灾害评估和监测预警研究需求，可用于铁路等重大工程沿线冰湖灾害防治的实践。
遥感监测 冰湖灾害 深度学习 自注意力机制 U-Net卷积神经网络 remote sensing monitoring glacial lake disaster deep learning self-attention mechanism U-Net
西安邮电大学 通信与信息工程学院，陕西西安710121
由于卷积操作的局限性，现有的皮肤病变图像分割网络无法对图像中的全局上下文信息建模，导致其无法有效捕获图像的目标结构信息，本文设计了一个融入交叉自注意力编码的U型混合网络，用于皮肤病变图像分割。首先，将设计的多头门控位置交叉自注意力编码器引入到U型网络的最后两个层级中，使其能够在图像中学习语义信息的长期依赖关系，弥补卷积操作全局建模能力的不足；其次，在跳跃连接部分引入一个新的位置通道注意力机制，用于编码融合特征的通道信息并保留位置信息，提高网络捕获目标结构的能力；最后，设计一个正则化Dice损失函数，使网络能够在假阳性和假阴性之间权衡，提高网络的分割结果。基于ISBI2017和ISIC2018数据集的对比实验结果表明，本文网络的Dice分别为91.48%和91.30%，IoU分别为84.42%和84.12%，分割精度在整体上优于其他网络，且具有较低的参数量和计算复杂度，即本文网络能够高效地分割皮肤病变图像的目标区域，可为皮肤疾病辅助诊断提供帮助。
医学图像分割 皮肤病变 交叉自注意力编码 位置通道注意力 medical image segmentation skin lesion cross-self-attention coding position channel attention
1 四川大学计算机学院，四川 成都 610065
2 四川大学视觉合成图形图像技术重点学科实验室，四川 成都 610065
点云补全指利用不完整点云数据重建完整三维模型的过程。现有的大多数点云补全方法受点云无序性和不规则性影响，难以有效地重建局部细节信息，进而影响补全精度。为解决这个问题，提出基于注意力的多阶段点云补全网络。设计了满足置换不变性的金字塔式点云特征提取器以建立局部内点间的依赖以及不同局部间的相关性，在提取全局特征信息的同时加强对局部特征信息的提取。在点云重建过程中，采用由粗到精的方式，首先生成一个低分辨率的种子点云，然后逐步丰富种子点云的局部细节，得到更加精细且稠密的点云。在公开数据集PCN下进行的对比实验结果证明了所提网络能够有效重建局部细节信息，与现有方法相比，在补全精度上提升了至少5.98%。消融实验结果也进一步验证了所提注意力模块的有效性。
点云 点云补全 自注意力 交叉注意力 几何细节感知 激光与光电子学进展
2024, 61(10): 1015002
胸部X光片可用于诊断多种胸部疾病。由于胸部疾病特征复杂多样，现有的胸部X光片疾病分类算法难以学习胸部疾病复杂的鉴别表征以及未关注不同疾病之间的相关性信息。针对以上问题，提出一种结合自注意力与卷积的疾病分类算法，该算法采用全维度动态卷积替换残差网络的标准卷积，从而提高网络对多尺度信息的特征提取能力。此外，在卷积神经网络中引入自注意力模块，可以提供捕获多种疾病之间相关性的全局感受野。最后，提出高效的双路注意力，使神经网络更加关注病灶区域、自动捕捉病变位置变化。在ChestX-ray14数据集上，对所提模型进行评估，实验结果表明：所提算法对14种胸部疾病的平均受试者工作特性曲线下的面积（AUC）达到0.839，检测结果与目前其他7种先进算法相比在准确率和效率上有所提升。
胸部X光片 全维度动态卷积 自注意力 双路注意力 疾病分类 激光与光电子学进展
2024, 61(4): 0417002
1 中国科学院 微小卫星创新研究院，上海 201203
2 中国科学院大学，北京 100049
3 中国科学院 空天信息创新研究院，北京 100049
传统的单目姿态估计算法采用卷积网络在图像中定位若干关键点，再基于2D-3D匹配技术估计目标的姿态，但卫星上的关键点分布较分散，卷积网络由于其受限的感受野导致关键点的定位精度低，影响后续姿态估计的精度。此外传统流程需要人工标注关键点位置和目标的掩膜，标注成本高。为了解决传统方法感受野受限问题，在卷积网络中引入自注意力机制，赋予其全局建模能力，提高了关键点的定位精度。为了改善传统方法需要大量人工标注的问题，通过空间雕刻，重构了目标的点云，再将点云重投影回像素平面，自动化获取所需标签，省略了人工标注过程，提高了算法实用性。实验结果表明：所提算法在SPEED数据集上进行验证，关键点定位精度为92%，姿态平移误差为0.236%，姿态旋转误差为9.8610-3弧度，在简化算法复杂度的同时提升了精度。可以有效应用于航天器之间的相对姿态估计。
计算机视觉 姿态估计 关键点检测 自注意力 空间雕刻 computer vision pose estimation landmark localization self-attention space carving
图像压缩感知是一种在欠采样条件下尽可能重构原始图像的技术。为解决大部分基于卷积神经网络(CNN)框架的图像压缩感知方法容易受到卷积感受野的限制、对全局信息的关注较少的问题, 提出了基于Swin Transformer的图像压缩感知重构网络。网络使用卷积层对图像进行采样, 然后使用自注意力机制和残差结构结合的残差Swin Transformer组(RSTG)结构来关注图像的细节。实验结果表明, 基于Swin Transformer的图像压缩感知重构网络可以充分利用图像的先验信息, 进一步提高图像压缩感知的重构精度, 并获得比其他压缩感知方法更好的重构性能和视觉效果。
压缩感知 图像重构 自注意力机制 残差 compressive sensing image reconstruction self-attention mechanism residual
1 国网保定供电公司, 河北保定 071000
2 华北电力大学动力工程系, 河北保定 071000
无人机拍摄下的红外图像中变电设备的分割精度直接影响着热故障诊断的结果, 针对复杂红外背景下变电设备分割精度低的问题, 提出了一种融合可见光和红外图像的多模态路径聚合网络Multimodal Path Aggregation Network, MPAN)。首先提取并融合两种模态图像的特征, 考虑到两种模态图像的特征空间存在差异, 提出了自适应特征融合模块(Adaptive Feature Fuse Module, AFFM), 以充分融合两种模态特征; 对具有多尺度特征的主干网络增加自底向上的金字塔网络, 并对横向连接的路径增强模块引入自注意力机制; 最后使用 dice系数优化掩膜损失函数。实验结果表明, 多模态图像的融合能够增强分割性能, 且验证了提出各模块的有效性, 该模型能够显著提高红外图像中变电设备实例分割的准确率。
实例分割 变电设备 红外图像 可见光图像 自适应特征融合模块 自注意力机制 dice系数 instance segmentation, substation equipment, infra
广西嵌入式技术与智能系统重点实验室, 广西 桂林 541004桂林理工大学信息科学与工程学院, 广西 桂林 541004
针对现有卷积神经网络土壤有机质(SOM)预测模型用在小样本数据集存在建模效果差, 预测精度不够高等问题, 为更加精准预测土壤SOM含量, 以广西国有黄冕林场和国有雅长林场采集的206个土壤样品为研究对象, 提出了一种改进时间卷积网络(SATCN)的红壤有机质高光谱预测模型。 对土壤样品进行Savitaky-Golay(SG)平滑以及一阶微分(1DR)、 二阶微分(2DR)、 标准正态变量(SNV)和多元散射校正(MSC)四种变换, 对比分析长短记忆网络(LSTM)、 偏最小二乘回归(PLSR)和支持向量机(SVM)在不同光谱预处理下的建模效果, 结果表明, 采用SG处理后的光谱一阶微分预处理方法, 建模效果最好; 在时间卷积网络(TCN)架构上, 采用浅层网络结构, 在TCN残差结构中加入自注意力层, 提高模型特征学习能力; 每个卷积核权重加入L2正则化, 防止过拟合; 选取一阶微分作为光谱预处理, 建立ResNet-13、 VGGNet-7、 时间卷积网络(TCN)和改进时间卷积网络(SATCN)四种模型, 对比分析四种模型建模效果, 以及SATCN模型在不同网络深度下模型建模效果。 结果表明, 在一阶微分光谱预处理的情况下, 浅层SATCN模型建模效果优于深层模型; SATCN模型中的自注意力残差结构, 不仅能够强化光谱序列重要特征, 模型特征学习能力和预测精度也有显著提高。 相比于CNN、 TCN等建模方法, 提出的SATCN模型建模效果最好, 拥有更高的精确度和极好的模型估测能力, 验证集的决定系数(R2)为0.943, 均方根误差(RMSE)为3.042 g·kg-1, 相对分析误差(RPD)为4.273。 综上所述, SOM含量的最佳预测模型是采用SG平滑后一阶微分光谱预处理基础上建立的SATCN预测模型, 对广西林地土壤有机质含量进行更加了精准预测。
土壤 高光谱 有机质 自注意力机制 时间卷积网络 Soil Hyperspectral Organic matter Self-attentive mechanism Time-convolutional network 光谱学与光谱分析
2023, 43(9): 2942
1 昆明理工大学 信息工程与自动化学院, 云南 昆明 650500
2 昆明理工大学 云南省人工智能重点实验室, 云南 昆明 650500
视网膜血管的自动分割技术有助于早期诊断和治疗与视网膜相关的疾病。由于视网膜血管结构复杂且精细, 眼底图像存在着低对比度、光照不均以及病理性渗出物等因素的干扰, 导致该任务仍然具有挑战性。针对该任务主流框架U-Net中未考虑全局语义依赖关系以及编码器和解码器之间的语义鸿沟问题, 提出了一种同尺度和跨尺度增强的U-Net模型。从两个角度对该模型进行设计: 对于同一尺度的编码-解码层, 一种空间增强的自注意力机制被嵌入到每个编码层中以增强模型的全局空间聚合能力, 并进一步将其拓展到解码端来缓解解码过程中上采样操作带来的信息丢失等问题; 对于不同尺度的编码-解码层, 引入了一种新颖的跨尺度融合模块, 通过动态地选择最深层中丰富的特征信息来增强与其它层之间的语义交互, 从而进一步弥合编码器和解码器之间的语义鸿沟。在DRIVE、CHASE_DB1和STARE三个视网膜标准数据集上进行了实验验证, 实验结果表明I2A-Net能有效地分割出视网膜血管结构, 相比与基线模型, 在各项评价指标上均取得了较高的提升。
深度学习 视网膜血管分割 空间增强的自注意力机制 跨尺度融合模块 deep learning retinal vessel segmentation U-Net U-Net spatial enhanced self-attention mechanism cross-scale fusion module
1 北京机电工程总体设计部, 北京 100005
2 北京化工大学信息科学与技术学院, 北京 100029
针对如何充分提取和融合红外与可见光图像典型特征的问题, 提出一种基于空间多尺度残差网络的图像融合算法。首先, 将源图像输入基于空间多尺度残差模块组成的编码器网络, 通过源图像重建任务, 训练编码器自动获取重要特征信息的能力；然后, 引入特征金字塔结构, 设计了特征通道自注意力机制, 编码器输出的基础层和细节层进行融合, 减小尺度噪声, 并由解码器重构出融合图像；最后, 利用公开数据集进行定性和定量实验, 证明了改进算法在突出红外图像目标和保留可见光图像纹理细节两方面的优势, 相比于DDcGAN算法, 新算法的标准差和平均梯度分别提升了12.91%和47.41%。
图像融合 自动编码器 空间多尺度残差模块 通道自注意力 image fusion auto-encoder spatial multi-scale residual module channel self-attention 大气与环境光学学报
2023, 18(5): 469
