光学 精密工程
2023, 31(19): 2910
辽宁工程技术大学软件学院,辽宁葫芦岛 125105
现有的基于深度学习图像融合算法无法同时满足融合效果与运算效率,且在建模过程中大部分采用基于单一尺度的融合策略,无法很好地提取源图像中上下文信息。为此本文提出了一种基于信息感知与多尺度特征结合的端到端图像融合网络。该网络由编码器、融合策略和解码器组成。具体来说,通过编码器提取红外与可见光图像的多尺度特征,并设计特征增强融合模块来融合多个尺度的不同模态特征,最后设计了一个轻量级的解码器将不同尺度的低级细节与高级语义信息结合起来。此外,利用源图像的信息熵构造一个信息感知损失函数来指导融合网络的训练,从而生成具有丰富信息的融合图像。在 TNO、MSRS数据集上对提出的融合框架进行了评估实验。结果表明:与现有的融合方法相比,该网络具有较高计算效率;同时在主观视觉评估和客观指标评价上都优于其它方法。
关键词:图像融合 多尺度特征 信息感知 特征增强 image fusion, multi-scale feature, information per
1 中国科学院长春光学精密机械与物理研究所,吉林 长春130033
2 中国人民解放军63618部队,新疆 库尔勒841000
目前采用U-Net结构的去模糊算法存在细节损失、图像质量欠佳等问题,因此对U-Net进行改进,提出一种基于多尺度优化和动态特征融合的图像去模糊方法。首先针对细节损失,提出一种精简且有效的多尺度残差注意力模块(Multi-Scale Residual Module, MSRM),通过增加特征尺度多样性来提取更精细的图像特征。此外,为了将更有利的特征传递到解码部分,在跳跃连接处设计动态特征融合模块(Dynamic Feature Fusion Module, DFFM),采用注意力加权的方式选择性融合不同阶段的编码特征。该算法采用多尺度内容损失和多尺度高频信息损失进行约束训练。在GoPro和RealBlur数据集上的实验结果表明,这种方法能有效改善图像质量,复原更丰富的细节信息。与现有去模糊算法相比,本文算法在主观视觉和客观评价等方面均具有一定优势。
图像去模糊 特征加权 多尺度特征 U-Net结构 image deblurring feature weighting multi-scale feature U-Net structure0
针对当前红外场景下多尺度车辆检测精度欠佳且算法模型复杂度高的问题,提出了基于Shuffle-RetinaNet的红外车辆检测算法。该算法以RetinaNet网络为基础,并选用ShuffleNetV2作为特征提取网络。提出双分支注意力模块,通过双分支结构和自适应融合方法增强网络对红外图像中目标关键特征的提取能力;优化特征融合网络,集成双向交叉尺度连接和快速归一化融合,增强目标多尺度特征的表达能力;设置校准因子增强分类和回归之间的任务交互,提高目标分类和定位的准确性。该算法在自建红外车辆数据集上的检测精度达到92.9%,参数量为11.74×106,浮点计算量为24.35×109,同时在公开红外数据集FLIR ADAS上也展现出较好的检测性能。实验结果表明:该算法具有较高的检测精度,且模型复杂度低,在红外车辆检测领域具有较高的应用价值。
目标检测 红外车辆 通道注意力模块 多尺度特征融合 校准因子 激光与光电子学进展
2023, 60(24): 2410006
1 昆明理工大学机电工程学院,云南 昆明 650500
2 火箭军工程大学导弹工程学院,陕西 西安 710025
从遥感影像能够获取到精度高、范围广的地物信息,因而遥感影像在高空侦察和精确制导等领域得到广泛应用。针对遥感影像地物目标边缘模糊、尺度多变导致难以精准分割的问题,提出以深度残差网络为主干并结合注意力引导与多特征融合的分割方法,命名为AMSNet。首先,采用类别引导通道注意力模块提高模型对难分辨区域的敏感性;其次,嵌入特征复用模块减少遥感影像特征提取过程中边缘损失和小尺度目标丢失的问题;最后,设计跨区域特征融合模块以增强对多尺度特征信息的获取能力,并耦合多尺度损失融合模块对损失函数进行优化,综合提升模型对多尺度遥感影像目标的分割能力。选取3组遥感影像数据集进行对比实验,结果表明,AMSNet能够有效分割遥感影像地物目标边缘和多尺度目标。
遥感影像 语义分割 注意力机制 多尺度特征 光学学报
2023, 43(24): 2428010
1 天津大学微电子学院,天津 300072
2 天津大学智能与计算学部,天津 300072
3 天津市成像与感知微电子技术重点实验室,天津 300072
针对无人机航摄图像中目标尺寸差异大导致的感受野难以同时兼顾不同尺寸物体分割效果的问题,提出了利用两路分支分别提取浅层和深层信息的双路特征融合网络(DSFA-Net)。在编码器中,浅层分支利用三个串行ConvNeXt模块提取高通道数的浅层特征以保留更多空间细节;深层分支利用坐标注意力空洞空间金字塔池化(CA-ASPP)模块为特征图重新分配权重,使网络更加关注尺寸各异的分割目标,获得深层多尺度特征。在解码过程中,网络利用双边引导融合模块为两层特征建立通信以进行分辨率融合,提高层级特征的利用率。所提方法在AeroScapes和Semantic Drone航摄图像数据集上进行了实验,其平均交并比分别达到83.16%和72.09%、平均像素准确率分别达到90.75%和80.34%。与主流的语义分割方法相比,所提方法对于具有较大尺寸差异的目标,分割能力更强,更适用于无人机航摄图像场景下的语义分割任务。
语义分割 特征融合 双路网络 坐标注意力空洞空间金字塔池化 多尺度特征提取 激光与光电子学进展
2023, 60(24): 2428005
河海大学计算机与信息学院,江苏 南京 210098
针对现有深度学习算法在进行医学图像配准时出现的模型对噪声敏感、精度较低等问题,提出一种基于结构光和CT图像的点云配准算法,旨在提高配准精度、算法鲁棒性的同时,避免图像采集过程中X射线带来的辐射。首先,向术中患者体表投射编码后的结构光,并使用主成分分析方法获取主轴矫正后术中患者的体表点云;然后,对术前患者进行CT扫描并进行三维重建及采样获取术前患者的体表点云。最后,构建一种基于特征重用和注意力机制的动态图卷积网络模型结合图像迭代配准算法进行人体背部点云配准。整个过程较好地融合了两种模态的信息,且具有无辐射、精度较高、用时较短等优点。
多模态点云配准 注意力机制 多尺度特征融合 主轴矫正 激光与光电子学进展
2023, 60(22): 2210007