1 人工智能学院(未来技术学院)
2 电子与信息工程学院,南京 210000
针对现有的去雨方法无法彻底去除雨纹并且去雨后图像存在细节丢失问题, 提出一种多分辨率融合密集网络的图像去雨方法。网络主体由多个多分辨并行融合模块构成, 始终保持空间精确的高分辨率并从低分辨率中接收大量的上下文信息。使用一种基于选择性卷积核机制SKNet的多尺度特征融合模块, 通过非线性的方法有效聚合来自不同分辨率流的特征。在不同的分辨率流中使用一种改进的残差模块, 采用相邻层次的多种尺度的卷积来获取丰富的雨纹信息。模块间使用密集连接, 加强不同模块之间的特征传播。实验表明, 所提方法在合成及真实雨像数据集上的评价指标与其他去雨方法相比有所提高, 去除雨纹的同时能够保留更多的细节信息。
图像去雨 多分辨率 密集网络 特征融合 image rain removal multi-resolution dense networks SKNet SKNet feature fusion
1 长安大学汽车学院，陕西 西安 710018
2 长安大学信息工程学院，陕西 西安 710018
为了提升雨天车辆检测的精度，解决智能网联汽车的车辆检测系统受雨纹干扰导致精度衰退的问题，提出一种雨天车辆检测的两阶段渐进式图像去雨算法。该算法搭建了以轻量级特征提取与加权模块、高效率特征传递与融合模块为核心的两阶段渐进式去雨网络，实现了对雨纹信息的挖掘与捕获，完成了雨纹的精准去除。为了验证所提算法的有效性，融入基准车辆检测器YOLOv5，对输入YOLOv5的去雨图像进行检测。同时根据智能网联汽车的工作环境构建了混合车辆数据集。在该数据集上的结果表明：雨天交通场景下，相比其他算法，所提去雨算法对基准车辆检测器YOLOv5的精确率、召回率、mAP@0.5的增益分别为3.0个百分点、8.9个百分点、7.6个百分点，证明所提去雨算法能够显著提升对雨天车辆的检测精度，可应用于实际场景。
图像处理 图像去雨 图像增强 两阶段渐进式图像去雨算法 车辆检测 激光与光电子学进展
2023, 60(22): 2210006
1 上海工程技术大学电子电气工程学院，上海 201406
2 东华大学信息科学与技术学院，上海 201620
图像去雨指通过去除图像中的雨痕来重构出高清背景图像的过程。目前最广泛应用于图像去雨任务的是深度卷积神经网络。卷积操作的核心是参数共享，这大大减少了计算量并提升了算法的泛化能力，然而这也导致卷积操作无法有效考虑到局部之间的联系和较远的像素点对所操作区域的影响，出现图像去雨中的过平滑现象。结合图网络的思想和机制，提出一个改进卷积方式。首先将所有像素点视为一个图节点，计算相邻像素点之间的相似度，根据设定的阈值判断有无边联系，完成图结构构建后，所得到的邻接矩阵与相似度矩阵会在卷积操作时对卷积核参数进行调整，充分考虑像素点之间的联系与提取拓扑信息。在图像去雨领域若干公开数据集上对多个最新算法进行对比，实验结果显示所提改进卷积的有效性，可以在不增加许多计算资源的前提下有效提升算法的性能。
图像去雨 深度卷积神经网络 图网络 图节点 改进卷积 激光与光电子学进展
2023, 60(4): 0410016
1 上海工程技术大学电子电气工程学院，上海 201620
2 东华大学信息科学与技术学院，上海 200051
图像中雨纹的存在将增大目标检测和识别的难度，而雨纹通常是图像的高频部分，其中也包含着大量图像细节，如何在去雨的同时保留有用的细节是需要解决的问题。为避免预处理带来去雨次优效果，模拟真实场景下物体成像过程，改进图像复原的通用模型，丰富网络的感受野，更精确去雨的同时增强对比度，提出一种基于多尺度、多层次和多注意力机制的卷积神经网络，通过多卷积的特征跳跃连接补偿卷积过程中细节信息的丢失以及融合不同层级特征信息，在网络分支中提取多尺度特征图，并结合注意力机制形成多个多尺度残差注意力子模块对全局信息在通道维度上进行权值重标定，去冗余的同时增强有用信息，将初级特征与高级特征相融合来学习雨图和无雨图之间的映射关系。考虑到实际情况，真实的雨图无对应的无雨图，所以本文采用合成的数据集来训练，并用合成数据集和真实场景图进行验证。实验结果表明，所提出的网络，无论雨纹的大小和密度，都能取得较好的去雨效果，同时保留了细节信息。
图像去雨 注意力机制 多尺度卷积神经网络 前馈结构 激光与光电子学进展
2022, 59(12): 1215001
西安建筑科技大学 理学院, 陕西 西安710055
本文通过改进的残差网络, 学习有雨图像和无雨图像之间的映射关系来实现图像去雨, 提出了一种基于联结残差网络的单幅图像去雨算法。首先, 利用改进的残差块简化网络模块, 减少网络参数, 提升网络训练速度; 其次, 设计的联结结构不仅实现了多特征提取, 有效减少了参数, 而且增加了特征图的输出, 有利于保留更多的图像细节信息; 最后, 利用单尺度卷积实现图像细节重建, 提高去雨图像的视觉效果。实验结果表明: 本文算法在合成雨天图像数据集上, 其结构相似度和峰值信噪比的平均值分别高于0.95和33 dB, 而真实雨天图像数据集的盲图像质量评价值较低。本文算法不仅能有效去除图像中的雨, 雨纹残留较少, 而且能更多地保留图像的纹理和边缘细节, 视觉效果清晰自然。
单幅图像去雨 卷积神经网络 残差学习 联结结构 多特征提取 盲图像质量评价 single image deraining convolutional neural network residual learning concatenation structure multi-feature extraction blind image quality evaluation
天津大学电气自动化与信息工程学院, 天津 300072
雨天是一种常见的恶劣天气,雨线会严重影响物体分类、检测和分割等算法的精度。在有雨图像中,不同尺度的雨线具有相似的形状特征,因此可以利用雨线间的互补信息来协同表达雨线特征。通过构建多尺度特征金字塔结构来利用不同雨线间的相似性特征,并设计初始模块、卷积长短期记忆网络(Conv-LSTM)模块、融合模块和重构模块。此外,在融合模块中通过引入轻量的非局部机制来引导雨线特征的精融合和提取。在合成和真实的数据集上进行大量实验,对比近年4种基于深度学习的图像去雨方法,所提方法的峰值信噪比(PSNR)和结构相似性(SSIM)均有提升。实验结果表明,所提方法在保持图像原有信息的同时,能够高效地去除雨线和避免图像模糊。
图像处理 深度学习 图像去雨 特征金字塔 非局部机制 激光与光电子学进展
2021, 58(14): 1410008
1 中北大学信息与通信工程学院, 山西 太原 030051
2 中国船舶工业综合技术经济研究院, 北京 100081
针对传统图像去雨算法未考虑多尺度雨条纹及图像去雨后细节信息丢失的问题,提出一种基于多流扩张残差稠密网络的图像去雨算法,利用导向滤波器将图像分解为基础层和细节层。通过直接学习含雨图像细节层和无雨图像细节层的残差来训练网络,缩小映射范围。采用3条带有不同扩张因子的扩张卷积对细节层进行多尺度特征提取,获得更多上下文信息,提取复杂多向的雨线特征;同时,将扩张残差密集块作为网络的参数层,加强特征传播,扩大接受域。在合成图片和真实图片上的实验结果表明,所提算法能有效去除不同密度的雨条纹,并较好地恢复图像细节信息。通过对比其他算法,证明了所提算法在主观效果和客观指标上都有提升。
图像处理 图像去雨 图像增强 多流扩张残差稠密网络 卷积神经网络 激光与光电子学进展
2021, 58(4): 0410024
