1 中国科学院长春光学精密机械与物理研究所，吉林 长春130033
2 中国人民解放军63618部队，新疆 库尔勒841000
目前采用U-Net结构的去模糊算法存在细节损失、图像质量欠佳等问题，因此对U-Net进行改进，提出一种基于多尺度优化和动态特征融合的图像去模糊方法。首先针对细节损失，提出一种精简且有效的多尺度残差注意力模块(Multi-Scale Residual Module, MSRM)，通过增加特征尺度多样性来提取更精细的图像特征。此外，为了将更有利的特征传递到解码部分，在跳跃连接处设计动态特征融合模块(Dynamic Feature Fusion Module, DFFM)，采用注意力加权的方式选择性融合不同阶段的编码特征。该算法采用多尺度内容损失和多尺度高频信息损失进行约束训练。在GoPro和RealBlur数据集上的实验结果表明，这种方法能有效改善图像质量，复原更丰富的细节信息。与现有去模糊算法相比，本文算法在主观视觉和客观评价等方面均具有一定优势。
图像去模糊 特征加权 多尺度特征 U-Net结构 image deblurring feature weighting multi-scale feature U-Net structure0
王琪瑶 1,1,3,3胡琸悦 1,*李潇雁 1,1,2,2陈凡胜 1,1,2,2
1 中国科学院上海技术物理研究所中国科学院智能红外感知重点实验室，上海 200083
2 国防科技大学杭州高等研究院，浙江 杭州 310024
3 中国科学院大学，北京 100049
针对遥感图像的运动模糊问题，提出一种基于局部最大和最小强度先验的遥感图像盲去模糊方法。该方法利用遥感图像局部像素强度的稀疏性作为先验条件，使用简单的迭代阈值收缩方法求解潜像和模糊核，再由非盲反卷积算法得到去模糊图像。实验结果表明，所提方法能提高计算效率，对于可见、红外遥感图像，均能有效恢复图像的纹理细节，抑制伪影，提升了复原图像的主观效果与客观评价指标。
遥感图像 运动模糊 图像去模糊 盲复原 激光与光电子学进展
2023, 60(4): 0428003
针对相机抖动、拍摄物体快速运动以及低快门速度等因素造成的图像非均匀模糊，提出一种结合多尺度特征融合和多输入多输出编-解码器的去模糊算法。首先使用多尺度特征提取模块来提取较小尺度模糊图像的初始特征，该模块使用扩张卷积来以较少的参数量获得更大的感受野。其次，通过特征注意力模块来自适应地学习不同尺度特征中的有效信息，该模块利用小尺度图像的特征来生成注意图，能够有效地减少冗余特征。最后，使用多尺度特征渐进融合模块逐步融合不同尺度的特征，使得不同尺度特征信息能够进行互补。相比以往的使用多个子网堆叠的多尺度方法，文中使用单个网络就能提取多尺度特征，从而降低了训练难度。为了评估网络的去模糊效果和泛化性能，提出的算法在基准数据集GoPro、HIDE和真实数据集RealBlur上均进行了测试。在GoPro和HIDE数据集上的峰值信噪比值分别为31.73 dB和29.39 dB，结构相似度值分别为0.951和0.923，其结果均高于目前先进的去模糊算法，并且在真实数据集RealBlur上也取得了最佳效果。实验结果表明，提出的去模糊算法相比现有算法去模糊更为彻底，能有效地复原图像的边缘轮廓和纹理细节信息，并且能够提升后续高级计算机视觉任务的鲁棒性。
图像去模糊 图像恢复 深度学习 多输入多输出 多尺度网络 image deblurring image restoration deep learning multi-input multi-output multi-scale networks 红外与激光工程
2022, 51(10): 20220018
青岛大学计算机科学技术学院，山东 青岛 266071
现有的多尺度多阶段图像去模糊方法存在多尺度图像特征提取利用不充分和阶段加深导致特征信息丢失的问题。针对上述问题，提出了一种基于增强多尺度特征网络的图像去模糊方法。首先，提出一个多尺度残差特征提取模块，在两个分支中使用不同大小的卷积核扩大感受野，充分提取不同分辨率大小图像的特征信息。其次，提出跨阶段注意力模块，过滤和传递图像的关键特征。最后，设计类似于跳跃连接的跨阶段特征融合模块，弥补特征损失，同时融合来自不同大小输入图像的特征信息，丰富空间特征信息，以更好地处理纹理细节。在GoPro和HIDE数据集上的实验结果表明，所提方法能够很好地重建图像。
图像去模糊 多尺度特征 跨阶段注意力机制 跨阶段特征融合 激光与光电子学进展
2022, 59(22): 2215007
华东交通大学信息工程学院，江西 南昌 330013
为降低真实毫米波辐射图像的模糊现象，提出了一种基于残差尺度递归网络（RSRN）的毫米波辐射图像盲去模糊方法。RSRN采用多级残差递归结构，在编码器-解码器网络结构中添加级联残差连接和多尺度循环连接。充分利用毫米波辐射图像多尺度特征信息可以提升模型性能，同时使网络的训练更加稳定。最后，通过端到端的方式对毫米波辐射图像进行去模糊。实验结果表明，与现有的图像去模糊方法相比，所提方法消除模糊的同时更好地保留了细节信息，并且呈现出较好的定性和定量结果。
图像处理 图像去模糊 编解码器 多尺度 深度学习 激光与光电子学进展
2022, 59(18): 1810011
1 中国科学院红外探测与成像技术重点实验室，上海 200083
2 中国科学院上海技术物理研究所，上海 200083
3 中国科学院大学，北京 100049
采用离轴三反射结构的大视场空间相机存在较大的光学畸变，导致引入时间延迟积分(Time Delay Integration, TDI)技术的面阵探测器在推扫成像时产生像移模糊。根据畸变引起的TDI成像退化原理，将畸变像移模糊转化为非均匀运动模糊，通过求解像移路径计算初始模糊核，将其作为先验信息，建立半盲复原模型进一步细化模糊核。利用初始模糊核复原的粗略图像边缘指导模糊核的细化，提出一种多方向权重异性的全变差模型提取图像结构信息。为了增强先验信息对模糊核细化的约束，构建了含有初始模糊核的正则项，使模糊核的估计不过度依赖于图像内容，采用多尺度迭代方法求解。最后用正则化约束的非盲反卷积方法去除图像模糊。实验结果表明：与现有的几种去模糊算法相比，所提方法的去模糊效果不仅清晰自然且对不同样本图像的模糊核估计更稳定。
光学畸变 时间延迟积分 模糊核估计 图像去模糊 optical distortion time delay integration blur kernel estimation image deblurring 红外与激光工程
2022, 51(4): 20210392
西安科技大学电气与控制工程学院，陕西西安 710054
原始生成对抗网络(generative adversarial network, GAN）在训练过程中容易产生梯度消失及模式崩溃的问题，去模糊效果不佳。由此本文提出双判别器加权生成对抗网络(dual discriminator weighted generative adversarial network, D2WGAN）的图像去模糊方法，在 GAN的基础上增加了一个判别器网络，将正向和反向 KL(Kullback-Leibler）散度组合成一个目标函数，引入加权的思想调整正向和反向 KL散度的比例，利用两个散度的互补特性，在学习清晰图片过程中避免不良模式的形成。实验结果表明，与现有方法相比，本文方法能更真实地恢复图像细节部分，且在评价指标峰值信噪比和图像结构相似度上有更好的表现。
生成对抗网络 加权 双判别器 图像去模糊 generation adversarial network, weighted, dual dis
山东理工大学 计算机科学与技术学院, 山东 淄博 255000
针对图像拍摄过程中由于运动、抖动、电子干扰等产生的运动图像模糊问题, 提出一种基于深度残差生成对抗网络的运动图像去模糊算法。对图像模糊模型与盲去模糊过程进行了研究, 介绍了生成对抗网络, 改进了残差块的结构。改进的残差块包含3个卷积层, 两个ReLU激活函数, 一个Dropout层以及一个跳跃连接块, 提升了复原图像的质量。改进了PatchGAN的结构, 在只增加少量参数与网络复杂性的情况下, 将最底层感受野变为原先的两倍以上。利用GOPRO数据集和Lai数据集进行测试, 测试结果表明, 本文提出的基于深度残差生成对抗网络的去模糊算法复原图像可达到较高的客观评价指标, 可以恢复出较高质量的清晰图像。在GOPRO数据集上, 相比于其他同类方法, 本文提出的算法具有较好的复原能力, 可达到更高的峰值信噪比（28.31 dB）和较高的结构相似度（0.831 7）; 而在Lai数据集上, 可以恢复出较高质量的图像。
图像去模糊 运动模糊 生成对抗网络 残差块 图像复原 image deblurring motion blur generative adversarial network residual block image restoration
西安建筑科技大学 理学院, 陕西 西安 710055
针对现有图像去模糊卷积神经网络在图像复原过程中易出现纹理细节丢失、不加区分地对待所有通道和空间特征信息以及去模糊效果不佳等问题, 本文提出了一种基于双任务卷积神经网络的图像去模糊方法。将图像去模糊任务分为去模糊子任务和高频细节恢复子任务来进行。其一, 提出一种基于残差注意力模块和八度卷积残差块的编解码子网络模型, 将此网络模型用于图像去模糊子任务; 其二, 提出一种基于双残差连接的高频细节恢复子网络模型, 将此网络模型用于高频细节恢复子任务。将两个子网络采用并联方式组合起来, 并使用平均绝对误差损失与结构损失来共同约束训练方向, 实现图像去模糊。实验结果表明, 本文方法具有较强的图像复原能力和较丰富的细节纹理, 峰值信噪比(PSNR)为32.427 6 dB, 结构相似度为0.947 0。与目前先进的去模糊算法相比能够有效提升图像去模糊效果。
卷积神经网络 图像去模糊 八度卷积 注意力机制 双残差 convolution neural network image deblurring octave convolution attention mechanism double residuals
