1 西南石油大学计算机科学学院，四川成都 610500
2 四川省人民医院 a.心血管超声及心功能科
3 b.超声心脏电生理学与生物力学四川省重点实验室，四川成都 610072
针对医学超声图像的分辨率低而导致视觉效果差的问题，使用基于神经网络的图像超分辨率(SR)重建方法提升医学超声图像的分辨率。采用针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法，通过减少 2个输入通道和删除 1个残差块对该网络的结构进行更改，并且改进网络损失函数，新增模糊处理数据集，使该网络适应医学超声图像所具备的灰度图像、散斑纹理单一等特点，从而重建出放大 4倍的边缘清晰没有伪影的医学超声图像。将改进 SRGAN与原始 SRGAN的结果相比，峰值信噪比(PSNR)和结构相似性(SSIM)分别有 1.792 dB和 3.907%的提升; 与传统双立方插值的结果相比，PSNR和 SSIM分别有 2.172 dB和 8.732%的提升。
超分辨率重建 生成对抗网络 乳腺超声图像 残差块 亚像素卷积层 super-resolution reconstruction Generative Adversarial Network breast ultrasound image residual block sub-pixel convolution layer 太赫兹科学与电子信息学报
2023, 21(5): 677
南京邮电大学电子与光学工程学院、柔性电子(未来技术)学院,南京 210000
在公共安全、**等领域高分辨率热红外图像能够提供更多的场景细节信息, 有着广泛的应用需求,但高昂的设备成本限制了高分辨率红外图像的获取。为此设计了一种多级跳线深层残差卷积神经网络(DR-CNN), 通过软件超分辨的方法重构出高分辨率的红外图像。采用多级跳线双通道注意力残差块增加卷积深度以解决卷积层间缺乏关联性的问题; 使用Concat模块实现局部特征信息的融合, 利用反卷积层进行特征图像的上采样, 使其直接从低分辨率图像学习到高分辨率图像以降低训练的复杂度, 加快运行速度。所提算法与SRCNN, FSRCNN和ADSR等算法进行对比测试, 使用峰值信噪比(PSNR)和结构相似度(SSIM)作为算法的评价指标。实验结果表明提出的RD-CNN算法优于其他对比算法, 生成的高分辨率图像细节丰富且清晰。
热红外图像 超分辨重建 多级跳线 双通道 注意力残差块 Concat层 thermal infrared image super-resolution reconstruction multi-level skip dual-channel attention residual block Concat layer
上海电力大学电子与信息工程学院，上海 200120
现有的图像超分辨率重建算法大多具有极深的网络结构导致参数量过大，并且不能充分提取特征。为了解决以上问题，提出了一种基于增强型多尺度残差网络（EMSRN）的图像超分辨率重建算法。该网络主要由多个增强型多尺度残差块（EMSRB）组成，通过使用残差块和并行的多空洞率的空洞卷积组构建该模块的骨干结构，获取了图像的局部和全局多尺度特征的同时有效减小了网络参数量。在模块最后使用通道注意力机制自适应地对提取到的特征进行加权，使网络更多地关注高频信息。实验结果表明，比起基础的多尺度残差网络，所提算法将峰值信噪比（PSNR）提升了0.53 dB，结构相似性（SSIM）达到了0.9782。相比于增强型深度超分辨率网络，参数量仅为其31.7%，却取得了近似的重建表现。
成像系统 超分辨率重建 增强型多尺度残差网络 增强型多尺度残差块 通道注意力机制 激光与光电子学进展
2023, 60(4): 0411002
1 陕西科技大学 陕西人工智能联合实验室，陕西西安7002
2 西安交通大学 系统工程研究所，陕西西安710049
3 西安卫星测控中心，陕西西安71004
4 陕西科技大学 电子信息与人工智能学院，陕西西安710021
为了获取更高分辨率和清晰度的空间目标光学图像，需对地基自适应光学（Adaptive Optics，AO）成像望远镜校正后的降质图像进行超分辨率重建。针对空间目标AO图像背景单一、分辨率有限且存在运动模糊、湍流模糊以及过曝等特点，提出基于深度学习的生成对抗网络（Generative Adversarial Networks，GAN）方法来实现空间目标AO图像的超分辨率重建，构建了空间目标AO仿真图像训练集用于神经网络训练，提出了一种基于密集残差块的GAN超分辨率重建方法，通过将传统残差网络改为密集残差块，提高网络深度，将相对平均损失函数引入判别器网络，从而使得判别器更稳健，GAN训练更稳定。实验结果表明：本文提出的方法相较传统插值超分辨率方法PSNR提高11.6%以上，SSIM提高10.3%以上，相较基于深度学习的盲图像超分辨率方法PSNR平均提高6.5%，SSIM平均提高4.9%。该方法有效实现了空间目标AO图像的清晰化重建，降低了重建图像的伪影，丰富了图像细节。
空间目标图像 超分辨率 生成对抗网络 密集残差块 space object images super resolution Generative Adversarial Network（GAN） dense residual blocks 光学 精密工程
2022, 30(17): 2155
山东理工大学 计算机科学与技术学院, 山东 淄博 255000
针对图像拍摄过程中由于运动、抖动、电子干扰等产生的运动图像模糊问题, 提出一种基于深度残差生成对抗网络的运动图像去模糊算法。对图像模糊模型与盲去模糊过程进行了研究, 介绍了生成对抗网络, 改进了残差块的结构。改进的残差块包含3个卷积层, 两个ReLU激活函数, 一个Dropout层以及一个跳跃连接块, 提升了复原图像的质量。改进了PatchGAN的结构, 在只增加少量参数与网络复杂性的情况下, 将最底层感受野变为原先的两倍以上。利用GOPRO数据集和Lai数据集进行测试, 测试结果表明, 本文提出的基于深度残差生成对抗网络的去模糊算法复原图像可达到较高的客观评价指标, 可以恢复出较高质量的清晰图像。在GOPRO数据集上, 相比于其他同类方法, 本文提出的算法具有较好的复原能力, 可达到更高的峰值信噪比（28.31 dB）和较高的结构相似度（0.831 7）; 而在Lai数据集上, 可以恢复出较高质量的图像。
图像去模糊 运动模糊 生成对抗网络 残差块 图像复原 image deblurring motion blur generative adversarial network residual block image restoration
河北大学网络空间安全与计算机学院, 河北 保定 071002
视网膜血管分割是检测多种眼病的重要手段,在视网膜疾病自动筛查系统中发挥重要作用。针对现存方法对细小血管分割不足且易出现病理误分割的问题,提出了一种基于多尺度注意力解析网络的分割算法。该网络以编码-解码架构为基础,在子模块中引入注意力残差块,加强了特征传播能力,降低了光照不均、对比度低对模型的影响;在编码器和解码器之间增加跳跃连接并去掉传统池化层,以保留足够的血管细节信息;运用并行多分支结构和空间金字塔池化两种多尺度特征融合方法,实现不同感受野下的特征提取,提升血管分割性能。实验结果表明,该方法在CHASEDB1和STARE标准集上的F1值分别达到了83.26%和82.56%,灵敏度分别达到了83.51%和81.20%,其性能优于当前主流方法。
医用光学 图像处理 血管分割 编码-解码 注意力残差块 特征融合 激光与光电子学进展
2021, 58(20): 2017001
为解决在行为异常检测中遇到的运动模糊问题，提出一种基于DeblurGAN改进的快速去运动模糊算法。使用3个3×3的卷积替换原生成器中的7×7的卷积，并舍弃原算法上采样时使用的转置卷积，对需要上采样的特征图进行双线性插值。将原算法生成器结构中的残差单元替换成密集残差块(RRDB)，然后将得到的残差特征缩放到0~1之间的值，避免训练不稳定。在原生成器的损失函数中添加梯度图像的L1损失，增加图像的边缘信息使重建后的图像边缘更明显，克服了DeblurGAN重建图像边缘细节不够清晰的缺陷。经实验验证，并和文献[14]、文献[18]进行比较，结果显示：优化后的模型与DeblurGAN相比，峰值信噪比提高0.94，结构相似度和速度相当，并解决了重建后图像棋盘格子的问题，细节边缘更加突出，模型性能优于相关算法。
生成对抗网络 运动模糊 密集残差块 图像重建 generate countermeasure network motion blur dense residual block image reconstruction
1 中国科学院微小卫星创新研究院, 上海 201203
2 中国科学院微小卫星重点实验室, 上海 201203
3 中国科学院大学, 北京 100049
针对相衬显微镜采集的细胞图像具有亮度不均衡且细胞与背景对比度较低的问题,提出一种以U-Net为基本框架,结合残差块和注意力机制的细胞分割模型。首先,利用具有编码器-解码器结构的U-Net对细胞图像进行细胞初始分割;然后,在U-Net中引入残差块,以强化特征的传播能力,提取更多细胞细节信息;最后,利用注意力机制加重细胞区域的权重,降低亮度不均衡、对比度较低对模型的干扰。实验结果表明,与其他模型相比,所提模型在视觉效果和客观评价指标上均有较好的分割效果。
图像处理 细胞分割 U-Net 残差块 注意力机制 光学学报
2020, 40(17): 1710001
