张文雪 1,2,3,4罗一涵 1,2,3,4,*刘雅卿 1,2,3夏诗烨 1,2,3赵开元 1,2,3,4
1 中国科学院光场调控科学技术全国重点实验室,四川 成都 610209
2 中国科学院光束控制重点实验室,四川 成都 610209
3 中国科学院光电技术研究所,四川 成都 610209
4 中国科学院大学,北京 100049
![]()
![]()
超分辨率重建 亚像素 图像处理 微扫描 super-resolution reconstruction subpixel image processing micro-scanning
Author Affiliations
Abstract
1 School of Biomedical Engineering (Suzhou), Division of Life Sciences and Medicine, University of Science and Technology of China, Hefei, Anhui 230026, P. R. China
2 Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences, Suzhou, Jiangsu 215163, P. R. China
3 School of Physical Science and Technology, Suzhou University of Science and Technology, Suzhou, Jiangsu 215009, P. R. China
Structured illumination microscopy (SIM) is a popular and powerful super-resolution (SR) technique in biomedical research. However, the conventional reconstruction algorithm for SIM heavily relies on the accurate prior knowledge of illumination patterns and signal-to-noise ratio (SNR) of raw images. To obtain high-quality SR images, several raw images need to be captured under high fluorescence level, which further restricts SIM’s temporal resolution and its applications. Deep learning (DL) is a data-driven technology that has been used to expand the limits of optical microscopy. In this study, we propose a deep neural network based on multi-level wavelet and attention mechanism (MWAM) for SIM. Our results show that the MWAM network can extract high-frequency information contained in SIM raw images and accurately integrate it into the output image, resulting in superior SR images compared to those generated using wide-field images as input data. We also demonstrate that the number of SIM raw images can be reduced to three, with one image in each illumination orientation, to achieve the optimal tradeoff between temporal and spatial resolution. Furthermore, our MWAM network exhibits superior reconstruction ability on low-SNR images compared to conventional SIM algorithms. We have also analyzed the adaptability of this network on other biological samples and successfully applied the pretrained model to other SIM systems.
Super-resolution reconstruction multi-level wavelet packet transform residual channel attention selective kernel attention Journal of Innovative Optical Health Sciences
2024, 17(2): 2350015
1 中国计量大学光学与电子科技学院,浙江 杭州 310018
2 西安应用光学研究所,陕西 西安 710065
针对太赫兹扫描成像设备存在的图像清晰度差、边缘模糊等问题,提出了一种基于生成对抗网络的太赫兹图像超分辨率重建算法。首先,在处理太赫兹图像时引入限制对比度自适应直方图均衡方法,有效解决了太赫兹图像对比度低的问题;其次,在生成对抗网络的基础上,提出了一种基于增强注意力机制的残差生成对抗网络,实现了太赫兹扫描图像的超分辨率重建,提升了图像纹理和细节的重建能力;最后利用频谱归一化的U-net网络对生成器生成的重建图像进行判别,增强了训练的稳定性。实验结果表明,提出的太赫兹图像超分辨率重建算法将太赫兹线阵相机所成太赫兹图像的边缘强度提高了7%,峰值信噪比提高了13%,平均梯度提高了12%,结构相似度提高了14%,验证了该算法的优越性和有效性。
太赫兹技术 太赫兹线阵相机 太赫兹图像 超分辨率重建 生成对抗网络 图像质量评价
长春理工大学电子信息工程学院,吉林 长春 130012
针对彩色图像引导的深度图像超分辨率重建算法中存在的纹理转移和深度流失的问题,提出一种基于双特征融合引导的深度图像超分辨率重建网络(DF-Net)。为了充分利用深度和强度特征的关联性,在网络模型的深度恢复重建部分采用双通道融合模块(DCM)和双特征引导重建模块(DGM)。利用输入金字塔结构提取深度信息和强度信息的多尺度特征:DCM基于通道注意力机制对深度特征和强度特征进行通道间的特征融合与增强;DGM将深度、强度特征自适应选择融合后实现重建的双特征引导,增加了深度特征的引导作用,改善了纹理转移和深度流失的问题。实验结果表明,所提方法的峰值信噪比(PSNR)和均方根误差(RMSE)优于RMRF、JBU和Depth-Net等方法,尤其4×超分辨率重建结果的PSNR值比其他方法平均提升6.79 dB,RMSE平均下降0.94,取得了较好的深度图像超分辨率重建效果。
图像处理 图像超分辨率重建 卷积神经网络 深度图像 特征融合 通道注意力 激光与光电子学进展
2024, 61(8): 0837007
1 中国科学院光电信息处理重点实验室,辽宁 沈阳 110016
2 中国科学院沈阳自动化研究所,辽宁 沈阳 110016
3 中国科学院机器人与智能制造创新研究院,辽宁 沈阳 110169
4 中国科学院大学,北京 100049
5 航天恒星科技有限公司,北京 100086
近年来,红外成像系统在工业、安防、遥感等领域获得了广泛的应用,但由于制造工艺及成本制约,红外系统的分辨率仍然较低。基于深度神经网络的单帧图像超分辨率重建技术是提高红外图像分辨率的有效方法,获得了广泛研究,并在仿真图像上取得了显著进展,但应用于实际场景图像时容易出现伪影或图像模糊等现象。造成这种性能差异的主要原因是目前方法大多假定造成图像退化的模糊核是空间一致的,然而实际红外光学系统不可避免地存在像差、热离焦等,由此造成的图像模糊的模糊核并非空间一致的。针对这一问题,提出了一种非盲模糊核估计方法,通过采集特定的靶标图像,并设计模糊核估计网络,求解空间非一致模糊核;设计基于图像分块的超分辨率重建方法,将图像块和对应区域的模糊核一起输入非盲超分辨率重建网络进行子块图像重建,再通过子块合并和重叠区域图像融合,得到最终的高分辨率图像。实验结果表明,光学系统自身引起了模糊核随空间位置缓慢变化,在实验室条件下标定模糊核并基于图像分块进行超分辨率重建的方法可显著提高红外图像超分辨率重建的效果。
超分辨率重建 空间非一致模糊 模糊核估计 红外图像 super-resolution reconstruction spatially variant blur blur kernel estimation infrared image 红外与激光工程
2024, 53(2): 20230252
1 西南石油大学计算机科学学院,四川成都 610500
2 四川省人民医院 a.心血管超声及心功能科
3 b.超声心脏电生理学与生物力学四川省重点实验室,四川成都 610072
针对医学超声图像的分辨率低而导致视觉效果差的问题,使用基于神经网络的图像超分辨率(SR)重建方法提升医学超声图像的分辨率。采用针对自然图像超分辨率重建的生成对抗网络(SRGAN)作为基本方法,通过减少 2个输入通道和删除 1个残差块对该网络的结构进行更改,并且改进网络损失函数,新增模糊处理数据集,使该网络适应医学超声图像所具备的灰度图像、散斑纹理单一等特点,从而重建出放大 4倍的边缘清晰没有伪影的医学超声图像。将改进 SRGAN与原始 SRGAN的结果相比,峰值信噪比(PSNR)和结构相似性(SSIM)分别有 1.792 dB和 3.907%的提升; 与传统双立方插值的结果相比,PSNR和 SSIM分别有 2.172 dB和 8.732%的提升。
超分辨率重建 生成对抗网络 乳腺超声图像 残差块 亚像素卷积层 super-resolution reconstruction Generative Adversarial Network breast ultrasound image residual block sub-pixel convolution layer 太赫兹科学与电子信息学报
2023, 21(5): 677
光学 精密工程
2023, 31(21): 3167
1 河北工程大学 数理科学与工程学院,邯郸 056038
2 河北省计算光学成像与光电检测技术创新中心,邯郸 056038
为了避免传统全息重建方法步骤繁杂且重建效果易受噪声干扰等问题,采用一种改进的语义分割U型网络用于全息图超分辨重建工作。首先引入新型的端侧神经网络,用来充分获取更多的图像语义信息,增强网络学习性能; 其次加入深度神经卷积网络的高效通道注意力以提高网络关注全息图中细节信息的能力,进一步提升网络精度,同时采用带泄露修正线性单元作为激活函数,加快网络收敛; 并采用血细胞和鸡血细胞的低分辨率全息图进行训练,取得了超分辨重建强度和位相图。结果表明,改进网络能够快速重建出细节信息丰富、边缘纹理清晰、背景平坦的位相和强度图像,血细胞强度重建图的结构相似性指数和峰值信噪比分别达到0.9613和27.38,同时可对不同尺度的全息图进行重建。该研究为使用深度学习方法提高全息图质量提供了参考。
全息 超分辨重建 通道注意力机制 端侧神经网络 多尺度重建 holography super-resolution reconstruction channel attention mechanism end-side neural network multi-scale reconstruction
昆明理工大学 信息与自动化学院, 云南 昆明 650504
针对现有单图像超分辨率方法在重建过程中容易忽略原图像中不同结构-纹理的差异与联系,导致生成的高分辨率图像缺乏纹理细节并存在伪影的问题,提出了纹理细节恢复的图像超分辨率重建算法。该方法由梯度分支、纹理分支和图像超分辨率分支组成。其中,在梯度分支和纹理分支之间使用了类注意力模块处理二者的特征混淆问题,并通过双向特征融合模块实现了对结构特征与纹理特征的相互促进,作为先验信息以达到纹理细节信息增强的目的。此外,在图像超分辨率分支还通过构建特征恢复模块,利用浅层和深层信息帮助网络保留了图像中更丰富的上下文信息和纹理细节。该方法通过在DIV2K数据集上进行了网络训练,并在5个基准测试集Set5、Set14、BSD100、Urban100和MANGA109上进行了实验,峰值信噪比(PSNR, Peak Signal to Noise Ratio)分别:37.88dB、33.28dB、32.0781dB、31.89dB、38.39dB,相比现有方法均有显著提升。实验结果表明,本文方法获得了有效的重建图像并且保留更多的图像细节,生成具有边缘清晰和逼真细节的超分辨率图像。
超分辨率重建 结构-纹理 先验信息 上下文信息 super-resolution reconstruction structure-texture prior information context information