北京航空航天大学 电子信息工程学院 电磁兼容技术研究所，北京 100191
现有的反射面电磁成像系统体积庞大，无法满足机载、车载、无人机等应用平台要求。针对此类问题，研究了龙伯透镜的结构特性和成像特性，设计了大视场龙伯透镜电磁成像系统，利用空不变成像特性进行超分辨图像处理，实现了快速、大视场、宽频带、高分辨电磁辐射源分布成像。计算了口径300 mm带球核分层龙伯透镜参数，仿真了4～18 GHz龙伯透镜焦弧面场强分布，验证了龙伯透镜空不变的成像特性及其超分辨算法的有效性。实验对比了抛物反射面电磁成像系统和本文龙伯透镜电磁成像系统的体积、成像范围、源数目和分辨率，结果证明了本文系统的优越性，同样分辨率下，达到了方位角及俯仰角均为40°的大视场范围。
大视场电磁成像 龙伯透镜 空不变 图像超分辨 large field of view Luneburg lens space invariant super-resolution 强激光与粒子束
2024, 36(4): 043017
Author Affiliations
Abstract
1 School of Biomedical Engineering (Suzhou), Division of Life Sciences and Medicine, University of Science and Technology of China, Hefei, Anhui 230026, P. R. China
2 Suzhou Institute of Biomedical Engineering and Technology, Chinese Academy of Sciences, Suzhou, Jiangsu 215163, P. R. China
3 School of Physical Science and Technology, Suzhou University of Science and Technology, Suzhou, Jiangsu 215009, P. R. China
Structured illumination microscopy (SIM) is a popular and powerful super-resolution (SR) technique in biomedical research. However, the conventional reconstruction algorithm for SIM heavily relies on the accurate prior knowledge of illumination patterns and signal-to-noise ratio (SNR) of raw images. To obtain high-quality SR images, several raw images need to be captured under high fluorescence level, which further restricts SIM’s temporal resolution and its applications. Deep learning (DL) is a data-driven technology that has been used to expand the limits of optical microscopy. In this study, we propose a deep neural network based on multi-level wavelet and attention mechanism (MWAM) for SIM. Our results show that the MWAM network can extract high-frequency information contained in SIM raw images and accurately integrate it into the output image, resulting in superior SR images compared to those generated using wide-field images as input data. We also demonstrate that the number of SIM raw images can be reduced to three, with one image in each illumination orientation, to achieve the optimal tradeoff between temporal and spatial resolution. Furthermore, our MWAM network exhibits superior reconstruction ability on low-SNR images compared to conventional SIM algorithms. We have also analyzed the adaptability of this network on other biological samples and successfully applied the pretrained model to other SIM systems.
Super-resolution reconstruction multi-level wavelet packet transform residual channel attention selective kernel attention Journal of Innovative Optical Health Sciences
2024, 17(2): 2350015
1 中国计量大学光学与电子科技学院，浙江 杭州 310018
2 西安应用光学研究所，陕西 西安 710065
针对太赫兹扫描成像设备存在的图像清晰度差、边缘模糊等问题，提出了一种基于生成对抗网络的太赫兹图像超分辨率重建算法。首先，在处理太赫兹图像时引入限制对比度自适应直方图均衡方法，有效解决了太赫兹图像对比度低的问题；其次，在生成对抗网络的基础上，提出了一种基于增强注意力机制的残差生成对抗网络，实现了太赫兹扫描图像的超分辨率重建，提升了图像纹理和细节的重建能力；最后利用频谱归一化的U-net网络对生成器生成的重建图像进行判别，增强了训练的稳定性。实验结果表明，提出的太赫兹图像超分辨率重建算法将太赫兹线阵相机所成太赫兹图像的边缘强度提高了7%，峰值信噪比提高了13%，平均梯度提高了12%，结构相似度提高了14%，验证了该算法的优越性和有效性。
太赫兹技术 太赫兹线阵相机 太赫兹图像 超分辨率重建 生成对抗网络 图像质量评价
Author Affiliations
Abstract
1 State Key Laboratory of Extreme Photonics and Instrumentation, College of Optical Science and Engineering, Zhejiang University, Hangzhou, China
2 Zhejiang Lab, Hangzhou, China
3 Ningbo Innovation Center, Zhejiang University, Ningbo, China
Structure illumination microscopy (SIM) imposes no special requirements on the fluorescent dyes used for sample labeling, yielding resolution exceeding twice the optical diffraction limit with low phototoxicity, which is therefore very favorable for dynamic observation of live samples. However, the traditional SIM algorithm is prone to artifacts due to the high signal-to-noise ratio (SNR) requirement, and existing deep-learning SIM algorithms still have the potential to improve imaging speed. Here, we introduce a deep-learning-based video-level and high-fidelity super-resolution SIM reconstruction method, termed video-level deep-learning SIM (VDL-SIM), which has an imaging speed of up to 47 frame/s, providing a favorable observing experience for users. In addition, VDL-SIM can robustly reconstruct sample details under a low-light dose, which greatly reduces the damage to the sample during imaging. Compared with existing SIM algorithms, VDL-SIM has faster imaging speed than existing deep-learning algorithms, and higher imaging fidelity at low SNR, which is more obvious for traditional algorithms. These characteristics enable VDL-SIM to be a useful video-level super-resolution imaging alternative to conventional methods in challenging imaging conditions.
deep learning structure illumination microscopy video-level imaging super-resolution imaging Advanced Imaging
2024, 1(1): 011001
针对当前基于深度学习的遥感图像超分辨率重建模型部署时对硬件要求较高，本文设计了一种轻量级基于重参数化的残差特征遥感图像超分辨率重建网络。首先，采用重参数化方法设计了一种残差局部特征模块，以有效地提取图像局部特征；同时考虑到图像内部出现的相似特征，设计了一个轻量级的全局上下文模块对图像的相似特征进行关联以提升网络的特征表达能力，并通过调整该模块的通道压缩倍数来减少模型的参数量和改善模型的性能；最后，在上采样模块前使用多层特征融合模块聚合所有的深度特征，以产生更全面的特征表示。在UC Merced遥感数据集上进行测试，该算法在遥感图像3倍超分辨率下的参数量为539 K，峰值信噪比为30.01 dB，结构相似性为0.844 9，模型的推理时间为0.010 s；而HSENet算法的参数量为5 470 K，峰值信噪比为30.00 dB，结构相似性为0.842 0，模型的推理时间为0.059 s。实验结果表明，该算法相比HSENet算法，参数量更少，运行速度较快，且峰值信噪比与结构相似性也有一定的提高。在DIV2K自然图像数据集上进行测试，该算法的峰值信噪比和结构相似性相比其他算法也有一定的优势，表明该算法的泛化能力较强。
超分辨率 遥感图像 全局上下文 重参数化 残差网络 super resolution remote sensing images global context re-parameterization residual network
长春理工大学电子信息工程学院，吉林 长春 130012
针对彩色图像引导的深度图像超分辨率重建算法中存在的纹理转移和深度流失的问题，提出一种基于双特征融合引导的深度图像超分辨率重建网络（DF-Net）。为了充分利用深度和强度特征的关联性，在网络模型的深度恢复重建部分采用双通道融合模块（DCM）和双特征引导重建模块（DGM）。利用输入金字塔结构提取深度信息和强度信息的多尺度特征：DCM基于通道注意力机制对深度特征和强度特征进行通道间的特征融合与增强；DGM将深度、强度特征自适应选择融合后实现重建的双特征引导，增加了深度特征的引导作用，改善了纹理转移和深度流失的问题。实验结果表明，所提方法的峰值信噪比（PSNR）和均方根误差（RMSE）优于RMRF、JBU和Depth-Net等方法，尤其4×超分辨率重建结果的PSNR值比其他方法平均提升6.79 dB，RMSE平均下降0.94，取得了较好的深度图像超分辨率重建效果。
图像处理 图像超分辨率重建 卷积神经网络 深度图像 特征融合 通道注意力 激光与光电子学进展
2024, 61(8): 0837007
南方科技大学生物医学工程系，广东 深圳 518055
由于衍射极限的存在，传统的光学成像手段无法观测细胞器结构及细胞器之间的相互作用。单分子定位显微成像技术作为三种超分辨技术中分辨率最高的成像技术，为生命科学领域的研究提供了重要手段。大视场高通量单分子成像技术具有分辨率高、成像范围大和成像时间短等特点，在生物医学领域广泛用于观察和分析复杂的生物结构和功能。从基于硬件扫描的拼接成像技术、基于大面阵sCMOS的大视场高通量成像技术、大景深单分子定位成像技术、高通量数据分析技术4个方面回顾近年来大视场高通量单分子定位技术的研究进展。最后，对大视场高通量单分子定位成像技术的发展方向进行展望。
高通量 大视场 单分子定位显微镜 超分辨成像 激光与光电子学进展
2024, 61(6): 0618004
1 中国科学院光电信息处理重点实验室，辽宁 沈阳 110016
2 中国科学院沈阳自动化研究所，辽宁 沈阳 110016
3 中国科学院机器人与智能制造创新研究院，辽宁 沈阳 110169
4 中国科学院大学，北京 100049
5 航天恒星科技有限公司，北京 100086
近年来，红外成像系统在工业、安防、遥感等领域获得了广泛的应用，但由于制造工艺及成本制约，红外系统的分辨率仍然较低。基于深度神经网络的单帧图像超分辨率重建技术是提高红外图像分辨率的有效方法，获得了广泛研究，并在仿真图像上取得了显著进展，但应用于实际场景图像时容易出现伪影或图像模糊等现象。造成这种性能差异的主要原因是目前方法大多假定造成图像退化的模糊核是空间一致的，然而实际红外光学系统不可避免地存在像差、热离焦等，由此造成的图像模糊的模糊核并非空间一致的。针对这一问题，提出了一种非盲模糊核估计方法，通过采集特定的靶标图像，并设计模糊核估计网络，求解空间非一致模糊核；设计基于图像分块的超分辨率重建方法，将图像块和对应区域的模糊核一起输入非盲超分辨率重建网络进行子块图像重建，再通过子块合并和重叠区域图像融合，得到最终的高分辨率图像。实验结果表明，光学系统自身引起了模糊核随空间位置缓慢变化，在实验室条件下标定模糊核并基于图像分块进行超分辨率重建的方法可显著提高红外图像超分辨率重建的效果。
超分辨率重建 空间非一致模糊 模糊核估计 红外图像 super-resolution reconstruction spatially variant blur blur kernel estimation infrared image 红外与激光工程
2024, 53(2): 20230252
