Author Affiliations
Abstract
College of Engineering and Applied Sciences and Collaborative Innovation Center of Advanced Microstructures, Nanjing University, Nanjing, China
Optical fiber bundles frequently serve as crucial components in flexible miniature endoscopes, transmitting end-to-end images directly for medical and industrial applications. Each core usually acts as a single pixel, and the resolution of the image is limited by the core size and core spacing. We propose a method that exploits the hidden information embedded in the pattern within each core to break the limitation and obtain high-dimensional light field information and more features of the original image including edges, texture, and color. Intra-core patterns are mainly related to the spatial angle of captured light rays and the shape of the core. A convolutional neural network is used to accelerate the extraction of in-core features containing the light field information of the whole scene, achieve the transformation of in-core features to real details, and enhance invisible texture features and image colorization of fiber bundle images.
fiber bundles image enhancement image colorization mode pattern deep learning 
Advanced Imaging
2024, 1(1): 011002
作者单位
摘要
长春理工大学 电子信息工程学院,吉林 长春 130022
针对近红外图像彩色化过程中因近红外与可见光图像间模态差异较大,导致着色后图像在纹理细节处存在颜色晕染、区域误着色的问题,提出了颜色预测和语义感知相结合的生成对抗网络。设计颜色预测和语义感知双分支生成器,颜色预测分支采用带有跳转连接的残差网络,语义感知分支采用带有语义融合的空洞卷积金字塔结构;不同的扩张率,能够获得多个感受野提取多尺度语义特征,将感知到的语义嵌入到颜色预测分支,提高模型的语义理解能力,改善颜色晕染、区域误着色问题;设计循环一致语义损失函数,约束生成器中语义信息的一致性;算法在RGB-NIR场景数据集上进行性能实验比对以及消融实验。实验表明,所提算法相比于现有彩色化算法,PSNR、SSIM和LPIPS评价指标优于现有算法,着色效果更符合视觉感受。
彩色化 近红外图像 生成对抗网络 颜色预测 语义感知 colorization near-infrared images generative adversarial networks color prediction semantic perception 
光学技术
2023, 49(3): 371
作者单位
摘要
长春理工大学电子信息工程学院,吉林长春 130012
针对目前卷积神经网络未能充分提取图像的浅层特征信息导致近红外图像彩色化算法存在结果图像局部区域误着色及网络训练不稳定导致结果出现模糊问题,提出了一种新的生成对抗网络方法用于彩色化任务。首先,在生成器残差块中引入自行设计的空洞全局注意力模块,对近红外图像的每个位置理解更加充分,改善局部区域误着色问题;其次,在判别网络中,将批量归一化层替换成梯度归一化层,提升网络判别性能,改善彩色化图像生成过程带来的模糊问题;最后,将本文算法在 RGB_NIR数据集上进行定性和定量对比。实验表明,本文算法与其他经典算法相比能充分提取近红外图像的浅层信息特征,在指标方面,结构相似性提高了 0.044,峰值信噪比提高了 0.835,感知相似度降低了 0.021。
彩色化 近红外图像 生成对抗网络 空洞全局注意力 梯度归一化 colorization, near-infrared images, generative adv 
红外技术
2023, 45(10): 1096
作者单位
摘要
北京理工大学光电学院,光电成像技术与系统教育部重点实验室,北京 100081
热成像技术具有广泛的应用领域,随着红外焦平面探测器及数字图像处理技术的发展,新型热成像模式及其图像处理技术成为国内外发展的重要方向。介绍了近年来研究的几个典型进展,其中改进的基于场景特征的时域高通与空域低通滤波结合的非均匀性校正方法能够有效滤除制冷热成像系统观察低温天空场景时的水波纹固定图案噪声,并在FPGA 硬件平台上实现了算法移植;研制出红外分焦平面偏振片阵列,实现了中波制冷和长波非制冷红外焦平面探测器的耦合成像,并通过考虑偏振片效应的偏振成像模型,滤除光路中偏振片的辐射影响;研制出基于常规制冷长波红外焦平面探测器的超频高动态热成像系统,在FPGA实现了多积分时间图像融合-细节增强级联的HDR图像融合方法,实现了对高动态场景的实时成像;研究了“田”字型四孔径和“十”字型四/五孔径等三类紧凑型视场部分重叠仿生复眼热成像模式,研制了2套实验系统来验证该方法的有效性;提出一种基于双生成对抗网络的非配对热红外-可见光图像转换算法TIV-Net,该方法能够将热图像有效地转化为类彩色可见光图像,并在无人机等平台实现了不低于20 Hz的实时处理。以上具有创新性的技术突破或已获得应用或展现良好的应用前景,将是进一步研究完善的重要方向。
图像处理 热成像 高动态范围 偏振成像 仿生复眼 彩色化 
光学学报
2023, 43(15): 1510001
作者单位
摘要
长春理工大学 电子信息工程学院, 吉林 长春 130022
针对近红外图像彩色化过程中存在近红外与可见光图像间模态差异较大、图像域样式不佳而导致其彩色化结果出现色彩纹理不吻合的问题, 提出一种基于空洞循环卷积的近红外图像彩色化方法。改进CycleGAN网络, 利用级联结构和空洞卷积块的优势设计了一种名为空洞级联模块, 该模块采用编解码级联结构, 代替原模型残差网络中的单向连接结构, 进行特征通道的级联。在编解码级联层中引入空洞卷积模块, 利用空洞卷积不损失图像纹理细节的优势, 进一步提取不同尺度的近红外图像特征信息, 最后通过解码将近红外灰度图像上色成彩色近红外图像。算法在生成网络中采用空洞级联方式改善误着色问题; 在判别网络中引用感知损失函数改善网络收敛速度慢的问题。并且在NIR_VIS数据集上开展验证和分析。实验结果表明, 所提方法提升效果明显, 更好地保持了原目标的结构及色彩纹理特征, 有效地提升了近红外图像的可视化效果。
近红外图像 彩色化 空洞级联 对抗生成网络 near infrared images colorization dilated convolution generative adversarial network 
光学技术
2022, 48(6): 742
作者单位
摘要
1 中国科学院 长春光学精密机械与物理研究所, 吉林 长春 130033
2 中国科学院大学, 北京 100049
针对当前灰度图像彩色化算法容易出现色彩枯燥、颜色溢出和图像细节损失等问题, 本文提出一种结合全局语义优化的对抗性灰度图像彩色化算法。其中, 生成网络采用自主改进的U-Net网络。一方面, 改进的U-Net网络利用多层卷积对输入图像进行逐步下采样, 在获取多尺度层级特征和全局特征的同时, 在跳跃连接中将全局特征和多尺度层级特征进行自适应融合, 从而有效增强算法对全局语义信息的理解能力并缓解颜色溢出的现象; 另一方面, 改进的U-Net网络在上采样过程中融合通道注意力模块, 使得在提取卷积特征时能够有效抑制噪声并降低特征冗余性。判别网络主要采用全卷积结构, 通过反向传播误差以达到优化生成网络的目的。此外, 本文算法的损失函数将WGAN-GP网络的优化思想和颜色损失相结合, 从而解决传统生成对抗网络训练时出现的梯度消失和模式崩溃等问题。本文算法在Place365测试集上所获取的峰值信噪比、结构相似性和信息熵指标分别为24.455 dB、0.943和7.489。实验结果表明, 本文算法能够缓解颜色溢出, 且细节保持和颜色饱和度方面都具有一定优势。
全局特征 通道注意力模块 图像彩色化 global feature channel attention module WGAN-GP WGAN-GP image colorization 
液晶与显示
2021, 36(9): 1305
Hua Shen 1,2,3,*Jinming Gao 1,2
Author Affiliations
Abstract
1 School of Electronic Engineering and Optoelectronic Technology, Nanjing University of Science and Technology, Nanjing 210094, China
2 MIIT Key Laboratory of Advanced Solid Laser, Nanjing University of Science and Technology, Nanjing 210094, China
3 Department of Material Science and Engineering, University of California Los Angeles, Los Angeles, CA 90095, USA
Currently, it is generally known that lens-free holographic microscopy, which has no imaging lens, can realize a large field-of-view imaging with a low-cost setup. However, in order to obtain colorful images, traditional lens-free holographic microscopy should utilize at least three quasi-chromatic light sources of discrete wavelengths, such as red LED, green LED, and blue LED. Here, we present a virtual colorization by deep learning methods to transfer a gray lens-free microscopy image into a colorful image. Through pairs of images, i.e., grayscale lens-free microscopy images under green LED at 550 nm illumination and colorful bright-field microscopy images, a generative adversarial network (GAN) is trained, and its effectiveness of virtual colorization is proved by applying it to hematoxylin and eosin stained pathological tissue samples imaging. Our computational virtual colorization method might strengthen the monochromatic illumination lens-free microscopy in medical pathology applications and label staining biomedical research.
lens-free microscopy deep learning digital holography virtual colorization 
Chinese Optics Letters
2020, 18(12): 121705
严子雯 1,2,*严群 1,2李典伦 1,2张永爱 1,2[ ... ]孙捷 1,2
作者单位
摘要
1 福州大学 物理与信息工程学院, 福建 福州 350108
2 中国福建光电信息科学与技术创新实验室, 福建 福州 350117
微型发光二极管(μLED)是当今国际最前沿的显示技术之一, 它一般指单个尺寸小于50 μm的LED阵列。μLED相对于液晶显示(LCD)、有机发光二极管(OLED)显示等技术有其独特的优势: 寿命长、响应时间短、亮度高。最重要的是, 它可以实现高度集成显示, 既包括像素密度远远高于常规显示技术的高PPI显示器件, 也包括我们首次提出的集成了某些非显示元件的超大规模集成半导体信息显示器件(HISID)。在许多显示技术的指标上, μLED的性能都很优异。但是, 由于μLED将常规LED器件的尺寸大大缩小, 且往往密度提高, 因此产生了许多新的技术和物理上的挑战, 例如巨量转移技术、全彩化显示等, 所以μLED尚未实现真正意义上的产业化。本文对高度集成μLED显示技术的研究和发展情况进行了较系统的论述, 首先对μLED的基本原理和结构进行了介绍, 然后对其重点核心技术进行了分类研究和点评, 最后对μLED显示技术的发展方向及其应用前景做出了分析。
微型发光二极管(μLED) 驱动 巨量转移 全彩化 高度集成 micro light-emitting diode(μLED) driver mass transfer technology colorization high integration density 
发光学报
2020, 41(10): 1309
作者单位
摘要
长春理工大学 电子信息工程学院, 吉林 长春 130022
针对传统颜色传递算法只进行全局颜色传递, 未考虑图像局部特征, 出现颜色误传递的问题, 提出了一种基于Graph-Based图像分割与区域匹配的灰度图像彩色化算法。利用Graph-Based图像分割将目标图像和参考图像分割为若干个亮度和纹理特征一致的子区域。根据本文提出的思想, 认为“具有相似亮度和纹理的子区域具有相似的颜色分布”, 对目标图像和参考图像的子区域建立匹配关系, 利用亮度特征和LBP局部纹理特征对子区域进行匹配。最后, 在YCbCr颜色空间中对相匹配子区域利用亮度和纹理特征进行颜色传递。实验结果证明, 在该算法中其参考图像无需和目标图像配准, 只需特征相近, 就可以对目标图像实现全自动的彩色化技术并有效克服了颜色误传递的现象,彩色化结果图像在色彩分布和主观视觉上都有明显的提高。
图像分割 区域匹配 彩色化 颜色传递 灰度图像 image segmentation region matching colorization color transfer grayscale image 
液晶与显示
2019, 34(6): 619
作者单位
摘要
1 东华大学信息科学与技术学院, 上海 201620
2 东华大学数字化纺织服装技术教育部工程研究中心, 上海 201620
在无人车夜视红外视频彩色化问题中, 考虑到可同时利用单帧图像的信息和视频的帧间信息, 提出了一种双通道循环生成对抗网络(DcCCAN)对夜视红外视频进行彩色化。DcCCAN是在循环一致生成对抗网络(CCAN)的基础上提出的双通道生成网络。双通道生成网络具有良好的图像特征提取能力, 能够自动提取视频中待处理图像的特征, 同时提取先前模型所生成图像的特征, 然后将特征信息整合后生成一幅目标图像。通过在生成对抗性训练中引入循环一致性训练机制, 可无监督地学习得到红外域图像到彩色域图像的映射关系, 从而实现红外视频的彩色化。实验表明该方法能够为视频中的红外图像赋予自然的色彩信息和纹理信息, 且满足实时性要求。
机器视觉 红外视频彩色化 双通道循环生成对抗网络 双通道生成网络 
激光与光电子学进展
2018, 55(9): 091505

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!