1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
3 中国科学院红外探测与成像技术重点实验室, 上海 200083
红外与可见光图像融合一直是图像领域研究的热点, 融合技术能弥补单一传感器的不足, 为图像理解与分析提供良好的成像基础。 因生产工艺以及成本的限制, 红外探测器的分辨率远低于可见光探测器, 并在一定程度上因源图像分辨率的差异阻碍了实际应用。 针对红外与可见光图像分辨率不一致的问题, 提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架, 应用于多分辨率图像融合。 在网络结构方面, 首先设计了双通道网络分别提取红外与可见光特征, 使算法不受源图像分辨率的限制; 其次提出了特征上采样模块, 先用双线性插值方法增加像素个数, 再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系, 无需重新训练模型即可实现任意尺度的红外图像上采样; 接着将线性注意力引入网络, 学习特征空间位置间的非线性关系, 抑制无关信息并增强网络对全局信息的表达。 在损失函数方面, 提出了梯度损失, 保留红外与可见光图像中绝对值较大的滤波器响应值, 并计算该值与重建的融合图像响应值的Frobenius范数, 无需理想的融合图像作为真值监督网络学习就能生成融合图像; 此外, 在梯度损失、 像素损失的共同作用下对多任务模型进行优化, 可以同时重建融合图像和高分辨率红外图像。 算法在RoadScene数据集上进行训练, 与其他4种相关算法在TNO数据集上进行对比, 主观性能上该方法可以输入任意分辨率的源图像, 融合图像红外目标突出、 可见光细节纹理丰富, 在源图像分辨率相差较大时能重建特征清晰的高分辨率红外图像, 模型泛化性能强; 客观性能上在信息熵、 差异相关性总量、 空间频率等多个评价指标上表现优异, 结果表明重建的融合图像信息丰富、 信息转化率高、 清晰度高, 验证了算法的有效性。
红外与可见光融合 多分辨率图像融合 线性注意力 梯度损失 红外图像超分辨率 Infrared and visible image fusion Multi-resolution image fusion Linear attention Gradient loss Infrared image super-resolution
短波红外(short-wave infrared, SWIR)一般指900~1 700 nm的光波段, 是肉眼不可见的光波段, 这种波段目前主流的探测器以InGaAs为主, 主要用于**、 生物以及材料光谱分析等领域。 短波红外荧光成像以其对生物组织光学损伤小、 成像深度大、 成像信噪比高、 空间和时间成像分辨率高等特点, 使得基于InGaAs探测器的生物光学成像成为生物组织观测领域的研究焦点。 生物光学窗口的多窗口宽谱段的荧光光谱特性, 使得可以对生物组织采集多谱段的光谱图像, 以此来观察生物组织的在不同光谱照明下的结构特性。 针对生物光学窗口的光谱特性, 设计了一种基于InGaAs探测器的多谱段的小鼠静脉成像系统, 可以无接触采集小鼠静脉红外光谱图像, 对测小鼠的静脉红外光谱。 设计的基于InGaAs探测器的短波红外探测器, 可以实现最高5 000 ms的积分时间; 积分时间的延长, 显著地提升了静脉成像的信噪比, 同时其光谱响应特性很好的覆盖了第二生物光学窗口以及第三生物光学窗口。 针对光学显微特性的成像特点以及静脉组织在图像中的特征表达, 设计了一种新型的单光谱多焦距融合算法, 可以很好的实现静脉图像的红外光谱观测。 提出了一种基于多尺度梯度域引导滤波(gradient domain guidedfilter, GDGF)多焦距融合算法, 来补偿显微特性的成像缺陷。 通过多尺度梯度域引导滤波算法, 实现对显微对焦区域的提取, 进而实现对融合决策函数的计算, 最后再通过梯度域引导滤波将得到的融合决策函数精细化处理最终得到我们的融合算法的最终决策融合函数。 实验表明, 设计的InGaAs短波红外探测器很好的满足了对小鼠静脉荧光光谱成像的需求, 分别实现了针对小鼠静脉的1 100, 1 250和1 350 nm等多个波段的光谱成像, 以及在同一激光照明下实现多个焦距下的光谱成像。 同时设计的融合算法很好的提取了小鼠静脉图像的对焦区域, 在将多焦距图像融合的同时又减少了噪声的引入, 实现了高质量全局静脉成像。
光谱成像 梯度域导向滤波 对焦像素检测 静脉荧光光谱 短波红外光谱 光学穿透深度 Spectral imaging GDGF Focus pixel region measure Fluorescent spectroscopy of vein Spectrum of short wave infrared Optical penetration depth 光谱学与光谱分析
2022, 42(4): 1109
陈少毅 1,2,3,4汤心溢 2,3,4王健 2,3,4黄静思 1,2,3,4李争 2,3,4,*
1 上海科技大学，上海 201210
2 中国科学院上海技术物理研究所，上海 200083
3 中国科学院大学，北京 100049
4 中国科学院红外探测与成像技术重点实验室，上海 200083
基于深度学习的目标检测算法取得了很大成功，显著超越了传统算法，在很多场景下甚至可以和人类相媲美。不同于可见光相机，红外相机可以在黑暗环境下识别物体，可以用于安防和无人驾驶等领域。本文提出了面向嵌入式设备的轻量级目标检测算法，并采用赛灵思的Ultrascale+MPSoC ZU3EG FPGA加速并部署该算法。加速器运行在350 MHz的时钟频率下，吞吐量达到了551 FPS，功耗仅有8.4 W。在准确率方面，该算法在FLIR数据集下IoU指标达到了73.6%。在性能方面，相比于之前相同逻辑资源下性能最好的硬件加速器Ultranet，该加速器设计将吞吐量提高了2.59倍，功耗降低了2.04倍，降低至原来的49.02%。
红外图像处理 实时嵌入式系统 可编程逻辑器件 卷积神经网络 infrared imaging embedded software real-time systems Field Programmable Gate Array（FPGA） convolutional neural network 朱雯青 1,2,3汤心溢 1,3,*张瑞 1,2,3陈潇 1,2,3苗壮 1,2,3
1 中国科学院上海技术物理研究所，上海 200083
2 中国科学院大学，北京 100049
3 中国科学院红外探测与成像技术重点实验室，上海 200083
由于红外与可见光图像特征差异大，并且不存在理想的融合图像监督网络学习源图像与融合图像之间的映射关系，深度学习在图像融合领域的应用受到了限制。针对此问题，提出了一个基于注意力机制和边缘损失函数的生成对抗网络框架，应用于红外与可见光图像融合。通过引入对抗训练和注意力机制的思想，将融合问题视为源图像和融合图像对抗的关系，并结合了通道注意力和空间注意力机制学习特征通道域和空间域的非线性关系，增强了显著性目标特征表达。同时提出了一种边缘损失函数，将源图像与融合图像像素之间的映射关系转化为边缘之间的映射关系。多个数据集的测试结果表明，该方法能有效融合红外目标和可见光纹理信息，锐化图像边缘，显著提高图像清晰度和对比度。
图像融合 生成对抗网络 边缘损失 注意力机制 image fusion generative adversarial network edge-based loss function attention mechanism
1 中国科学院上海技术物理研究所中国科学院红外探测与成像技术重点实验室，上海 200083
2 中国科学院大学，北京 100049
3 上海科技大学信息科学与技术学院，上海 201210
本文基于 H.265/HEVC视频编码标准，实现了 CABAC编码中二进制算术编码器常规编码模式下的一种硬件流水线结构，根据算法特性设计并优化了编码器的硬件架构，将概率状态数据储存在 SRAM中，并使用查找表优化概率估计更新运算；对编码数据进行打包处理，简化概率估计更新带来的计算，以优化视频数据流编码速度；二进制算术编码采用多级流水线结构，支持四路并行编码。仿真结果表明，本文的硬件 CABAC二进制算术编码器平均每时钟周期可以完成 4个 bin的编码，符合较高帧率的 1080p视频实时编码要求。
熵编码 二进制算术编码器 HEVC HEVC, entropy coding, CABAC, FPGA, binary arithmet CABAC FPGA
1 Shanghai Institute of Technical Physics, Chinese Academy of Sciences, Shanghai 200083, China
2 University of Chinese Academy of Sciences, Beijing 100049, China
3 Key Laboratory of Intelligent Infrared Perception, Chinese Academy of Sciences, Shanghai 20008, China
在红外超分辨率成像应用中，提高主观视觉效果有着很现实的需求.当前基于深度学习的图像超分辨率重建方法大多以客观评价指标为损失函数进行训练和优化，主观评价方法因量化困难而难以应用，为此本文着重研究了主观评价和各种可量化的客观评价指标的相关性，发现相位一致性特征与主观评价结果关联度高.据此设计了基于主客观联合评价的损失函数，应用于红外图像超分辨率重建算法，实验表明，在保持客观质量评价的同时，更好地提高了图像的主观视觉效果.
超分辨率重建 红外图像 主客观联合评价 损失函数 super-resolution reconstruction infrared image subjective and objective joint evaluation loss function
1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
3 中国科学院智能红外感知重点实验室, 上海 200083
弱光夜视是短波红外成像的重要应用领域之一。针对短波红外弱光图像对比度低, 增强后噪声也被放大的特点, 提出了一种基于小波变换与像元对目标的短波红外图像增强算法。首先通过小波变换获得不同频率成分的子带图像; 然后对低频子带图像进行基于像元对目标的灰度变换处理, 对高频子带图像进行可变阈值降噪处理; 最后通过小波反变换将处理后的子带重构得到增强结果。将该算法与基于直方图的增强算法, 全局优化线性窗口色调映射算法和自然保持增强算法进行比较, 采用图像的信息熵和基于Michelson法则的对比度增强度量作为客观评价指标, 结果表明本文算法更为有效地提高了短波红外弱光图像的对比度, 抑制了噪声的增强, 提升了图像的视觉效果。
短波红外 弱光图像增强 像元对目标 小波变换 SWIR low light image enhancement pairwise target contrast wavelet transform
1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
围绕如何获得高质量远距离夜间视觉信息展开研究, 介绍一种基于红外短波成像与激光照明的视觉系统, 包括基于 FPGA与 USB的图像数据采集与传输模块以及基于多波段激光照明系统的设计, 展现了较之与传统的视觉系统更远更清晰的视觉图像效果, 讨论了夜间视觉信息的获取距离与照明光源的关系问题。该系统在夜间远距离情况下效果尤为显著, 为海上监视、单兵装备提供良好视野。
短波成像 FPGA数据采集 激光照明 USB数据传输 short-wave imaging FPGA data collection laser lighting USB data transmission
1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
3 中国科学院红外探测与成像技术重点实验室, 上海 200083
高分辨率红外图像的获取受到了硬件性能的限制, 利用信号处理的方法实现红外图像的超分辨率重建可以有效地提高红外图像的分辨率.将基于深度学习的超分辨方法应用于红外图像, 实现了单帧红外图像的超分辨率重建, 获得了更好的评价结果.通过引入对抗训练的思想, 以及添加基于判别网络的损失函数分量, 提高了放大倍数的同时, 获得更好的高频细节恢复, 图像边缘锐化, 避免了超分辨率红外图像过于模糊.
红外图像 超分辨率重建 深度学习 生成对抗网络 infrared image super resolution deep learning GAN
