1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
3 中国科学院红外探测与成像技术重点实验室, 上海 200083
红外与可见光图像融合一直是图像领域研究的热点, 融合技术能弥补单一传感器的不足, 为图像理解与分析提供良好的成像基础。 因生产工艺以及成本的限制, 红外探测器的分辨率远低于可见光探测器, 并在一定程度上因源图像分辨率的差异阻碍了实际应用。 针对红外与可见光图像分辨率不一致的问题, 提出了用于红外图像超分辨率重建与融合的多任务卷积网络框架, 应用于多分辨率图像融合。 在网络结构方面, 首先设计了双通道网络分别提取红外与可见光特征, 使算法不受源图像分辨率的限制; 其次提出了特征上采样模块, 先用双线性插值方法增加像素个数, 再通过多层感知器精细化拟合像素平滑空间与高频空间的映射关系, 无需重新训练模型即可实现任意尺度的红外图像上采样; 接着将线性注意力引入网络, 学习特征空间位置间的非线性关系, 抑制无关信息并增强网络对全局信息的表达。 在损失函数方面, 提出了梯度损失, 保留红外与可见光图像中绝对值较大的滤波器响应值, 并计算该值与重建的融合图像响应值的Frobenius范数, 无需理想的融合图像作为真值监督网络学习就能生成融合图像; 此外, 在梯度损失、 像素损失的共同作用下对多任务模型进行优化, 可以同时重建融合图像和高分辨率红外图像。 算法在RoadScene数据集上进行训练, 与其他4种相关算法在TNO数据集上进行对比, 主观性能上该方法可以输入任意分辨率的源图像, 融合图像红外目标突出、 可见光细节纹理丰富, 在源图像分辨率相差较大时能重建特征清晰的高分辨率红外图像, 模型泛化性能强; 客观性能上在信息熵、 差异相关性总量、 空间频率等多个评价指标上表现优异, 结果表明重建的融合图像信息丰富、 信息转化率高、 清晰度高, 验证了算法的有效性。
红外与可见光融合 多分辨率图像融合 线性注意力 梯度损失 红外图像超分辨率 Infrared and visible image fusion Multi-resolution image fusion Linear attention Gradient loss Infrared image super-resolution
陈玮琳 1,2,3裘莉娅 1,2,3李争 1,3,*王健 1,2,3谭畅 1,2,3
1 中国科学院上海技术物理研究所，上海 200083
2 中国科学院大学，北京 100049
3 中国科学院红外探测与成像技术重点实验室，上海 200083
在雨雪纷飞、不停波动的湖面等自然背景下，运动目标检测的准确性会受到巨大影响。因此，在动态背景中将前景目标准确地提取出来是复杂场景下运动目标检测的首要任务。针对现有visual background extractor（Vibe）算法在复杂背景下检测效果较差且易受光照变化影响的问题，提出了一种将Vibe算法与改进局部二值模式（LBP）特征算子结合的运动目标检测算法。首先，计算并保存每一帧的LBP值图像，采用相邻帧补偿策略稳定图像，减少光照对灰度值的影响。然后，使用Vibe算法建立背景模型，用改进的LBP值代替灰度值来进行前景检测。最后，进行形态学操作得到最终的前景目标。实验结果表明，所提算法和其他传统算法相比，对动态背景的抑制效果好，对比原始Vibe算法召回率平均提升25.6%，准确率平均提升12.5%，误检率平均降低22.6%。
图像处理 复杂背景 背景建模 visual background extractor算法 局部二值模式纹理特征 激光与光电子学进展
2023, 60(4): 0410012
陈少毅 1,2,3,4汤心溢 2,3,4王健 2,3,4黄静思 1,2,3,4李争 2,3,4,*
1 上海科技大学，上海 201210
2 中国科学院上海技术物理研究所，上海 200083
3 中国科学院大学，北京 100049
4 中国科学院红外探测与成像技术重点实验室，上海 200083
基于深度学习的目标检测算法取得了很大成功，显著超越了传统算法，在很多场景下甚至可以和人类相媲美。不同于可见光相机，红外相机可以在黑暗环境下识别物体，可以用于安防和无人驾驶等领域。本文提出了面向嵌入式设备的轻量级目标检测算法，并采用赛灵思的Ultrascale+MPSoC ZU3EG FPGA加速并部署该算法。加速器运行在350 MHz的时钟频率下，吞吐量达到了551 FPS，功耗仅有8.4 W。在准确率方面，该算法在FLIR数据集下IoU指标达到了73.6%。在性能方面，相比于之前相同逻辑资源下性能最好的硬件加速器Ultranet，该加速器设计将吞吐量提高了2.59倍，功耗降低了2.04倍，降低至原来的49.02%。
红外图像处理 实时嵌入式系统 可编程逻辑器件 卷积神经网络 infrared imaging embedded software real-time systems Field Programmable Gate Array（FPGA） convolutional neural network
1 中国科学院上海技术物理研究所，上海
2 中国科学院大学，北京
3 中国科学院红外探测与成像技术实验室，上海
提高光电成像系统的抗散射介质干扰能力一直是光学中极具挑战的重要课题。在散射介质中，由于小颗粒的散射和吸收效应以及由此产生的强度或偏振特性的不均匀分布，往往会严重降低图像质量。基于大气光的偏振特性，使用偏振探测可以估计大气散射的强度、水平及透射率，将目标信号与干扰信号分离，以实现高质量成像。首先阐述基于偏振的去散射原理以及偏振信息的作用距离分析，随后介绍基于该原理的各类偏振成像系统的应用的最新进展，如基于偏振差分、斯托克斯矢量以及穆勒矩阵的偏振成像系统。最后对散射介质条件下的偏振成像的未来发展进行了展望。
偏振成像 散射介质 图像恢复 polarization imaging scattering medium image restoration
1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院红外探测与成像技术重点实验室, 上海 200083
3 中国科学院大学, 北京 100049
针对空中目标在复杂背景下的探测需求, 根据实际目标的运动特性, 分析目标在飞行高度、飞行姿态角改变时的辐射特点, 基于MODTRAN计算得到大气辐射和衰减数据, 建立目标的三维模型 、热辐射和反射模型, 搭建空中目标的红外成像仿真系统.分析和仿真结果表明: 在中波波段, 目标尾焰的红外辐射比蒙皮强很多, 在长波波段, 蒙皮的红外辐射比较强, 仿真图像的细节比较多, 尾焰的红外辐射虽然有所减弱, 红外成像效果依旧很好; 相同探测条件下, 由于位置越高大气越稀薄, 探测器的可探测距离会变得比较远.目标红外辐射特性的分析和红外仿真系统的搭建对缩短红 外探测器的研制周期和进一步确定探测器波段和系统分辨率等指标提供了参考依据.
红外成像 空中目标 红外辐射特性 可见面元分析 光线投射 多波段 Infrared imaging Aerial target Infrared radiation characteristics Visibility judgment Ray casting Multi-band
1 合肥工业大学 计算机与信息学院, 合肥 230009
2 电子信息系统复杂电磁环境效应国家重点实验室, 河南 洛阳 471003
针对目前电磁态势认知没有形成统一认识的问题，以电磁态势中的雷达对抗态势为研究对象，提出了态势分层认知的概念，研究了雷达对抗态势知识的获取与分析，随后针对雷达对抗态势知识表示问题，建立了雷达对抗态势知识表示模型，为后续的电磁态势要素计算以及态势表征研究提供了基础。最后梳理了雷达对抗态势与电磁态势的相互关系，为下一步将雷达对抗态势融入电磁态势提供支撑。
复杂电磁环境 雷达对抗态势 态势认知 知识表示 电磁态势 complex electromagnetic environment radar countermeasure situation situation cognition knowledge representation electromagnetic situation 强激光与粒子束
2019, 31(9): 093204
1 中国科学院上海技术物理研究所, 上海 200083
2 中国科学院大学, 北京 100049
3 中国科学院红外探测与成像技术重点实验室, 上海 200083
高分辨率红外图像的获取受到了硬件性能的限制, 利用信号处理的方法实现红外图像的超分辨率重建可以有效地提高红外图像的分辨率.将基于深度学习的超分辨方法应用于红外图像, 实现了单帧红外图像的超分辨率重建, 获得了更好的评价结果.通过引入对抗训练的思想, 以及添加基于判别网络的损失函数分量, 提高了放大倍数的同时, 获得更好的高频细节恢复, 图像边缘锐化, 避免了超分辨率红外图像过于模糊.
红外图像 超分辨率重建 深度学习 生成对抗网络 infrared image super resolution deep learning GAN
