针对红外夜视图像对比度低、成像质量不高的问题, 提出适合红外夜视图像超分辨率重建方法。在自然图像超分辨率重建模型的基础上增加基于 Retinex的对比度增强预处理步骤, 并对网络模型做如下改进: 构建超深卷积神经网络学习低分辨率图像与高分辨率图像之间的映射关系, 增大感受野, 提升网络学习能力; 仅学习高低分辨率图像间的差值信息加速网络收敛。针对高分辨率红外夜视图像不易获得, 数据量较少的问题, 利用迁移学习理论, 使用少量的高分辨率红外夜视图像为目标样本, 对自然图像超分辨率重建模型进行微调, 得到适合红外夜视图像重建的网络权重模型。实验结果证明: 使用该方法得到的红外夜视图像信息丰富, 层次分明, 具有良好的视觉效果。
红外夜视图像 超分辨率 预处理 超深神经网络 infrared image in night environment, super-resolut
1 东华大学 信息科学与技术学院, 上海 201620
2 东华大学 数字化纺织服装技术教育部工程研究中心, 上海 201620
3 华东理工大学 信息科学与工程学院, 上海 200237
为了增强无人车对夜视图像的场景理解, 在夜间模式下更快更精确地探测和识别周围环境, 将深度学习应用于夜视图像的场景语义分割, 提出了一种基于卷积-反卷积神经网络的无人车夜视图像语义分割方法。在传统的卷积神经网络中加入反卷积网络, 构建卷积-反卷积神经网络, 无需手工选取特征。通过像素到像素的学习和训练, 得到图像语义分割模型, 可直接用该模型预测夜视图像中每个像素所属的场景语义类别, 实现无人车夜间行驶时的环境感知。实验结果表明, 该方法具有较好的准确性和实时性, 平均IU达到68.47。
夜视图像 语义分割 深度学习 反卷积 无人车 night vision image semantic segmentation deep learning deconvolution unmanned vehicle
提出一种将小波融合和基于伪彩色融合图像的C均值聚类用于图像色彩传递算法中的彩色夜视方法。在色彩传递前将可见光和红外图像进行小波融合得到灰度融合图像作为目标图像, 保持了较好的纹理信息和目标信息; 再对彩色源图像进行基于连接相对熵的彩色阈值分割; 然后针对灰度融合图像的特点, 根据一种基于伪彩色融合图像的C均值聚类方法, 将伪彩色融合图像的彩色信息作为特征向量应用在夜视图像的分类当中, 得到较好的分类效果, 并基于此分类结果再进行色彩传递, 得到更为自然的彩色夜视图像。实现了对夜视图像的自动色彩传递, 得到的图像色彩较真实, 纹理清晰, 将有利于人眼的目标识别。
图像处理 伪彩色聚类 色彩传递 夜视图像 小波融合
