兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
针对近红外与彩色可见光图像融合后对比度低、 细节丢失和颜色失真等问题, 提出一种基于多尺度变换和自适应脉冲耦合神经网络(PCNN-pulse coupled neural network, PCNN)的红外与彩色可见光图像融合的新算法。 首先将彩色可见光图像转换到HSI(hue saturation intensity)空间, HSI色彩空间包含亮度、 色度和饱和度三个分量, 并且这三个分量互不相关, 因此利用这个特点可对三个分量分别进行处理。 将其亮度分量与近红外图像分别进行多尺度变换, 变换方法选择Tetrolet变换。 变换后分别得到低频和高频分量, 针对图像低频分量, 提出一种期望最大的低频分量融合规则; 针对图像高频分量, 采用高斯差分算子调节PCNN模型的阈值, 提出一种自适应的PCNN模型作为融合规则。 处理后的高低频分量经过Tetrolet逆变换得到的融合图像作为新的亮度图像。 然后将新的亮度图像和原始的色度和饱和度分量反向映射到RGB空间, 得到融合后的彩色图像。 为了解决融合带来的图像平滑化和原始图像光照不均的问题, 引入颜色与锐度校正机制(colour and sharpness correction, CSC)来提高融合图像的质量。 为了验证方法的有效性, 选取了5组分辨率为1 024×680近红外与彩色可见光图像进行试验, 并与当前高效的四种融合方法以及未进行颜色校正的本方法进行了对比。 实验结果表明, 同其他图像融合算法进行对比分析, 该方法在有无CSC颜色的情况下均能保留最多的细节和纹理, 可见度均大大提高, 同时本方法的结果在光照条件较弱的情况下具有更多的细节和纹理, 均具有更好的对比度和良好的色彩再现性。 在信息保留度、 颜色恢复、 图像对比度和结构相似性等客观指标上均具有较大优势。
彩色图像融合 Tetrolet变换 期望最大算法 自适应脉冲耦合神经网络 Color image fusion Tetrolet transform Expected maximum algorithm Adaptive Pulse Coupled Neural Network 光谱学与光谱分析
2021, 41(7): 2023
兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
针对图像风格迁移时出现前后景边界模糊造成风格化图像主要目标模糊的问题,提出了目标边缘清晰化的图像风格迁移算法。通过将用于提取内容图像轮廓的深度抠图神经网络与风格迁移网络合并,形成透明遮罩约束风格迁移过程,凸显风格化图像中主要目标的轮廓;通过对迁移网络中最大池化层进行替换,保留图像的背景信息,细化风格化图像的整体结构;通过替换迁移网络中较大卷积核,减少网络模型参数,减少风格迁移计算量;通过对常规卷积层的归一化,实现相似风格迁移之间的参数共享,提升风格迁移速度。用VGG-19神经网络作为特征提取器对输入的内容图像和风格图像提取特征图,把输入图像到输出图像的变换约束在色彩空间局部仿射中,在输入图像RGB通道上合并目标遮罩,使得风格化图像的主要目标在遮罩约束中实现纹理合成。实验表明,与传统方法比较,该方法产生的迁移结果前后景边缘明显,内容结构保留较好,解决了风格化图像主要目标边缘模糊的问题。
图像处理 风格迁移 神经网络 抠图算法 深度学习 结构约束 激光与光电子学进展
2021, 58(12): 1210021
兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
针对暗通道先验算法处理大片天空区域存在复原图像的可视化效果较差和图像细节信息不丰富等问题,提出一种基于多尺度Retinex和暗通道的自适应图像去雾算法。采用Canny算子对亮度分量进行边缘检测并利用多尺度Retinex算法消除亮度分量,采用交叉双边滤波优化暗通道的先验理论获得粗略估计的透射率,采用四叉树子空间搜索法选取全局大气光值。为了消除图像中复原图像整体较暗以及无法显示细节信息的现象,使用二维伽马函数校正亮度值,最终得到复原后的去雾图像。实验结果表明,所提算法可以有效恢复有雾图像的细节信息,去雾较为彻底,整体平滑,色彩明亮度较好,图像清晰自然。
图像处理 Retinex 暗通道先验算法 边缘保持 二维伽马函数 图像去雾 激光与光电子学进展
2021, 58(4): 0410004
兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
针对红外与可见光图像融合过程中出现的细节损失严重、视觉效果不佳等问题,提出了基于多尺度几何变换模型的融合方法。首先,采用改进的视觉显著性检测算法对红外与可见光图像进行显著性检测,并构建显著性矩阵;然后,对红外与可见光图像进行非下采样剪切波变换,得到相应的低频和高频子带,并采用显著性矩阵对低频子带进行自适应加权融合,同时采用简化的脉冲耦合神经网络并结合多方向拉普拉斯能量和对高频子带进行融合处理;最后,通过逆变换得到融合图像。实验结果表明,该方法能够有效提升融合图像的对比度并保留源图像的细节信息,融合图像具有良好的视觉效果,且多个客观评价指标均表现良好。
图像处理 图像融合 显著性检测 非下采样剪切波变换 脉冲耦合神经网络 激光与光电子学进展
2020, 57(20): 201007
兰州交通大学电子与信息工程学院, 甘肃兰州 730070
针对近红外与彩色可见光图像融合后出现的对比度降低、细节丢失、颜色失真等问题, 提出一种基于 Tetrolet变换和自适应脉冲耦合神经网络 PCNN(PCNN-Pulse Coupled Neural Network)的近红外与彩色可见光图像融合的新算法。首先将彩色可见光源图像转换到各个分量相对独立的 HSI空间(HSI-Hue Saturation Intensity), 将其亮度分量与近红外图像进行 Tetrolet分解, 对分解后得到的低频系数, 提出一种从给定不完备数据集中寻找潜在分布最大似然估计的期望最大算法融合规则；对分解后得到的高频系数, 采用一种 Sobel算子自动调节阈值的自适应 PCNN模型作为融合规则；处理后的高低频图像经 Tetrolet逆变换作为融合后的亮度图像, 提出一种饱和度分量自适应拉伸方法来解决图像饱和度下降的问题。处理后的各个分量反向映射到 RGB空间, 完成融合。将本文算法与多种高效融合算法进行对比分析, 实验表明, 本方法取得的图像, 细节清晰, 色彩对比度得到提升, 在图像饱和度、颜色恢复性能、结构相似性和对比度等客观评价指标上均具有明显的优势。
彩色图像融合 Tetrolet变换 期望最大算法 自适应脉冲耦合神经网络 color image fusion, Tetrolet transform, expectatio
