激光与光电子学进展, 2020, 57 (8): 081013, 网络出版: 2020-04-03   

一种基于ResNet152的红外与可见光图像融合算法 下载: 1373次

An Infrared and Visible Image Fusion Algorithm Based on ResNet152
作者单位
1 兰州交通大学电子与信息工程学院, 甘肃 兰州 730070
2 兰州交通大学测绘与地理信息学院, 甘肃 兰州 730070
3 地理国情监测技术应用国家地方联合工程研究中心, 甘肃 兰州 730070
摘要
为进一步提高红外与可见光融合图像的细节信息,并降低伪影和噪声,提出一种基于ResNet152深度学习模型的红外与可见光图像融合算法。首先,将红外与可见光图像分解成低频部分和高频部分;然后,运用平均权重策略对低频部分进行融合,生成新的低频部分,使用ResNet152网络对高频部分进行特征提取,得到多个特征层,对特征层分别进行L1正则化、卷积运算、双线性插值上采样和最大选择策略得到最大权重层,由最大权重层和高频部分相乘得到新的高频部分;最后,由新的低频部分和高频部分对图像进行重建,获得融合后的红外与可见光图像。实验结果表明,该算法在保留图像显著特征的同时使融合图像获得了更多的细节纹理信息,且有效地降低了伪影和噪声,其主观评价和客观评价都优于对比算法。
Abstract
In order to improve the details of fusion image from infrared and visible image and reduce artifacts and noise, an infrared and visible image fusion algorithm based on ResNet152 deep learning model is proposed. Firstly, the source image is decomposed into the low frequency part and the high frequency part. The low frequency part is fused by the average weighting strategy to put a new low frequency part. The high frequency part is extracted by ResNet152 to obtain multiple feature layers.The L1 regularization, convolution operation, bilinear interpolation upsampling, and maximum selection strategy for the feature layers to obtain the maximum weight layer. Multiplying the maximum weight layer and the high frequency part to obtain a new high frequency part. Finally, the image is reconstructed by the new low frequency part and high frequency part. Experimental results show that the proposed algorithm can get more texture information while retaining the significant features of the image, and effectively reduces artifacts and noise. The subjective evaluation and objective evaluation are better than the comparison algorithm.

李恒, 张黎明, 蒋美容, 李玉龙. 一种基于ResNet152的红外与可见光图像融合算法[J]. 激光与光电子学进展, 2020, 57(8): 081013. Heng Li, Liming Zhang, Meirong Jiang, Yulong Li. An Infrared and Visible Image Fusion Algorithm Based on ResNet152[J]. Laser & Optoelectronics Progress, 2020, 57(8): 081013.

本文已被 9 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!