一种基于多尺度低秩分解的红外与可见光图像融合方法

陈潮起; 孟祥超; 邵枫; 符冉迪

doi:doi:10.3788/AOS202040.1110001

光学学报, 2020, 40 (11): 1110001, 网络出版: 2020-06-10

一种基于多尺度低秩分解的红外与可见光图像融合方法下载： 1179次

Infrared and Visible Image Fusion Method Based on Multiscale Low-Rank Decomposition

陈潮起孟祥超 ^*邵枫符冉迪

作者单位

宁波大学信息科学与工程学院, 浙江宁波 315211

图 & 表

图 1. 本文融合算法框架

Fig. 1. Flowchart of the proposed fusion method

下载图片查看原文

图 2. 多尺度低秩分解模型示意图

Fig. 2. Schematic diagram of multiscale low rank decomposition model

下载图片查看原文

图 3. Nato_camp场景红外图像分解示意图

Fig. 3. Schematic diagram of infrared image decomposition in Nato_camp

下载图片查看原文

图 4. 红外与可见光图像显著图示例(基于16×16低秩块分解得到)。(a)红外图像显著性部分T_{v_3}; (b)可见光图像显著性部分T_{r_3}; (c)红外和可见光图像同行位置灰度分布图

Fig. 4. Saliency images examples of infrared and visible images obtained by 16×16 low-rank block decomposition. (a) Saliency part of the infrared image T_{v_3}; (b) saliency part of the visible image T_{r_3}; (c) pixel distribution of infrared and visible images in the same line

下载图片查看原文

图 5. 基于16×16低秩块分解图像融合结果示意图。(a)融合结果F₃;(b)融合图像灰度分布图

Fig. 5. Image fusion results based on 16×16 low rank block decomposition. (a) Fused image F₃; (b) pixel distribution of the fused image

下载图片查看原文

图 6. Nato_camp场景融合结果。(a)可见光图像; (b)红外图像; (c) ResNet50方法; (d) CNN方法; (e) MISF方法; (f) GTF方法; (g) FPDE方法; (h)本文方法

Fig. 6. Fusion results in Nato_camp. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

下载图片查看原文

图 7. Bunker场景融合结果。(a)可见光图像; (b)红外图像; (c) ResNet50方法; (d) CNN方法;(e) MISF方法;(f) GTF方法; (g) FPDE方法; (h)本文方法

Fig. 7. Fusion results in Bunker. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

下载图片查看原文

图 8. Kaptein_1123场景融合结果。(a)可见光图像;(b)红外图像;(c) ResNet50方法;(d) CNN方法;(e) MISF方法;(f) GTF方法;(g) FPDE方法;(h)本文方法

Fig. 8. Fusion results in Kaptein_1123. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

下载图片查看原文

图 9. Street场景融合结果。(a)可见光图像;(b)红外图像;(c) ResNet50方法;(d) CNN方法;(e) MISF方法;(f) GTF方法;(g) FPDE方法;(h)本文方法

Fig. 9. Fusion results in street. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

下载图片查看原文

表 1融合图像的客观评价结果

Table1. Quantitative evaluation results of fused images

Image	Evaluation index	ResNet50	CNN	MISF	GTF	FPDE	Proposed
	Q^AB/F	0.3392	0.5013	0.5164	0.3760	0.3956	0.4198
	SSIM	0.7788	0.7071	0.7072	0.7006	0.6651	0.7140
Nato_camp	EN	6.2421	6.8738	6.7046	6.6778	6.7720	6.8827
	SF	6.4533	9.9092	10.3942	8.5078	11.4514	11.7740
	SD	22.7142	31.7422	35.2874	26.8623	32.3788	40.6756
	Q^AB/F	0.3083	0.5108	0.6630	0.3775	0.2098	0.5434
	SSIM	0.6718	0.6431	0.6385	0.6164	0.5028	0.6734
Bunker	EN	6.7218	5.7574	6.8649	6.6204	5.8736	6.6752
	SF	7.6464	12.2161	12.2458	9.4461	10.9539	11.1145
	SD	25.9311	37.3248	37.1483	29.7764	19.3612	38.2326
	Q^AB/F	0.3299	0.7008	0.7086	0.4800	0.4797	0.6211
	SSIM	0.6509	0.6248	0.6249	0.6333	0.6349	0.6542
Kaptein_1123	EN	6.5468	7.4723	7.4699	6.7799	6.8712	7.4812
	SF	11.3223	14.5988	14.8649	13.0792	13.1283	11.9718
	SD	32.1839	41.2903	45.9264	30.7441	28.8005	42.6900
	Q^AB/F	0.3831	0.5981	0.5648	0.2829	0.4881	0.4997
	SSIM	0.6796	0.7220	0.7063	0.7037	0.6898	0.7320
Street	EN	5.9321	7.1977	7.0679	6.9581	6.9515	7.2832
	SF	6.9380	8.2210	8.7774	6.4801	8.9939	8.8204
	SD	21.2338	52.2413	40.4968	38.1729	40.5284	57.0357
	Q^AB/F	0.3520	0.6083	0.6150	0.4008	0.4286	0.5985
	SSIM	0.7303	0.7122	0.6994	0.7020	0.6561	0.7440
Average index of 25 images	EN	6.1952	6.7595	7.0775	6.6353	6.5872	7.1726
	SF	8.9380	10.5523	11.1137	9.2140	12.4237	12.5216
	SD	22.2338	42.2896	40.2677	31.5791	32.0257	43.0716

查看原文

陈潮起, 孟祥超, 邵枫, 符冉迪. 一种基于多尺度低秩分解的红外与可见光图像融合方法[J]. 光学学报, 2020, 40(11): 1110001. Chaoqi Chen, Xiangchao Meng, Feng Shao, Randi Fu. Infrared and Visible Image Fusion Method Based on Multiscale Low-Rank Decomposition[J]. Acta Optica Sinica, 2020, 40(11): 1110001.

一种基于多尺度低秩分解的红外与可见光图像融合方法下载： 1179次

图 1. 本文融合算法框架

Fig. 1. Flowchart of the proposed fusion method

图 2. 多尺度低秩分解模型示意图

Fig. 2. Schematic diagram of multiscale low rank decomposition model

图 3. Nato_camp场景红外图像分解示意图

Fig. 3. Schematic diagram of infrared image decomposition in Nato_camp

图 4. 红外与可见光图像显著图示例(基于16×16低秩块分解得到)。(a)红外图像显著性部分T_{v_3}; (b)可见光图像显著性部分T_{r_3}; (c)红外和可见光图像同行位置灰度分布图

Fig. 4. Saliency images examples of infrared and visible images obtained by 16×16 low-rank block decomposition. (a) Saliency part of the infrared image T_{v_3}; (b) saliency part of the visible image T_{r_3}; (c) pixel distribution of infrared and visible images in the same line

图 5. 基于16×16低秩块分解图像融合结果示意图。(a)融合结果F₃;(b)融合图像灰度分布图

Fig. 5. Image fusion results based on 16×16 low rank block decomposition. (a) Fused image F₃; (b) pixel distribution of the fused image

图 6. Nato_camp场景融合结果。(a)可见光图像; (b)红外图像; (c) ResNet50方法; (d) CNN方法; (e) MISF方法; (f) GTF方法; (g) FPDE方法; (h)本文方法

Fig. 6. Fusion results in Nato_camp. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

图 7. Bunker场景融合结果。(a)可见光图像; (b)红外图像; (c) ResNet50方法; (d) CNN方法;(e) MISF方法;(f) GTF方法; (g) FPDE方法; (h)本文方法

Fig. 7. Fusion results in Bunker. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

图 8. Kaptein_1123场景融合结果。(a)可见光图像;(b)红外图像;(c) ResNet50方法;(d) CNN方法;(e) MISF方法;(f) GTF方法;(g) FPDE方法;(h)本文方法

Fig. 8. Fusion results in Kaptein_1123. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

图 9. Street场景融合结果。(a)可见光图像;(b)红外图像;(c) ResNet50方法;(d) CNN方法;(e) MISF方法;(f) GTF方法;(g) FPDE方法;(h)本文方法

Fig. 9. Fusion results in street. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

表 1融合图像的客观评价结果

Table1. Quantitative evaluation results of fused images

关于本站 Cookie 的使用提示

全站搜索

一种基于多尺度低秩分解的红外与可见光图像融合方法 下载： 1179次

图 1. 本文融合算法框架

Fig. 1. Flowchart of the proposed fusion method

图 2. 多尺度低秩分解模型示意图

Fig. 2. Schematic diagram of multiscale low rank decomposition model

图 3. Nato_camp场景红外图像分解示意图

Fig. 3. Schematic diagram of infrared image decomposition in Nato_camp

图 4. 红外与可见光图像显著图示例(基于16×16低秩块分解得到)。(a)红外图像显著性部分Tv_3; (b)可见光图像显著性部分Tr_3; (c)红外和可见光图像同行位置灰度分布图

Fig. 4. Saliency images examples of infrared and visible images obtained by 16×16 low-rank block decomposition. (a) Saliency part of the infrared image Tv_3; (b) saliency part of the visible image Tr_3; (c) pixel distribution of infrared and visible images in the same line

图 5. 基于16×16低秩块分解图像融合结果示意图。(a)融合结果F3;(b)融合图像灰度分布图

Fig. 5. Image fusion results based on 16×16 low rank block decomposition. (a) Fused image F3; (b) pixel distribution of the fused image

图 6. Nato_camp场景融合结果。(a)可见光图像; (b)红外图像; (c) ResNet50方法; (d) CNN方法; (e) MISF方法; (f) GTF方法; (g) FPDE方法; (h)本文方法

Fig. 6. Fusion results in Nato_camp. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

图 7. Bunker场景融合结果。(a)可见光图像; (b)红外图像; (c) ResNet50方法; (d) CNN方法;(e) MISF方法;(f) GTF方法; (g) FPDE方法; (h)本文方法

Fig. 7. Fusion results in Bunker. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

图 8. Kaptein_1123场景融合结果。(a)可见光图像;(b)红外图像;(c) ResNet50方法;(d) CNN方法;(e) MISF方法;(f) GTF方法;(g) FPDE方法;(h)本文方法

Fig. 8. Fusion results in Kaptein_1123. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

图 9. Street场景融合结果。(a)可见光图像;(b)红外图像;(c) ResNet50方法;(d) CNN方法;(e) MISF方法;(f) GTF方法;(g) FPDE方法;(h)本文方法

Fig. 9. Fusion results in street. (a) Visible image; (b) infrared image; (c) ResNet50 method; (d) CNN method; (e) MISF method; (f) GTF method; (g) FPDE method; (h) proposed method

表 1融合图像的客观评价结果

Table1. Quantitative evaluation results of fused images

相关论文

相关资讯

关于本站 Cookie 的使用提示

全站搜索

一种基于多尺度低秩分解的红外与可见光图像融合方法下载： 1179次

图 4. 红外与可见光图像显著图示例(基于16×16低秩块分解得到)。(a)红外图像显著性部分T_{v_3}; (b)可见光图像显著性部分T_{r_3}; (c)红外和可见光图像同行位置灰度分布图

Fig. 4. Saliency images examples of infrared and visible images obtained by 16×16 low-rank block decomposition. (a) Saliency part of the infrared image T_{v_3}; (b) saliency part of the visible image T_{r_3}; (c) pixel distribution of infrared and visible images in the same line

图 5. 基于16×16低秩块分解图像融合结果示意图。(a)融合结果F₃;(b)融合图像灰度分布图

Fig. 5. Image fusion results based on 16×16 low rank block decomposition. (a) Fused image F₃; (b) pixel distribution of the fused image