结合光谱响应函数和全局方差匹配的遥感图像融合 下载: 590次
0 引言
在轨的地球资源光学遥感卫星一般都带有一个高分辨率的全色(High Resolution Panchromatic, HRP)相机和一个低分辨率的多光谱(Low Resolution Multispectral, LRM)相机,特别是对于高分二号(GF-2)、高景一号(SV1)、Worldview、Pleiades等亚米级别的高分辨率光学卫星,HRP和LRM相机是标准配置.遥感图像融合(Image Fusion/Pansharpening)或像素级图像融合是指整合HRP图像的空间细节信息和LRM图像的光谱信息生成一个高分辨率多光谱图像[1].大量的遥感应用既需要高空间分辨率,也需要高光谱分辨率的图像,因此遥感图像融合极大程度扩展了单个HRP或LRM图像的应用潜力.空间分辨率、光谱分辨率和信噪比之间的均衡、星上存储和下传速率的限制等技术原因使得光学遥感卫星一般不直接采集高分辨多光谱图像.由于以上限制,遥感图像融合是解决提供高分辨率多光谱图像的最有效途径.
自1986年SPOT-1卫星发射以来,遥感图像融合一直是遥感领域的研究热点.遥感图像融合算法大体可以分为四类[2]:分量替换(Component Substitution, CS)[3]、多分辨率分析(Multiresolution Analysis, MRA)[4]、组合方法[5](结合CS和MRA)和基于模型的算法(Model Based Algorithms, MBA)[6].在遥感图像融合方法中,最有吸引力的是CS方法,它易于实现并且高效[7].传统的CS融合方法包括亮度-色度-饱和度(Intensity Hue Saturation, IHS)方法[8]、Brovey方法[9]、主成分分析(Principal Component Analysis, PCA)方法[10]和Gram-Schmidt(GS)方法[11]等.这些融合方法,图像空间细节保持较好,易于实现、运算快速,但是容易造成明显的光谱扭曲[2].为了改善融合结果的光谱扭曲情况,后续的CS融合方法,主要在替换分量的构造上进行了改进 [7, 12].窦闻等[13-14]提出了通用分量替换 (General Component Substitution, GCOS) 融合框架,指出了分量替换融合方法的理论实质和改进方向.基于GCOS融合框架,分量替换融合方法主要在于提取空间细节信息 (构造强度分量)和确定合适的空间细节调制参数.
改进的分量替换融合方法使用权重系数线性组合多光谱各波段构建强度分量,而权重系数一般由对全色和多光谱图像本身或其光谱响应函数进行多元线性回归(最小二乘法)分析得到[7, 13-15],这样做存在两个问题:1) 对于基于图像的最小二乘法分析,图像上的过饱和点和奇异点需要滤除;2) 最小二乘法分析得到的系数有时会出现负值[16]或某个波段对应的系数非常小,在物理意义或理论上缺乏合理解释.另外由于该系数和空间细节调制参数的点积的约束条件为1,也会影响空间细节调制参数的确定.
对于遥感图像融合方法,空间增强、光谱保持和速度都是关键问题[13].本文使用光谱响应函数,基于全色和多光谱传感器对辐射能量响应的比例关系来构造强度分量,强度分量的构造与传感器的辐射特性有关,物理意义明确,同时在确定空间细节调制参数时使用全局协方差和方差之比来计算,满足GCOS融合框架数学形式上的约束条件.
1 通用融合框架
分量替换的融合方法,其发展经历了两个阶段:传统的分量替换融合和通用分量替换融合框架.传统的分量替换融合方法可分为三步,正向线性变换、分量替换和反向线性变换.窦闻等[13]提出的通用分量替换融合框架相对于传统方法更简单和灵活,传统的分量替换方法均可统一到该框架之下,该融合框架的实现主要在于确定如何构建强度分量和空间细节调制参数.
1.1 传统的分量替换融合
传统的分量替换融合方法的基本步骤和数学表示为[13]:1) 通过线性变换将LRM图像从光谱空间转换为其它特征空间,即
式中,为特征空间第i分量,第一分量表示为,为LRM图像的第i个波段,为LRM图像;2) 用从HRP图像得到的空间分辨率更高的来替换第一分量;3) 逆变换(相对于步骤1)的变换)回光谱空间得到高分辨率的融合结果,即
式中,是融合后的高分辨率多光谱图像,是融合后图像的第i个波段,是从HRP图像得到的替换分量,
1.2 通用分量替换融合框架
窦闻等[13]提出了GCOS融合框架,通过数学推导在理论上证明了分量替换融合方法的统一数学形式.
反向变换的式(2)可以重新写为
令, , ,则可以得到
式(4)是GCOS融合框架的数学表达形式,表明融合后高分多光谱图像由LRM图像和空间细节组成,是空间细节调制参数,式(5)是它的一个约束条件,是的逆变换,因此两者乘积为1.
GCOS融合框架的数学形式表明,确定了和就可以进行图像融合;不恰当的和会导致不合适的融合结果,当(等价)确定后并不能完全确定,对的唯一约束是式(5),还需要额外的信息来确定.
2 遥感图像融合方法
本文提出的结合光谱响应函数和全局方差匹配的遥感图像融合(Spectral Response Function and Variance Matching, SRF-VAR)方法基于GCOS融合框架,其数学表达式为
式中,是高分辨率多光谱图像,即融合结果,是LRM图像空间分辨率上采样(upsampling)到与HRP一致得到的图像,
如图1,融合步骤为:1) 使用绝对辐射定标系数将HRP和LRM图像的像元亮度值(Digital Number, DN)转换为物理量辐亮度得到和;2) LRM图像重采样为HRP图像的空间分辨率,得到图像;3) 基于光谱响应函数得到图像各波段权重系数
2.1 光谱响应函数
光谱响应函数(Spectral Response Function, SRF)指的是传感器在每个波长处,接收的辐亮度与入射的辐亮度的比值(见图2).由于传感器硬件的限制,传感器在某个预定波长范围内的响应不可能是100%.OTAZU X指出传感器的光谱响应函数定义了该传感器检测到给定频率的光子的概率,从概率的角度对全色和多光谱传感器对辐射能量响应的比例关系进行了数学推导和分析[17].
高分全色传感器的SRF记为,低分多光谱传感器第i波段的SRF记为;令事件和p分别为低分多光谱和高分全色传感器对光子的探测,两个事件的概率分别为
事件和p同时发生的概率为
某频率处光子被低分多光谱探测到的情况下,同时被高分全色探测到的概率,即事件已发生的情况下p发生的条件概率为
从几何直观来理解,事件和p的概率可以解释为它们对应SRF曲线下的区域面积(见图2);用式(12)计算蓝光波段(波段1)探测到光子的条件下全色波段也探测到光子的条件概率,可以等价为蓝光波段和全色波段SRF曲线下共同覆盖区域(交集)的面积和蓝光波段SRF曲线下区域的面积的比值.
因此在全色和多光谱的光谱波段范围基本重叠的情况下,可以用式(13)计算得到的多光谱各波段归一化后权重系数来模拟低分全色图像.
式中,为第i波段的权重系数.
依据式(13)和GF-2、SV1卫星的光谱响应函数,可以计算得到GF-2和SV1卫星多光谱图像模拟全色图像的各波段权重系数,具体见表1.在使用本文提出的融合方法时,针对GF-2和SV1卫星不同的传感器图像可直接使用表1中的系数(固定常量).
表 1. 高分二号和高景一号卫星多光谱模拟全色的各波段权重系数
Table 1. The weight coefficients of each band in multispectral simulation panchromatic of GF-2 and SV1 satellite
|
2.2 全局方差匹配
空间细节调制参数
3 融合结果和分析
用多颗星的数十景图像(包括云/薄雾图像)进行本文方法的融合测试,融合图像目视良好稳定,未出现异常.为了验证和评估本文SRF_VAR方法,选取了主流商业遥感图像处理软件ERDAS和ENVI提供的3种融合方法进行对比.对比方法均为实际使用过程中效果较好的融合方法,其中GS方法来自ENVI软件,高通滤波(High Pass Filter, HPF)和PCA方法来自ERDAS软件,3种用于对比的融合方法用软件默认的参数设置;融合采用的遥感数据为GF-2和SV1卫星图像.融合结果分别从定性和定量两方面去对比分析和评价,主要评判融合图像的空间细节保持和光谱信息扭曲程度.
3.1 遥感图像
由于篇幅所限,用于评价的遥感数据有两个图像对(全色和多光谱),分别为GF-2和SV1卫星图像,它们的成像时间、地理位置以及主要地物类型均有差异.
GF-2卫星是中国自主研制的首颗空间分辨率优于1 m的民用光学遥感卫星,其全色和多光谱图像星下点分辨率分别为0.8 m和3.2 m.使用的GF-2卫星图像成像时间为2015年1月4日,位于中国河北张家口,全色图像大小为10 000×10 000像元.该图像上的地物类型包括:建筑物、耕地、林地、草地、水体、裸地等.
SV1卫星是中国首个具备高敏捷、多模式成像能力的商业卫星星座,在轨有4颗星,其全色和多光谱图像星下点分辨率分别为0.5 m和2.0 m.使用的SV1-03卫星图像成像时间为2019年11月15日,位于中国上海市区,全色图像大小为10 000×10 000像元.该图像位于城市的核心区,主要为密集的建筑物,同时也有植被和水体.
SRF_VAR法使用Python编程实现,不考虑正射、配准和重采样步骤时间(与融合算法无关),10 000×10 000像元大小的图像融合时间为50~60 s,最终融合结果数据量763 MB,测试环境为ThinkPad T470p笔记本电脑(处理器为Intel I7-7700,内存16 GB).
3.2 定性评价
定性评价(或主观评估)采用两种方式来对比分析融合图像,一是对原始图像和不同方法的融合图像进行人工目视判读,分析图像的纹理或颜色信息是否一致,清晰度是否降低,简单直观;二是使用空间剖面线图,比较原始图像和融合图像同一空间位置的剖面线的变化,评估空间细节和光谱信息的保持.
为了避免目视判读评价的偏差,原始图像和不同方法融合结果的展示对比图均采用相同的图像增强方式,2%的线性拉伸.GF-2和SV1的多光谱均为4个波段,为显示每个波段,选择了真彩色(波段321组合)和假彩色(波段432组合)两种展示方式.由于版面限制,图3和图4展示的均为从10 000×10 000像元的图像中截取的局部图像,大小为512×512像元.在空间细节方面,图3中GF-2数据4种融合方法结果图像相对于全色图像比较一致,无肉眼可见的差异;图4中SV1数据融合结果图像,GS、SRF-VAR和PCA相对全色图像比较一致,无明显差异,但是HPF方法的融合结果出现了振铃效应和模糊现象,其图像细节显示有所降低,该现象出现的原因是HPF方法对全色和多光谱图像的配准精度比较敏感.光谱保持方面,图3和图4中,HPF和SRF-VAR融合图像的色彩与多光谱图像较为接近,几乎一致;GS和PCA融合图像与多光谱图像相比,颜色偏差也不大,但总体偏深和偏暗.总的来说,SRF-VAR方法的融合结果在空间细节和光谱保持方面分别与原始的全色和多光谱图像都最为接近,几乎一致.
图 3.
Fig. 3. Panchromatic, multispectral and fusion images of GF-2 PMS1 (false color composite)
图 4.
Fig. 4. Panchromatic, multispectral and fusion images of SV1-03 satellite (true color composite)
空间剖面线图可以在空间上比较图像各波段灰度值(光谱信息)的变化,选取图3数据GF-2图像正中间的行剖线(x方向),共512个像元,穿过农田、树木、停车场、房屋、道路和河流,图5展示的是GF-2图像原始多光谱和全色、4种不同融合方法结果图像(第3和4波段)的剖面线对比,原始全色图像剖面线的频率与4种融合图像的频率之间几乎没有区别,但是仔细比较后可以发现SRF_VAR图像与全色图像的剖面线有更好的一致性;原始多光谱图像与4种融合图像的剖面线变化趋势(波峰和波谷)一致,但SRF_VAR图像剖面线的振幅(像元值)相比其它融合图像更接近原始多光谱图像,SRV_VAR图像与原始多光谱图像的剖面线显示出更强的相关性.SV1图像的结果类似,波段1和2也类似,文中不重复展示.
3.3 定量评价
定量评价(或客观评估)基于数学模型和公式,是指通过使用一组预定义的质量指标来测量融合图像与原始图像之间的光谱和空间相似性[18].融合图像定量评价的指标可以分为两类,有参考图像的指标和无参考图像的指标.融合结果的参考图像不易得到,一般采用Wald提出的方法[19],通过降低全色和多光谱图像的分辨率进行融合,用原始多光谱图像作为参考图像,但是该方法暗含的假设是融合的性能随尺度变化是不变的.本文使用较流行的无需参考图像的质量评价指标 (Quality with No Reference, QNR) [20]来评估和对比不同方法的融合图像.
3.3.1 定量评价指标
结合光谱扭曲指数和空间畸变指数计算得到的QNR指数,可以较为全面地衡量融合图像的效果.QNR指数值越大,融合图像质量越高,最大值为1,表示相对原始多光谱图像无光谱扭曲和相对全色图像无空间畸变.
为计算QNR,首先定义质量指数Q,后续的指标计算基于Q,其计算公式为
式中,为图像数组
其次分别计算光谱扭曲指数和空间畸变指数,计算公式分别为
式中,L为多光谱的波段数,为融合后的图像,为LRM图像,
最后计算QNR指数
式中,和为增强指数,值一般取1.
3.3.2 评价结果
对4种融合方法生成的GF-2和SV1融合图像(10 000×10 000像元)计算了不需要参考图像的定量评价指标QNR,结果见表2.如果分开看光谱扭曲指数和空间畸变指数,对于GF-2图像,SRF-VAR方法的光谱扭曲和空间畸变值均为最小,表明相对于原始的LRM和HRP图像,光谱保持和空间细节保持较好;对于SV1图像,GS方法的光谱扭曲指数最小,SRF-VAR方法次之,但是值与GS方法相当接近,同时SRF-VAR方法的空间畸变指数最小.整体考虑光谱扭曲和空间畸变,从QNR指标来看,对于GF-2和SV1的融合图像,SRF-VAR方法的QNR值最高,表明融合质量最佳,其次是GS方法、HPF方法,PCA方法的融合质量最差.
表 2. 不同融合图像的定量指标比较
Table 2. Comparison of quantitative indexes of different fusion images
|
4 结论
本文提出的结合光谱响应函数和全局方差匹配的遥感图像融合方法,基于通用分量替换融合框架,在强度分量的构造上使用了光谱响应函数,但避免了最小二乘法所导致的负值或较小值系数的问题,空间细节调制参数的确定顾及了图像全局方差,减小了光谱畸变.与多种成熟的图像融合方法比较表明,本文方法的融合图像空间细节和光谱保持俱佳.本文方法数学公式较为简洁,强度分量的构造系数根据光谱响应函数可预先确定(常量),细节调制参数基于图像本身确定,图像融合计算公式为数组的四则运算,从理论上分析图像融合计算效率很高,初步实现结果也表明融合速度较快,适合工程化实现和应用.需要指出的是,本方法强度分量构造的方式要求全色和多光谱图像的光谱范围基本重叠,大多数光学遥感卫星图像满足此条件,对于两者光谱范围不重叠或重叠度较小的波段图像,本方法不适用.
[1] ZHANG Yun. Understanding image fusion[J]. Photogrammetric Engineering and Remote Sensing, 2004, 70(6): 657-661.
[2] GHASSEMIAN H. A review of remote sensing image fusion methods[J]. Information Fusion, 2016, 32: 75-89.
[3] CHOI J, YU K, KIM Y. A new adaptive component-substitution-based satellite image fusion by using partial replacement[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 49(1): 295-309.
[4] JOSHI M V, BRUZZONE L, CHAUDHURI S. A model-based approach to multiresolution fusion in remotely sensed images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(9): 2549-2562.
[5] CHENG Jian, LIU Hai-jun, LIU Ting. Remote sensing image fusion via wavelet transform and sparse representation[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2015, 104: 158-173.
[6] HUANG Bo, SONG Hui-hui, CUI Heng-bin. Spatial and spectral image fusion using sparse matrix factorization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 52(3): 1693-1704.
[7] AIAZZI B, BARONTI S, SELVA M. Improving component substitution pansharpening through multivariate regression of MS+Pan data[J]. IEEE Transactions on Geoscience & Remote Sensing, 2007, 45(10): 3230-3239.
[8] ZHOU Xi-ran, LIU Jun, LIU Shu-guang. A GIHS-based spectral preservation fusion method for remote sensing images using edge restored spectral modulation[J]. ISPRS Journal of Photogrammetry & Remote Sensing, 2014, 88: 16-27.
[9] 周会珍, 吴双, 毛德发. 多卫星传感器数据的Brovey融合改进方法[J]. 遥感学报, 2012, 16(2): 343-360.
ZHOU Hui-zhen, WU Shuang, MAO De-fa. Improved Brovey method for multi-sensor image fusion[J]. Journal of Remote Sensing, 16(2): 343-360.
[10] GONZALEZ-AUDICANA M, SALETA J L, CATALAN R G. Fusion of multispectral and panchromatic images using improved IHS and PCA mergers based on wavelet decomposition[J]. IEEE Transactions on Geoscience and Remote Sensing, 2004, 42(6): 1291-1299.
[11] YILMAZ V, YILMAZ C S, OGUZ G. A genetic algorithm solution to the gram-schmidt image fusion[J]. International Journal of Remote Sensing, 2020, 41(4): 1458-1485.
[12] 张静, 陈宏涛, 刘帆. 结合多元经验模态分解和加权最小二乘滤波器的遥感图像融合[J]. 光子学报, 2019, 48(5): 0510003.
[13] DOU Wen, CHEN Yun-hao, LI Xiao-bing. A general framework for component substitution image fusion: an implementation using the fast image fusion method[J]. Computers & Geosciences, 2007, 33(2): 219-228.
[14] 窦闻, 陈云浩, 何辉明. 光学遥感影像像素级融合的理论框架[J]. 测绘学报, 2009, 2: 41-47.
DOU Wen, CHEN Yun-hao, HE Hui-ming. Theoretical framework of optical remotely sensed image fusion[J]. Acta Geodaetica et Cartographica Sinica, 2009, 2: 41-47.
[15] 窦闻, 孙洪泉, 陈云浩. 基于光谱响应函数的遥感图像融合对比研究[J]. 光谱学与光谱分析, 2011, 31(3): 172-178.
DOU Wen, SUN Hong-quan, CHEN Yun-hao. Comparison among remotely sensed image fusion methods based on spectral response function[J]. Spectroscopy and Spectral Analysis, 2011, 31(3): 172-178.
[16] 王忠武, 赵忠明. 基于约束最小二乘的光学遥感图像融合[J]. 遥感信息, 2009, 4: 16-18.
WANG Zhong-wu, ZHAO Zhong-ming. Pan-sharpening algorithm based on constrained least squares of optical remote sensing images[J]. Remote Sensing Information, 2009, 4: 16-18.
[17] OTAZU X, GONZALEZ-AUDICANA M, FORS O. Introduction of sensor spectral response into image fusion methods. Application to wavelet-based methods[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43(10): 2376-2385.
[19] WALD L, RANCHIN T, MANGOLINI M. Fusion of satellite images of different spatial resolutions: assessing the quality of resulting images[J]. Photogrammetric Engineering and Remote Sensing, 1997, 63: 691-699.
[20] ALPARONE L, AIAZZI B, BARONTI S. Multispectral and panchromatic data fusion assessment without Reference[J]. Photogrammetric Engineering & Remote Sensing, 2008, 74(2): 193-200.
Article Outline
李俊杰, 傅俏燕, 姜涛. 结合光谱响应函数和全局方差匹配的遥感图像融合[J]. 光子学报, 2020, 49(10): 1010001. Jun-jie LI, Qiao-yang FU, Tao JIANG. Remote Sensing Image Fusion Based on Spectral Response Function and Global Variance Matching[J]. ACTA PHOTONICA SINICA, 2020, 49(10): 1010001.