AGRI遥感图像中条带噪声的分析与去除 下载: 1281次
1 引言
星载红外线列扫描成像系统常受到条带噪声的干扰,国内外科研人员对这一现象的成因进行了一定的研究[1-5]。多通道扫描成像辐射计(AGRI)是静止轨道气象卫星FY-4A星的主要载荷之一,AGRI某些红外通道的遥感图像会受到条带噪声的干扰,条带噪声会降低遥感图像的质量和数据的可利用性,并限制后端产品的精度。例如,利用含条带噪声的多通道扫描成像辐射计(AGRI)红外波段数据生成的L2级温度产品中同样发现有条带噪声的干扰。因此,使用合理有效的去条带处理来提升AGRI数据质量的工作就显得尤为必要。
近几十年来,科研人员针对不同的卫星载荷提出过许多规避和抑制条带噪声的方法,这些方法主要可分为两类:基于载荷工作模式的方法和基于后期图像处理的方法。基于载荷工作模式的方法主要包括相对辐射定标、扫描角响应校正和消除背景信号等[6-7],这类方法可有效规避条带噪声的产生,但是这些操作往往受限于硬件水平,且需要折中考虑遥感系统的其他各项指标。基于后期图像处理的方法主要包括数字滤波法[8-11]、增益估计法[12]、匹配法[13-16]、变分法[17-21]、图像分解法[22-23]等。其中:数字滤波方法一般只适用于周期性的条带噪声,且在处理时图像中与条带噪声频率相同的结构细节将会不可避免地受到影响,从而降低遥感图像的分辨率和辐射测量精度;增益估计法基于像元的场景响应特性统计,自适应地估计每个像元的增益系数,但当像元响应曲线为非线性曲线时,去噪效果不佳;匹配法主要有直方图匹配、矩匹配两类以及相应的改进方法,此类方法不会影响测量精度,但其应用却受限于“探测器各像元场景响应需高度相似”这一前提,当子图像噪声严重时,抑噪效果有限;变分法是主要基于能量泛函的最优化模型,在抑制条带噪声的同时能够保护图像边缘,去噪效果较好,但如果变分模型不完全匹配噪声特性,则容易出现阶梯效应,影响图像精度;图像分解法一般是通过低秩约束的方法从含噪图像中提取具有低秩特性的条带噪声成分,并进行剔除,但当探测器时序噪声严重时,条带噪声的去除效果不佳。以上各类去条带方法的应用均会受到一定的限制,并且去噪能力有限,容易损失原始图像的信息。AGRI遥感数据常被用于反演多种定量化产品,因此,如何有效去除条带噪声并保留原始数据信息是本文思考的难点和关键问题。
本文对AGRI条带噪声的潜在成因进行分析后建立了图像退化模型,在此基础上提出了一种基于直方图匹配和各向异性全变分相结合的去条带(HMATV)方法。直方图匹配运算过程中,利用各探测器像元场景响应具有相似性的约束,抑制严重的像元间的非均匀响应,使用多像元叠加求得参考图像,有效克服了单像元参考图像引起的匹配偏差;各向异性全变分正则化则利用条带噪声的方向特征去除残余的条带噪声,在正则化运算中,使用分裂Bregman迭代可快速有效地得到估计信号。使用不同方法对风云四号AGRI含条带噪声图像进行了处理,结果表明,与其他方法相比,本文方法具有更理想的条带噪声去除效果。
2 条带噪声分析与建模
2.1 噪声成因分析
考虑一般线性响应的红外探测器响应模型为[6]
式中:DN为仪器中探测器像元的数字输出值;Gain为探测器后端信号处理电路的增益;Δt为时间间隔;L(λs,T)为辐射源的辐射出射度,λs和T分别为波长和时间;Rs(λs)为探测器像元的相对光谱响应度;θ为传感器对入射源的角度;As为入射面积;ωs为探测器入射孔径在入射源方向的立体角;dλs为波长间隔。
由于制作工艺和材料本身特性的限制,红外探测器的各个像元很难具有完全一致的光谱响应函数(RSR),如
图 1. AGRI 13.5 μm探测器不同像元的光谱响应曲线
Fig. 1. RSR of different pixels of detector in AGRI at 13.5 μm
条带噪声的产生还与探测器各像元自身的响应特性有关,
图 2. 受条带影响的AGRI局部遥感图像。(a) 5.8 μm波段;(b) 6.9 μm波段;(c) 13.5 μm波段
Fig. 2. AGRI local remote sensing images affected by stripe noise. (a) 5.8 μm band; (b) 6.9 μm band; (c) 13.5 μm band
图 3. AGRI 13.5 μm波段探测器4个像元分别所成子图像。 (a)第1像元子图像;(b)第2像元子图像;(c)第3像元子图像;(d)第4像元子图像
Fig. 3. Sub-images of four pixels of detector in AGRI at 13.5 μm band. (a) Sub-image of No. 1 pixel; (b) sub-image of No. 2 pixel; (c) sub-image of No. 3 pixel; (d) sub-image of No. 4 pixel
2.2 图像退化模型
构建准确合理的图像退化模型,对于建立去噪效果和原始信息保护能力俱佳的去条带模型至关重要。基于以上对AGRI条带噪声成因的分析,本文将AGRI图像条带现象理解为两种加性噪声引起的图像退化。条带噪声引起的原始信号退化模型可以表示为
式中:m,n代表AGRI所成图像中某一像素所处的行号和列号;f(m,n)为AGRI输出图像;u(m,n)为观测区域原始的真实图像;s(m,n)表示由像元光谱响应函数不一致引起的响应偏差;n(m,n)表示由像元噪声以及背景漂移引起的偏差;s(m,n)与n(m,n)之和统称为条带噪声。
(2)式所示的退化模型相比于单一成分的加性噪声模型,将系统中两个不同原因造成的噪声成分区分讨论,这为本文建立去条带模型提供了更清晰的思路。由引言内容可知,基于不同方法的去条带算法具有不同的适用对象和去条带效果。直方图匹配对于由探测器各像元光谱响应函数不一致引起的响应偏差具有较好的抑制效果,但当参考图像噪声严重时,抑噪效果有限,所以,为保证其稳健性,需对传统直方图匹配算法进行改进或进行进一步处理。变分类方法对图像中复杂的非周期条带噪声具有较好的去除效果,其应用难点主要是选择合适的正则化项,以便在去除噪声的同时保护图像的细节信息。本文通过分析AGRI图像退化模型中两类噪声均适用的去除方法,建立了基于改进型直方图匹配与各向异性全变分正则化相结合的去条带模型。
3 条带噪声去除算法的设计
3.1 直方图匹配
直方图匹配适用的前提条件是,在大的观测场景下,每个探测器像元所观测到的地球场景辐射强度大致相似。FY-4A星AGRI受条带噪声影响的三个通道的探测器均为四元线列探测器,单像元的空间分辨率为4 km,结合对应地表和空间云层辐射特性分析,并对比国外同类卫星的相似波段数据,可得AGRI探测器4个像元观测到的实际场景辐射非常相近,符合直方图匹配处理的条件。以往文献中通常制定一定的评价指标,选择线列探测器中最佳的参考像元[14]。但根据前文的分析可知,AGRI探测器不同像元的响应特性具有不同程度的偏差,若只选择其中一个像元所成的子图像作为参考图像,将会降低直方图匹配算法的稳健性,且容易引入误差。本文将4个像元所成的子图像对应叠加求平均,求得参考图像,这样可大大降低单个像元随机噪声对匹配效果的影响。
直方图匹配即为输入图像创建一个查找表,将输入图像的累积分布函数(CDF)与参考图像的CDF相匹配,使输入图像的原始灰度值转变至新的灰度值。考虑输入图像(线列探测器某一像元所成子图像v),它具有概率密度函数pv(a),在该图v中某一特定灰度值a出现的概率为
式中:na为灰度值a出现的次数;n'为图像中的像素总数。由此可得输入图像v的累积分布函数为
式中:i为求和过程中使用的变量,表示v中某一灰度值;L为图像的灰度级,本文中因为AGRI图像是12位数据,所以L=4096。
参考图像r的累积分布函数为
式中:z为参考图像r中某一灰度值;j为求和过程中使用的变量,表示r中的某一灰度值。
直方图匹配,即对于输入图像v与参考图像r应该满足
由此可得到输入图像经直方图匹配修正后的灰度值为
将4个像元所生成的子图像分别与参考图像进行直方图匹配处理后,再将4个像元对应的子图像拼接成完整的图像。经直方图匹配处理后的图像虽然仍有残余条带干扰,但有效抑制了各像元响应不均匀引起的条带噪声,同时保护了图像的原始响应值,保证了处理的精度,这为后续处理提供了良好的基础。
3.2 各向异性全变分正则化
经直方图匹配处理后的图像f存在残留条带噪声,正则化的目的是将图像f恢复为无条带噪声的清晰图像u。本文使用能量泛函最优化模型去除图像f中的残余条带噪声,根据最优化理论,建立去条带能量模型为
式中:
使用能量泛函最优化模型的关键问题是构建合适的正则化项来约束图像的条带噪声,在不断优化求解过程中既可去除条带噪声,又能保护图像的原始信息。在过去几十年中,基于全变分正则化的优化算法,在图像去噪和图像恢复等方面均有较好的应用,Rudin等[24]最初介绍的ROF(Rudin-Osher-Fatemi)全变分(TV)模型为
式中:
实验证明,传统的ROF各向同性全变分模型对消除一般的图像随机噪声是有效的,且具有良好的保护图像边缘的能力。与一般的图像噪声不同,本文研究对象中的条带噪声表现出显著的结构特征。若使用各向同性全变分模型,则条带噪声很容易被视为图像边缘,结果将使得去条带模型在去除条带的同时损坏有价值的图像细节信息,从而在图像中引入模糊的伪影[18]。为了说明条带的方向特性,
图 4. 受条带影响的图像在不同方向上的梯度图。(a)垂直方向; (b)水平方向
Fig. 4. Gradient maps of images with stripes in different directions. (a) Vertical direction; (b) horizontal direction
针对此现象,考虑在约束垂直方向上梯度的同时,应尽量保留原始图像水平方向上的梯度信息,由此本文提出将传统的各向同性的全变分模型(9)修改为各向异性的全变分模型:
式中:λ1和λ2均为正则化系数。用(10)式代替(8)式中的正则化项,得到关于信号u的能量泛函的最终表达式为
等号后第一项是用以计算估计图像与输入图像的差值图像的F范数,是用来约束估计图像与原始图像相似性的保真度项;第二项是用于约束差值图像在水平方向上梯度的L1范数,此操作旨在保护水平方向的梯度信息;第三项则是用于约束估计图像垂直方向梯度的L1范数,可使垂直于条带方向上的梯度更加平滑。
因为(11)式中包含有L1范数这一不可微项,若使用梯度下降法求解最小值将存在局部最优解、计算复杂度高的问题。考虑到分裂Bregman迭代法对含有L1范数的能量泛函具有收敛速度快且具有最优解的特点,本文使用分裂Bregman迭代计算本文的极小化能量泛函。首先引入辅助变量dx=
利用分裂Bregman迭代将(12)式转化为无约束公式:
式中:bx、by为全变分约束在分裂Bregram中的中间变量;α、β为不同方向的权重因子。使用交替最小化方法,固定其他变量,迭代优化其中的一个变量。由此可以将函数(13)分解为三个分别涉及u、dx、dy的最小化子问题。其中与u相关的能量泛函为
因为此处E(u)是凸函数,uk+1可通过令E(uk)一阶导为零的方式求得,即
以同样方式可以得到其他变量的表达公式为
其中,
式中:shrink函数的意义是取软阈值运算。
3.3 算法实现步骤
基于改进型直方图匹配与各向异性全变分相结合的去条带模型,先后利用模型中两个子模型去除条带噪声,该算法实现的主要步骤如下:
1) 将AGRI原始图像分解,得到各个像元对应的子图像;
2) 将各个子图像对应叠加求平均,得到用于直方图匹配的参考图像;
3) 将各个子图像与参考图像作直方图匹配处理后,再将各子图像拼接为完整的图像,此图像将作为下一部分正则化处理的输入图像;
4) 设置正则化公式中的各系数值λ1、λ2、α、β,并初始化各变量值u0、dx、dy、bx、by、ε,其中ε为根据需要设置的误差量;
5) 使用分裂Bregman迭代公式,分别计算
6) 计算‖uk+1-uk‖F,并将其与所设阈值ε进行比较,当‖uk+1-uk‖F>ε时,继续迭代计算新的uk+1,当‖uk+1-uk‖F≤ε时,停止迭代,最新的uk+1即为最终计算得到的清晰图像。
4 实验与分析
4.1 评价指标
为了客观分析本文所提方法的去噪能力和对原始信息的保护能力,引入了定性和定量评价指标。定性评价指标包括图像视觉效果、纵向平均功率谱以及纵向平均值曲线,定量评价指标包括降噪比(NR,NR)、变异逆系数(ICV,ICV)和平均相对偏差(MRD,MRD)[17]。
降噪比用以描述条带噪声在图像频域的衰减效果,降噪比越大表明噪声的去除效果越好。降噪比的表达式为
式中:N0为输入图像中条带噪声频率分量的功率;N1为去条带后的图像中条带噪声频率分量的功率。
变异逆系数用以计算图像均匀区域的条带噪声水平,变异逆系数越大表明去噪效果越好。变异逆系数的表达式为
式中:Ra为图像均匀区域的平均信号响应,其值等于给定窗口内的所有像素值的平均值;Rsd为窗口内像素的标准差,用以估计窗口内的噪声分量。
平均相对偏差用于评估去条带算法在受条带影响较小的图像区域对原始数据造成的失真程度,平均相对偏差越小表示去条带算法对原始数据造成的失真越小。平均相对偏差的表达式为
式中:gq为原始图像的像素值;
4.2 AGRI数据的去噪处理
为了验证所提方法的有效性,本文对AGRI受条带噪声干扰的三个红外通道数据均进行了处理,但研究发现各通道的条带噪声特性具有相似性,所以文中仅对具有代表性的、也是条带噪声最严重的13.5 μm波段的图像进行说明。
图 5. 从13.5 μm波段原始图像提取的局部图像以及使用不同去条带方法处理后的图像。(a)原始图像;(b) HM法;(c) WFAF方法;(d) SSGE方法;(e) UTV方法;(f)本文方法
Fig. 5. Partial image extracted from original image at 13.5 μm band and images after removing stripes by different methods. (a) Original image; (b) HM; (c) WFAF; (d) SSGE; (e) UTV; (f) proposed method
图 6. 13.5 μm波段原始图像以及将不同方法处理后图像的纵列平均功率谱。(a)原始图像;(b) HM法;(c) WFAF法;(d) SSGE法;(e) UTV法;(f)本文方法
Fig. 6. Original image at 13.5 μm band and longitudinal mean power spectra of images processed by different methods. (a) Original image; (b) HM; (c) WFAF; (d) SSGE; (e) UTV; (f) proposed method
功率谱体现了信号功率在频域的分布情况。探测器像元响应率不一致造成的条带噪声在纵向平均功率谱中表现为凸起脉冲,而随机噪声造成的条带噪声在功率谱图中则表现为高频部分的毛刺。从
降噪比、变异逆系数和平均相对偏差用来进一步量化不同方法的去噪能力和对原始图像信息的保护能力。由
图 7. 13.5 μm波段原始图像以及经不同方法处理后的图像的纵向平均值。(a)原始图像;(b) HM法;(c) WFAF法;(d) SSGE法;(e) UTV法;(f)本文方法
Fig. 7. Original image at 13.5 μm band and longitudinal mean values of images processed by different methods. (a) Original image; (b) HM; (c) WFAF; (d) SSGE; (e) UTV; (f) proposed method
表 1. 不同方法处理后各波段数据的降噪比
Table 1. NR of each band after processing by different methods
|
表 2. 不同方法处理后各波段数据的变异逆系数
Table 2. ICV of each band after processing by different methods
|
表 3. 不同方法处理后各波段数据的平均相对偏差
Table 3. MRD of each band after processing by different methods
|
4.3 实验结果分析
以上实验结果表明,对于AGRI复杂的条带噪声,HM法虽未能达到理想的图像质量要求,但其对像元响应不一致造成的条带噪声具有较好的抑制作用,且不会影响测量精度,有效地保护了图像的原始细节信息,为后续再处理提供了良好基础。UTV方法可明显改善图像的目视效果,但却破坏了图像的原始信息,造成此现象的主要原因是由于UTV模型中的正则项具有过强的约束,这不利于保护图像的原始信息。对UTV进行改进得到了本文中使用的子模型各向异性全变分(ATV)方法,该方法在抑制垂直方向噪声的同时,对水平方向的原始信息具有更好的保护能力。但从
图 8. 13.5 μm波段原始图像以及不同方法处理后图像的纵列平均值
Fig. 8. Original image at 13.5 μm band and longitudinal mean values of images processed by different methods
本文在分析验证直方图匹配和各向异性全变分模型对AGRI条带噪声的主要贡献及不足后,建立了改进型直方图匹配与各项异性全变分模型相结合的条带噪声去除模型。本文所提方法可同时去除像元响应不一致造成的条带噪声和像元随机噪声造成的条带噪声,并且对原始图像信息具有更优异的保护能力,定性和定量的评价指标均优于其他已有的去噪方法或者单一的各向异性全变分模型。在AGRI另外两个波段的图像处理结果中也可以得出同样的结论。
5 结论
本文首先分析了AGRI条带噪声的主要成因,建立了条带噪声造成的图像退化模型。在此基础上,提出了一种基于直方图匹配与各向异性全变分正则化相结合的去条带噪声(HMATV)方法。此方法首先利用改进型的直方图匹配抑制像元间的非均匀性响应,接着在各向异性全变分的框架下,利用分裂Bregman迭代快速得到最优的去噪图像。使用多种定性和定量指标对不同方法的处理结果进行了对比分析,结果证明本文所提方法优于其他前沿的去条带方法。本文方法在去除AGRI遥感图像条带噪声的同时,可以有效保护原始数据的细节信息。本文成果对风云四号A星AGRI后期数据处理具有一定的参考价值,尤其是对遥感图像相关的气象产品具有一定的帮助。但基于本文方法处理后的数据的绝对定标精度及稳定性还需要进一步验证,这对于气象遥感数据定量化应用至关重要,这也将是笔者下一步的工作。
[1] Pearlman A J, Padula F, Cao C Y, et al. The GOES-R Advanced Baseline Imager: detector spectral response effects on thermal emissive band calibration[J]. Proceedings of SPIE, 2015, 9639: 963917.
[15] 韩玲, 董连凤, 张敏, 等. 基于改进的矩匹配方法高光谱影像条带噪声滤波技术[J]. 光学学报, 2009, 29(12): 3333-3338.
[19] Wang M, Huang T Z, Zhao X L, et al. A unidirectional total variation and second-order total variation model for destriping of remote sensing images[J]. Mathematical Problems in Engineering, 2017, 2017: 4397189.
[20] 周达标, 李刚, 王德江, 等. 基于全变分的航空图像条带噪声消除方法[J]. 光学学报, 2014, 34(11): 1128003.
[21] 刘亚梅. 基于自适应单向变分的高光谱图像去条带方法[J]. 激光与光电子学进展, 2016, 53(9): 091002.
[23] 鞠荟荟, 刘志刚, 姜江军, 等. 基于低通滤波残差图的高光谱条带噪声去除[J]. 光学学报, 2018, 38(12): 1228002.
Article Outline
李文力, 李凯, 彭迪, 韩昌佩. AGRI遥感图像中条带噪声的分析与去除[J]. 光学学报, 2019, 39(12): 1228004. Wenli Li, Kai Li, Di Peng, Changpei Han. Analysis and Removal of Stripe Noise in AGRI Remote-Sensing Images[J]. Acta Optica Sinica, 2019, 39(12): 1228004.