基于能量约束的自适应加权图像盲复原算法 下载: 832次
1 引言
图像盲复原是在点扩展函数(PSF)未知的情况下对降晰图像进行去模糊处理的一种算法。在实际成像过程中,大气扰动、相机离焦和观测目标与相机的相对运动等因素都会导致图像降晰,且这些因素具有多样性和随机性,图像的PSF难以控制与预知,因此图像盲复原问题在光学、天文学、医学以及遥感等众多应用领域受到广泛关注。
目前,图像盲复原算法大致可以分为两类。一类是同时进行PSF与清晰图像的估计的算法,如迭代盲反卷积法[1]、约束递归逆滤波法[2]、全变差正则化方法[3]、极大似然算法[4]等。但这类算法大多基于迭代运算,通常算法缺少稳定性,容易导致局部收敛;若这类算法想获得稳定的复原结果,则会导致算法过于复杂,收敛速度慢。另一类算法将真实图像与PSF分开估计,首先利用先验知识估计PSF,然后进行盲反卷积计算得到清晰图像。这类方法算法相对简单,对计算要求不高且运算速度快,适合大数据处理或实时性处理,APEX算法就属于这类算法。
APEX算法是由Carasso等[5-7]在2001年提出的一种基于模糊图像频谱分析的盲复原方法。该方法先利用模糊图像频谱特征来估计成像系统的光学传递函数(OTF),再采用连续边界慢演进(SECB)技术复原出清晰图像。该方法可以在十几秒内复原一幅512 pixel×512 pixel的图像。然而,APEX算法也有其局限性:首先,APEX算法需要人为干预复原过程,交互式选择合适的时间值以确定最优结果,这使得算法主观性较强且可重复性差,难以广泛应用;其次,APEX算法只选取一条过频域原点的直线,采用最小二乘法拟合出系统OTF,对不同区域纹理分布差异较大的图像,估算出的参数难以准确表征成像退化过程,进而影响复原效果。
近年来,不少学者针对上述问题进行了相关研究。Zhang等[8-9]将图像功率谱特征模型引入参数估计过程并运用迭代演进方法进行复原,但是其中涉及交互式参数输入,计算量大且没有截止条件。谢盛华等[10]和孙雷等[11]分别选取降晰图像频谱内多条过原点的特征谱线进行多次拟合取均值以提高估计精度。随后,王辉等[12]提出基于多区域的参数估计来提升图像复原质量。这些算法虽然在一定程度上提高了PSF的估算精度和算法的稳定性,但都没有解决人机交互的问题,因此, 这些方法仍然不能满足数据量较大、实时性强领域的使用要求。
本文提出一种基于能量约束的自适应加权的APEX改进算法,将模糊图像纹理与频谱的关系量化为权重,用于估算成像系统OTF,建立加权OTF估计模型,并将模糊图像亮度信息作为先验知识,推导出基于图像信号能量的约束方程,控制复原过程。与APEX算法相比,本文算法得到的复原图像更加清晰且复原效果更加稳定,并且不依赖于人为选择参数,可以应用于数据量大或难以人为实时监测的领域。
2 基于APEX算法的图像盲复原模型
线性时不变系统的图像模糊降质过程在空间域的数学模型可表示为
式中
根据卷积定理,空间域中函数的卷积相当于频率域中对应的变换式乘积,可得到等价于(1)式的频率域模型:
式中
则可称为高斯类PSF模型。一般来说,对于一幅退化图像,可以假设
在
式中
大多数情况下,噪声项
由估计出的成像系统OTF,APEX法采用SECB反卷积来复原图像,其复原公式为
式中
式中
从上述复原过程可以看出,基于APEX算法的关键之一在于,如何更加稳定且准确地估算模糊图像OTF。拓展APEX算法应用范围的关键在于,如何建立合理的约束控制复原,实现自适应复原。
3 基于能量约束的自适应加权图像盲复原
3.1 基于图像纹理信息的加权OTF辨识模型
在估计成像系统OTF时,APEX算法使用全幅图像频谱进行一次估算,可以获得的测量次数较少且忽视了自然图像纹理特征对其频谱的影响,随着降晰图像尺寸的增大,其估计精度也会降低。针对这些问题,提出了基于图像梯度的加权OTF辨识模型(
基于空间平移不变性,经过降晰过程的一幅图像,在空间任何位置PSF具有同一性,不同子图像的OTF可以看作同一降质过程OTF的多次观测。不同子图像中的信息可以相互弥补,尽可能地排除图像灰度的差异性和噪声对参数的干扰,即使不能完全准确地拟合出系统OTF,也可以提高OTF的估算精度。
除此之外,每个子图像的纹理与边缘梯度也不尽相同,而图像自身纹理的差异性对于高斯类PSF的模糊呈现出不同程度的频谱变化。经过高斯类PSF模糊后的相对平坦子图像相较于纹理较复杂的子图像能保存更多原有图像的信息。在频域上,较为平坦的子图像在中高频区域能与清晰图像的频谱具有更高的吻合度。如
结合上述图像的模糊子图像频谱与清晰子图像频谱的拟合关系,以及图像的梯度变化与图像纹理之间的正相关关系,根据模糊图像的
式中
图 2. 清晰图像与模糊图像的频谱对比。(a)清晰的平坦图像;(b)模糊的平坦图像;(c)平坦图像的频谱;(d)清晰的复杂纹理图像;(e)模糊的复杂纹理图像;(f)复杂纹理图像的频谱
Fig. 2. Spectral comparison between clear images and blurred images. (a) Clear flat image; (b) blurred flat image; (c) spectra of flat images; (d) clear complex texture image; (e) blurred complex texture image; (f) spectra of complex texture images
式中(
基于图像纹理信息的加权OTF辨识模型,一方面利用了平坦区域与清晰图像频域高相似性的优势,使得拟合结果更准确,提升了图像复原效果;另一方面综合了复杂纹理区域的估算结果,防止OTF过度拟合所造成的图像边缘过度尖锐,使得拟合过程具有更高的稳定性。将彩色图像看作RGB三层灰度图像进行复原时,成像系统OTF的准确拟合可以更好地恢复和平衡各层图像信息,锐化图像边缘的同时使颜色更加饱满明亮,这也在多光谱遥感图像实验中得到了验证。
3.2 基于图像信号能量约束的自适应复原方法
为了解决APEX算法中过多依赖人为选择参数的问题,提升算法的应用性,分析了APEX算法中清晰图像频谱估计值
由OTF估计模型及清晰图像频谱常数
图 3. Lena模糊图像及其复原结果(局部放大)。(a)经(α=0.1,β=5/6)模糊的Lena图像;(b) A=0; (c) A=-0.5; (d) A=-1; (e) A=-1.5; (f) A=-2; (g) A=-2.5; (h) A=-3
Fig. 3. Blurred image of Lena and the restored images (partially enlarged). (a) Blurred image of Lena with α=0.1 and β=5/6; (b) A=0; (c) A=-0.5; (d) A=-1; (e) A=-1.5; (f) A=-2; (g) A=-2.5; (h) A=-3
基于以上分析,将数字图像看作有限能量信号,定义其信号能量为:
式中(
图 4. 基于能量约束的自适应复原算法的具体流程
Fig. 4. Flow chart of energy-constrained adaptive restoration algorithm
经多次实验,频谱估计值
4 实验结果与对比分析
以2组经典测试图片的仿真实验和2组多光谱遥感图像的对比实验为例,说明本文复原算法的有效性及实用性。本文算法均是在Intel Core i5-3470 3.2 GHz主频的计算机、软件平台MATLAB2014.a的环境下模拟完成的。由于APEX算法复原过程中需要人为选择参数,主观性比较强,为了更加客观地选择APEX算法的复原结果,将APEX法复原的一系列图像中峰值信噪比(PSNR)最大的图像作为最佳复原结果。
4.1 仿真实验与分析
仿真实验采用大小为512 pixel×512 pixel的Hill和Lake图像。采用
通过
鉴于以上图像评价较为主观,图像复原的质量用PSNR和结构相似度(SSIM)衡量。SSIM的计算公式及参数与文献[ 16]相同,PSNR计算公式为
图 5. Hill图像及其复原结果。(a)原始图像;(b)经(α=0.1,β=2/3)卷积所得的降晰图像;(c) APEX算法的复原结果;(d)本文算法的复原结果
Fig. 5. Image of Hill and the restored images. (a) The original image; (b) the blurred image with α=0.1 and β=2/3; (c) the restored image of APEX algorithm; (d) the restored image of proposed algorithm
图 6. Lake图像及其复原结果。(a)原始图像;(b)经(α=0.075,β=5/6)卷积的含噪降质图像;(c) APEX算法的复原结果;(d)本文算法的复原结果
Fig. 6. Image of Lake and restored images. (a) The original image; (b) the noised degraded image with α=0.075 and β=5/6; (c) the restored image of APEX algorithm; (d) the restored image of proposed algorithm
式中(
表 1. 算法耗时及复原图像的质量评价指标对比
Table 1. Comparison of runtime and assessment criteria for restored images
|
4.2 多光谱遥感图像复原实验
为了进一步验证本文方法的有效性与适用性,本节采用多光谱遥感图像作为测试图像。为了复原多光谱遥感图像,采用RGB彩色模型,提取出多光谱遥感图像的各分量图像。针对每个通道的图像分别采用APEX算法和本文算法进行复原,然后将3个通道的复原图像合成彩色图像。
由
图 7. 港口多光谱遥感图像及其复原结果(局部放大)。(a)原始多光谱遥感图像;(b) APEX算法复原结果;(c)本文算法的复原结果
Fig. 7. Multispectral remote sensing image and restored results of a port (partially enlarged). (a) The original multispectral remote sensing image; (b) the restored image of APEX algorithm; (c) the restored image of proposed algorithm
图 8. 城市多光谱遥感图像及其复原结果(局部放大)。(a)原始多光谱遥感图像;(b) APEX算法复原结果;(c)本文算法的复原结果
Fig. 8. Multispectral remote sensing image and restored results of an urban area (partially enlarged). (a) The original multispectral remote sensing image; (b) the restored image of APEX algorithm; (c) the restored image of the proposed algorithm
`
5 结论
在基于APEX的OTF辨识模型下,提出了一种基于能量约束的自适应加权图像盲复原算法。本文算法利用自然图像纹理信息,提出融入图像梯度的幂次加权OTF估计模型,同时采用图像信号能量约束复原过程,实现算法的自动化处理,拓展了算法的应用范围。在仿真实验中,本文算法能有效恢复高斯类模糊图像,增强图像细节分辨能力。在多光谱遥感数据实验中,本文方法的复原图像边缘分明、细节丰富且色彩鲜明,明显地提升了视觉效果。本文提出的复原方法速度较快且稳定性好,具有良好的可移植性,并且可以应用于星上处理、远程监控等难以人为参与、实时性强的领域。
[3] Chan T F, Wong C K. Total variation blind deconvolution[J]. IEEE Transactions on Image Processing, 1998, 7(3): 370-375.
Chan T F, Wong C K. Total variation blind deconvolution[J]. IEEE Transactions on Image Processing, 1998, 7(3): 370-375.
[5] Carasso A S. Direct blind deconvolution[J]. SIAM Journal on Applied Mathematics, 2001, 61(6): 1980-2007.
Carasso A S. Direct blind deconvolution[J]. SIAM Journal on Applied Mathematics, 2001, 61(6): 1980-2007.
[9] ZhangJ, ZhangQ. Blind image restoration using improved APEX method with pre-denoising[C]. International Conference on Image and Graphics, 2007: 164- 168.
ZhangJ, ZhangQ. Blind image restoration using improved APEX method with pre-denoising[C]. International Conference on Image and Graphics, 2007: 164- 168.
[10] 谢盛华, 张启衡, 宿丁. 基于APEX方法的改进图像复原算法[J]. 激光与红外, 2007, 37(2): 185-188.
谢盛华, 张启衡, 宿丁. 基于APEX方法的改进图像复原算法[J]. 激光与红外, 2007, 37(2): 185-188.
Xie S H, Zhang Q H, Su D. The improved image restoration algorithm based on APEX method[J]. Laser & Infrared, 2007, 37(2): 185-188.
[11] 孙雷, 张艳, 徐青, 等. 改进APEX算法在图像增强中的应用[J]. 测绘科学技术学报, 2007, 24(1): 51-53.
孙雷, 张艳, 徐青, 等. 改进APEX算法在图像增强中的应用[J]. 测绘科学技术学报, 2007, 24(1): 51-53.
Sun L, Zhang Y, Xu Q, et al. The improved APEX method applied in image enhancement[J]. Journal of Zhengzhou Institute of Surveying and Mapping, 2007, 24(1): 51-53.
[12] 王辉, 吴钦章. 多区域参数估计实时图像盲复原[J]. 光电工程, 2012, 39(3): 130-136.
王辉, 吴钦章. 多区域参数估计实时图像盲复原[J]. 光电工程, 2012, 39(3): 130-136.
[15] Carasso AS. Image restoration and diffusion processes[C]. SPIE, 1993, 2035: 255- 266.
Carasso AS. Image restoration and diffusion processes[C]. SPIE, 1993, 2035: 255- 266.
Article Outline
苏畅, 付天骄, 张星祥, 任建岳, 金龙旭. 基于能量约束的自适应加权图像盲复原算法[J]. 光学学报, 2018, 38(2): 0210001. Chang Su, Tianjiao Fu, Xingxiang Zhang, Jianyue Ren, Longxu Jin. Adaptively-Weighted Blind Image Restoration Algorithm Based on Energy Constraint[J]. Acta Optica Sinica, 2018, 38(2): 0210001.