二阶广义总变分约束的太阳图像多帧盲解卷积
1 引言
地基光学望远镜是天文观测的重要工具,然而大气湍流使来自目标的光波产生波前畸变,导致光学望远镜的成像分辨力严重下降。自适应光学(Adaptive optics, AO)技术是减弱大气湍流影响最有效的手段之一,被广泛应用于地基光学望远镜中。AO技术能够实时探测并校正波前畸变,可有效提高望远镜的成像分辨力。然而受硬件性能等限制,AO系统波前探测与校正过程存在误差,只能实现部分校正,观测图像仍然存在残余模糊,需要结合图像事后重建才能获得更高分辨力的图像[1]。
目前,国内外的大口径太阳望远镜几乎都配备了AO系统,采集到的太阳AO图像可通过盲解卷积[2]、相位差法[3-5]、斑点重建[6]或深度学习[7-9]等方法进行重建,进一步提高图像质量。其中,相比于其它几种图像事后重建方法,盲解卷积不需要系统设置额外的成像通道,所需的图像帧数较少,不依赖于大量数据训练,最具灵活性。
早期,由于空间观测的需求,盲解卷积主要应用于天文图像。Ayers和Dainty[10]提出的迭代盲解卷积(iterative blind deconvolution, IBD)算法属于较早的盲解卷积研究工作,其利用简单的点扩散函数(point spread function, PSF)正性约束和能量守恒约束,在空域和频域进行交替迭代估计图像和PSF,然而IBD算法易放大噪声影响。随后,Davey[11]等人和Fish[12]等人分别将维纳滤波和Richardson-Lucy算法引入IBD中,提出Weiner-IBD和RL-IBD,提高了图像复原效果。Kundur和Hatzinakos[13]等人提出非负约束和支持域约束的递归逆滤波(NAS-RIF)算法,模型为凸函数,具有较好的收敛性,但NAS-RIF算法对噪声敏感。Chan和Wong[14]首次将总变分(total variation, TV)引入盲解卷积,并采用交替最小化方法优化目标函数,既提高了算法对噪声的鲁棒性,也更好地保持了图像的边缘。由于天文光学望远镜通常是连续曝光的,能够获得图像序列,且多帧有利于提高盲解卷积的稳定性,复原更多的小尺度结构,因此利用多帧图像进行盲解卷积也有不少研究工作。Schulz[15]提出了基于最大似然估计的多帧盲解卷积算法,并指出可以利用惩罚最大似然估计或参数化PSF方法避免平凡解。Harmeling[16]等人提出了一种在线多帧盲解卷积(online blind deconvolution, OBD)算法,图像序列依次进行处理,直到序列中所有图像都参与盲解卷积。Hirsch[17]等人结合超分辨和饱和校正进一步扩展了OBD,并利用随机梯度下降优化模型。
进入二十一世纪后,由于摄像设备的普及,产生了更多运动去模糊的需求,图像盲去模糊(blind deblurring)领域得到了迅速发展。图像盲去模糊实际上就是盲解卷积的不同说法。Fergus[18]等人分别以混合高斯分布和混合指数分布拟合图像先验和PSF先验,是基于变分贝叶斯(variational Bayes, VB)方法实现图像盲去模糊的重要工作。Fergus之后出现了更多基于VB的图像盲去模糊研究工作[19-21]。然而此类方法理论相对复杂,计算复杂度也较高。另一类更为流行的是基于最大后验概率(maximum a posteriori, MAP)的方法,此类方法的盲解卷积模型以更简单形式的数据保真项、图像正则项(先验项)和PSF正则项(先验项)构成,更具灵活性,便于计算求解。基于MAP的盲解卷积方法关键在于选择图像和PSF先验,因此大量图像和PSF先验被提出和应用,如L1/L2规范化稀疏先验[22]、近似L0稀疏[23]、块先验[24]、内部块递归性[25]、L0范数图像强度和梯度先验[26]、低秩先验[27-28]、暗通道先验[29]。此外,各种提高盲去模糊效果的思想和技巧也被大量提出。Cho和Lee[30]通过对中间图像双边滤波和冲击滤波来抑制平坦区域的噪声和增强边缘,提高了盲去模糊中PSF估计的精度。Xu和Jia[31]指出图像边缘并不总是有利于PSF估计,其中比PSF尺度小的边缘会增大PSF估计误差。这些抑制中间图像噪声、增强中间图像显著边缘的思想对盲去模糊研究产生了重要影响,不仅使得各种技巧广泛显式地应用在盲去模糊中[24, 27],也促进研究者寻找隐式的非自然稀疏先验[22-23, 26, 29]。
虽然盲解卷积最具简单灵活性,但由于太阳图像具有精细复杂的纹理结构、较强的噪声以及非等晕等特点,太阳图像盲解卷积具有一定的挑战性。盲解卷积的性能依赖于图像中的大尺度边缘,虽然从整体上看太阳图像具有较多的大尺度边缘,但非等晕性使得太阳图像中的许多大尺度边缘结构超出了等晕区而难以有效发挥作用。而在太阳图像局部的等晕区内,小尺度的精细纹理经过模糊后淹没混合成为大量的平坦区域,虽然较大尺度边缘经过模糊后能够得到保留,但在等晕区内可能极少而不足以估计精确的PSF。另外,太阳图像中噪声的存在也会严重影响算法的收敛,加剧盲解卷积的困难。
本文将盲去模糊领域的图像和PSF先验引入太阳图像重建中,提出了基于二阶广义总变分的空变多帧盲解卷积算法。首先利用交替最小化和半二次分裂方法求解模型,形成多尺度框架下的空不变多帧盲解卷积算法,以提高重建过程的稳定性和对噪声的鲁棒性,复原更多的纹理细节。针对非等晕的大视场太阳图像的PSF空变特性,本文利用图像重叠分块、子块序列盲解卷积与子块加权拼接的方案,减小图像非等晕导致的重建误差。
2 基于二阶广义总变分的多帧盲解卷积
2.1 多帧盲解卷积
图像的线性空不变退化模型可表示为
其中:g为观测到的退化图像,f为原始目标图像,h为PSF,n为加性噪声,﹡为卷积符号。当观测目标保持不变,在时间上连续成像或在空间上多通道成像时,则可由式(1)得到多帧图像退化模型为
其中:
由于未知量个数大于方程个数,解空间无穷大,因此盲解卷积具有病态性。对于盲解卷积这类病态性反问题,最流行且有效的手段是基于最大后验概率,建立最优化模型:
其中:
2.2 模型与算法
图像正则项中应用较早的是L2范数梯度正则化,它的形式最为简单,然而其会对梯度较大的边缘过度惩罚,导致复原图像过度平滑。相比于L2正则化,总变分正则化即TV正则化能够较好地保持边缘,广泛应用于图像去噪、去模糊等领域[14, 32-33]。TV正则化提高了图像复原的效果,然而TV允许分片常数解,容易导致复原图像出现阶梯效应。为了在保持图像的边缘和细节的同时抑制阶梯效应,Bredies[34]等人提出了广义总变分(total generalized variation, TGV)。作为TV的推广,TGV能够有效地逼近任意阶的多项式函数,例如分片常数、分片仿射函数等[35]。随着TGV阶数的提高,相比于计算复杂度的提高程度,图像复原精度提升较小,因此常用的是二阶TGV,即:
其中:
综上所述,本文建立基于L0-L1
其中:简化的
2.2.1 图像子问题
图像子模 型(6)可利用半二次分裂法(half-quadratic splitting, HQS)求解[26, 29, 38]。引入辅助变量A、B、C、D、E,令:
则模型(6)转化为
其中:
由模型(9),固定
模型(10)的求解可令导数为0,并结合快速傅里叶变换(FFT)得到:
其中:
由模型(9),固定f、A、B、C、D、E时,可得到关于
将式(12)分别对
其中:
与上面类似,固定不相关变量,可分别得到关于A、B、C、D、E的子模型,并利用硬阈值和软阈值方法,得到对应的解分别为
2.2.2 PSF子问题
对于PSF子模型(7),为提高PSF估计精度,常将其转化为梯度域PSF子模型[26, 29-31],即
令导数为0,并结合FFT,可得:
由于
2.2.3 图像非盲解卷积
估计出PSF后,就可以对图像进行非盲解卷积求解。由于自然图像的梯度统计服从重尾分布,Krishnan和Fergus[39]提出了基于超拉普拉斯先验的快速非盲解卷积模型:
其中:
其中:i为帧号,K为总帧数。模型(23)的求解过程与文献[39]类似,此处不再做过多描述。
2.3 太阳图像重建流程
需要补充说明的是,观测得到的退化图像视野有限,即边界外的内容未知,然而退化图像视野内边界附近的像素生成与原始目标图像边界外的内容有关,所以观测所得的退化图像的周期延拓并不满足傅里叶变换求解图像的周期性条件假设,这将导致盲/非盲解卷积后的图像边界振铃效应[40]。为了减弱边界振铃,需要预先对输入的退化图像进行边界处理。本文采用的是文献[40]中的图像边界处理算法。
综上所述,在多尺度框架下,基于二阶广义总变分的多帧盲解卷积算法如下:
输入:退化图像集合
输出:重建图像f
1) 设置参数:最大尺度层L、每层最大迭代次数T;
2) for
for
根据图像子模型(6)计算得到
根据PSF子模型(7)计算得到
将
end
end
3) 求解非盲解卷积模型(23)得到重建图像f。
本文以上提出的多帧盲解卷积算法是基于PSF空不变的,然而由于大气湍流的非等晕效应,大视场图像的PSF通常是空变的,因此对大视场图像直接进行空不变盲解卷积必然导致不同程度的误差。一种常用的解决方案是对大视场图像进行重叠分块,从而使每一个子块看作等晕的或近似等晕的,即每一个子块内PSF是空不变的,这样对子块序列进行空不变盲解卷积就可以减小误差。依次对每个子块序列进行盲解卷积,全部子块序列完成盲解卷积后即可将复原子块加权拼接成最终的大视场重建图像[41]。
由于在大气湍流影响下,光学望远镜观测的图像从微观上来看像素存在不规则的偏移、抖动现象,从宏观上来看单帧图像表现出扭曲畸变,而序列图像则表现出抖动畸变[42]。从波前的角度来说,在等晕区内大气湍流导致了波前倾斜像差,使目标成像产生刚性的整体偏移,而整个非等晕的大视场图像则呈现出复杂的非刚性扭曲畸变。本文上述算法的处理对象是多帧的子块,这时找到最佳匹配的子块对重建效果有较大的影响。本文通过限定子块大小为接近等晕区大小,并利用简单有效的最大归一化互相关图像配准方法实现找出最佳匹配子块序列,有效降低子块间的偏移效应(低阶像差),从而提高重建效果。其它高阶像差等效应则被包含在需要估计的PSF中。
综上所述,太阳图像重建流程如
3 实验结果与分析
3.1 图像重建结果
本文利用中国云南抚仙湖太阳观测站的1 m新真空望远镜(new vacuum solar telescope, NVST)于2016年10月7日[UT] 5:35:55前后观测的TiO波段太阳图像进行重建实验,活动区域为NOAA 12599,曝光时间为1.5 ms,图像大小为1792 × 1792,像元比例尺为0.0345″。由于实验所用的图像是大视场图像,利用上述介绍的重叠分块和加权拼接方法对其实现重建,子块大小设为256 × 256,重叠度为50%。
经过大量现有的盲解卷积或盲去模糊算法的太阳图像重建实验,本文选择表现较好的文献[33]、[17]中的空不变盲解卷积算法作为对比,分别简记为TVBD、OBD。其中TVBD是单帧盲解卷积算法,以经典的总变分作为图像正则项;OBD是多帧盲解卷积算法,常应用于天文图像处理。将本文基于二阶广义总变分的多帧盲解卷积算法简记为M-TGV,对应的单帧版本简记为S-TGV。
在S-TGV、M-TGV中,多尺度层数均设为4层,每层图像和PSF交替迭代次数均设为10,PSF大小均设为85 × 85,
大视场图像的重建结果如
图 2. 大视场图像重建结果。(a) 输入序列中总体质量最好帧;(b) TVBD;(c) S-TGV;(d) OBD;(e) M-TGV;(f) 斑点重建
Fig. 2. Reconstruction results of the wide field-of-view image. (a) The image with the best overall quality in the input sequence; (b) TVBD; (c) S-TGV; (d) OBD; (e) M-TGV; (f) Speckle reconstruction
图 3. 大视场图像子区域重建结果。(a) 输入序列中总体质量最好帧;(b) TVBD;(c) S-TGV;(d) OBD;(e) M-TGV;(f) 斑点重建
Fig. 3. Subregion reconstruction results of the wide field-of-view image. (a) The image with the best overall quality in the input sequence; (b) TVBD; (c) S-TGV; (d) OBD; (e) M-TGV; (f) Speckle reconstruction
图 4. 不同输入帧数的重建结果。(a) 输入序列的其中1帧;(b) ~ (g) 分别对应输入1、2、3、5、10、20帧的重建结果;(h) 斑点重建
Fig. 4. Reconstruction results of different input frames. (a) One frame in the input sequence; (b) ~ (g) The reconstruction results corresponding to input 1, 2, 3, 5, 10 and 20 frames respectively (h) Speckle reconstruction
图 5. 图像正则项的有效性。(a) 输入序列的其中一帧;(b) 无正则项;(c) M-TGV;(d) 斑点重建
Fig. 5. The effectiveness of image regularization. (a) One frame in the input sequence; (b) Without regularization; (c) M-TGV; (d) Speckle reconstruction
图 6. 不同K和β1的重建图像和估计的PSF。(a) K=1, β1=0;(b) K=1, β1=10;(c) K=5, β1=0;(d) K=5, β1=10
Fig. 6. Reconstructed images and estimated PSF with different K and β1 values. (a) K=1, β1=0; (b) K=1, β1=10; (c) K=5, β1=0; (d) K=5, β1=10
表 1. 重建结果定量评价(PSNR(dB)/SSIM)
Table 1. Quantitative evaluation of reconstruction results (PSNR(dB)/SSIM)
|
在单帧盲解卷积算法中,由
在多帧盲解卷积算法中,由
3.2 分析与讨论
3.2.1 多帧的有效性
在本文3.1节已表明了多帧的有效性,这里再给出输入图像帧数对M-TGV算法重建结果的影响,如
本文认为产生上述现象可能有两方面的原因。第一方面是算法本身性能的限制。当输入图像序列大小在一定范围内时,随着帧数的增多,帧间高频信息得到互补,在算法迭代过程中减弱了输入图像中的噪声和PSF不精确的影响,能够有效抑制重建图像中的噪声和伪影,图像主要的结构、部分细节等得到更好地复原。然而当输入帧数继续增多后,此时影响重建图像质量的就不再是噪声和伪影了,而是图像的精细纹理,然而目前的盲解卷积算法难以对其实现复原。因此,当输入图像序列大小超过一定范围时,随着帧数增多,重建图像质量提升较小。第二方面,当输入图像序列增大时,其中部分强噪声、质量较差的观测图像也被包含在内,会对整体的图像重建造成一定程度的影响,也就是说重建图像的质量不仅与输入图像的帧数有一定关系,也与输入图像的质量有关系。
3.2.2 图像正则项的有效性
正则化是克服图像盲解卷积病态性的常用手段,本文的多帧盲解卷积模型以L0-L1
3.2.3 PSF正则项的有效性
PSF的空域正则化项
从
3.2.4 算法收敛性
对
图 7. 目标函数迭代曲线。(a) 尺度层4;(b) 尺度层3;(c) 尺度层2;(d) 尺度层1
Fig. 7. Iteration curves of the objective function. (a) Fourth scale; (b) Third scale; (c) Second scale; (d) First scale
3.2.5 算法复杂度
一般来说,大视场太阳图像的尺寸较大,且大视场太阳图像需要进行图像分块重建,如1792 × 1792的图像以256 × 256大小进行重叠分块后共有169个子块。若子块重建的空不变盲解卷积算法复杂度太高,则整个图像重建过程将会非常耗时。因此,太阳图像重建对空不变盲解卷积算法的复杂度有一定要求。
本文提出的算法复杂度为O(NlogN)。在Intel(R) Core(TM) i5-1135G7 @ 2.40 GHz 2.40 GHz处理器,16 GB 内存,Windows10 64位操作系统,MATLAB 2016运行环境下,对TVBD、S-TGV两种单帧盲解卷积算法(输入1帧256 × 256大小图像)和OBD、M-TGV两种多帧盲解卷积算法(输入5帧256 × 256大小图像)的运行时间进行测试,各参数均与前面保持一致,结果如
表 2. 算法运行时间
Table 2. Running time of different algorithms
|
从
3.2.6 盲解卷积算法的局限性
虽然本文基于二阶广义总变分的多帧盲解卷积算法在太阳图像重建上取得了较好的效果,然而算法仍有其局限性。首先,大视场太阳AO图像具有等晕区大小不一致的非等晕性,本文算法在重建时使用了一个经验的统一大小对其进行分块;若子块相比等晕区过大,将导致图像重建误差;若子块相比等晕区过小,则在子块内图像的大尺度边缘等结构特征非常少,这并不利于PSF估计,并且子块太小也会在后续图像拼接时导致明显的边缘效应;后续研究可使用可变分块进一步提高重建效果。此外,太阳图像的结构纹理十分复杂,包含了大量的尺度小于PSF的精细纹理,经过退化后这些精细纹理被淹没,若估计的PSF存在误差,则这些精细纹理将难以被复原。并且在通常情况下,退化的太阳图像中也包含较强的噪声,而现有的绝大多数盲解卷积算法对噪声较为敏感,不能估计得到精确的PSF。即使是在PSF精确已知的情况下,虽然可消除PSF误差导致的图像伪影,但观测图像中的噪声仍然存在,受噪声影响,通过非盲解卷积重建的图像质量也并不能达到完全理想的状态。
4 结论
本文针对常用的太阳AO图像事后重建方法中最具灵活性的盲解卷积展开研究。针对太阳图像复杂的纹理结构、较强的噪声以及非等晕等特点,本文首先建立了基于二阶广义总变分的空不变多帧盲解卷积算法,然后利用重叠分块与加权拼接将其拓展为适用于非等晕大视场太阳图像的空变盲解卷积算法。通过NVST观测获得的真实太阳图像重建实验,表明本文算法在主观视觉效果和客观指标上均具有较好的图像重建效果,二阶广义总变分正则化和多帧能够提高图像重建的稳定性和可靠性。然而,盲解卷积仍然难以复原太阳图像中的部分精细纹理,后续需要采取更多的手段提高盲解卷积的性能。
[1] 鲍华, 饶长辉, 田雨, 等自适应光学图像事后重建技术研究进展光电工程201845317073010.12086/oee.2018.170730
[3] Löfdahl M G, Scharmer G BWavefront sensing and image restoration from focused and defocused solar imagesAstron Astrophys1994107243264
[5] 龙潇, 鲍华, 饶长辉, 等一种并行加速改进的快速相位解包裹算法光电工程2020471220011110.12086/oee.2020.200111
[6] Von Der Lüehe OSpeckle imaging of solar small scale structure. I-methodsAstron Astrophys19932681374390
[16] Harmeling S, Hirsch M, Sra S, et al. Online blind deconvolution for astronomical imaging[C]//2009 IEEE International Conference on Computational Photography (ICCP), San Francisco, 2009: 1–7. https://doi.org/10.1109/ICCPHOT.2009.5559014.
[18] Fergus R, Singh B, Hertzmann A, et al. Removing camera shake from a single photograph[C]//ACM SIGGRAPH 2006 Papers, Massachusetts, 2006: 787–794. https://doi.org/10.1145/1179352.1141956.
[19] Babacan S D, Molina R, Do M N, et al. Bayesian blind deconvolution with general sparse image priors[C]//Proceedingsof the 12th European Conference on Computer Vision, Florence, 2012: 341–355. https://doi.org/10.1007/978-3-642-33783-3_25.
[20] Levin A, Weiss Y, Durand F, et al. Efficient marginal likelihood optimization in blind deconvolution[C]//CVPR 2011, Colorado Springs, 2011: 2657–2664. https://doi.org/10.1109/CVPR.2011.5995308.
[22] Krishnan D, Tay T, Fergus R. Blind deconvolution using a normalized sparsity measure[C]//CVPR 2011, Colorado Springs, 2011: 233–240. https://doi.org/10.1109/CVPR.2011.5995521.
[23] Xu L, Zheng S C, Jia J Y. Unnatural l0 sparse representation for natural image deblurring[C]//Proceedings of the 2013 IEEE Conference on Computer Vision and Pattern Recognition, Portland, 2013: 1107–1114. https://doi.org/10.1109/CVPR.2013.147.
[24] Sun L B, Cho S, Wang J, et al. Edge-based blur kernel estimation using patch priors[C]//IEEE International Conference on Computational Photography (ICCP), Cambridge, 2013: 1–8. https://doi.org/10.1109/ICCPhot.2013.6528301.
[25] Michaeli T, Irani M. Blind deblurring using internal patch recurrence[C]//Proceedings of the 13th European Conference on Computer Vision, Zurich, 2014: 783–798. https://doi.org/10.1007/978-3-319-10578-9_51.
[26] Pan J S, Hu Z, Su Z X, et al. Deblurring text images via L0-regularized intensity and gradient prior[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, 2014: 2901–2908. https://doi.org/10.1109/CVPR.2014.371.
[27] Pan J S, Liu R S, Su Z X, et al. Motion blur kernel estimation via salient edges and low rank prior[C]//2014 IEEE International Conference on Multimedia and Expo (ICME), Chengdu, 2014: 1–6. https://doi.org/10.1109/ICME.2014.6890182.
[29] Pan J S, Sun D Q, Pfister H, et al. Blind image deblurring using dark channel prior[C]//Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, 2016: 1628–1636. https://doi.org/10.1109/CVPR.2016.180.
[30] Cho S, Lee S. Fast motion deblurring[C]//ACM SIGGRAPH Asia 2009 Papers, Yokohama, 2009: 145. https://doi.org/10.1145/1661412.1618491.
[31] Xu L, Jia J Y. Two-phase kernel estimation for robust motion deblurring[C]//Proceedings of the 11th European Conference on Computer Vision, Heraklion, 2010: 157–170. https://doi.org/10.1007/978-3-642-15549-9_12.
[33] Perrone D, Favaro P. Total variation blind deconvolution: the devil is in the details[C]//Proceedings of the 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, 2014: 2909–2916. https://doi.org/10.1109/CVPR.2014.372.
[35] 许建楼, 冯象初, 郝岩自适应二阶总广义变分图像恢复方法光电子·激光201324237838310.16136/j.joel.2013.02.028
[37] Zhang X X, Wang R G, Tian Y H, et al. Image deblurring using robust sparsity priors[C]//2015 IEEE International Conference on Image Processing (ICIP), Quebec City, 2015: 138–142. https://doi.org/10.1109/ICIP.2015.7350775.
[38] Xu L, Lu C W, Xu Y, et al. Image smoothing via L0 gradient minimization[C]//Proceedings of the 2011 SIGGRAPH Asia Conference, Hong Kong, China, 2011: 174. https://doi.org/10.1145/2024156.2024208.
[39] Krishnan D, Fergus R. Fast image deconvolution using hyper-Laplacian priors[C]//Proceedings of the 22nd International Conference on Neural Information Processing Systems, Vancouver, 2009: 1033–1041.
[40] Liu R T, Jia J Y. Reducing boundary artifacts in image deconvolution[C]//2008 15th IEEE International Conference on Image Processing, San Diego, 2008: 505–508. https://doi.org/10.1109/ICIP.2008.4711802.
张姣, 李俊山, 杨亚威结合仿射变换和多层B样条配准的湍流畸变图像校正光学 精密工程201523384685410.3788/OPE.20152303.0846
Article Outline
王帅, 何春元, 荣会钦, 鲍华, 侯佳林, 饶长辉. 二阶广义总变分约束的太阳图像多帧盲解卷积[J]. 光电工程, 2023, 50(2): 220207. Shuai Wang, Chunyuan He, Huiqin Rong, Hua Bao, Jialin Hou, Changhui Rao. Multi-frame blind deconvolution of solar images via second-order total generalized variation[J]. Opto-Electronic Engineering, 2023, 50(2): 220207.