光子集成干涉成像图像重构:熵先验 下载: 882次
1 引言
传统衍射受限光学系统的角分辨率与系统口径成正比。随着深空探测技术及对地遥感技术的发展,衍射系统对望远镜分辨率的要求越来越高,这会导致传统光学系统的尺寸、质量和功率(SWaP)急剧增大,同时**和民用光学领域对系统的集成化和小型化也提出了迫切需求。相对于传统干涉成像装置,一种新型的成像望远镜SPIDER(Segmented Planar Imaging Detector for Electro-optical Reconnaissance)成为目前的研究热点之一[1],其通过光子集成电路(PIC)[2]来实现信号光的解复用干涉等处理,从而有效压缩光轴方向的系统长度。在同等级别的分辨率下,相比于传统光电成像装置,SPIDER的SWaP减小至1/10~1/100。
PIII(Photonics Integrated Interference Imaging)系统可以对来自远场非相干成像目标的光信号进行子孔径采集、片上解复用干涉及干涉光平衡正交检测,从而反演出目标的强度分布。根据范西泰特-策尼克定理,该干涉信号可以对观测目标在空间频域中的某一确定可见性信号进行测量,此处可见性信号可等效理解为图像的空间频域数据,其包含振幅和相位信息[3]。对于远场z距离处的目标,当使用波长为λ的光观测时,一对中心位置差矢量为B的两个子孔径仅可获得一个可见性信号,该信号对应的空间频率f=B/λz。为了获得好的观测效果,需要对目标进行更多的可见性观测,所以一般通过多路子孔径的两两干涉来获得更多的空间频率信号,现有文献中报道了很多性能优越的孔径排布设计方案[4-7]。
继SPIDER的径向排布之后,多层分级排布[5] 、矩形阵列排布[6]和六边形排布[7]等方式可以实现低频和中频可见性信号的密集采样,但是对于高频可见性信号仍然缺乏足够的采样处理,而增加高频信号的采样会为PIII系统的设计和装配带来难度,为芯片的设计和制造增加复杂度。为了有效解决上述问题,需要研究高频稀疏采样对复原图像的影响,并设计算法来消除相应的影响。
对于PIII系统,图像恢复最直接的方法是傅里叶逆变换(IFT)方法,但IFT方法的复原将会带来严重的伪影现象。伪影产生的主要原因是有限的傅里叶级数不能完美表示非连续区域,而且在PIII系统中缺乏足够数量的高频傅里叶级数的采样,从而导致锐边不完美近似。因此,截断傅里叶空间会导致重构图像的尖锐边缘附近出现伪影[8],其实质相当于原观测目标与sinc函数卷积,从而使图像中尖锐边缘附近出现“旁瓣”,进而严重影响成像效果。
1948年,Shannon[9]建立信息论的过程中发现熵可以测量信息源的不确定性,采用最大熵先验可以在所有满足数据保真度的解中找到包含最少信息的那个解。Gibbs振铃伪影是由高频采样缺失在复原图像上产生的错误信息,在方法中增加可见性数据保真项和噪声抑制项,即可利用熵惩罚来获取包含错误信息最少的图像,从而获得消除振铃效应的图像。本文在研究熵先验的基础上,提出应用于光子集成干涉成像图像重构的最大熵方法。
本文第二部分从范西泰特-策尼克定理出发,简单介绍干涉成像的理论以及干涉成像系统。第三部分介绍熵惩罚特性,并结合光子集成干涉成像的特点提出最大熵方法。第四部分采用多层分级排布结构[5]进行仿真模拟,利用均方误差(MSE)、峰值信噪比(PSNR)及结构相似性(SSIM)对重构图像进行相应的评价。实验结果表明,最大熵方法可以消除由高频稀疏采样带来的Gibbs振铃伪影,能够进一步提升PIII系统的成像性能并减少系统的复杂度。
2 光子集成干涉成像原理
PIII系统的一般结构如
式中:Σ表示观测区域;λ'表示AWG解复用之后的窄谱光信号中心波长;z0表示观测目标与传感系统所在平面的距离;x表示观测目标的空间坐标;I0(x)表示观测目标的强度分布。空间频率矢量f包含的离散分量取决于传感系统中微透镜的排布方式,表达式为
式中:Di和Dj分别表示第i个透镜和第j个透镜的中心位置,其中i≠j。通过不同的微透镜组合排布和观测波长可以实现大量可见性信号的测量,此过程可简化为对观测目标空间频域可见性函数进行离散采样。
3 最大熵方法
3.1 熵先验
在图像重构的过程中,准确定义熵会带来许多问题,但在传统的天文干涉成像方案中给出了许多建议[11]。目前应用最广泛的熵定义[12]可表示为
式中:Ik和Ok分别表示在像素k处重构图像及图像先验的强度值。为了分析熵惩罚的特点,现考察一个总能量为T0的图像,其总能量为单个光子能量I0与总数目N的乘积,表达式为
由于Ik的能量为nkI0(nk为像素k处重构图像的个数),所以可产生不同的图像,个数为
通过最大化W可以得到最大似然估计图像,对(5)式取对数并根据Stirling公式使ln N!~N(ln N-1),可以得到
最大化ln W即最大化熵-
3.2 最大熵方法
最新的成像系统结构可以实现零频率处的可见性采样[5-7],零频率处的可见性数据表征了观测目标的总强度。在重构图像中,数据保真度可保证已观测的可见性数据不丢失,因此通过数据保真度也可保证图像的总能量。针对PIII图像恢复的问题,其数据保真度可写为
式中:Vm表示观测的第m个可见性信号;
根据拉格朗日待定乘子方法,干涉成像图像恢复问题可写为
式中:α、β和γ分别表示各个惩罚项的待定乘子。对于待定乘子,可以对T、Q和H进行简单的泰勒展开[13],可求得
将Newton方法[14]作为优化方法。此外对于Q的二阶Hessian矩阵,考虑到观测目标可见性的稀疏采样,将非对角元素置零,即忽略系统点扩展函数的旁瓣并将其当作狄拉克函数进行处理,由此可以得到图像迭代的改变量为
式中:I表示图像。通过(9)~(11)式可对光子集成干涉成像的图像恢复问题进行求解,求解步骤(算法1)如下。
1) 初始化I、α、β和γ,输入采样权重矩阵ω和可见性信号矩阵V,设置收敛阈值t。
2) 计算组合函数J的一阶梯度ÑJ及二阶梯度ÑÑJ,由此计算(11)式。
3) 使用(11)式更新I,即Inew=I+ΔI。
4) 使用(10)式更新待定乘子α、β和γ。
5) 检查收敛,若
为了进一步研究最大方法(MEM)对Gibbs振铃伪影的抑制作用,设计仿真模型并利用MSE、PSNR和SSIM来评价复原图像[15]。
3.3 数值仿真模拟
为了验证MEM的可行性,本文采用多层分级排布[5]作为光子集成干涉成像系统的孔径排布方式,该成像系统采样的可见性信号数量明显多于SPIDER的轮式透镜阵列,而且可以获取更大的采样半径,从而获得更好的成像效果。
受到耦合效率的影响,空间光耦合进芯片上单根波导的视场角较小,单根波导的视场角(FOV)约为2λ/D[16],其中D为小透镜直径,增加每个微透镜后端耦合波导的数量可增大视场。在本文研究中,仿真中考虑视场角为4λ/D的视场情况。系统的仿真参数如
表 1. 光子集成干涉成像系统的仿真参数[5]
Table 1. Simulation parameters of photonics integrated interference imaging system[5]
|
频谱采样的连续采样半径r=0.072,最大采样半径R=0.417。分层多级排布的微透镜及其空间频率采样结果如
图 2. 分层多级排布的微透镜和空间频率采样结果。(a)排布方式;(b)采样结果
Fig. 2. Layered and multistage microlens and spatial frequency sampling result. (a) Layout; (b) sampling result
为了定量评价MEM的复原效果及其抑制Gibbs振铃的效用,采用SSIM、PSNR和MSE作为像质评价手段[16-18]。为了清晰地显示MEM对复原图像的改善作用,使用算法1对图像恢复中常用的测试图像进行仿真,部分图像如
图 3. 图像恢复中常用的测试图像。(a)蝴蝶;(b)船;(c)卫星;(d)摄影师;(e) USAF
Fig. 3. Test images commonly used in image restoration. (a) Butterfly; (b) boat; (c) satellite; (d) cameraman; (e) USAF
为了评价MEM和IFT方法的处理效果,统一对算法1进行15次迭代,其相关恢复质量评价结果如
从
表 2. 不同方法的MSE、PSNR和SSIM评价结果
Table 2. MSE, PSNR and SSIM evaluation results of dirrerent methods
|
图 4. 不同方法的最终恢复效果。(a)真值;(b) IFT方法;(c) MEM
Fig. 4. Final recovery effects of different methods. (a) Ground truth; (b) IFT method; (c) MEM
图 5. 不同方法在不同区域的恢复结果。(a) a线区域;(b) b线区域
Fig. 5. Results of different methods in different areas. (a) a line area; (b) b line area
图 6. 不同迭代次数下重构图像的性能曲线。(a) PSNR;(b) SSIM
Fig. 6. Performance curves of reconstructed images under different iterations. (a) PSNR; (b) SSIM
为了进一步展示不同方法的恢复效果,选取
为了展示不同方法的运算效率,将SSIM和PSNR随迭代次数的变化曲线绘制在
4 结论
光子集成干涉成像是对观测目标的可见性进行采样,高空间频率的可见性信号采集困难,导致高频信号采样稀疏,IFT复原图像会存在很强的Gibbs振铃伪影,而振铃现象会严重破坏成像效果。本文分析熵惩罚特性,发现熵惩罚可获得包含信息最少的重构图像,振铃伪影可认为是由高频信号的稀疏采样而在锐边附近产生的错误信息。为了保证已采集图像的信息不丢失及抑制恢复图像的噪声,在最终的优化问题中增加可见性数据保真项和系统误差抑制项,结合熵惩罚特性即可得到包含错误信息最少的重构图像,基于此设计出适用于光子集成干涉成像的最大熵方法。为了进一步展示该方法的振铃抑制作用,采用性能较好的多层分级排布结构进行仿真模拟,并利用均方误差、结构相似性系数和峰值信噪比进行像质评价。数值仿真结果表明,该方法可以消除振铃伪影,对于测试的图像数据集,其平均SSIM由0.3716提升至0.5567,平均PSNR由21.9615提升至23.1105,平均MSE由0.0100提升至0.0078,成像效果明显增强。该方法可以进一步增强PIII系统的成像性能,并降低PIII系统孔径排布的设计难度。
[1] KendrickR, DuncanA, WilmJ, et al. Flat panel space based space surveillance sensor[C]∥Proceedings of the Advanced Maui Optical and Space Surveillance Technologies Conference, September 10-13, 2013, Wailea, Maui, Hawaii. [S.l.: s.n.], 2013.
[2] Su T H, Liu G Y, Badham K E, et al. Interferometric imaging using Si3N4 photonic integrated circuits for a SPIDER imager[J]. Optics Express, 2018, 26(10): 12801-12812.
[3] GlindemannA. Principles of stellar interferometry[M]. Heidelberg: Springer, 2011.
[4] Chu Q H, Shen Y J, Yuan M, et al. Numerical simulation and optimal design of segmented planar imaging detector for electro-optical reconnaissance[J]. Optics Communications, 2017, 405: 288-296.
[5] Gao W P, Wang X R, Ma L, et al. Quantitative analysis of segmented planar imaging quality based on hierarchical multistage sampling lens array[J]. Optics Express, 2019, 27(6): 7955-7967.
[6] Yu Q H, Ge B, Li Y, et al. System design for a “checkerboard” imager[J]. Applied Optics, 2018, 57(35): 10218-10223.
[7] Ding C, Zhang X C, Liu X Y, et al. Structure design and image reconstruction of hexagonal-array photonics integrated interference imaging system[J]. IEEE Access, 2020, 8: 139396-139403.
[8] Veraart J, Fieremans E, Jelescu I O, et al. Gibbs ringing in diffusion MRI[J]. Magnetic Resonance in Medicine, 2016, 76(1): 301-314.
[9] Shannon C E. A mathematical theory of communication[J]. Bell System Technical Journal, 1948, 27(3): 379-423.
[10] 武冬梅, 于清华, 乐应波, 等. 分块式平面光电探测成像技术研究[J]. 红外, 2018, 39(4): 1-6.
[11] Narayan R, Nityananda R. Maximum entropy image restoration in astronomy[J]. Annual Review of Astronomy and Astrophysics, 1986, 24(1): 127-170.
[12] Thiebaut E, Giovannelli J F. Image reconstruction in optical interferometry[J]. IEEE Signal Processing Magazine, 2010, 27(1): 97-109.
[13] Cornwell T J, Evans K F. A simple maximum entropy deconvolution algorithm[J]. Astronomy & Astrophysics, 1985, 143(1): 77-83.
[14] BoydS, VandenbergheL. Convex optimization[M]. Cambridge: Cambridge University Press, 2004.
[15] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.
[17] Zhao X L, Zhang H L, Zhou Y L, et al. Gibbs-ringing artifact suppression with knowledge transfer from natural images to MR images[J]. Multimedia Tools and Applications, 2020, 79(45/46): 33711-33733.
[18] 刘国红. 面向振铃抑制的图像复原算法[D]. 哈尔滨: 哈尔滨理工大学, 2016.
Liu GH. Image restoration algorithm for suppressing ringing effect[D]. Harbin: Harbin University of Science and Technology, 2016.
Article Outline
陈天宝, 曾雪锋, 白莹莹, 田明森, 张峰, 张学军. 光子集成干涉成像图像重构:熵先验[J]. 光学学报, 2021, 41(23): 2311002. Tianbao Chen, Xuefeng Zeng, Yingying Bai, Mingsen Tian, Feng Zhang, Xuejun Zhang. Image Reconstruction of Photonics Integrated Interference Imaging: Entropy Prior[J]. Acta Optica Sinica, 2021, 41(23): 2311002.