光学学报, 2021, 41 (23): 2311002, 网络出版: 2021-11-29   

光子集成干涉成像图像重构:熵先验 下载: 882次

Image Reconstruction of Photonics Integrated Interference Imaging: Entropy Prior
作者单位
1 中国科学院长春光学精密机械与物理研究所中国科学院光学系统先进制造技术重点实验室, 吉林 长春 130033
2 中国科学院大学, 北京 100049
摘要
光子集成干涉成像方法是近年来发展起来的一种以高质量成像和系统扁平化为目标的远场成像方法,有望在同等分辨率下系统的能耗、体积和质量均减小至1/10~1/100。但是现有系统对于高频信号的采样具有稀疏特性,当使用傅里叶逆变换(IFT)求解物体强度分布时,复原的观测目标在锐边处出现Gibbs振铃伪影,从而影响成像质量。为了抑制伪影,提出熵先验并研究熵惩罚特性,利用熵先验并结合光子集成干涉成像的特点设计最大熵方法。为了验证方法的性能,采用性能较好的多层分级孔径排布结构进行仿真模拟,使用峰值信噪比(PSNR)、结构相似性系数(SSIM)和均方误差(MSE)作为像质评价手段。仿真结果表明,最大熵方法可以消除由高频稀疏采样带来的伪影,对于受振铃影响明显的图像,MSE和SSIM有50%以上的提升,PSNR提升10%以上。
Abstract
Photonics integrated interference imaging method is a far-field imaging method developed in recent years, which aims at high quality imaging and system flattening. It is expected to reduce the energy consumption, volume, and weight of the system can be reduced to 1/10~1/100 under the same resolution. However, the existing systems have sparse characteristics for high-frequency signal sampling. When inverse Fourier transform (IFT) is used to solve the object intensity distribution, Gibbs ringing artifact appears in the sharp edge of the restored observation target, thus affecting the image quality. In order to suppress artifacts, entropy prior is proposed and the entropy penalty characteristics are studied. The maximum entropy algorithm is designed by using entropy prior and combining with the characteristics of photonics integrated interference imaging. In order to verify the performance of the method, a multi-layer hierarchical aperture arrangement structure with better performance is used for simulation, and peak signal-to-noise ratio (PSNR), structural similarity coefficient (SSIM), and mean square error (MSE) are used as image quality evaluation methods. Simulation results show that the maximum entropy algorithm can eliminate the artifacts caused by high-frequency sparse sampling. For the images obviously affected by ringing, MSE and SSIM can be improved by more than 50%, and PSNR can be improved by more than 10%.

1 引言

传统衍射受限光学系统的角分辨率与系统口径成正比。随着深空探测技术及对地遥感技术的发展,衍射系统对望远镜分辨率的要求越来越高,这会导致传统光学系统的尺寸、质量和功率(SWaP)急剧增大,同时**和民用光学领域对系统的集成化和小型化也提出了迫切需求。相对于传统干涉成像装置,一种新型的成像望远镜SPIDER(Segmented Planar Imaging Detector for Electro-optical Reconnaissance)成为目前的研究热点之一[1],其通过光子集成电路(PIC)[2]来实现信号光的解复用干涉等处理,从而有效压缩光轴方向的系统长度。在同等级别的分辨率下,相比于传统光电成像装置,SPIDER的SWaP减小至1/10~1/100。

PIII(Photonics Integrated Interference Imaging)系统可以对来自远场非相干成像目标的光信号进行子孔径采集、片上解复用干涉及干涉光平衡正交检测,从而反演出目标的强度分布。根据范西泰特-策尼克定理,该干涉信号可以对观测目标在空间频域中的某一确定可见性信号进行测量,此处可见性信号可等效理解为图像的空间频域数据,其包含振幅和相位信息[3]。对于远场z距离处的目标,当使用波长为λ的光观测时,一对中心位置差矢量为B的两个子孔径仅可获得一个可见性信号,该信号对应的空间频率f=B/λz。为了获得好的观测效果,需要对目标进行更多的可见性观测,所以一般通过多路子孔径的两两干涉来获得更多的空间频率信号,现有文献中报道了很多性能优越的孔径排布设计方案[4-7]

继SPIDER的径向排布之后,多层分级排布[5] 、矩形阵列排布[6]和六边形排布[7]等方式可以实现低频和中频可见性信号的密集采样,但是对于高频可见性信号仍然缺乏足够的采样处理,而增加高频信号的采样会为PIII系统的设计和装配带来难度,为芯片的设计和制造增加复杂度。为了有效解决上述问题,需要研究高频稀疏采样对复原图像的影响,并设计算法来消除相应的影响。

对于PIII系统,图像恢复最直接的方法是傅里叶逆变换(IFT)方法,但IFT方法的复原将会带来严重的伪影现象。伪影产生的主要原因是有限的傅里叶级数不能完美表示非连续区域,而且在PIII系统中缺乏足够数量的高频傅里叶级数的采样,从而导致锐边不完美近似。因此,截断傅里叶空间会导致重构图像的尖锐边缘附近出现伪影[8],其实质相当于原观测目标与sinc函数卷积,从而使图像中尖锐边缘附近出现“旁瓣”,进而严重影响成像效果。

1948年,Shannon[9]建立信息论的过程中发现熵可以测量信息源的不确定性,采用最大熵先验可以在所有满足数据保真度的解中找到包含最少信息的那个解。Gibbs振铃伪影是由高频采样缺失在复原图像上产生的错误信息,在方法中增加可见性数据保真项和噪声抑制项,即可利用熵惩罚来获取包含错误信息最少的图像,从而获得消除振铃效应的图像。本文在研究熵先验的基础上,提出应用于光子集成干涉成像图像重构的最大熵方法。

本文第二部分从范西泰特-策尼克定理出发,简单介绍干涉成像的理论以及干涉成像系统。第三部分介绍熵惩罚特性,并结合光子集成干涉成像的特点提出最大熵方法。第四部分采用多层分级排布结构[5]进行仿真模拟,利用均方误差(MSE)、峰值信噪比(PSNR)及结构相似性(SSIM)对重构图像进行相应的评价。实验结果表明,最大熵方法可以消除由高频稀疏采样带来的Gibbs振铃伪影,能够进一步提升PIII系统的成像性能并减少系统的复杂度。

2 光子集成干涉成像原理

PIII系统的一般结构如图1所示,其主要由传感系统和信号处理模块两部分组成[10]。传感系统通常由二维排布的微透镜阵列组成,其可以将远场空间光信号耦合进入信号处理模块中。信号处理模块采用PIC来解算可见性信号,该模块集成了阵列波导光栅(AWG)和平衡正交检测器(BFQD)[5]等组件。来自远场目标的光信号通过传感系统耦合至PIC芯片上,信号处理模块中的AWG将宽谱光信号分为多个窄谱光信号,再通过BFQD的检测和计算可得到各个窄谱光信号所携带的相位和振幅信息,即可见性信号可等效理解为图像的空间频域数据,其包含振幅和相位信息[3]。可见性信号可以表示为

V(f)=z02λ'2ΣI0(x)exp{-i2πf·x}dx,(1)

式中:Σ表示观测区域;λ'表示AWG解复用之后的窄谱光信号中心波长;z0表示观测目标与传感系统所在平面的距离;x表示观测目标的空间坐标;I0(x)表示观测目标的强度分布。空间频率矢量f包含的离散分量取决于传感系统中微透镜的排布方式,表达式为

fij=Di-Djλz0,(2)

式中:DiDj分别表示第i个透镜和第j个透镜的中心位置,其中ij。通过不同的微透镜组合排布和观测波长可以实现大量可见性信号的测量,此过程可简化为对观测目标空间频域可见性函数进行离散采样。

图 1. 光子集成干涉成像系统的结构

Fig. 1. Structure of photonics integrated interference imaging system

下载图片 查看所有图片

3 最大熵方法

3.1 熵先验

在图像重构的过程中,准确定义熵会带来许多问题,但在传统的天文干涉成像方案中给出了许多建议[11]。目前应用最广泛的熵定义[12]可表示为

H=-k=1KIkln(Ik/Ok),(3)

式中:IkOk分别表示在像素k处重构图像及图像先验的强度值。为了分析熵惩罚的特点,现考察一个总能量为T0的图像,其总能量为单个光子能量I0与总数目N的乘积,表达式为

T0=NI0(4)

由于Ik的能量为nkI0(nk为像素k处重构图像的个数),所以可产生不同的图像,个数为

W=N!n1!n2!nK!(5)

通过最大化W可以得到最大似然估计图像,对(5)式取对数并根据Stirling公式使ln N!~N(ln N-1),可以得到

lnWT0lnT0-k=1KIkln(Ik)(6)

最大化ln W即最大化熵- k=1KIkln(Ik),在总能量约束的情况下可以得到接近最大概率分布的图片。H为正实数域上的凸函数,熵值越大说明Ik越接近极值点,且仅包含唯一极值点,因此导致图像中不同像素点处的强度值之差越小,所包含的信息越少。为了借助此特性来获得包含错误信息最少的图像,需要在方法中设计数据保真度及噪声抑制等惩罚项。

3.2 最大熵方法

最新的成像系统结构可以实现零频率处的可见性采样[5-7],零频率处的可见性数据表征了观测目标的总强度。在重构图像中,数据保真度可保证已观测的可见性数据不丢失,因此通过数据保真度也可保证图像的总能量。针对PIII图像恢复的问题,其数据保真度可写为

Q=m=1MwmVm-V^m2,(7)

式中:Vm表示观测的第m个可见性信号; V^m表示重构图像的第m个可见性信号;wm表示第m个权重;M表示可见性信号的总采样数。此外,如果仅仅限制数据保真度,那么数据中的噪声可能会在图像恢复的过程中带来系统性误差,因此还额外添加了对图像总强度的最小化限制,即

T=k=1KIk(8)

根据拉格朗日待定乘子方法,干涉成像图像恢复问题可写为

J=αH+βQ+γT,(9)

式中:αβγ分别表示各个惩罚项的待定乘子。对于待定乘子,可以对TQH进行简单的泰勒展开[13],可求得

Δα=-ΔH/|H·H|Δβ=-ΔQ/|Q·Q|Δγ=-ΔT/|T·T|(10)

将Newton方法[14]作为优化方法。此外对于Q的二阶Hessian矩阵,考虑到观测目标可见性的稀疏采样,将非对角元素置零,即忽略系统点扩展函数的旁瓣并将其当作狄拉克函数进行处理,由此可以得到图像迭代的改变量为

ΔI=(-J)J,(11)

式中:I表示图像。通过(9)~(11)式可对光子集成干涉成像的图像恢复问题进行求解,求解步骤(算法1)如下。

1) 初始化Iαβγ,输入采样权重矩阵ω和可见性信号矩阵V,设置收敛阈值t

2) 计算组合函数J的一阶梯度ÑJ及二阶梯度ÑÑJ,由此计算(11)式。

3) 使用(11)式更新I,即Inew=II

4) 使用(10)式更新待定乘子αβγ

5) 检查收敛,若 Inew-I2I2>t,则继续步骤2),若 Inew-I2I2t,则停止迭代。

为了进一步研究最大方法(MEM)对Gibbs振铃伪影的抑制作用,设计仿真模型并利用MSE、PSNR和SSIM来评价复原图像[15]

3.3 数值仿真模拟

为了验证MEM的可行性,本文采用多层分级排布[5]作为光子集成干涉成像系统的孔径排布方式,该成像系统采样的可见性信号数量明显多于SPIDER的轮式透镜阵列,而且可以获取更大的采样半径,从而获得更好的成像效果。

受到耦合效率的影响,空间光耦合进芯片上单根波导的视场角较小,单根波导的视场角(FOV)约为2λ/D[16],其中D为小透镜直径,增加每个微透镜后端耦合波导的数量可增大视场。在本文研究中,仿真中考虑视场角为4λ/D的视场情况。系统的仿真参数如表1所示。

表 1. 光子集成干涉成像系统的仿真参数[5]

Table 1. Simulation parameters of photonics integrated interference imaging system[5]

ParameterSymbolValue
Range of wavelengthλ /nm380--700
Object distancez /km250
Microlens diameterD /mm3.6
Longest interferometric baselineB /mm104.4
Number of microlens per columnM30
Number of PICP19
Channel number of AWGS16
Wavelength spacing of AWGΔλ /nm20
Fixed FOVF4λ/D
Discrete data points of fixed FOVN×N /(pixel×pixel)512×512
Sampling rate of visibilityp /%3.36

查看所有表

频谱采样的连续采样半径r=0.072,最大采样半径R=0.417。分层多级排布的微透镜及其空间频率采样结果如图2所示。

图 2. 分层多级排布的微透镜和空间频率采样结果。(a)排布方式;(b)采样结果

Fig. 2. Layered and multistage microlens and spatial frequency sampling result. (a) Layout; (b) sampling result

下载图片 查看所有图片

为了定量评价MEM的复原效果及其抑制Gibbs振铃的效用,采用SSIM、PSNR和MSE作为像质评价手段[16-18]。为了清晰地显示MEM对复原图像的改善作用,使用算法1对图像恢复中常用的测试图像进行仿真,部分图像如图3所示。

图 3. 图像恢复中常用的测试图像。(a)蝴蝶;(b)船;(c)卫星;(d)摄影师;(e) USAF

Fig. 3. Test images commonly used in image restoration. (a) Butterfly; (b) boat; (c) satellite; (d) cameraman; (e) USAF

下载图片 查看所有图片

为了评价MEM和IFT方法的处理效果,统一对算法1进行15次迭代,其相关恢复质量评价结果如表2所示。

表2可以看到,MEM可以明显提高重构图像的PSNR和SSIM,而且对图像的振铃效应有明显的抑制作用;相比于IFT方法,MEM的平均SSIM由0.3716提升至0.5567,平均PSNR由21.9615提升至23.1105,平均MSE由0.0100提升至0.0078,说明MSE和SSIM有50%以上的提升,PSNR提升10%以上。Gibbs振铃效应主要出现在锐利边缘,为此含较多锐边边缘的图像重构效果提升明显。为了更直观地显示重构效果,图4为受振铃影响明显的观测目标的恢复效果,如卫星和分辨率板(USAF),其中SSIM受振铃影响严重。从表2图4可以看到,MEM可以消除Gibbs振铃伪影,从而提升光子集成干涉成像的效果。

表 2. 不同方法的MSE、PSNR和SSIM评价结果

Table 2. MSE, PSNR and SSIM evaluation results of dirrerent methods

MethodIndexButterflyBoatSatelliteCameramanUSAFAverage
MSE0.00420.00540.00110.00460.02360.0078
MEMPSNR23.829422.694729.406123.344116.278023.1105
SSIM0.54240.51020.84020.63400.25670.5567
MSE0.00420.00540.00280.00500.03240.0100
IFTPSNR23.802922.636725.514723.002014.895921.9615
SSIM0.48040.50350.26960.60530.22460.3716

查看所有表

图 4. 不同方法的最终恢复效果。(a)真值;(b) IFT方法;(c) MEM

Fig. 4. Final recovery effects of different methods. (a) Ground truth; (b) IFT method; (c) MEM

下载图片 查看所有图片

图 5. 不同方法在不同区域的恢复结果。(a) a线区域;(b) b线区域

Fig. 5. Results of different methods in different areas. (a) a line area; (b) b line area

下载图片 查看所有图片

图 6. 不同迭代次数下重构图像的性能曲线。(a) PSNR;(b) SSIM

Fig. 6. Performance curves of reconstructed images under different iterations. (a) PSNR; (b) SSIM

下载图片 查看所有图片

为了进一步展示不同方法的恢复效果,选取图4中USAF的a线区域及卫星的b线区域,将a线区域和b线区域的原图与MEM和IFT方法的复原图像进行比较,比较细节如图5所示。从图5可以看到,IFT图像中出现明显与原图不同的“旁瓣”,MEM图像中的“旁瓣”明显减少。

为了展示不同方法的运算效率,将SSIM和PSNR随迭代次数的变化曲线绘制在图6中。从图6可以看到,SSIM和PSNR在最初的几次迭代就可以得到较大的改善。仿真软件使用MATLAB软件,计算CPU采用的是Inter i5-9500,对所有使用的测试图像都进行了15次迭代,15次的迭代平均耗时为0.5 s。

4 结论

光子集成干涉成像是对观测目标的可见性进行采样,高空间频率的可见性信号采集困难,导致高频信号采样稀疏,IFT复原图像会存在很强的Gibbs振铃伪影,而振铃现象会严重破坏成像效果。本文分析熵惩罚特性,发现熵惩罚可获得包含信息最少的重构图像,振铃伪影可认为是由高频信号的稀疏采样而在锐边附近产生的错误信息。为了保证已采集图像的信息不丢失及抑制恢复图像的噪声,在最终的优化问题中增加可见性数据保真项和系统误差抑制项,结合熵惩罚特性即可得到包含错误信息最少的重构图像,基于此设计出适用于光子集成干涉成像的最大熵方法。为了进一步展示该方法的振铃抑制作用,采用性能较好的多层分级排布结构进行仿真模拟,并利用均方误差、结构相似性系数和峰值信噪比进行像质评价。数值仿真结果表明,该方法可以消除振铃伪影,对于测试的图像数据集,其平均SSIM由0.3716提升至0.5567,平均PSNR由21.9615提升至23.1105,平均MSE由0.0100提升至0.0078,成像效果明显增强。该方法可以进一步增强PIII系统的成像性能,并降低PIII系统孔径排布的设计难度。

参考文献

[1] KendrickR, DuncanA, WilmJ, et al. Flat panel space based space surveillance sensor[C]∥Proceedings of the Advanced Maui Optical and Space Surveillance Technologies Conference, September 10-13, 2013, Wailea, Maui, Hawaii. [S.l.: s.n.], 2013.

[2] Su T H, Liu G Y, Badham K E, et al. Interferometric imaging using Si3N4 photonic integrated circuits for a SPIDER imager[J]. Optics Express, 2018, 26(10): 12801-12812.

[3] GlindemannA. Principles of stellar interferometry[M]. Heidelberg: Springer, 2011.

[4] Chu Q H, Shen Y J, Yuan M, et al. Numerical simulation and optimal design of segmented planar imaging detector for electro-optical reconnaissance[J]. Optics Communications, 2017, 405: 288-296.

[5] Gao W P, Wang X R, Ma L, et al. Quantitative analysis of segmented planar imaging quality based on hierarchical multistage sampling lens array[J]. Optics Express, 2019, 27(6): 7955-7967.

[6] Yu Q H, Ge B, Li Y, et al. System design for a “checkerboard” imager[J]. Applied Optics, 2018, 57(35): 10218-10223.

[7] Ding C, Zhang X C, Liu X Y, et al. Structure design and image reconstruction of hexagonal-array photonics integrated interference imaging system[J]. IEEE Access, 2020, 8: 139396-139403.

[8] Veraart J, Fieremans E, Jelescu I O, et al. Gibbs ringing in diffusion MRI[J]. Magnetic Resonance in Medicine, 2016, 76(1): 301-314.

[9] Shannon C E. A mathematical theory of communication[J]. Bell System Technical Journal, 1948, 27(3): 379-423.

[10] 武冬梅, 于清华, 乐应波, 等. 分块式平面光电探测成像技术研究[J]. 红外, 2018, 39(4): 1-6.

    Wu D M, Yu Q H, Yue Y B, et al. Study of segmented planar imaging detector for electro-optical reconnaissance[J]. Infrared, 2018, 39(4): 1-6.

[11] Narayan R, Nityananda R. Maximum entropy image restoration in astronomy[J]. Annual Review of Astronomy and Astrophysics, 1986, 24(1): 127-170.

[12] Thiebaut E, Giovannelli J F. Image reconstruction in optical interferometry[J]. IEEE Signal Processing Magazine, 2010, 27(1): 97-109.

[13] Cornwell T J, Evans K F. A simple maximum entropy deconvolution algorithm[J]. Astronomy & Astrophysics, 1985, 143(1): 77-83.

[14] BoydS, VandenbergheL. Convex optimization[M]. Cambridge: Cambridge University Press, 2004.

[15] Wang Z, Bovik A C, Sheikh H R, et al. Image quality assessment: from error visibility to structural similarity[J]. IEEE Transactions on Image Processing, 2004, 13(4): 600-612.

[16] Yu Q H, Wu D M, Chen F C, et al. Design of a wide-field target detection and tracking system using the segmented planar imaging detector for electro-optical reconnaissance[J]. Chinese Optics Letters, 2018, 16(7): 071101.

[17] Zhao X L, Zhang H L, Zhou Y L, et al. Gibbs-ringing artifact suppression with knowledge transfer from natural images to MR images[J]. Multimedia Tools and Applications, 2020, 79(45/46): 33711-33733.

[18] 刘国红. 面向振铃抑制的图像复原算法[D]. 哈尔滨: 哈尔滨理工大学, 2016.

    Liu GH. Image restoration algorithm for suppressing ringing effect[D]. Harbin: Harbin University of Science and Technology, 2016.

陈天宝, 曾雪锋, 白莹莹, 田明森, 张峰, 张学军. 光子集成干涉成像图像重构:熵先验[J]. 光学学报, 2021, 41(23): 2311002. Tianbao Chen, Xuefeng Zeng, Yingying Bai, Mingsen Tian, Feng Zhang, Xuejun Zhang. Image Reconstruction of Photonics Integrated Interference Imaging: Entropy Prior[J]. Acta Optica Sinica, 2021, 41(23): 2311002.

本文已被 2 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!