集成化成像芯片实现像差矫正三维摄影
2023-01-09

01导读

二维成像传感器,如CMOS、CCD等,为许多领域的发展带来了长足的动力。从工业检测、数码移动设备、自动驾驶,再到安防监控、医疗诊断、生命科学、天文观测等等,光学成像与数字传感器是人类感知世界的重要技术与必不可少的感知工具。受益于半导体行业的快速发展,数字传感器的像素数量在过去十年中迅速增长。从起初的百万像素到现如今的千万像素,甚至十亿像素,更大的像素数目似乎成为了人们追求更好成像结果的“重要途径”。然而事实上,现如今的大多数成像系统性能已经达到了光学瓶颈,数字传感器并不是限制“完美成像”的短板。例如,在一个普通的千万像素传感器中,成像系统的有效像素数通常被光学像差限制在百万像素级别,这是由于不完美的镜头误差或环境扰动引起的。简单而言,光学像差会使得经过成像系统的点光源在二维数字传感器中弥散成光斑(点扩散函数PSF)。

光学工程专家花费百余年时间致力于完美成像系统的设计方案,通过精密的镜片设计、组合以进行像差校正。然而,光学设计和制造的难度随着空间带宽积(光学系统的自由度总数)的增加呈指数增长。在这种情况下,具有大空间带宽积的高性能成像系统往往非常昂贵且体积庞大。另一方面,即使拥有了较好性能的成像系统,也难以实现“完美成像”的目标。以大口径天文观测为例,大面型透镜的工艺繁复且成本较高,但限制观测性能的并非仅仅是大口径光学镜片。持续高速变化的大气湍流也成为了地基望远镜的观测之殇。几十年来,人们使用自适应光学技术来减小湍流带来的影响。通过一个波前传感器实时感知环境的像差扰动,而后同步反馈给一面可变形的反射镜阵列,借此给对应的光学波前做出动态矫正,从而抵消大气湍流带来的影响。然而,由于大气湍流在三维空间的非均一分布特性,自适应光学技术仅能实现极小视场的高分辨成像,难以实现大视场多区域的同时矫正。而且,由于需要非常精细的复杂系统与辅助矫正的导星机制,导致成本十分高昂。

近日,清华大学成像与智能技术实验室戴琼海院士团队提出了一种集成化的元成像芯片架构(Meta-imaging sensor),为解决光学像差这一百年科学难题开辟出新路径。受果蝇复眼的光致机械响应启发,元成像芯片通过高频振动的微透镜阵列,绕过海森堡不确定性限制,突破空间分辨率与角度分辨率的矛盾,实现高分辨率光场的精细感知。研究团队进一步提出了非相干孔径合成技术(ISA),将低分辨率的子孔径信息融合重建至衍射极限分辨率。另外,元成像芯片具有数字自适应光学(DAO)矫正功能,无需额外硬件即可实现全视域的非一致像差矫正与高分辨率三维成像。该技术有望应用于大部分像感器架构,无需改变现有的光学成像系统,带来颠覆性的变化,将用于天文观测,医疗诊断,生物成像,工业检测,移动终端,安防监控等具有高精度探测需求的复杂场景。


图1 元成像芯片架构与原理样机(上图);普通成像传感器、传统光场传感器、元成像传感器(无DAO),元成像芯片(DAO)结果对比(下图)

02研究背景

如今,人们尝试通过各种方法解决光学像差这一问题。光学方面,人们通过Metalens和自由曲面光学等,得益于大范围的高加工精度,通过制造特殊优化过的透镜表面来潜在地缓解像差问题。图像算法方面,去模糊一直是计算机视觉领域的热门研究方向。研究者们可以通过精确地估计点扩散函数(PSF)来提高图像对比度。也有一些方法通过设计特殊的PSF减少频域中的零点,从而保留更多信息,但是很难恢复由低调制传递函数(MTF)导致湮没的高频信息。这些方法在像差消除方面取得了一定的效果,但特别是对于空间非一致的像差分布,通常需要特定的数据先验和精确的点扩散函数估算。同时,上述方法对小景深的动态环境畸变仍然非常敏感。

物理方面,人们采用自适应光学技术,通过可变形反射镜阵列或空间光调制器实现主动像差校正,以不同角度将从一个点发出的光线引导到传感器上的同一位置。像差的波前可以通过导星和波前传感器测量,也可以根据特定的评估指标通过迭代优化的方式来测量。自适应光学在天文学和显微镜方面都取得了巨大的成功,并为重要的科学发现做出了贡献。然而,由于空间不一致的湍流分布,目前自适应光学方法的有效视场 (FoV) 非常小。特别是对于地面望远镜,由大气湍流引起的像差将自适应光学系统的视场直径限制在大约30角秒,这对于大型地基巡天望远镜来说远远不够。更重要的是,当前的自适应光学系统通常复杂、庞大且昂贵,这使得轻量级系统或便携式设备的发展变的困难。

03研究创新点

由于人类视网膜长期以来的设计理念——“所见即所得”,传统的二维传感器对于高维信息的感知束手无策,无法恢复场景的三维信息,同时也对像差扰动极为敏感。基于微透镜阵列的传统光场成像技术同时采集四维空间-角度信息,并在后处理过程中合成具有任意聚焦位置的图像,为视觉感知提供了另一种解决方案。这种方案在三维视觉、显微成像、像差矫正中都显示出了巨大的潜力。但传统光场成像受到海森堡不确定性原理的约束,它描述了空间分辨与角度分辨间的固有矛盾。当对空间定位非常准确的时候,就损失了对角动量的定位精度。因此为了获得不同角度的信息,不可避免地要对孔径进行分割,即降低了每一孔径的空间分辨率。这就使得传统光场无法实现超精细的元感知,限制了它们在各大领域进行实际应用。

2012年,一篇science论文研究发现,昆虫复眼在受到光刺激的时候会产生高频振荡,帮助昆虫识别高分辨率结构。受到这种光致机械响应的启发,研究团队提出了扫描光场成像原理,通过引入时-空-角耦合采样,绕过海森堡不确定性的限制。同时获取接近衍射极限的高分辨率空间信息与角度信息,实现了光元的超精细感知。而获得超精细的光元以后,该如何将不同角度对应的“子孔径”信息有效的融合起来?1974年诺贝尔物理学奖相干孔径合成技术,通过同时感知复数场的幅度与角度信息,能够实现不同子孔径的合成,目前已广泛应用于遥感、雷达与天文观测中。然而对于日常生活中最常见的非相干光而言,传统光电探测器仅能获得强度信息而缺乏相位信息,如何实现有效的孔径融合,将不同角度信息转换为空间分辨率?为了解决这一问题,研究团队提出了非相干孔径合成技术,充分利用微透镜的小尺寸衍射特性,在每一个子镜上通过一层衍射编码,将高频信息混叠至低频后再进行孔径分割,从而避免空间分辨率的损失。这等效于为非相干光场添加了额外的相干性,如同积木间的榫卯结构,层层相扣,显著提升了元融合的空间分辨率。


图2 元成像芯片对于树脂透镜进行光学像差矫正。A. 元成像芯片恢复的透镜像差分布图;B、D.传统成像芯片与元成像芯片的成像效果对比;C. 左侧为传统成像芯片对应的树脂透镜的MTF曲线,右侧为元成像芯片对应的树脂透镜的MTF曲线

而后,借助采集到的高分辨率的复杂光场分布,元成像芯片在后处理中精确地生成复杂场调制图像,而无需额外的光学设备,这是元成像传感器相对于传统 2D传感器的关键优势。一个典型的优势技术是数字自适应光学(DAO)。不完美的镜头或湍流会干扰从同一点发出的光线,导致普通二维传感器严重模糊。相比之下,元成像芯片对像差更为鲁棒,角度分量之间的串扰减少,并可以在后处理过程中重新组合成完美的焦点;研究团队通过波动光学建模DAO,区别于不同角度间的简单对齐(数字重聚焦技术),对成像模型精准建模。根据不同视角中相同结构的相对横向偏移来估计光瞳平面的像差分布相位,帮助ISA生成准确的四维PSF。此外,DAO方法表现出很强的噪声鲁棒性和一致的像差估计性能,因为相关计算过程中充分利用了局部区域中包含的所有特征信号。

另一方面,通过将自适应光学功能集成到传感器中,元成像传感器可以在不降低数据采集速度的情况下实现多点像差校正。由于像差分布的高度空间不一致特性,传统硬件自适应光学系统的有效视场通常非常小,导致传感器像素的大量浪费。相比之下,元成像传感器可以为宽视场的每个局部区域应用不同的像差校正,这也是传统光学相机难以实现的。研究团队在普通的单透镜系统上通过DAO实现了十亿像素高分辨率成像,大大提高了单个透镜的空间带宽积。


图3. 单透镜十亿像素成像 A.普通成像芯片结果;B.元成像芯片结果;C-F.两种芯片的成像结果局部放大对比,可以看出元成像芯片提升了单镜头的空间带宽积,显著提升成像分辨率

同时,为了验证元成像芯片DAO技术对于大气湍流的矫正能力,研究团队还在中国国家天文台兴隆天文台(NAOC)的清华-NAOC 80厘米望远镜上将元成像芯片与包含相同CMOS芯片的普通二维传感器进行了实验对比。数字自适应光学方法可以将传统自适应光学矫正的视场从30角秒提升到1000角秒。


图4. 清华-NAOC80 cm口径望远镜地月观测实验。A-D第一行是普通成像芯片结果;第二行是元成像芯片结果;E-F普通成像芯片、元成像芯片DAO前后对比

另外,元成像芯片除了能够实现复杂环境下宽视场高分辨率大景深范围成像以外,还可以同时获取高密度高分辨率的深度信息,在横向和纵向上都具有远高于传统光场相机的定位精度,为自动驾驶与工业检测等场景提供了一种低成本被动式高通量的解决方案。


图5. 元成像芯片高精度重构电路板三维信息;A. 所测电路板二维灰度图像;B. 传统光场重构的电路板三维结构;C. 电路板真实三维分结构;D.元成像芯片恢复的电路板三维结构

04总结与展望

该团队提出了一种集成化的元成像芯片架构,为解决光学像差与 三维感知开辟了新路径。元成像芯片通过记录成像过程而非图像本身,实现对非相干复杂光场的超精细感知与融合,借助于数字自适应光学技术即使经过不完美的光学系统与复杂的成像环境,依然能够实现完美的三维光学成像。在未来,课题组将进一步深入研究元成像架构,充分发挥元成像在不同领域的优越性,有望研发新一代通用像感器架构,从而带来三维感知性能的颠覆性提升,或可广泛用于天文观测、工业检测、移动设备、自动驾驶、安全监控、医疗诊断等。

该研究成果以“An integrated imaging sensor for aberration-corrected 3D photography”为题发表在 Nature杂志上。清华大学成像与智能技术实验室戴琼海院士、方璐副教授为共同通讯作者;吴嘉敏助理教授、博士生郭钰铎、博士后邓超担任共同一作;乔晖助理教授、以及张安科、卢志、谢佳辰三位博士生为共同参与者。该项目得到了国家自然科学基金委的支持。

论文链接:https://www.nature.com/articles/s41586-022-05306-8

人物风采
入选名单
联系方式

联系人:方编辑 

Email:obt@siom.ac.cn

电话:021-69918198