作者 |西安电子科技大学 邵晓鹏

 

Less is more.

 

       近年来，超透镜（Metalens）可算是出尽了风头。做光学成像如果不Meta一下，就有一种要落伍的感觉。从Nature到Science，从英文到中文，从高校到研究所，从学术界到工业界，超透镜都是座上宾，一时间，超透镜几乎成了下一代光学成像的扛把子，大有替代传统光学系统之势。剥茧抽丝，你看目前各路登台的Metalens大戏之所以还能演得绘声绘色，其根本原因是因为有计算成像在背后加持。然则细想一番，超透镜无非就是一个光学衍射器件而已，它的前辈们命运如何，已然给它指明了方向。

 

 

       犹如买股票一般，如果把全部家当都押到一只股票上，胜算概率之低自然可以算出。至少，我可以预言：未来的光学成像系统绝不仅是超透镜，还将有极简光学的一席之地。

 

一

极简光学

 

       何谓极简光学？极简光学实际上是计算光学发展的必然产物，在完成一定任务驱动的约束条件下，充分利用计算性能（算力），以最小的代价（最少的镜片、最小的体积和重量），设计出满足成像需求的光学系统。

 

 

       从上面的定义可以看出，极简光学的数学本质是在一定约束条件下的最优化设计问题，也是计算光学成像全链路一体化设计思想的体现。

 

       下面，我们逐一分析极简光学的定义。

 

       首先是任务驱动，即成像的目的是什么，把它作为一个重要的约束条件。因为不同光学成像的任务需求不一样，有追求高分辨率的，有追求高帧频的，有追求高可靠性的，还有追求更强环境适应能力的等等，任务不同，要求不一样，设计思想也不同。那么，我们就要从需求出发，根据成像环境和平台的约束，比如重量、尺寸甚至还有成本，准确给出设计原则。

 

       然后是算力的约束，这个约束最大程度取决于当前集成电路技术的发展水平，其次是平台能提供的算力资源有多少。计算成像的光场解译算法不断会优化下去，不同阶段消耗的资源也不尽相同。但我们可以看到，现在越来越多的算法在实时性方面已不再是问题，而且，随着算法专用芯片技术的发展，集成化的低功耗芯片可以给计算成像的前途带来一片光芒。

 

 

       接下来，我们就该看看最难啃的骨头——最小代价。什么是最小代价？这个概念看起来简洁明了，却难以量化，甚至有些模棱两可，这也恰恰是极简光学最有魅力的地方，也是我们要重点攻克、建立新规则的内容。在这里，最小代价要考虑的因素有镜片的数量、镜片的材料、工艺、加工和装调难度、制造周期和成本等等。

 

       我们把这三条联系到一起，做一个全局的优化设计，得到的系统就是极简光学。

 

       在这里，我要特别强调的是：极简光学并不是一味地追求只需要一片镜子完成设计，而是根据约束规范，给出的最优解，既可以是单片镜子，也可以是多片的联合，但总的原则是满足任务需求的最优设计；更严格地讲，它是一套完整的设计规范。

 

 

       那为何这些昂贵的镜头都采用那么多片镜子，甚至用萤石（CaF₂）这种质脆、难以加工的贵重材料呢？能不能用简单透镜做成像镜头呢？

 

 

       目前，评价一个镜头性能参数的最有力工具就是调制传递函数(MTF)曲线，而光学系统设计追求的恰恰也就体现在MTF曲线上，甚至我们毫不客气地讲：摄影镜头为了追求那一点点MTF的提升，付出的代价远超它带来的那点性能，性价比极低。摄影，从高雅走向大众，再到后来，经常会沦为面子问题，从追求艺术沦落为器材党，变成纯粹的物欲。而这些，似乎都是昂贵镜头惹的祸。

 

 

       尽管单透镜成像存在着天生的不足，但是，人们对它的研究却从来没有停止过，尤其是随着计算能力提升之后，研究单透镜成像的浪潮就一波接着一波，相关文章也屡见不鲜。可是，到目前为止，依靠单透镜成像的案例却极少见到，这到底为什么呢？

 

       首先，我们来看看单透镜的MTF曲线吧。目前来看，几乎所有单透镜的MTF曲线都具有的普遍特征是频率下降很快，截止频率很低，与摄影镜头相比，那差距大得会让你几乎不用怀疑单透镜是否适合用来成像。

 

 

       但是，如果你把现在火得不要不要的Metalens的MTF曲线拿出来比较一下，是不是会增加点信心呢？是啊，Metalens不仅MTF曲线难看，而且光谱响应范围很窄，人家都想跑赢未来，单透镜的“综合素质”比它好多了，为啥就不敢呢？

 

 

       然后，我们再来看看单透镜的点列图，它的空间一致性很差，对应的弥散斑很大，其直径甚至达到毫米量级，对于微米量级的像元尺寸来讲，大得离谱，图像不模糊才怪呢！

 

 

       最后来看看像差的问题。无论是色差还是像散，无论是畸变和还是场曲，单透镜的表现都不怎么地，让它去成像，确实太为难了。

 

       质疑，是科学精神的本质；执着，是科学家的基本素质。单透镜成像质量不好，分析一下原因，看看能不能通过算法改善，提升成像质量呢？

 

       成像质量提升，体现在参数上，无非就是MTF曲线更“平整”、“丰满”（光通量和信息总量）、弥散斑更小（清晰度），如果是彩色成像，还要看色差的问题。

 

       那么，对单透镜成像的优化而言，因为其自身的光学素质已经固定，我们能做的仅仅是从成像模型下手，通过算法提升MTF，改善图像质量。目前，普遍的做法是采用非线性的去卷积模型提高图像的清晰度，然后利用一些消色差等算法进一步提升色彩还原度。当然，这类的研究很多，算法也不少。

 

       下面，我们以平凸透镜成像为例介绍其模型，它包含点扩散函数采样与成像全视场非线性退化两部分。在图像处理课程中，成像的退化模型一般写成点扩散函数卷积加上噪声干扰项的形式，当然，其前提条件是满足线性条件。可是，由于成像系统中的光线不仅仅只有近轴光线，线性条件已然不能成立。一般地，可以利用光线追迹计算物平面到像平面光波传输过程来计算采样点扩散函数（PSF）。通过对平凸透镜计算，实际的PSF与空间位置有关，只用单一的PSF无法表征全视场的退化关系。此时，可以按照光线追迹的方案提取多个视场下的PSF作为已知的退化函数，其余位置的退化函数可以通过已知处的退化函数插值得到，于是，任意位置处的退化函数则可以由已采样位置处的全局退化函数加权计算。接下来，按此方法先对多个波长通道下进行点扩散采样,然后通过全局变化的点扩散函数模型进行模拟自然场景中平凸透镜的成像。

 

       下面是平凸透镜的成像结果，目前，在计算机平台上可以实现720P图像100  Hz的重建。

 

 

       其实呢，我们从单透镜成像模型中发现，很多问题是因为其固有的缺点造成的，比如透镜面型单一、材料单一，可操作空间很小，当然也没有编码，成的像不仅品质不好，而且往往因为图像过于“自然”而不利于重建，导致算法压力很大，尤其是在处理色差、场曲等问题时，数字计算需要的边界条件往往很难满足，导致算法的奇异性，而且算法优化过程中引入的噪声也很严重，重建图像看起来品质不高，尤其是MTF提升幅度不够时，图像的信息冗余度变低，导致图像看起来干巴巴的不自然，这种情况其实在手机摄影中经常看到。

 

 

       显然，对极简光学成像而言，科学的方法是理性，不走极端，也就是说，我们没有必要一味追求单片透镜成像，而是从应用的实际出发，全局优化设计，达到极简的目标。况且，你可以看到，单透镜成像（当然也包括Metalens）还存在很多应用上的难题需要解决，比如成像的后截距，它直接宣布Metalens再薄，也会因为焦距的问题不能紧贴探测器，甚至因为单片想缩短后截距都不可能，导致的结果还是体积很难缩小。这其实也是定义极简光学的一个重要因素。

 

三

妥协：从单透镜到极简光学

 

       一个光学镜头往往由很多片镜子组成，每片镜子都肩负着重要的角色。

 

       被称之为光学工程学科“四大支柱”之一的光学系统设计看起来很高大上，其套路却是学习使用光学系统设计软件，套用已有的模型，选择材料、调整镜片间距，优化参数，如同学生做习题一般。

 

       下面，我们就来看看这个具体过程。

 

       光学镜头设计过程的第一步是从镜头的实际用途出发，确定目标镜头的一阶参数，主要包括镜头的视场、F数、焦距、工作波段、后截距等。把这些一阶参数作为限制条件，通过理想光学公式计算或搜索现有的镜头专利库，得出或找到合适的光学系统初始结构。

 

       显然，光学镜头的一阶参数会直接影响镜片的物理属性。例如后截距这个参数，很多人都不太重视，然而它却对确定成像质量、调整焦距起着重要作用。在传统设计的过程中，需要考虑到后截距对像质的影响，较长的后截距能够提高成像质量，减少畸变和色差等问题；较短的后截距则会导致像质下降，出现像散和畸变等问题。一般来说，长焦镜头需要更长的光路来聚焦光线，往往具有较长的后截距，而短焦镜头则具有较短的后截距。在安防领域中，为了满足大范围的信息获取，监控镜头的全视场FoV（Field of View，视场角）往往很大，对于入瞳位置的镜片而言，其曲率及口径也会相应增大，在不考虑探测器型号的条件下，后工作距越短，主光线入射到像面上的角度就越大，光学系统后组镜片承担的光焦度就越大。历史上，120相机出现的时间比135相机要早，很重要的一个原因就是135相机的镜头设计难度比120相机更大，因为它的像场和后截距都比较小。所以，一阶参数对镜片的筛选及初始结构调整非常重要。

 

布朗尼2号（No.2 Brownie）和徕卡“0”号相机

 

       畸变和场曲是短焦镜头最主要的像差。1966年的一款40 mm、F/4的镜头，被一款体积更小的、拥有相同焦距和F数、采用非球面的镜头所替代，新镜头的总长度（total track length, TTL）显著缩短，总重减少了约1/3，其中非球面对于解决像散问题起到极大作用。其利用非球面增加设计自由度的方式，对镜头的像散进行了补偿，从而实现了镜头体积和重量的减少。这是否意味着计算成像技术利用计算补偿的方式，对减薄设计后镜头的缺陷像质进行补偿，同样也可以实现在不降低像质的前提下，缩短镜头总长，降低镜头重量呢？

 

Zeiss Distagon 40mm f/4

 

       通常，望远设计放在长焦镜头中，可以有效缩短镜头的总长，但简单的望远结构会显著增加镜头的重量，因此，许多厂商采用萤石制作的前镜组与非球面结合才满足了高成像质量和轻量化的市场需求，但增加了镜头的成本并增加了像差校正的难度。那些昂贵的摄影镜头，在宣传页中都高调地表明用了多少块萤石和非球面，暗示“发烧友”这个镜头确实值那个价钱。

 

AF-S尼克尔500mm f/4E FL ED VR

 

       在成像光学领域，评价一个镜头是否满足应用需求的标准，首先对准的是成像清晰度，成像质量的评价主要包括MTF曲线和点列图，对比衍射极限MTF值和艾里斑半径即可进行评估。所以在光学设计过程中，光学工程师在获取了初始结构之后，便要对系统的像差进行矫正，包括优化或修改结构中镜片的曲率半径、厚度、材料等等，这一部分通常是整个设计中最漫长的过程，虽然近代光学系统设计可以借助软件快速优化结果，但主流的光学设计软件的算法在求解最优解时容易陷入局部解，此时需要光学工程师人为干预，在一些像差的矫正过程中，人为的替换玻璃材料有时比计算机效率更高，比如使用双胶合透镜时，工程师往往通过强色散玻璃与弱色散玻璃结合相互色散补偿达到消色差目的。

 

 

       当残余像差矫正后，考虑到装调和制造的误差，如镜片的偏心、倾斜、系统结构参数的误差等等，需要对设计结果进行公差分析，评价公差对最终结果的影响程度。另外，设计结果仅针对理想的光线传播轨迹，即光线按顺序穿过系统的每一面，而实际情况下，进入光学系统的光线具有随机性，设计师往往需要进一步进行非序列模式下的仿真和分析。

 

       最后，光学系统的制造成本也是需要关注的问题。在光学设计行业中有这样一句名言：光学设计的核心，永远都是寻找合适解，而不是最优解。一个光学产品的落地实现，需要考量多方因素，如何降本增效也是各大光学企业关注的重点，传统的光学系统设计中，通过使用注塑镜片、减少光学系统镜片和非球面镜片的数量、设计具有更宽公差的系统等方法来降低成本，但由于成像质量和成本控制的相互制约，找到二者的平衡点，是传统光学设计的难点。然而随着光电设备在工业、医疗、航天等领域的大范围商用推广，越来越多的使用者期望的是能够在不降低成像需求的前提下，降低设备的成本，减小设备的体积，减轻设备的重量。

 

 

       计算成像指导下的极简光学系统设计，不追求简单的镜片最少，而是在满足使用需求的前提下尽量减少体积、结构、加工时间等代价，实现光学与实际应用的平衡。

 

四

删繁就简——极简光学的设计准则

 

       在艺术界有一句名言叫“Less is more.”凡是美的，一定是简单的；但美的内涵，却不简单；删繁就简，简洁却不简单，其本质上是模式的创新。

 

 

       计算成像体系中非常重要的一个发展方向就是极简光学成像系统设计，理所当然，与传统镜头设计所要考虑的问题不同，遵循的原则不一样。

 

       准则一：应用为先。

 

       在简化镜头的过程中，计算成像技术第一位考虑的依然是镜头的应用场景问题，将其对应到镜头自身的属性中，便指向了镜头的一阶成像性能参数，包括焦距f、光圈F数、视场角FoV以及工作波段λ等，这些参数所代表的含义就是选择该镜头在特定应用场景下的理由。因此，与传统的镜头设计流程一致，计算成像在简化镜头时，这些参数也应该是第一位进行考虑的，不能说经计算简化后，镜头被减轻、减薄并且具有良好的像质，但新镜头的焦距、视场或者波段无法在需求的场景下使用，这就本末倒置了。

 

优化设计后视场丢失

 

       准则二：约束条件。

 

       第二位考虑的则是计算成像技术瞄准要解决的重点问题，光学成像系统SWaP需求，即体积、重量、成本及功耗等的限制。传统设计方法的简化，是在极致的像差优化约束下，寻找是否仍有剩余的可优化空间或者另外的镜头设计方案，没有摆脱越来越高的成像需求和越来越复杂的镜头结构之间的发展关系。而计算成像技术在镜头上的简化与传统设计过程的简化不同。计算成像技术为了实现镜头的简化，不再对镜头施加“零像差”的压力，放松了镜片对像差的部分约束，减轻了镜片的负担，从而让镜头结构的简化成为可能，满足使用者对镜头在体积、重量、成本和功耗上的使用需求。但这样做的代价则是会保留一部分的残余像差没有被校正，简化后镜头的直接成像结果存在缺陷，一般来说能够直观反映在成像质量参数上，比如MTF曲线、Seidel像差、点列图光斑的RMS半径以及波前差等。因此，引入能够解决对应问题的计算补偿手段，使其成像结果能够满足最终的成像需求，这是计算成像技术要考虑的第三个问题。

 

传统设计下某相机镜头的MTF与PSF

 

基于计算成像技术设计后该相机在扰动环境下镜头的MTF与PSF

 

       准则三：全局优化。

 

       面对简化后镜头“卸下”的成像压力，计算成像技术通过在全链路成像过程中引入了对信息的编解码手段，对信息进行计算补偿，“扛起”了简化后镜头剩余的压力，使得简化后的光学成像系统在计算成像技术的支持下，以满足使用者成像需求为前提，让系统变得更加轻薄，更加符合使用者的使用需求。

 

       传统设计的流程首先是根据应用场景的需求进行镜头的选型，经过初步优化后，满足了最基础的一阶成像性能参数；接着，便是满足使用者对镜头的成像需求进行设计，这一阶段，应当在一阶成像性能参数的约束下，以成像质量参数为评价标准，MTF曲线、Seidel像差、点列图光斑的RMS半径以及波前差等，对镜头的结构进行再优化；最后，为了满足使用者的使用体验，传统设计对缩短镜头长度和是否存在设计冗余而进行的检查，对第一步设计和第二步设计来说可以看作是锦上添花。

 

       计算成像技术在对镜头进行“极简设计”的过程中，需要考虑问题的顺序出现了变化。计算成像技术并非是以完全替代传统设计的角色而存在的，计算成像技术在极简光学成像系统的设计流程中，仍是以满足场景需求为基础，尽可能保证一阶成像性能参数不变；接着，将满足使用者的使用需求作为一个发展目标进行考虑，利用计算补偿的特点，探索在满足成像需求的前提下，改善目前部分光学成像系统的使用受限问题。

 

卸下镜片的压力，相机由“厚重”到“轻薄”

 

       例如为了保证超大口径望远镜高质量成像，对主镜的光学及力学特性都提出了十分苛刻的要求，这也直接导致超大口径望远镜成本奇高且加工周期非常长。采用拼接式的主镜虽然能降低单个镜片的加工难度，但是后期在轨展开、主镜内各子镜都会影响最终的成像质量，且系统调校难度很大，周期很长，不利于大量、快速部署。但是，在计算成像思想的极简光学设计中，可以放松对主镜力学、光学面型等参数的要求，从而降低主镜的成本及加工周期。将因放松主镜要求后所引发的波前扰动、像差等利用计算重建来补偿，实现基于计算成像思想的极简设计。最终在不降低一阶成像性能参数的前提下，降低超大口径望远镜的代价。

 

詹姆斯韦伯望远镜C3镜片被“微陨石”击中，使波前均方根误差由56 nm升至280 nm

 

五

未来

 

       应简尽简是极简光学的精髓，追求极致是极简光学的目标，优化计算是极简光学的核心。光学成像的应用中，在强烈SWaP、低成本和高可靠性的驱动下，极简光学走上舞台是发展的必然。

 

 

       目前，我们看到几乎所有的手机镜头都是凸出在手机面外的，原因就是追求像质普遍采用7片以上的镜片设计，导致TTL难以压缩；航空相机往往预留的空间也很有限，航天遥感相机贵得要死，而弹载的相机往往会因上万个重力加速度导致可靠性变差，更不要谈超大口径望远镜的难度了。所有这些问题，我相信，随着极简光学的体系化发展，都会迎刃而解。

 

作者简介

 

 

       邵晓鹏，教授，西安电子科技大学光电工程学院院长，西安市计算成像重点实验室主任，173重点项目首席，科普作家。主要研究方向：计算光学成像技术、光电图像处理与模式识别、光电仪器研制与测试。现任国家部委专业组专家，中国光学工程学会常务理事、中国光学学会理事、陕西省光学学会副理事长、陕西省光学工程学会副理事长、西安市激光红外学会副理事长；光场调控及其系统集成应用福建省高校重点实验室学术委员会主任；**工业光电信息控制和安全技术等10余个重点实验室学术委员会委员。Advanced Imaging主编，Ultrafast Science副主编，《应用光学》副主任委员，《激光与光电子学进展》《光学精密工程》《光子学报》《系统工程与电子技术》《数据采集》《光电技术应用》《激光与红外》《集成技术》《西安电子科技大学学报》等期刊编委。

 

 

       席特立，西安电子科技大学菁英副教授，西安电子科技大学计算成像研究所副主任。主要从事透过随机散射介质成像、新型计算光学系统设计以及定量相位测量技术研究，近年来主持或参与了包括国家自然科学基金、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letter、Optics Express、Applied Optics等期刊共发表SCI论文20余篇，并多次在国际及国内学术会议上做邀请报告。曾获2020年陕西省科技工作者创新创意大赛三等奖（第五获奖者）等奖项。

 

 

       魏士杰，西安电子科技大学光电工程学院博士研究生。研究方向为新体制的光学计算成像与计算光学系统简化设计。参与国家自然科学基金面上项目，国家863计划、科技委创新基金等多项科研项目，在Optics Letter、Optics Express、Applied optics等期刊发表5篇论文。

 

 

       相萌，准聘副教授，现工作于西安电子科技大学光电工程学院计算成像研究所。主要从事计算成像在空间遥感、工业检测、生物医学等典型交叉学科的应用研究，具体研究方向为光学合成孔径成像、傅里叶叠层超分辨成像等；近年来主持或参与了包括国家自然科学基金、JKW预研基金、高分辨率对地观测系统重大专项、重点实验室基金等国家及省部级纵/横向项目十余项。在Optics Letters、Frontiers in Physics等国内外重要学术期刊共发表SCI论文多篇，任Optics Letters, Applied Optics，JOSA A等多个国际期刊审稿人。

 

原文链接：https://mp.weixin.qq.com/s/VCaGgR3Vw0p06Z4EiCG4Dw