基于微纳器件的全光图像处理技术及应用 下载: 538次
0 引 言
当今世界,信息正以惊人的速度增长,海量数据的传输、处理和存储是世界性的难题。蓬勃发展的新技术,如增强现实、自动驾驶和智能手机等,要求实时处理图像、语音等多媒体信息,因此快速的数字计算是亟需的,但颇具挑战性[1-2]。目前的图像处理方法多采用集成电子电路和程序算法来进行,但标准电子元件的速度和功耗等性能很难再大幅提升,因为其特征尺寸已经接近量子极限。因此,研究全新的非电子类器件成为解决这些问题的关键,其中,基于光子的计算处理为克服这些限制提供了一条潜在的途径。近几年,光学模拟计算受到了特别的关注,其天然的并行操作特性,为某些计算任务提供了高速度、低功耗的解决思路。光学计算以光速对整个图像进行大规模并行处理,这与基于电子计算机的图像数字处理相比,具有显著的速度优势。光学计算的想法可追溯到20世纪60年代早期,是借助于傅里叶光学的开创性工作而发展起来的[3-5]。在傅里叶光学中[6],传统的图像处理方法涉及到多个光学元件,且通常体积庞大,不适用于紧凑型图像传感器。作为一种重要的图像处理类型,图像边缘检测近期取得了诸多进展,尤其是通过纳米结构来实现。
近几年,光学超表面的发展使光在亚波长厚度范围内得到精准调控,通过改变微纳结构的横向尺寸和形状来有效地操纵光的波前和振幅[7-15],其能实现传统光学元件的各种功能,可取代笨重、体积大的传统光学元件,为研发紧凑、轻量化、多功能平板光学系统开辟一条全新的道路[16-19]。用于光学计算的超表面受益于高速度、低功耗和可单片集成等特点,其使在单个芯片上处理光和电子数据成为可能。在光学计算中,边缘检测是目标检测、特征分类和数据压缩的首要步骤,其能提取并保留物体的重要特征信息,显著减少待处理的数据量。因此,边缘检测或增强[20-21]对数据压缩[22]、物体识别[23]、显微镜成像和计算机视觉等领域具有重要应用前景[20-21, 23-33]。然而,在实时图像处理的应用中,如医疗手术、智能汽车等,传统的高通量边缘检测极其耗时。针对这一问题,利用微纳结构进行图像边缘检测成为一个重要的替代手段,其实现途径主要包括:调节超表面的相对介电常数和磁导率[16]、调控传播模式耦合[17-19, 34-41]、螺旋相位滤波法[42]、偏振和空间复用的双超表面[43]、几何相位正反梯度[44]和利用自旋霍尔效应的结构[45-46]等。与传统的傅里叶光学装置相比,基于微纳结构的图像边缘检测器件的体积更紧凑,调控精度更高,更有潜力集成到图像传感系统。文中介绍了上述全光学边缘检测方法的工作原理和实现途径,讨论了各种边缘检测的优缺点,为未来的全光学边缘检测系统设计提供参考。
1 光学图像边缘检测技术
1.1 调节超表面的相对介电常数和磁导率
2014年Silva等人首次提出并实现基于超材料的模拟光学计算,其基于特殊设计的超材料结构来控制入射波,对其波的横截面进行数学运算(如空间微分、积分或卷积)[16]。当入射波经过超材料时,通过改变每层超材料的电磁响应,使输出波与输入波之间满足预期的数学运算操作。为了实现这一功能,他们提出了两种方法:(1)具有亚波长尺寸的梯度折射率波导;(2)多层平板来实现所需的格林函数功能。这两种技术均可提供小型化、可积的电磁计算系统,比基于傅里叶光学的传统信号和数据处理器薄几个数量级。
梯度折射率波导法是在傅里叶频谱域中利用平面薄材料执行数学运算。一个线性卷积
式中:
图 1. 基于波的超材料计算。一种设计适当的超材料块的概念草图,该超材料块可在任意波信号传播时对其进行所需的数学运算,在GRIN+和GRIN-的结构之间,设计合理的薄结构可以在傅里叶域进行数学运算
Fig. 1. Wave-based metamaterial computing. A conceptual sketch of a suitably designed metamaterial block that may perform a desired mathematical operation on arbitrary wave signals as they propagate through it. A thin, properly designed metasurfaces sandwiched between two GRIN structures with positive and negative parameters, can perform mathematical operations in the Fourier domain
对于一阶微分:
由于超表面被夹在GRIN+和GRIN-之间,该超材料系统获得了具有一阶微分的数学运算操作。原理上,该光学计算系统适用于任何波长,因此不限于光学频段,也能应用于微波、毫米波等短波长领域。在图像处理领域,该一阶差分运算可用于检测图像的一维边缘。
二阶微分:
式中:
该方案是除了一阶和二阶微分等基础操作外,还能执行积分、卷积等复杂操作。其在理论上验证了超材料进行数学运算的可能性,但材料介电常数根据需求变化和实验上的制造复杂度较大,故基于该方案的实验结果尚未报道。物理上,该工作开辟了利用微纳结构执行光学模拟计算的新方向。
1.2 耦合模调控
借助傅里叶变换和数学运算的具体操作可通过频率域或动量域的幅值调制来实现,即光在不同入射角下的透射或反射满足特定的数学运算需求。以y方向的一阶微分为例,其频率域的振幅调制为
Alu课题组发现,超表面的非定域性可被悉心设计,以实现在超薄空间下动量域的光信号操纵,从而执行基本数学运算。在实际设计中,把慢周期空间调制引入超表面,来提高其非局域响应幅度,再通过适当地调制参数,可实现不同类型的数学运算,如一维一阶微分、一维二阶微分和二维拉普拉斯运算[17]等。如图2(a)所示,对于一维二阶操作,用一个基本的正弦调制,在开环谐振器(split-ring resonators,SRRs) 间隙中引入介质调制,其介电常数
图 2.
Fig. 2. Nonlocal metasurface. (a) Schematic of an array of split-ring resonators parallel to the x -z plane. The measurface is excited by TM-polarized waves propagating on the x -z plane; (b) Metasurface with broken x and z symmetry to obtain an asymmetric response with respect to positive and negative
, as required in order to implement a first-derivative operation; (c) Metasurface with a 90° rotational symmetry to implement the second derivative in 2D; (d) Transmission versus incident angle for the metasurface for an second-derivative operation; (e)Transmission versus incidence angle for the metasurface and for an first-derivative operation; (f) Image used to test the response of the metasurface at
, where
is the resonance frequency of the unmodulated metasurface; (g) Output for illumination (f) with unpolarized light from the normal direction. Panel (a)-(f) adapted with permission from reference [17]
非局域超表面。(a) 平行于x-z 平面的裂环谐振器阵列示意图。超表面被TM偏振光激发,在x-z 平面传播;(b) 设计的超表面对于正和负的
打破x 和z 对称性获取不对称响应,实现一个一阶导数的要求操作;(c) 超表面具有90°旋转对称实现二维的二阶导数;(d) 二阶导数运算的超表面传输与入射角关系;(e) 一阶导数运算的超表面传输与入射角关系;(f) 该图像用于测试在
,其中
为未调制的超表面的共振频率;(g)法线方向的非偏振光照明图(f)的输出。图(a)~(f)的改动经过参考文献[17]的许可
金属−介质界面处表面激元的干涉效应也可进行空间微分[19]。一个p偏振波以入射角
为实现空间微分,在图3(a)所示的Kretschmann装置中,需控制金属膜的厚度以满足临界耦合条件,他们确定波长为532 nm的入射光在50 nm处的银膜厚度满足临界耦合条件。将银沉积在BK7玻璃基板上,用Kretschmann装置测量反射率,得到空间传递函数谱,图3(b)~(d) 为三种不同厚度样品的实验空间传递函数谱图。这三种薄膜在金属−空气界面上的相匹配耦合到SPP的传输光谱中都显示出明显的下降。将实验数据与数值计算结果进行拟合,得到银层厚度分别为46.0 nm、50.0 nm和55.5 nm,这里银的介电常数是
图 3.
Fig. 3. Design of surface-plasmon-based spatial differentiator. (a) Schematic of the plasmonic spatial differentiator with the Kretschmann configuration to excite the surface plasmon polariton(SPP). The dark grey layer and the light grey area correspond to the silver film and the glass, respectively; (b)-(d) Spatial transfer function spectra of the three samples by the experimental measurement (dotted lines) and the numerical fitting (solid lines). In the numerical calculation, the thicknesses of the silver layer were 46.0 nm, 50.0 nm and 55.5 nm, respectively. corresponds to the incident angle for the phase matching; (e) Left: incident image consisting of the Stanford tree logo and letters generated with phase modulation, where the inside and the outside of the letters and the logo have different phases but the same intensity. Right: reflected intensity image. (f) Left: incident image consisting of the ZJU eagle logo and letters with amplitude modulation where the inside and the outside of the letters and the eagle have different intensities. Right: reflected intensity image. Scale bar:100 μm. Panel (a)-(f) adapted with permission from reference [19]基于表面等离子体的空间微分器设计。(a) 利用Kretschmann 装置激发表面等离子体极化子(SPP)的等离子体空间微分器的原理图。深灰色层和浅灰色区域分别对应于银膜和玻璃;(b)~(d) 通过实验测量(虚线)和数值拟合(实线)得到三个样本的空间传递函数谱。在数值计算中,银层厚度分别为46.0 nm、50.0 nm和55.5 nm。 对应相位匹配的入射角;(e) 左边:相位调制产生的斯坦福标志字母组成入射图像相对应的反射强度图像,其中字母和标志的内外具有不同的相位,但强度相同;右边:反射强度图像。(f) 左边:由字母“ZJU”和“鹰”标志组成的入射图像,其中“字母”标志的内外与“鹰”标志的强度不同;右边:反射强度图像。比例尺:100 μm。图(a)~(f)的改动经过参考文献[19]的许可
光子晶体谐振模式间的耦合也可用来调制空间频率分量的幅值[18],以实现光学计算。对于沿z轴传播的正入射光束
其中
在k=0附近t(k)仅与色散δw(k)成正比。若
图 4.
Fig. 4. Photonic crystal slab differentiator. (a) Geometry of the photonic crystal slab differentiator, which consists of a photonic crystal slab separated from a uniform dielectric slab by an air gap. For
, the geometry parameters are:
,
,
,
, where a is the lattice constant; (b) Coordinate system; (c) Brillouin zone of the system; Contour plots of transmittance
as a function of
and
at frequency
for (d) S light
, (e) P light
, and (f) unpolarized light
, which are all isotropic near Γ; (g)
as a function of
along the φ =14° direction, and the quadratic fitting
where
is the only fitting parameter; (h) Incident Stanford emblem with a size of 2 610 a × 1 729 a; (i) Calculated transmitted image with unpolarized light, which clearly shows the edges with different orientations. Panel (a)-(h) adapted with permission from reference [18]
光子晶体平板微分器。(a) 光子晶体平板微分器的几何结构,该微分器由一个通过气隙将光子晶体平板与均匀介电平板分开的光子晶体平板组成。
, 几何参数:
,
,
,
,其中a是晶格常数;(b)坐标系;(c) 系统的布里渊区;在频率
时
和
和
函数关系,对于(d) S 光
,(e)P 光
, 和(f)无偏振光
,这些都是各向同性Γ附近;(g) 沿着φ =14°方向
作为
函数,二次拟合
,
是仅有的拟合参数;(h) 小为2 610a ×1 729a的Stanford徽章;(i) 计算传输的无偏振光图像,清晰显示不同方向的边缘。图(a)~(h)的改动经过参考文献[18]的许可
图4(d)和4(e)是在
作为孔型光子晶体平板的互补结构,高折射率的介质纳米柱超表面也可用来做光学微分计算[37]。为得到所需的传递函数,采用支持准引导模(quasi-guided modes)的超表面结构。其与引导模不同,准引导模是泄露模式,在光锥内的高折射率介质板中传播[51-52]。当频率、动量和对称性与准导模匹配时,透射模和准引导模之间会发生Fano干涉,导致接近1的背反射或透射[53-54]。实验中,在二氧化硅(SiO2)衬底上硅纳米棒嵌入聚甲基丙烯酸甲酯(PMMA)组成的超表面器件(如图5所示),其中纳米棒的高度为440 nm,直径为280 nm,周期为600 nm。这种一维硅介质纳米柱阵列超表面,在透射模式下也能执行一阶或二阶空间微分[36]。
图 5.
Fig. 5. Two-dimensional image differentiation using nanophotonic materials. Schematic of a photonic crystal slab acting as a Laplacian operator that transforms an image, , into its second-order derivative, . The unit cell of the differentiator is composed of Si nanorods 使用纳米光子材料的二维图像微分。光子晶体板作为拉普拉斯操作变换图像 生成其二阶微分 的示意图,微分器的单元由硅纳米棒组成
1.3 螺旋相位滤波法
由于某些生物样本通常缺乏大量的天然色素,为了增强光学成像过程,可通过在入射光路径中放置适当的光学元件并改变其相位、振幅和采样平面上的空间频率来调节输入光场[6]。很多年前,人 们就提出利用螺旋位相进行边缘检测[55-62]。在此操作的基础上,许多提高相位对比度的方法被广泛研究,如泽尼克相位对比度成像和差分干涉对比度成像[63-64]。螺旋相位滤波器的传输函数是一个螺旋相位,
式中:
式中:
则输出场由描述输入场在螺旋相位滤波中的幅值和相位变化影响的两项组成。假设他们有一个相位样本,振幅变化可忽略,若
若超表面滤波器沿两垂直对称性轴相移
图 6. 螺旋相位微分器。(a)为设计的全介电元表面空间滤波器示意图。插图:位于二氧化硅衬底上的无定形二氧化钛纳米颗粒形成的元表面单元的透视图和俯视图;(b) 制作的超表面的光学照片。比例尺:500 μm;(c) TiO2纳米阵列SEM图像的俯视图和斜视图。比例尺:1 μm;(d) 自旋相关的螺旋相位对比成像实验装置示意图。LP和QWP可以使入射光形成圆偏振。CP可以用来消除光路中的背景光;(e)~(h)用LCP入射光分别在480、530、580、630 nm波长处捕获的传统亮场图像;(i)~(l) 用对应波长的RCP入射光捕获的螺旋相位对比度图像。比例尺:100 μm。图6(a)~6(l)的改动经过参考文献[42]的许可
Fig. 6. Spiral phase differentiator. (a) Schematic of the designed all-dielectric metasurface spatial filter. Inset: perspective and top view of the metasurface unit-cell formed by amorphous TiO2nanopillar sitting on a silica substrate; (b) Optical photograph of the fabricated metasurface device. Scale bar: 500 μm; (c) Top view and oblique view of the SEM images of TiO2nanopillar array. Scale bars: 1 μm; (d) Sketch of the experimental setup for spin-dependent spiral phase contrast imaging. LP and QWP can make the incident light with circular polarization. CP can be used to eliminate background light in the optical path. (e)-(h) Traditional bright-field images captured with LCP incident light at the wavelength of 480, 530, 580, 630 nm, respectively; (i)-(l) Spiral phase contrast images captured with RCP incident light at the corresponding wavelengths. Scale bar:100 μm. Panel 6(a)-6(l) adapted with permission from reference [42]
成像装置如图6(d)所示,20倍显微物镜用于图像放大,利用由两个透镜组成的4f系统进行空间频率操控,超表面滤波器位于其频谱面(共焦面)上。图6(e)~6(h)显示了分别在480 nm、530 nm、580 nm和630 nm波长的左旋圆偏振(LCP)光照射下捕获的洋葱表皮细胞的亮场图像,细胞壁与细胞质之间的微小振幅和相位差异使单细胞边界难以分辨。然而,在右旋圆偏振(RCP)入射光照射下的螺旋相位对比度成像中,图像对比度完全改变(图6(i)~6(l))。边缘增强图像可显示更多的细胞表皮细节,使单细胞轮廓更易识别,便于观察细胞形态。
尽管利用涡旋相位当作滤波器可实现边缘检测的目的,但其功能单一,无法实现一阶微分等其他基础操作。另外,基于涡旋相位的滤波器无法控制边缘的分辨率,导致其检测精度受限,且不可调控。系统采用了多透镜元件,不利于整体装置的微型化和集成化。
1.4 利用偏振和空间复用的双超表面
根据差分干涉对比(DIC)显微镜的原理,利用超表面的偏振和空间复用等功能,将两个垂直级联的超表面器件集成为一个小型定量相位梯度显微镜(QPGM)[43](见图7)。实验证明,该尺寸毫米级光学器件能从相位分辨目标和生物样本中获取定量的相位梯度图像(PGIs)。第一层的超表面捕获横向电场(TE)和横向磁场(TM)偏振的两个图像,它们的焦点沿y轴分开,并将捕获到的光均匀地分成三个独立的方向,分别照明第二层的三个超表面透镜。在第一层超表面使用偏振[66]和空间复用技术[67-68];第二层超表面由三个双折射离轴透镜组成,在TE和TM偏振之间形成三个不同相位偏移的DIC图像,第二层的每个超表面分别与第一层超表面组成各自的DIC显微镜系统。输入和输出的两个线性偏振器沿45°和-45°方向,捕获的三个独立DIC图像具有不同的相位偏移。对一个具有单位振幅光场的二元相位物体
图 7.
Fig. 7. Principle of QPGM-based differentiator. Schematic of the QPGM employing two metasurface layers, where the second layer is composed of three separate metasurface lenses. The first metasurface, together with each of the lenses in the second metasurface layer. Metasurface 1 makes two sheared focuses for TE and TM polarizations and splits the field in three different directions towards the three lenses in the second layer. With the polarizer, the three metasurface lenses in layer 2 form three DIC images ( , and ) having different phase offsets between the TE and TM polarizations 基于QGPM微分器的原理。采用两个超表面层的QPGM原理图,第二层由三个独立的超表面透镜组成。第一超表面与第二超表面层中的每一个透镜一起,超表面一对TE和TM偏振产生两个剪切聚焦,并将场向三个不同的方向向着第二层的三个透镜。在偏振片下,第二层的三个超表面透镜形成三个DIC图像( , 和 ),在TE和TM偏振之间有不同的相位偏移
式中:
式中:
该方案利用垂直集成的多功能超表面,实验捕获了多个透明样本的相位梯度图像,验证了系统定量相位成像的能力。但是该系统需要计算PGI才能得到较好的边缘,且只在一维方向进行,成像质量还有待提高;同时,三个超表面离轴操作会使成像产生像差,对原始图像产生扭曲,不利于细节的提取和操作。但该方案显示介质超表面平台在集成方面的巨大潜力,在定量相位成像系统中,制造微型成像设备,如微型显微镜或内窥镜,超表面器件将在这类技术的研发中发挥重要作用。
1.5 基于几何相位的正反梯度
高效率介质超表面也能进行宽带边缘检测,设计Pancharatnam–Berry (PB)相位超表面之间插入两个垂直对齐的线性偏振器[44]。与其它空间微分方法不同,该方案是基于自旋与轨道的相互作用。当一个线偏振平面波以入射到PB相位超表面产生相位梯度,
若另一偏振片在样品之后放置,且其透振方向与输入端的线偏振片正交,则其输出电场为:
式中:
实验上,利用飞秒激光器在玻璃内部加工带状纳米结构。玻璃基板的直径为2.5 cm,厚度为3 mm,样品的面积为8 mm×8 mm,如8(a)和8(b)所示。超表面放在4f系统中傅里叶频谱面(见图8(c)),波长分别为430 、500 、670 nm,其不仅验证边缘检测的概念,也证明其宽带性能(见图8(d)~8(f))。超表面的宽带特性来源于纳米结构取向的几何相位,它在本质上独立于波长。此外,图像边缘的检测分辨率对应于不同的PB相位梯度周期
图 8. 基于PB相位的微分器。(a) 直径1 in (1 in=2.54 cm)的样品照片。超表面图案区域8 mm×8 mm (比例尺:5 mm);(b) 在(a)区域标记样本的光学图像。红色的条表示结构在一个周期内的方向。(插图)纳米结构的SEM图像(比例尺:500 nm);(c)实验装置:入射光穿过物体,物体后面是一个4f 系统。样本(超表面)被放置在P1和P2之间。L:镜头,P:偏振片;(d)~(f) 第一行显示是样本后没有偏振片的图像;照明波长分为430 nm、500 nm和670 nm。图像是用周期Λ 为8000 μm。第二行显示样本后有偏振片的结果图像。图8(a)~8(f)的改动经过参考文献[44]的许可
Fig. 8. Differentiator based PB phase. (a) Photograph of a 1 in (1 in=2.54 cm) diameter sample. Metasurface patterned area, 8 mm × 8 mm (scale bar:5 mm); (b) Polariscope optical image of the sample pattern area marked in (a). The red bars indicate structures orientation in one period. (Inset) SEM image of the induced nanostructure(Scale bar: 500 nm); (c) Experimental setup: The incident light then passes through the object, which is followed by a 4f system. The sample (metasurface) is placed in between of the P1 and P2. L: lens, P: polarizer; (d)-(f) The first row shows images without the analyzer; the illumination wavelengths are 430 nm, 500 nm, and 670 nm, respectively. The images are taken with metasurface period Λ of 8,000 μm. The second row shows resultant images after adding an analyzer. Panel 8(a)-8(f) adapted with permission from reference [44]
1.6 基于自旋霍尔效应
基于自旋霍尔效应的光学微分是通过分析光的特定正交偏振态,实现在单一界面上的反射或折射过程中引起的计算方法[46]。若初始自旋态为
如果初始波函数信息远远大于
图 9.
Fig. 9. Differentiator based SHE. (a) Schematic of spatial differentiation from the SHE of light on an optical planar interface between two isotropic materials, e.g., an air-glass interface; (b)-(c) Measured intensity profiles of the incident and reflected beams, respectively; (d) Incident image consisting of the Chinese character for “light” with amplitude modulation on ; (e) Reflected intensity image corresponding to (d) by measuring . Scale bar: 50 μm. Panel 9(a)-(e) adapted with permission from reference [46] 基于自旋霍尔效应的微分器。(a) 两种各向同性材料(如空气-玻璃界面)由于光的SHE在光学平面界面上的空间微分示意图。(b)~(c)分别测量的入射和反射光束的强度分布图;(d) 入射图像由汉字“光”振幅图像 ;(e) 测量 对应于(d)的反射强度图像。比例尺:50 μm。图9(a)~(e)的改动经过参考文献[46]的许可
由于沿界面切向波矢量的连续条件,产生与入射平面波
公式(18)中两个指数项的正负号表明,通过分析与初始项的正交偏振分量,反射场是两电场分量之间的相消干涉。若
这是一阶y向空间微分器的传递函数。相应地,在空间域内,反射出的
为验证该空间微分效应,他们测量了高斯光束照明下的反射场分布。准直的532 nm激光束通过聚焦透镜L1照亮玻璃界面。反射光束投射到具有L2和L3共轭成像系统的光束分析仪上, 利用两个偏振器P1和P2,通过制备和分析正交方向上的偏振态,实现空间微分。图9(b)和图9(c)分别展示了入射光和反射光的测量强度分布。确实,反射光束在y = 0处呈现出一阶振幅最小的Hermite-Gaussian剖面,对应于入射高斯场的y方向空间微分。该微分器还可用于检测带有相位或幅值分布的入射场的边缘。图9(d)为
2 总结和展望
文中总结了全光图像边缘检测方法,从机制上梳理每种检测方法的物理原理,并简述其具体实现途径,根据实际检测结果,客观地分析其优缺点,清晰地展示该领域的发展脉络,为其未来的研究提供简洁的技术路线图。尽管全光图像边缘检测已经取得一系列成果,但目前的全光图像处理器件在功能、集成度、应用场景等方面,还远不能满足实际需求。因此,基于现有技术的分析,预测该技术的未来发展趋势有:
(1)新机制:目前的全光图像处理技术基本来源于光学差分运算,通过光的空间频率调制或偏振态控制来实现最终目的。由于差分运算在功能上的单一性,基于此开发的技术也无法处理更复杂的操作。而实际图像处理的种类繁多,比如,边缘提取、图像增强、降噪、滤波和特征提取等,为完成这些操作,需开发一个全局性的新机制和新方法,以实现全光图像的通用处理器。另外,研究的新机制应与电子图像处理保持兼容,从而使全光图像处理器能顺利应用到现有光电产品或智能系统中。因此,新机制的研发可借鉴现有数字图像处理的工作原理。
(2)功能多样化:尽管差分是图像处理技术中的重要操作,但图像信息的精确提取和有效识别需多个操作共同使用才会有效。目前的全光图像技术仅能处理基于差分的边缘检测,且多数是针对单个方向的检测,因此,其在功能上完全无法满足图像处理的实际需求。功能多样化的图像处理技术是亟需研究的,也是决定该全光图像处理技术实用化过程中最重要的一步。根本上讲,这取决于底层物理机制的创新,从而允许构建一个能实现各种操作和功能的通用平台。
(3)集成度:器件小型化和集成化已成为光学系统发展的重要趋势,这是消费类光电子产品的轻便化、多功能化等特点所决定的。因此,未来研发的全光图像处理技术应兼顾体积、质量、功能复用、性能等参数,实现单片或少量光学元件集成到现有光电系统中,以达到良好的兼容性。目前,具有亚波长厚度和横向尺寸的超表面光子器件在实现该功能的方法中颇具潜力,因其能满足上述参数的所有要求,而且还能实现光的任意操控,其优势已在超表面差分干涉显微镜的研究中得以展现。
(4)多应用场景:随着智能系统的快速发展,通过光学图像来识别变化的环境将是各种智能系统面临的核心问题,而图像处理是信息识别的最重要途径,也是基于卷积神经网络的人工智能技术的基础。大数据时代,快速的图像处理会是人工智能发展的关键。光学手段实现图像处理的速度在纳秒量级,这对智能系统的发展极具诱惑。因此,全光图像处理技术会顺应人工智能的发展而迅速发展,在科研投入、产业布局、人力投放、资源调配等方面得到更多支持,极大地扩展全光图像处理技术的应用场景。
[6] Goodman J W. Introduction to Fourier Optics[M]. Colado: Roberts Company Publishers, 2005.
[24] Liu Y, Cheng MM, Hu X, et al. Richer convolutional features f edge detection.[C]Proceedings of the IEEE Conference on Computer Vision Pattern Recognition, 2017:30003009.
[25] Martin D R, Fowlkes C C, Malik J. Learning to detect natural image boundaries using local brightness, color, and texture cues[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2004, 5: 530-549.
[26] Shrivakshan G, Chandrasekar C. A comparison of various edge detection techniques used in image processing[J]. International Journal of Computer Science Issues (IJCSI), 2012, 9(5): 269.
[29] Chen LC, Barron J T, Papreou G, et al. Semantic image segmentation with taskspecific edge detection using cnns a discriminatively trained domain transfm.[C]Proceedings of the IEEE Conference on Computer Vision Pattern Recognition, 2016: 45454554.
[30] Choudhry P. High-throughput method for automated colony and cell counting by digital image analysis based on edge detection[J]. PloS one, 2016, 11(2): 0148469.
[31] Xie S, Tu Z. Holisticallynested edge detection[C] Proceedings of the IEEE International Conference on Computer Vision, 2015: 13951403.
[33] Haralick R M, Shapiro L G. Computer Robot Vision[M]. Massachusetts: Addisonwesley Reading, 1992.
[37] Zhou Y, Zheng H, Kravchenko I I. Flat optics for image differentiation[J]. Nature Photonics, 2020, 14(5): 316-323.
[42] Huo P, Zhang C, Zhu W. Photonic spin-multiplexing metasurface for switchable spiral phase contrast imaging[J]. Nano Letters, 2020, 20(4): 2791-2798.
[43] Kwon H, Arbabi E, Kamali S M. Single-shot quantitative phase gradient microscopy using a system of multifunctional metasurfaces[J]. Nature Photonics, 2019, 14(2): 109-114.
[44] Zhou J, Qian H, Chen CF, et al. Optical edge detection based on highefficiency dielectric metasurface[J] Proceedings of the National Academy of Sciences, 2019: 201820636.
[60] Maurer C, Jesacher A, Bernet S. What spatial light modulators can do for optical microscopy[J]. Laser & Photonics Reviews, 2011, 5(1): 81-101.
[64] Dodd J G. Interferometry with Schlieren microscopy[J]. Applied Optics, 1977, 16(2): 470-472.
Article Outline
付伟伟, 黄坤. 基于微纳器件的全光图像处理技术及应用[J]. 红外与激光工程, 2020, 49(9): 20201040. Weiwei Fu, Kun Huang. All-optical image processing technology and applications based on micro-/nano-devices[J]. Infrared and Laser Engineering, 2020, 49(9): 20201040.