1 引言

3D光场显示技术被认为是实现裸眼3D立体的一种非常有前途的方法。近几十年来，3D光场显示的成像技术取得了惊人的进展，为观众提供了大量机会去了解裸眼3D显示技术。显示设备的分辨率是3D光场显示系统中最重要的因素之一，为了进一步提高3D光场显示的分辨率，人们做了很多努力^［1-8］。3D光场显示系统通常由平面（2D）显示设备和控光元件组成。提升分辨率的主要途径有二：一是对背光刷新模组和显示面板进行时分复用^［3-4］，二是通过空分复用增加二维显示面板的分辨率^［5-7］。上述两种方法的本质都是为了提高像素的数量，然而它们都大幅增加了系统的复杂度和制造难度。

除了增加像素数量，还可以通过提高视觉分辨率改进图像质量。目前有很多可行的方案来实现2D显示系统的视觉分辨率提升^［9-14］。例如通过紧凑排列多个投影仪，并对其投影区域进行特异化处理，以创造新的视觉像素^［10］；通过将一对传统显示器分层，构建一个级联的显示器架构，进而产生视觉子像素^［11］；基于人眼视觉系统的特点，提高预显示内容的刷新频率也可以提供更多的视觉像素^［12］。最近有学者提出了新的思路，将提升视觉分辨率的方案应用到了3D显示系统中^［15-17］。Zhan等人使用Pancaratnam-Berry偏转器，通过叠加两个偏移的像素格来提升视觉分辨率^［15］。高鑫等人设计了一个线性棱镜阵列，将原始体素阵列在对角线上一分为二，以提高视觉分辨率^［16］。

前期工作中为提高视觉分辨率需要引入新的光学结构或显示设备。我们提出了一种基于深度学习优化基元图像阵列的3D光场显示方法，该方法不需要引入额外的控光元件就可以提高视觉分辨率。在3D光场显示的成像过程中，由于透镜存在像差，光线经过透镜会形成弥散斑。相邻像素弥散斑之间的混叠区域可被视为新的视觉像素，并作为额外的信息载体。基于这个前提，我们搭建并训练了一个卷积神经网络（CNN），以从高分辨率基元图像阵列（HEIA）中训练得到预处理的基元图像阵列（PEIA）。通过现有的透镜阵列对PEIA进行加载显示，实现了视觉分辨率提高的3D光场显示。在实验中，对现有的透镜阵列进行像差分析，提取其点扩散函数阵列，并用高斯分布近似替代，方便后续网络的搭建。通过使用LEIA和设计的复合透镜阵列，演示了在70°视角下具有更好视觉分辨率的光场显示。

2 基于LEIA提升视觉分辨率

2.1　由透镜像差引起的弥散斑交叠

我们在以前的工作中提出了一个带有透镜阵列、LCD和定向扩散膜的光场显示系统^［17］。图1中画出了基本的显示单元，并结合了3D光场显示系统的成像过程。像素1、2、3、4（表示为P1、P2、P3、P4）是LCD上相邻的不同像素。由于透镜存在像差，使得单一像素在成像过程中形成了一个弥散斑。LCD上两个相邻像素发出的光线经过透镜后在定向扩散膜上形成的弥散斑之间产生了交叠区域，混叠区域可以被看作是新的视觉像素。如图1所示，新的视觉像素被标记为SP1~SP5（SP表示亚像素）。新视觉像素的强度可以用P1、P2、P3和P4的强度表示。例如SP5的强度可以用公式（1）表示：

其中K₁、K₂、K₃和K₄分别表示P1、P2、P3和P4在SP5位置的权重系数。权重系数可以通过分析定向扩散膜上显示的弥散斑强度分布得到。

图 1. 由相邻像素之间交叠区域产生的新视觉像素

Fig. 1. New visual pixels generated by aliasing areas between adjacent pixels

下载图片 查看所有图片

如图1所示，在HFS上显示的视觉像素的强度分布可以通过卷积运算来表示：

其中：*代表卷积运算，VI（x，y）代表视觉像素在定向扩散膜上的强度分布，PI（x，y）代表像素在LCD上的强度分布，h（x，y）表示对应的点扩散函数（PSF）。单一透镜下不同视场角的每个像素的PSF可以被近似看作高斯分布，因此弥散斑的均方根半径（RMS）的2倍可被视为等于高斯分布的半高全宽（FWHM）^［18］。根据高斯公式，任意RMS半径弥散斑的PSF可以表示为：

其中：R是RMS半径，μx是沿x轴方向的期望，μy是沿y轴方向的期望。当基元图像（EI）经过透镜时，透镜不同视场角下弥散斑的RMS半径都不相同，与其对应的PSF也不相同。基于公式（3）及上述的讨论分析，我们可以用不同的高斯分布近似替代不同视场角下的PSF。因此单一透镜下复杂繁琐的PSF分布情况可以用一个高斯核阵列（GKA）来表示。那么EI的成像过程可以看作是EI的强度分布与高斯核阵列之间的卷积运算，如图2所示。

图 2. 像素经过透镜的过程可被视为与高斯核的卷积

Fig. 2. Process of pixel blurring after passing through a lens which can be regarded as convolution with a Gaussian kernel

下载图片 查看所有图片

2.2　基于CNN提升视觉分辨率

为了将交叠区域变成可利用的视觉像素，我们设计了一个用于分辨率增强的CNN，用于从HEIA中获得PEIA。图3解释了视觉分辨率增强是如何实现的。首先用虚拟相机阵列（VCA）对三维模型采集一系列高分辨率的视差图，然后以15 360×8 640（16K）的分辨率合成HEIA。

图 3. 使用CNN实现视觉分辨率增强的3D光场显示过程

Fig. 3. Process of using CNN to realize visual resolution enhanced 3D display

下载图片 查看所有图片

将HEIA输入至CNN，经过CNN的处理，得到分辨率为7 680×4 320（8K）的PEIA。输出的PEIA被加载到LCD面板上，经过透镜阵列的光学变换后，观众可以在定向扩散膜上观察到具有视觉分辨率增强的光场显示3D图像。我们使用16K分辨率的HEIA作为网络输入的原因有二：一是真实物理分辨率与视觉分辨率目前难以通过简单的公式进行衡量，选择横向分辨率乘以2和纵向分辨率乘以2的训练方式与文中所提的两个相邻像素相互交叠产生一个新视觉信息的模型更加契合；二是如果选用更高分辨率的合成图作为输入，将会加剧虚拟相机采集视差图时所带来的时间成本。

图4展示了用分辨率增强的CNN获取PEI的过程。其中HEI作为CNN的输入。将HEI输入至分辨率增强的CNN得到PEI。然后对图像依次进行双线性插值放大和卷积点扩散函数阵列操作，上述操作是模拟真实系统中的光学成像过程：双线性插值对应着像素经过透镜的放大过程，卷积对应着光线经过透镜形成弥散斑相互影响的过程。最终将仿真得到的图像与HEI计算结构相似性差异（SSIM）作为网络的损失函数，进行梯度优化反向传播。CNN是用TensorFlow框架编程的，并在NVIDIA RTX 2070 GPU上运行。当训练过程迭代到50 000次时，所采用的网络收敛性良好。每次迭代耗时约0.036 s，总训练时间为1 800 s。CNN中共有5个卷积层，每个卷积层依次包括32、64、128、256和512个特征。

图 4. 分辨率增强的CNN的示意图

Fig. 4. Schematic diagram of the resolution-enhanced CNN

下载图片 查看所有图片

为了验证上述的构想，并且考虑到设计制造的难度和光学加工的成本，我们使用了实验室中现有的透镜阵列模组，其基本透镜单元为两个透镜的复合透镜，如图5（a）所示。我们对该透镜不同视场角下的弥散斑分布进行了定量分析，并使用GKA表示了PSF阵列。考虑到读者的直观感受，我们只列出了透镜在0°、19.7°和34.6°视场角下的弥散斑示意图和RMS半径，如图5（b）所示。

图 5. （a）复合透镜的结构参数；（b）复合透镜在3个视角下的弥散斑分布情况（RMS半径：0°视场角：4 035.04 μm，19.7°视场角：3 843.27 μm，34.6°视场角：4 198.41 μm）。

Fig. 5. （a）Structural parameters of the compound lens；（b）Spot diagrams of the compound lens in three viewing angles（RMS radius：0° viewing angle：4 035.04 μm，19.7° viewing angle：3 843.27 μm，34.6° viewing angle：4 198.41 μm）.

下载图片 查看所有图片

3 仿真和实验

我们分别使用标准分辨率图和三维街道场景来验证所提出方法的有效性。如图6和图7所示，通过引入基于CNN的视觉分辨率增强方法，仿真图像的细节更加清晰。在街道场景的仿真当中可以看到，视觉分辨率有所提升，并且图像的SSIM值也有提升。

图 6. 标准分辨率图的仿真结果。（a）未使用优化方法；（b）采用视觉分辨率增强方法。

Fig. 6. Simulation results of standard resolution chart.（a）Without the proposed visual resolution-enhanced method；（b）With the visual resolution-enhanced method.

下载图片 查看所有图片

图 7. 街道场景的仿真结果。（a）高分辨率的原始图像；（b）未优化的仿真图像；（c）使用视觉分辨率增强方法的仿真图像。

Fig. 7. （a）Original image with high resolution；（b）Simulation image without visual resolution-enhanced method；（c）Simulation image with the visual resolution-enhanced method.

下载图片 查看所有图片

在光学实验中，我们展示了一个由定向扩散膜、透镜阵列和LCD组成的光场显示系统。透镜阵列被放置在距离LCD上方8.151 mm处，定向扩散膜被放置在透镜阵列上方180.0 mm处。透镜阵列的规模为53×30，相邻透镜单元之间的中心距离是13 mm。LCD的尺寸为81.28 cm（32 in），分辨率为7 680×4 320。图8展示了从3个角度下拍摄的实际显示图像的照片，并放大了一些局部的细节。图8的顶部为未进行优化的3D图像，底部为使用基于CNN的视觉分辨率提升的3D图像，中间两种图像之间的局部对比。很明显，在70°的视角内，由视觉分辨率增强方法产生的3D图像更加清晰，并提供了更多的街道细节信息。

图 8. 未使用优化方法（a）和采用视觉分辨率增强方法（b）的街道场景的三维光场显示

Fig. 8. 3D light field display for a street scene without the proposed visual resolution-enhanced method（a）and with the visual resolution-enhanced method（b）

下载图片 查看所有图片

4 结论

本文提出了一种基于深度学习提升视觉分辨率的3D光场显示方法。该方法的核心是将弥散斑的交叠区域视为新的视觉像素，并作为额外的信息载体使用。为了将交叠区域转化为可用的视觉像素，构建了一个CNN，从HEIA中获得PEIA。将PEIA加载到LCD上，经过透镜阵列的光学变换和定向扩散膜的扩散作用，为观众提供视觉分辨率增强的3D图像。在实验中，通过利用PEIA和复合透镜阵列，实现了视觉分辨率提高的光场显示。