1 引言

桌面三维显示可以为观众提供真实自然的三维场景，在众多领域具有很大的应用潜力。随着先进实时地形渲染技术的发展，基于海量地形数据获取高质量的地形模型成为了可能^[1-3]。然而，传统三维显示很难满足桌面三维显示的苛刻要求。例如，基于柱透镜阵列或狭缝光栅的自由立体显示有着视角小、视区跳跃和辐辏调节矛盾等固有缺陷^[4-5]。体三维显示虽然没有上述这些问题，可以显示真实的三维图像，但是，透明的体像素使其难以表现正确的三维遮挡关系^[6-7]。全息三维显示可以再现被记录物光的振幅和相位，被看作是最有前景的显示技术之一，但可惜的是，由于高信息吞吐量的动态设备难以实现，实现全息三维显示的大视角、大尺寸和真彩色依然存在挑战^[8-10]。显然，以上三维显示技术并不是桌面三维显示的最佳解决方案。

光场显示技术能够实现大视角、大尺寸、真彩色以及具有正确空间遮挡关系的动态三维影像，是目前最具有前景的三维显示技术之一^[11-12]。光场显示是在空间中构建体像素，并以此来模拟真实三维物体上的发光物点。体像素发出的不同方向的光线携带有不同的视点信息，所有的体像素共同在空间中重构出物体的原始光场分布，所再现的3D图像具有完整的深度信息。由于光场显示的显示效果出众，国内外诸多科研团队都将其应用到了桌面三维显示系统中^[13-17]。在先前的工作中，本团队已经实现了基于透镜阵列和全息功能屏的全视差360°桌面光场显示^[18-19]，但这些显示技术由于受到较小的观看视角以及低分辨率等因素的限制，应用场景有限，难以满足显示精细三维场景的需要。

本团队近几年的研究已经实现了大视角的高分辨率光场显示，能够在视角范围内实现清晰的水平视差光场信息重构^[20]。但是，如果将仅有正上方水平视差的光场显示设备应用于桌面式光场沙盘显示中，会出现如下两个缺陷：其一是仅有正上方观看视角的光场显示系统并不满足桌面式显示中正面观看的要求，其二是由于缺少垂直视差，当观看者沿前后或垂直方向移动时，会出现透视关系错误的情况。本文提出了一种基于光学偏折膜和视点分段式体像素的全视差桌面式光场显示系统，光学偏折膜可以将观看视角从桌面正上方偏折至适合正面观看的角度范围，视点分段式体像素可以向不同方向提供具有正确透视关系的3D场景。在实验中，此系统可在100°水平视场角范围内同时为移动中的多名观看者提供具有正确透视关系和高分辨率的全视差3D图像，实现高质量的桌面式光场显示。

2 基本原理

2.1 系统结构

图1所示为所提出的桌面式光场三维显示系统的结构示意图。由准直背光光源、柱面透镜阵列(LLA)、液晶显示面板(LCD)、光学偏折膜(DTF)和全息功能屏(HFS)组成的光场显示系统可以在面向观看者的100°视角内构建清晰的3D图像。最底层的准直背光光源为系统提供平行光源，能够抑制视点间的串扰。LLA反贴在LCD的背面，可以使重建的光场具有更大的视角，并且为了避免产生摩尔纹，LLA相对于LCD以一定的角度倾斜贴合。LLA作为最主要的控光元件，可将不同视差图的光线折射到不同方向并周期性会聚到对应的焦点处，这些焦点可以看作为三维显示系统的体像素点。多个不同体像素发出的光线分别进入人的双眼时，即可获得三维场景的多幅视差图像，从而获得立体感。图2(a)是所提出的桌面显示系统的体像素重构过程示意图。引入的DTF放置在LCD和HFS的中间，由多个倾斜角度为38.3°、周期结构尺寸为45.9 μm、折射率为1.5的三棱柱状棱齿结构组成，具体形状如图2(b)所示，能够使垂直入射的光线产生约30°的偏折，并将出射光线限制在一定角度内，将系统的观看视区由设备的正上方偏折到了设备的前方，形成新的体像素。对比之前，新形成的体像素位置以及所发出的光线的方向都发生了改变，但光线所携带的颜色、强度信息等仍保持不变，从而最终在适宜桌面式光场显示的观看区域内重构出三维图像的光场分布。HFS是一种定向扩散膜^[21]，利用定向激光散斑法制作，上面分布着重复的散斑图案，能够使光线在水平和竖直方向以一定角度进行扩散，散斑的形状和大小决定了散射角的大小。如图2(c)所示，经过全息功能屏的扩散作用后，体像素发出的光线发生扩束，因而重构的光场分布将更加均匀连续，与原始光场也更加接近，显示图像更加均匀自然。至此，本文所提出的光场显示系统已经可以实现具有正面大视角和平滑视差的高质量3D光场显示。

图 1. 基于视点分段式体像素和光学偏折膜的实验装置示意图

Fig. 1. Schematic of experimental setup based on views-segmented voxel and direction turning films

下载图片 查看所有图片

图 2. 所提桌面式光场显示系统中体像素的构建示意图。(a) 光场显示单元的光路示意图；(b)光学偏折膜的微结构示意图；(c)同一位置加入HFS前与加入HFS后的3D图像对比图

Fig. 2. Construction of voxel in proposed tabletop light-field display system. (a) Schematic of light ray of light field display unit; (b) schematic of microstructure of direction turning films; (c) comparison of 3D images at same position with and without HFS

下载图片 查看所有图片

2.2 视点分段式体像素与图像编码

当多人多角度观看时，由于缺少垂直视差，且观看者身高、位置不一，传统的桌面式水平视差光场显示系统无法为所有人同时提供具有正确透视关系的3D场景。本文提出了一种根据不同观看者位置对生成的体像素进行视点分段式图像编码，在观看范围内为每个观看者所在的区域单独划分独立的观看区域，每个区域提供不同的透视关系校正。如图3所示，三位观看者分别位于桌面式光场显示系统观看范围中的三个不同坐标处，每个观看者都能看到由各自区域内视点分段式体像素提供的正确、全视差3D场景，其中(x_k，y_k，z_k)表示观看范围内第k位观看者的空间坐标。3D场景中所有体像素发出的光线的集合V_3Dscene表示为 V3Dscene＝∑Vvoxel＝∑∑A(x，y，z，θ，φ，R，G，B)，(1)式中：V_voxel表示单个像素发出的光线的集合；A(x，y，z，θ，φ，R，G，B)表示视点分段式体像素发出的每根光线；(x，y，z)表示体像素的坐标；θ和φ表示这些光线的出射角度；R，G，B包含了LCD上像素的颜色和强度信息。这8个参数(x，y，z，θ，φ，R，G，B)可以精确地描述大量光线信息，利用它们建立一个可以精确编码的3D光场显示场景。通过推导光线在光场显示系统中的传播公式，可以计算出子像素与所设计的体像素之间的数学映射关系，得到某一位置观看者看到的视差图像的各个体像素所对应的LCD子像素位置，从而计算出基于视点分段式编码方法的显示单元中的子像素排列。

图 3. 所提的视点分段式体像素构建示意图

Fig. 3. Schematic of proposed views-segmented voxel construction

下载图片 查看所有图片

图4给出了LCD上子像素的图像编码过程、入射光线与柱镜上覆盖子像素的几何关系及定向准直背光经过柱透镜的光线分布，其中E(i，j，R，G，B)表示了LCD面板上子像素的位置、颜色、强度信息，(i，j)为子像素坐标。根据图4(a)所示的几何关系，观看者k所看到的体像素发出的光线的出射角度为 tanφ＝xk－xzk－z，(2)tanθ＝yk－yzk－z。(3)

出射光线的参数(x，y，z，θ，φ)与对应的柱镜坐标(x′，y′)的映射关系为 x＝x′＋(L＋z)·tanφ，(4)y＝y′＋(L′＋z)·tanθ，(5)N＝floor(x′－y′tanγP)，(6)式中：L是LCD面板到HFS的距离；L′是HFS到光学偏折膜的距离；N为倾角为γ的LLA的序列号；P为柱透镜单元的节距；floor(·)为向下取整。如图4(b)所示，经过透镜等控光元件的光线的出射坐标(x′，y′)和子像素坐标(i，j)的关系为 i·Wp＝N·P＋y′·tanγ＋P/2－d，(7)j·Wp＝y′，(8)n2－(d′r)2－1－(d′r)2＝r·sinφd′,，(9)d＝d′－[r2－d′2－r2－(P/2)2＋h]·sinφn2－sin2φ，(10)式中：d是LCD上子像素与相对应的倾角为γ、折射率为n、曲率半径为r的柱透镜的中心的距离；W_p为子像素宽度；d′为入射的准直光线与柱透镜中心的距离；h为LLA与LCD显示面板之间的距离。将每个子像素的坐标(i，j)和R，G，B值代入 (4)、(5)、(6)、(9)、(10)式中，就可以得到LCD上的子像素与HFS上体像素的函数映射关系，根据此关系可以在观看范围内精确地重构离散采样的3D光场图像。当d′＝P/2，即入射光线位于柱镜单元边缘时，该光线出射后生成的视点处于最大水平视场角边缘，根据图4(c)中设计的柱镜面型和光线分布，定向准直背光入射柱镜的折射角度φ最大能够达到50°，从而形成共100°的水平视场角范围。在垂直方向上，光线经过光学偏折膜后偏折了30°，经过HFS后扩散了120°，这些光线能够完全覆盖设备正前方观看所需的90°垂直观看范围。

图 4. LCD上子像素与所设计的体像素之间的映射关系。(a)LCD上子像素的图像编码过程；(b)入射光线与LLA上覆盖子像素的几何关系；(c)定向准直背光经过LLA的光线分布

Fig. 4. Mapping relationship between sub-pixels on LCD and designed voxels . (a) Image coding process of sub-pixels on LCD; (b) geometric relationship between incident light and covered sub-pixels on LLA; (c) ray distribution of directional collimating backlight through LLA

下载图片 查看所有图片

得到LCD上的子像素与HFS上的体像素之间的函数映射关系后，计算了基于视点分段式编码方法的显示单元中的子像素排列，如图5所示。LLA的每个柱镜单元在水平方向上覆盖了8.333个子像素且LLA与LCD的夹角为14.04°(arctan14)。在这种结构下，LCD面板可以被分成许多个相同的子图像单元，每个子图像单元由100个子像素组成，且每个子像素与子图像单元中的柱透镜的相对位置均不相同，可以在100°的水平视场角内生成100个稠密视点的3D视差图像。这100个视点将根据视区范围内观看者的数量和具体位置划分为不同的观看区域，每个区域分别加载其对应的相机阵列采集到的视差图像的编码信息。根据图3中水平坐标为x₁、x₂、x₃的三位观看者划分编码区域的例子如图5所示，相邻两个观看者的水平坐标中点(x₁＋x₂)/2、(x₂＋x₃)/2所在的视点编号即为两个相邻编码区域的分界点，通过光场实时渲染对各个观看区域单独进行透视关系校正。

图 5. 基于视点分段式编码方法的显示单元中的子像素排列

Fig. 5. Sub-pixel arrangement in display unit based on views-segmented coding method

下载图片 查看所有图片

透视关系校正方法如图6所示。在传统的水平视差光场显示系统中，所有虚拟相机简单地水平排成一列，采集到的光场信息缺乏垂直视差信息，不能保证每个观看位置都具有正确的透视关系。本文利用具有面部识别功能的深度相机定位每个观看者，并利用其坐标实时控制各部分虚拟相机阵列在虚拟拍摄场景中的空间坐标同步移动，这样各自区域内单独渲染出的分段式光场图像符合该观看者的正确透视关系。各组虚拟光场相机阵列随观看者同步移动时的误差为 δ＝δx2＋δy2＋δz2＝(Δx－ΔCx)2＋(Δy－ΔCy)2＋(Δz－ΔCz)2，(11)式中：δ_x、δ_y、δ_z分别为沿x，y，z坐标轴方向的误差；(Δx，Δy，Δz)为观看者坐标移动的偏移量；(ΔC_x，ΔC_y，ΔC_z)为该观看区域内光场采集相机阵列坐标移动的偏移量。由于光场显示系统中水平方向上的3D图像已经经过正确的编码且存在运动视差，因此图6中的部分虚拟相机阵列并不需要跟随观看者在x方向上移动，仅需在y、z两个方向上进行校正，即Δx＝ΔC_x＝0。

图 6. 基于不同观看者位置的透视关系校正示意图。(a)校正前；(b)校正后

Fig. 6. Schematic of perspective relation correction based on different viewing positions. (a) Before correction; (b)after correction

下载图片 查看所有图片

当不进行透视关系校正时，采集相机不跟随观看者移动，此时ΔC_x＝ΔC_y＝ΔC_z＝0，随着观看者远离透视的正确位置，误差δ_y和δ_z逐渐增大。进行透视关系校正后，虚拟采集相机将跟随观看者空间坐标的变化同步移动。将误差δ_y和δ_z控制在1 mm内，可在多人观看的桌面式3D场景的各个分段式编码区域中实现流畅、平滑的透视关系自适应实时校正。

3 实验验证

本文首先利用光学偏折膜分别在改进前和改进后的观看视区的正上方和正前方进行了光强对比实验。图7(a)所示为光强测量的实验过程，在尺寸为70 cm×40 cm、刷新频率为60 Hz、分辨率为7680 pixel×4320 pixel的LCD面板上显示一幅编码后的合成图像，设备将在空间中只显示一个视点图像，其他视点将全部不点亮。实验过程中关闭所有灯光，将视点图像设置为纯白色，便于利用照度计测量光强的大小。在两个观看方向上分别测量改进前和改进后的视点图像在竖直方向上的光强分布，结果如图7(b)所示。可以看出，改进前光场显示系统的光线强度集中分布在正上方的视区，而改进后的光线强度集中分布在正前方的视区，且光强下降了些许。光学偏折膜将设备的观看视区由正上方成功偏折到正前方，虽然光学偏折膜会造成一定的亮度损失，但由于设备采用高亮背光，最佳观看范围内的显示亮度可以得到较好的保证。

图 7. 光强对比实验和结果。(a)光强测量的实验过程；(b)观看区域正上方的光强分布；(c)观看区域正前方的光强分布

Fig. 7. Experiment and results of light intensity comparison. (a) Experimental process of light intensity measurement; (b) light intensity distributions directly above viewing area; (c) light intensity distributions directly in front of viewing area

下载图片 查看所有图片

在传统的水平视差桌面式光场显示系统的3D信息采集过程中，采集相机只沿水平方向排成一列，经过编码后的再现3D场景缺少垂直视差信息，当观看者沿y轴方向前后移动或沿z轴方向垂直地面移动时，就会出现错误的透视关系，楼房“倾倒”、“压缩”，如图8(a)、(b)所示。

图 8. 透视关系校正前观看者观看到的3D场景。(a)观看者沿z轴垂直移动(距离为1 m)；(b)观看者沿y轴前后移动(高度为1.8 m)；(c)观看者沿x轴水平移动(距离为1 m，高度为1.8 m)

Fig. 8. Viewed 3D scenes by viewer before and after perspective correction. (a) Viewer moving vertically along z-axis (distance of 1 m); (b) viewer moving forward and back along y-axis (height of 1.8 m); (c) viewer moving horizontally along x-axis (distance of 1 m and height of 1.8 m)

下载图片 查看所有图片

本文在实验中设计了一套基于视点分段式体像素和光学定向偏折膜的32英寸桌面式全视差光场显示系统。该系统可以为多位观看者提供水平观看视角为100°的全视差、高分辨率的3D场景，观看者沿不同方向移动观看到的全视差光场重构图像(以城市建筑为例)如图9所示，当观看者逐渐远离设备方向并前后移动或垂直地面移动时，3D场景中各个建筑物的错误透视关系、楼房“倾倒”的情况得到了很好的校正。

图 9. 观看者沿不同方向移动观看到的全视差光场重构图像。(a)观看者沿z轴垂直移动(距离为1 m)；(b)观看者沿y轴前后移动(高度为1.8 m)；(c)观看者沿x轴水平移动(距离为1 m，高度为1.8 m)

Fig. 9. Reconstructed full parallax light field images viewed by viewer from different directions. (a) Viewer moving vertically along z-axis (distance of 1 m); (b) viewer moving forward and back along y-axis (height of 1.8 m); (c) viewer moving horizontally along x-axis (distance of 1 m and height of 1.8 m)

下载图片 查看所有图片

当处于不同位置的多个观看者(由深度相机定位)同时处在本文提出的光场显示设备的观看范围内时，在每个人所处的观看区域内都能看到具有正确透视关系的全视差光场信息。如图10所示，当三位分别处于左、中、右三个观看位置的观看者同时观看3D场景时，左侧的观看者沿z轴垂直地面移动，中间的观看者沿x轴水平移动，右侧的观看者沿y轴前后移动，三者均能观看到平滑、高清晰度的正确3D光场重建场景。观看到的光场重建场景如图11所示，场景中的建筑物不再出现“楼房倾倒”等透视关系错误的现象，最终实现了大视角、全视差的桌面式3D光场显示及多人多角度同时观看的分段式编码和透视关系的自适应实时校正。

图 10. 多位移动中的观看者同时观看的示意图

Fig. 10. Schematic of multiple moving viewers watching simultaneously

下载图片 查看所有图片

图 11. 多位移动中的观看者同时观看到的全视差光场重构图像。(a)左侧观看者沿z轴方向垂直移动(距离为1 m)；(b)中间观看者沿x轴方向水平移动(距离为1 m，高度为1.8 m)；(c)右侧观看者沿y轴方向前后移动(高度为1.8 m)

Fig. 11. Reconstructed full parallax light field images viewed by multiple moving viewers simultaneously. (a) Left viewer moving vertically along z-axis (distance of 1 m); (b) middle viewer moving horizontally along x-axis (distance of 1 m and height of 1.8 m); (c) right viewer moving forward and back along y-axis (height of 1.8 m)

下载图片 查看所有图片

4 结论

提出了一种基于视点分段式体像素的具有大观看视角的全视差桌面式光场显示系统。为了实现该系统，设计了基于定向准直背光和反贴的柱透镜阵列的光学结构以增大观看视角，并利用光学偏折膜和全息功能屏在桌面式显示设备的正面观看范围内实现了体像素重构。设计了一种可将不同视点的光场内容分区域显示的分段式体像素，计算了LCD上子像素与观看者看到的不同体像素之间的函数映射关系，实时修正了观看者改变位置后看到的三维场景，并对缺失的垂直视差进行了透视关系校正。实验结果表明，光学偏折膜能够很好地将体像素发出的光线偏折至桌面式显示设备的最佳观看区域内，编码后的视点分段式体像素在保证高分辨率三维场景的精确光场重构的同时，为多位观看者提供了流畅平滑的全视差3D图像。