1　引言

光场3D显示重构出物体表面发出的高密度光线，使人眼接收到与原始3D场景相似的离散光线信息，呈现出逼真的3D显示效果^［1-4］。光场3D显示无需眼镜等辅助设备，无佩戴束缚^［5-7］。光场3D显示主要包括集成成像光场3D显示^［8-10］、投影光场3D显示^［11-12］、衍射光场3D显示^［13］和压缩光场3D显示等^［14-15］。其中集成成像光场3D显示利用微透镜阵列实现对4D光场的重构，具有全彩色、全视差以及结构简单等优势。典型的集成成像光场3D显示器主要包括2D显示面板、透镜阵列和光学扩散屏。采用多屏拼接可以实现不同幅面和分辨率的集成成像光场3D显示效果，但是2D显示面板之间无法精确对准，3D图像易发生错位。此外，根据不同的拼接方式，2D显示面板的个数和排布方式不同，使得整个3D片源的渲染过程较为复杂。

很多学者围绕拼接集成成像光场3D显示和3D片源的渲染方法开展了研究工作。日本NHK公司提出了一种并行排列多个投影仪的方法，结合图像处理技术，增大了集成成像光场3D显示区域的尺寸，但系统庞大，投影仪校正复杂^［16］。北京邮电大学提出了一种大尺寸集成成像光场3D显示器，该显示器由15块液晶显示面板（LCD）拼接而成，每个LCD播放的3D片源由单独的计算机渲染^［17］。长春理工大学提出了一种基于微型发光二极管（LED）的集成成像光场3D显示系统，使用4×4透镜阵列单元和LED面板单元组合实现了拼接的3D显示，每个单元间的拼接误差由水平导轨调整^［18］。

对于3D片源的渲染，可以采用光栅化、光线跟踪及基于深度图像的渲染等技术^［19-20］。光栅化技术在计算机中搭建虚拟相机阵列，每个虚拟相机代表一个视点，逐个渲染出视点图像并合成最终的3D片源，该方法渲染质量高，但过程较为复杂^［21-23］。光线跟踪技术计算光线从视点出发到2D显示面板像素最终的颜色，该方法渲染效率高，但渲染质量有待提升。基于深度图像的渲染技术利用深度图和彩色图生成虚拟视点图像，该方法主要利用深度信息计算虚拟视点图像，但渲染结果会产生空洞，影响观看体验。

本文提出一种拼接集成成像光场3D显示的片源渲染平台。首先根据不同的拼接方式渲染初始微图像阵列，然后根据拼接参数对初始微图像阵列进行拆分、投影变换和重拼接等操作，生成可直接适用于不同参数的拼接集成成像光场3D显示的微图像阵列。该平台渲染的3D片源在两块8K 2D显示面板拼接的集成成像光场3D显示器上进行了验证，显示的3D图像正确且无错位。

2　拼接集成成像光场3D显示的片源渲染算法

2.1　拼接集成成像光场3D显示器的结构

拼接集成成像光场3D显示器由2D显示面板、透镜阵列和光学扩散屏组成，如图1所示。2D显示面板用于显示3D片源，多个2D显示面板可以按实际需求进行拼接。每个2D显示面板上显示一幅子微图像阵列，所有子微图像阵列组成一幅完整的微图像阵列，对应于上方的透镜阵列。为使显示的3D图像凸出显示屏，2D显示面板与透镜阵列的距离为透镜焦距的1倍到2倍。透镜阵列放置于一块完整的支撑板上，并完全覆盖2D显示面板。透镜阵列用于调制2D显示面板上像素发出的光线方向，光线投射到上方的光学扩散屏。光学扩散屏位于中心深度平面处，其对光线进行特定角度的扩散，再现出连续完整的3D图像。

图 1. 拼接集成成像光场3D显示器结构

Fig. 1. Structure of the spliced integral imaging light field 3D display

下载图片 查看所有图片

2.2　3D片源渲染算法流程

受拼接方式和拼缝尺寸的影响，传统方法生成的一幅完整微图像阵列无法和透镜阵列准确对应，无法生成正确的3D图像。因此，需要先将拼缝宽度覆盖的像素数目考虑在内，将2D显示面板看作一个整体，生成一幅完整的初始微图像阵列。再针对每个2D显示面板所处的位置，对初始微图像阵列进行拆分和投影变换等处理，使3D图像能够正确且完整地再现。

所提3D片源生成方法的流程如图2所示，包括初始微图像阵列的渲染、拆分、投影变换以及子微图像阵列的重拼接4个步骤。

图 2. 3D片源生成方法的流程

Fig. 2. Flowchart of the 3D source generation method

下载图片 查看所有图片

第1步，初始微图像阵列的渲染。拼接集成成像光场3D显示器的2D显示面板由多个相同规格的等间隔沿水平或垂直方向排列而成的2D显示面板组成。为生成拼接集成成像光场3D显示所需的微图像阵列，首先确定每个2D显示面板的分辨率i×j以及2D显示面板的个数M×N。通过测量水平和垂直方向的拼缝宽度，得到水平和垂直拼缝所覆盖的像素个数p×q。根据拼接的2D显示面板的相关参数，在计算机中进行渲染得到初始微图像阵列。具体地，首先使用模型加载库将目标3D模型的顶点、法线和纹理等加载进OpenGL；然后，利用OpenGL根据透镜阵列的排列方式搭建虚拟相机阵列，其中每个相机采用离轴拍摄的方式得到3D模型在不同视角下的视差图像；最后，进行像素映射，对视差图像的像素点颜色进行离散采样，将结果赋值到初始微图像阵列中，即可渲染出一幅初始的微图像阵列。该初始微图像阵列的分辨率I×J表示为

第2步，拆分初始微图像阵列。依据M×N个2D显示面板的排列方式，将初始微图像阵列拆分为M×N幅子微图像阵列，如图3所示。每幅子微图像阵列的分辨率与单个2D显示面板的分辨率一致，均为i×j个像素。

图 3. 初始微图像阵列的拆分示意图

Fig. 3. Schematic of the splitting initial elemental image array

下载图片 查看所有图片

第3步，子微图像阵列的投影变换。多屏拼接的集成成像光场3D显示效果与拼接工艺有一定关系。在实际拼接过程中，受拼接误差的影响，2D显示面板无法实现理想的拼接效果，使得3D图像在拼缝处出现错位和割裂等现象，严重影响了观看体验。为解决拼接误差的影响，需对多屏拼接的3D图像进行对准校正。首先，将“网格”测试模型放置在中心深度平面处，生成一张测试初始微图像阵列，将该测试初始微图像阵列在拼接集成成像光场3D显示器上显示；然后，利用相机拍摄实际显示的“网格”3D图像，将其与理想“网格”3D图像重合。求出每一个子微图像阵列对应的旋转角θ_m，n和横向与纵向的平移距离（Δx_m，n，Δy_m，n），其中m和n分别为子微图像阵列的索引，m=1，2，…，M，n=1，2，…，N。设子微图像阵列的旋转中心坐标为（u_m，n，v_m，n），则投影变换矩阵可以表示为

最后，对每个子微图像阵列进行投影变换。投影变换后的第（m，n）个子微图像阵列的像素索引（x′， y′）为

式中：（x，y）表示变换前的子微图像阵列的像素索引；s_m，n表示缩放因子。

第4步，子微图像阵列的重拼接。重拼接方式根据不同的控制方式确定。第一种控制方式下，每个2D显示面板由一个主机独立控制，在该方式下子微图像阵列无需拼接。第二种控制方式为多屏联合方式，每台主机控制s×t个2D显示面板，该方式需要对s×t个子微图像阵列进行拼接，拼接后的微图像阵列分辨率为（i×s，j×t）。

3　3D片源渲染平台封装

根据上述3D片源渲染方法，将初始微图像阵列的渲染、拆分、投影变换及子微图像阵列的重拼接等过程通过应用程序开发框架（Qt）封装为可视化的3D片源渲染平台，为拼接集成成像光场3D显示器提供正确的3D片源。

首先，在Qt中建立该3D片源渲染平台的图形用户界面（GUI），设置关于多屏拼接、2D显示面板、透镜阵列、虚拟相机和3D模型等的输入接口。接着，新编写OpenGL Widget类作为模型渲染窗口，从模型渲染窗口可以以虚拟相机阵列中心相机的视角观看加载的目标3D模型。该平台使用Assimp（开放式资源加载库）实现.obj与.fbx两种不同格式的3D模型导入，并通过设置鼠标与键盘调整3D模型的大小、位置和旋转角等参数。然后，设置渲染“开始”和结果“保存”按钮。当调整好预设参数后，点击“开始”按钮，该平台就会根据参数渲染初始微图像阵列，界面进度条会实时显示渲染进度，渲染完成后会将初始微图像阵列呈现在渲染平台界面上。若结果符合预期，该平台就会对初始微图像阵列进行拆分，并加载保存在该平台相同路径下的投影变换矩阵，对每幅原始子微图像阵列进行投影变换。最后，对子微图像阵列按照多屏拼接参数进行重拼接，按不同拼接方式相应导出拼接后的微图像阵列或未拼接的子微图像阵列，在具有不同控制方式的拼接集成成像光场3D显示器显示。3D片源渲染平台界面如图4所示。

图 4. 3D片源渲染平台。（a）渲染平台界面；（b）模型渲染窗口

Fig. 4. 3D source rendering platform. (a) Rendering platform interface; (b) model rendering window

下载图片 查看所有图片

4　实验验证与结果分析

为验证所提拼接集成成像光场3D显示片源渲染平台的有效性，首先合成了不同分辨率的重拼接后的微图像阵列，测试的渲染时间如表1所示。所采用的计算机CPU为AMD Ryzen 75800H、主频3.20 GHz，内存为16 GB，GPU为NVIDIA GeForce RTX 3060 Laptop，显存为13.9 GB，其中专用内存6 GB。由于每次软件渲染时间会有一定差异，所以在测试时连续渲染5次，取平均渲染时间进行记录。

所渲染分辨率为7680×8640的3D片源在43.5 inch（1 inch=2.54 cm）双8K屏拼接集成成像光场3D显示器上进行了实验验证。该集成成像光场3D显示器的2D显示面板由1×2个液晶显示面板拼接而成，每个液晶显示面板的尺寸为43.5 inch，分辨率为7680×4320个像素，单个像素的物理尺寸为0.09 mm，总体液晶显示面板的分辨率为7680×8640个像素。拼接集成成像光场3D显示器的环视视角有360°，垂直视角为68.5°。实验选用“山地”3D模型，如图5所示。

图 5. “山地”3D模型

Fig. 5. "Mountain" 3D model

下载图片 查看所有图片

将“山地”3D模型导入所提3D片源渲染平台后进行渲染，生成一幅分辨率为7680×8850个像素的初始微图像阵列，经拆分、投影变换及子微图像阵列的重拼接处理后，输出1幅分辨率为7680×8640个像素的微图像阵列。将该微图像阵列输入到由1台主机控制的集成成像光场3D显示器上，3D显示效果如图6所示。可以看出，所提拼接集成成像光场3D显示片源渲染平台生成的微图像阵列能够使3D图像正确显示，验证了所生成3D片源的有效性。图7还给出了“魔方”3D模型校正前后在0°位置拍摄的3D图像对比，可以看出，校正后拼缝处的3D图像无错位。

图 6. 集成成像光场3D显示器校正后的显示效果。（a）0°；（b）-90°；（c）90°；（d）180°

Fig. 6. Corrected display effect of integral imaging light field 3D display after correction. (a) 0°; (b) -90°; (c) 90°; (d) 180°

下载图片 查看所有图片

图 7. 校正前后3D图像的对比。（a）校正前；（b）校正后

Fig. 7. Comparison of 3D image before and after correction. (a) Before correction; (b) after correction

下载图片 查看所有图片

5　结论

提出一种拼接集成成像光场3D显示的片源渲染平台，该平台适用于多屏拼接集成成像光场3D显示器的内容生成，可快速直观地渲染显示所需的微图像阵列。在双屏拼接的集成成像光场3D显示器上进行实验，结果表明采用该平台渲染出的微图像阵列可直接用于该集成成像光场3D显示器，显示的3D图像正确无错位。该渲染平台支持16K及以上分辨率的3D片源渲染，操作简单，有望在展览展示等领域得到应用。