1 引言

利用虚拟现实(VR)技术重现真实物体是目前的研究热点之一。该技术主要设备包括:产生图像和视频的计算机、头盔显示器(HMD)、控制手柄等^[1]。作为重要的输出设备之一,头盔显示器能将计算机产生的虚拟画面输出到人眼,在很多领域得到广泛应用,如游戏娱乐、**模拟、飞行训练和教育培训等^[1]。大视场角、高分辨率以及良好的图像质量,是产生沉浸感、让人身临其境的重要因素。因此,同时实现大视场角、高分辨率,是VR头盔显示器的重要发展趋势之一^[2-3]。

图 1. 拼接头盔显示的原理示意图

Fig. 1. Schematic diagram of tiled HMD

下载图片 查看所有图片

随着计算机性能的提升,图像渲染的速度大幅度提高,难度也随之降低。但是,在保持高分辨率的同时提升视场角一直存在着很大的困难。这个限制称之为“视场角-分辨率不变量”^[4]。这是由于在传统的单通道头盔显示器目视光学系统中,人眼观察到的像素尺寸(以角度表示)同时取决于目镜焦距和显示器的像素尺寸,它们的关系为:显示器的像素尺寸是人眼观察到的像素尺寸的正切与焦距的乘积,而视场角与焦距相关。如果像素尺寸不变,视场角增大,焦距减小,人眼观察到的像素尺寸将会增大,图像质量下降;反之亦然。增大视场角的传统方法是缩短头盔显示器目镜的焦距,但是这种方法导致像素点也同时放大,降低了人眼所观察到的图像质量。即使采用更复杂的光学系统校正了像差,这个关系依然存在。“视场角-分辨率不变量”的存在严重制约了头盔显示器的发展以及使用者的体验。

为了解决这个问题,研究者提出的方法有:注视区域高清化^[5]、部分双目重叠^[6]、双目分视显示和拼接方法^[7-8]等。这些方法各有优点和缺点,具体如下^[9]:注视区域高清化通过定位人眼瞳孔的位置,在视场中心显示高分辨率图像,边缘则是低分辨率的图像,比较符合人眼视觉特点。这种方法可以同时实现高分辨率和大视场角,但是要引入眼动追踪系统导致系统复杂,而且由于使用激光产生图像,可能对人眼产生损害;部分双目重叠的原理简单,并且作为头盔显示器重量比较轻,但是这种方法对于目镜畸变的要求很严格,还会产生视觉疲劳;双目分视显示无法实现立体效果。虽然这些方法都在一定程度上减小了“视场角-分辨率不变量”的影响,但缺点也十分突出。相比之下,利用拼接的方式能以较低的成本同时实现大视场角与高分辨率,且这种方法适用于很多光学元件,如非球面透镜^[10]、双胶合透镜^[11]、衍射光学元件^[12]等。虽然存在着光轴与人眼视轴不重合的问题,但这是一种非常可行的方式。这种方法在形式上有些类似复眼成像^[13],利用多个小视场、高分辨率目镜通道,对边缘进行切割后固定,共同组成超高分辨率的大视场图像,并且能够保证整个视场内分辨率的均匀性,能有效打破视场角和分辨率之间的制约关系,同时还可根据人眼的视觉特性^[14]实现三维显示。

因此,本文提出一种能同时实现大视场角、高分辨率的头盔显示器的设计方案,由4个经过精确切割的旋转对称球面透镜组成目镜,并对该系统进行研究和讨论。

2 原型机的规格说明

图1是头盔显示器的原理示意图,关于出瞳等问题将在下一部分展开。头盔显示器包括4个显示通道,因此每只眼睛各有两个显示通道:一个主显示通道和一个子显示通道。三个6 inch(15.24 cm)、分辨率为1920 pixel×1080 pixel的显示屏作为显示模块。透镜的口径和焦距分别为38,62 mm,视场角为90°(H)×90°(V)。左右眼的主通道共用中间的屏幕。由于屏幕实际尺寸略大于所需的尺寸,中间屏幕的一部分会被左右遮挡,所以中间的实际分辨率略小于1080 pixel,约为1787 pixel×1080 pixel。副通道屏幕所用的分辨率约为725 pixel×1080 pixel,因此整个显示模块的像素数量将超过3200 pixel×1080 pixel。

图2是一对经过切割的透镜。图中左侧的透镜是主通道透镜。切割截面与光轴的夹角为21.4°,因此主通道透镜的视场角变为66.4°(H)×90°(V)。副通道透镜切掉一半,视场角变为45°(H)×90°(V)。那么二者拼接之后单目水平视场角为111.4°(H)。三个显示屏分别放置在透镜的后焦平面上,因此主通道和子通道显示屏之间的夹角也为21.4°。

图 2. 两种经过精密切割的透镜

Fig. 2. Two kinds of lens been cut precisely

下载图片 查看所有图片

图 3. 装配后的原型机照片

Fig. 3. Photo of the prototype after assembly

下载图片 查看所有图片

原型机的外部结构用3D打印的方式制作。在设计结构和装配时,必须让透镜拼接的缝隙正对屏幕的转折处。考虑到3D打印的误差和人眼瞳距的不同,镜片的固定结构可以有一定的调节范围,以避免屏幕边框的影响。透镜和屏幕都是利用外部结构来固定的,可避免透镜胶合影响画面的实际效果。装配之后的原型机如图3所示。

图 4. 单目出瞳直径示意图

Fig. 4. Diagram of exit pupil diameter for single eye

下载图片 查看所有图片

3 拼接参数

由于原型机是左右对称的,因此以下只考虑单目情况。假设主通道的出瞳距离和出瞳直径(EPD)分别为l₁和d₁,子通道分别为l₂和d₂。由于主通道和子通道的透镜参数相同,则:

l1=l2d1=d2。(1)

为了便于表达和推导,这里统一用l₀和d₀表示。对于单个透镜,出瞳距离为14 mm,出瞳直径为6 mm。由于透镜的接缝在两个通道之间,这里的图像显示效果可能会受到影响,所以对于拼接后的出瞳直径和距离的确定是关键。

为了满足不同人的使用需求,头盔显示器的出瞳距离和出瞳直径都大一些。但是,由于镜片的边缘被切割,目镜的外部出瞳不再是限制光线的唯一光阑,所以部分边缘光线不再进入人眼。因此,对于单个目镜,拼接后有效出瞳直径和出瞳距离相对未切割的透镜都会减小。

3.1 有效出瞳直径

考虑到眼睛的旋转,拼接系统的出瞳可以设置在子显示通道的出瞳平面,这样可以同时观察到两个显示通道的连续图像。因此,拼接后出瞳的平面应该与接缝处的平面垂直。另一方面,为了减小接缝对人眼的影响,出瞳直径不能过大,以避免人眼观察到的图像出现间断。

如图4(a)所示,对拼接系统出瞳的上边缘(D_up)和下边缘(D_down)会有所不同。D_down垂直于子通道透镜的光轴,所以它取决于子通道镜片出瞳的大小。为了让尽量多的光通过,可以让D_down的大小等于子通道的出瞳直径的一半,即:

Ddown=d0/2。(2)

这样,来自子显示通道的光线就可以尽可能地通过而不被阻挡,此时人眼能够观察到子通道较大范围的图像。

出瞳的上边缘需要根据主显示通道确定。由于光轴的倾斜,子显示通道相对于水平位置的角度范围为θ₀~θ₀+θ_max/2,θ_max是单个显示通道视场角,θ₀是两个通道光轴的夹角。因此,出瞳上边缘D_up随视场角φ的变化关系可以表示为^[4]:

Dup=d0·cos(θ0+φ)/(2cosφ),θ0≤φ≤θ0+θmax/2。(3)

另一方面,在视场的中心位置以及重要位置(如接缝位置)不能有较大的渐晕,以避免对图像的影响,导致出瞳直径不能过大。为了满足这些条件,上边缘可以表示为:

Dup=d0·cos(2θ0)/(2cosθ0)。(4)

所以,拼接系统的出瞳直径D_title为:

Dtitle=d0·cos(2θ0)/cosθ0。(5)

根据图4,拼接系统的总视场可以表达为:

FOVt=FOV+θ0。(6)

3.2 有效出瞳距离

根据几何关系,对拼接系统有效出瞳距离l_rlf可以表示为:

lrlf=l0-(D/2+lc)sinθ0,(7)

式中,D是主显示通道单个镜片的孔径大小。如果单显示通道是一个光学系统,则D是该光学系统中第一片透镜的孔径。因为透镜被截掉一部分,l_c要小于主通道透镜的半径。根据(7)式,可以看出拼接系统的有效出瞳距离(l_rlf)小于单一通道的出瞳距离l₀。这表明,在拼接之后的出瞳距离将会大大减小。

3.3 杂散光问题

因为一个拼接目镜由几个显示通道组成,所以显示通道之间的光可能相互干扰,特别是靠近接缝处。另一方面,透镜表面的反射在一定程度上也会产生杂散光。这些杂散光产生鬼像,从而导致图像质量下降。对于镜片表面反射产生的杂散光,可以通过涂覆增透膜来消除。在实验过程中,没有在镜片表面涂覆薄膜。而接缝处的杂光较难避免,可能导致这里的画面模糊。

4 软件仿真和实验验证

4.1 LightTools仿真

根据每个目镜的光轴倾斜角度,在LightTools中建立光学部分和外部结构的模型,如图5所示。外部结构和眼球模型在图中已隐藏。眼球模型设置在前面确定的出瞳位置,视网膜为接收器。这里以眼睛模型的两个角度用来表示人眼注视两个不同方向。仿真结果显示如图6所示。

图 5. LightTools中建立的双目模型。(a)俯视图;(b)正视图

Fig. 5. Binocular model built in LightTools. (a) Top view; (b) front view

下载图片 查看所有图片

图6(a)是人眼注视主显示通道的情况。可以看出图中有两个光斑。较大的光斑代表主显示通道在视网膜上的强度分布。显然,在这种情况下,主显示通道的光斑更大、强度更高,占主要成分;而子通道也有一部分光被人眼接收。这说明当人眼观察主显示通道时,也能看到来自子通道的画面,而且从横坐标看出整体的水平视场角大于单个透镜。两个通道之间的强度很弱,意味着接缝可能导致图像出现断裂,但是这个宽度很小,在近眼显示中对于整体画面的影响不会太大。

人眼转动后的结果如图6(b)所示。在这个位置上,镜片的接缝更靠近视野的中心位置。与两个通道的光强相比,接缝处的强度依然较小,但相对图6(a)的反差大幅度下降。这意味着人眼旋转后,可以在接缝处获得明亮的连续图像。利用人眼的调节能力,接缝处的图像在可接受的范围内,不会产生明显的画面断裂,因此显示效果要好于图6(a)。

图 6. 单目仿真结果。(a)人眼观察主显示通道;(b)人眼转动后注视接缝

Fig. 6. Simulation results of single eye. (a) Human eye observing main display channel; (b) human eye observing seam after rotation

下载图片 查看所有图片

4.2 预畸变处理

由于单通道中光阑不与透镜重合,必然会出现畸变,且很难通过光学原理校正。因此可以利用预畸变使图像产生变形,经过透镜成像,正负畸变相互抵消最终图像的畸变。

由于透镜是自行设计的,因此可以根据光学设计软件计算畸变参数。对于旋转对称的透镜,假定显示装置上的图像中心是坐标系的原点,且装调无误差。设N=[x_n,y_n]^T是每个像素在物空间的坐标,根据单个球面镜头畸变模型,像素的物空间坐标经过透镜成像后在像空间的坐标N'=[x_n',y_n']^T可以表示为:

[xn',yn']T=[1-f(r)]·[xn,yn]T,(8)

式中r=( xn2+yn2)^1/2,是像素点N和原点之间的距离;f(r)是关于r的函数,代表每个像素所对应的畸变率。因此,当每个像素点对应的畸变率已知时,根据(8)式,可以得到每个像素经过透镜成像后在像空间的坐标,从而获得畸变图像。由于畸变率的变化在全视场内是连续的,利用光学设计软件可以得到畸变数据,通过多项式插值计算畸变率曲线。f(r)的插值结果为一个多项式,可以表示为:

f(r)=0.0026r5-0.0651r4+0.0109r3+0.3126r2-0.0069r。(9)

4.3 单目显示结果

图7是原型机的单目图像显示结果,其中主显示通道的图像可根据双目视差拍摄制作而成。经过人的大脑融合可以产生立体感,而子通道作为对场景的扩展。之后,可以根据上述方法对图像进行预畸变处理。相机放在之前确定的拼接头盔显示器出瞳位置用于获取图像。

图 7. 单目图像显示结果。(a)只有主通道画面;(b)包括接缝的主通道;(c)“人眼”正对接缝

Fig. 7. Displaying results of image for single eye. (a) Only the main display channel; (b) main display channel including seam; (c) "human eye" facing seam

下载图片 查看所有图片

当“眼睛”观察主显示通道,图像效果类似于传统的VR头盔显示器,如图7(a)所示。但是“眼睛”向外移动一定距离,所观察到的图像可能出现断裂。这是因为镜片有一定的厚度,所以切割后的截面有一定的宽度,导致一些光线可能无法通过这个截面。这与先前的模拟结果是一致的。但是在头盔中,人的头部位置相对目镜一般不会有较大的移动,因此这个问题可以通过标定与图像处理解决,消除截面的影响。在“眼睛”旋转之后[图7(c)],可以观察到连续画面。接缝周围的亮度比显示画面的其他部分低,而且出现画面模糊,这是由于两个通道相互影响导致的。但由于人眼的调节能力强于相机,实际中接缝对于画面的影响会进一步降低。因此,人眼观察到的画面会好于相机的拍摄效果。由于单透镜不能消除色差,可以用双胶合透镜拼接来解决。

5 结论

提出一种用于VR的拼接式头盔显示器原型机设计。在这个原型机中,用到三个高分辨率液晶显示屏,并利用拼接的方式打破“视场角-分辨率不变量”的限制。对一些系统参数,如有效出瞳直径、视场角和有效出瞳距离进行了详细分析。单目的水平视场角达到111.4°,相对于单透镜的头盔显示器,能保持图像分辨率,且容易实现更大的视场角。在LightTools软件中对系统进行了仿真。最后,在系统中显示一个高分辨率的图像,验证在接缝处显示图像的连续性。实际结果与软件仿真结果基本一致。同时,提出了图像畸变方法。虽然存在待解决的问题,但是拼接方法仍然是一种新型、可行的、能实现大视场高分辨率头盔显示器的低成本方案。