激光与光电子学进展, 2020, 57 (13): 130801, 网络出版: 2020-07-09   

激光扫描头戴式增强现实系统中带斑抑制与中继光路设计 下载: 1067次

Banding Suppression and Relay Optical Path Design for Laser Scanning Head-Mounted Augmented Reality System
作者单位
1 北京航空航天大学青岛研究院仪器科学与光电工程学院, 山东 青岛 266104
2 北京航空航天大学仪器科学与光电工程学院, 北京 100191
3 歌尔科技有限公司, 山东 青岛 266104
摘要
为了抑制在头戴式增强现实显示系统中激光扫描(LBS)与光栅光波导直接耦合时产生的带斑(Banding)现象并改善系统的最终成像效果,首先介绍了Banding现象,分析讨论了Banding现象产生的具体原因。随后,提出了一种加入扩散片的扩束抑制方法,并通过扩束光路结构验证了其可行性。针对抑制方案进行了小尺寸、大视场中继光路的设计优化,以满足其在头戴式增强现实显示系统中的应用。本设计的系统总长小于25 mm,在截止频率43 lp/mm处,前端与后端各视场的调制传递函数值均大于0.3,畸变均小于±2.2%,满足设计的各项指标需求。所提方法可以有效抑制LBS与光栅光波导配合使用过程中的Banding现象,因此为基于LBS的头戴式增强现实显示系统的研究提供了一定的参考价值,具有潜在的应用前景。
Abstract
To suppress the Banding phenomenon generated when the laser beam scanning (LBS) and grating optical waveguide are directly coupled in the head-mounted augmented reality display system and improve the final imaging effect of the system, the Banding phenomenon is first introduced, and the Banding phenomenon is analyzed and discussed. Then, a beam expanding suppression method with a diffuser is proposed, and its feasibility is verified by the beam expanding optical path structure. Aiming at the suppression scheme, the design optimization for the small-size and large-field-of-view relay optical path is carried out to meet its applications in the head-mounted augmented reality display system. The total length of the designed system is less than 25 mm. At the cut-off frequency of 43 lp/mm, the modulation transfer function values of the front-end and back-end fields-of-view are greater than 0.3, and the distortion is less than ±2.2%, which meets the requirements of various indicators of the design. The proposed method can effectively suppress the Banding phenomenon in the process of coupling between LBS and grating optical waveguide. Therefore, this work provides a certain reference value for the research of the head-mounted augmented reality display systems based on LBS and has potential application prospects.

1 引言

头戴式增强现实显示系统是近年来研究的热点,其应用遍布**训练、航空航天、工业、教育、医疗、娱乐等领域,具有广阔的应用前景[1-2]。目前国内外的相关研究产品多以液晶显示技术(LCD)、液晶附硅技术(LCOS)、数字光处理技术(DLP)、有机发光二极管(OLED)等方式进行显示[3]。但LCD发光模组体积较大,DLP成本较高,LCOS亮度较低,以及OLED寿命短、功耗较大等问题都对成像质量与头戴式增强现实产品的小型化发展产生一定影响,因此具有大色域、高亮度、低功耗、可集成度高等优势的激光扫描显示(LBS)技术受到了广泛关注[4-7]

LBS技术应用于头戴式增强现实系统的研究源于1980年Webb 等[8]设计的扫描激光检眼镜。1980—2002年,在Youshinaka、Ashizaki等研究人员的推动下,LBS技术逐渐具备应用于近眼显示设备的条件[9-10]。2010年,日本兄弟工业公司在世博会上展出了一款基于视网膜投影的眼镜终端AirScouter;2017年林俊国等[11]制作了基于激光扫描投影的便携式原型机;2018年英特尔公司推出基于视网膜投影的AR智能眼镜Vaunt。

近年来,国内外在基于LBS的头戴式增强现实系统方面的研究已经有很大进展,但其多采用折反式结构进行光路折转,而目前主流的头戴式增强现实显示系统则是采用光栅光波导进行光路折转,因为光栅光波导具有体积小、质量轻等优势。但LBS和光栅光波导耦合成像时,会有散斑(Speckle)现象和带斑(Banding)现象,两者影响了最终的成像质量。对于Speckle现象的抑制,目前已经有不少相关的研究工作[12],但是目前对于Banding现象缺少较为系统的分析和抑制方法。因此本文针对Banding现象的产生原因进行了分析与仿真,提出改进的方法,并完成了一套中继光路的设计方案,为抑制LBS与光栅光波导对接成像中的Banding现象提供了有价值的参考。

2 LBS与光栅光波导对接应用及Banding现象

LBS是凭借激光准直性和方向性好的特点,利用扫描器件将一个个像素点高速扫描到屏幕的相应位置,使人眼因视觉暂留效应无法判别出分离的扫描线,从而形成完整的静态二维(2D)图像[13]。光栅光波导是一种利用光栅的衍射特性和波导介质的全内反射特性来实现成像光束传输的光学元件[14]

LBS与光栅光波导直接进行耦合、成像的示意图如图1所示。在这种情况下,会观察到图像上有一块块条带状的带斑,即Banding现象,如图2所示。该现象会直接影响LBS在头戴式增强现实显示系统中的使用效果。

图 1. LBS与光栅光波导耦合、成像示意图

Fig. 1. Coupling and imaging by using LBS and grating optical waveguide

下载图片 查看所有图片

图 2. 原始图片和经系统后的成像图。(a)原始图片;(b)经系统后的成像图

Fig. 2. Original image and post-system image. (a) Original image; (b) post-system image

下载图片 查看所有图片

2.1 Banding现象产生的原因分析

本文选取了640×480分辨率的LBS微型投影,出射圆形光斑直径为1 mm,视场角(FOV)为45°(horizontal)×25°(vertical)。此外,选用了一款RGB三色分别传输的光波导,其光栅圆形耦入区域直径为4 mm,视场角为34°(horizontal)×20°(vertical)。

选用的波导片折射率为1.7,厚度为1 mm,因此根据全反射临界角公式:

θc=arcsinn1n2,(1)

计算出光在波导片中的临界全反射角为36.08°,其中,n1为空气折射率,n2为波导片折射率。以638 nm红光为例,当激光直接耦入波导时,若耦入角度为30°时,进入波导的光线角度恰为临界全反射角,则根据光栅周期公式

d(n1sini±n2sinθ)=,(2)

可以计算出光栅周期d为425 nm,其中i为耦入角度,θ为耦出角度,m为衍射级次,λ为波长。计算得到当耦入角度为-4°时,进入波导的光线角度为67.53°。同理可以计算得到以中心视场13°入射时,耦入波导的视场角为41.35°,如图3所示。

图 3. 波导中的中心视场与边缘视场传播示意图

Fig. 3. Diagram of propagation of central FOV and edge FOV in waveguide

下载图片 查看所有图片

耦入区域的尺寸为直径为4 mm的圆形,假定激光出射光线充满耦入区域,则可以计算得到反向延长的虚光源的大概位置,如图4所示,并可以计算得到每一个角度光耦入光栅光波导时的位置。

图 4. 虚光源位置示意图

Fig. 4. Diagram of virtual light source

下载图片 查看所有图片

由于横向和纵向的Banding现象产生的机理相同,因此本文仅以横向的Banding现象分析为例。实验所用LBS微型投影发出的激光束的光束直径为1 mm,眼瞳直径约为4 mm,现以中心视场41.35°角度对应的入射角度13°为基准,根据光栅光波导耦入区域与耦出区域位置及尺寸计算得到横向的预设值为5.5次全反射。设定人眼距离光栅18 mm,并位于中心视场第一道出射光的边缘,可以计算得到人眼距离虚光源的横向距离为17.86 mm,如图5所示。因此,当人眼位置保持不变时,可以分别计算得到30°到-4°之间每一视场人眼接收到的二维光束尺寸大小。

图 5. 中心视场进入人眼光束的示意图

Fig. 5. Diagram of light beam entering human eye in central field of view

下载图片 查看所有图片

图 6. 某一视场进入人眼的二维光束示意图

Fig. 6. Diagram of 2D beam entering human eye in some field of view

下载图片 查看所有图片

图6为某一视场进入人眼的二维光束示意图,以左侧边缘进入人眼的光束为例,其与眼瞳相交于第二象限的交点纵坐标为

y1=r1sinarccosr12+d2-r222r1d,(3)

式中:r1为光束半径;r2为眼瞳半径;d为光束圆心与眼瞳圆心的距离。同理,光束与眼瞳相交于第三象限的交点纵坐标为

y2=-r1sinarccosr12+d2-r222r1d(4)

已知眼瞳和左侧边缘光束的方程分别为x2+y2= r22和(x+d)2+y2= r12,因此左侧边缘进入人眼的光束面积S可由积分式

S=-r1sinarccosr21+d2-r222r1dr1sinarccosr21+d2-r222r1ddyr22-y2r21-y2-ddx(5)

计算得到。右侧边缘进入人眼的光束面积同理可得,而完全进入人眼的光束尺寸即为该圆形光束的面积。因此,可分别求得所有视场下人眼接收到的光束尺寸,如图7(a)所示。

图 7. 1 mm光束在不同视场下人眼接收的二维光面积。(a)曲线图;(b)仿真图

Fig. 7. 2D light area for human eye receiving 1 mm beam in different FOV. (a) Curve; (b) simulation diagram

下载图片 查看所有图片

图7(b)可以看出,在不同视场情况下,人眼接收到的二维光面积大小呈现反复变化趋势,人眼接收到的光强同样呈现强度反复变化趋势,所以人眼看到的像会呈现出明暗间隔分布的视觉效果,且这种效果在横向和纵向都存在,最终形成人眼观测到的Banding现象。

2.2 Banding现象的抑制

随着视场的增加,进入人眼的入射光线也会增加,因此光强会随着视场的增加而增加,但实际的光栅设计会针对这一问题进行优化设计,使光栅出射光亮度在全视场下保持较好的均匀性。

本文假设光栅完美优化,全视场亮度基准一样,为了仿真上述过程,根据2.1节中1 mm光束下人眼接收不同视场的光斑尺寸数据,进行归一化后采用最小二乘法进行直线拟合,可以得到拟合直线为y=0.019x+0.263。根据曲线图与拟合直线每一点的数据值,计算得到残差的均方根值为0.068,其与中心视场的平均接收面积比值为0.133。

经分析,Banding现象产生的主要原因是光束口径较小,增大光束口径可以使Banding现象得到有效改善。因此进行了相关实验验证,实验中采取了类4f系统对LBS的出射光束进行扩束,并在此中继光路的中间像面上加入了扩散片,以保证扩束的同时不减小系统的视场角,如图8所示。

实验结果如图9所示,可以看出图像的成像质量的确得到了明显改善,这与类4f系统的扩束有关,也与扩散片增加了光束的发散角和光束的宽度有关,最终有效解决了成像中的Banding现象。

图 8. 中继光路示意图与实验装置图。(a)示意图;(b)实验装置图

Fig. 8. Schematic diagram and experimental setup diagram of relay optical path. (a) Schematic diagram; (b) experimental setup diagram

下载图片 查看所有图片

图 9. 加入扩散片后的图像

Fig. 9. Image after adding diffuser

下载图片 查看所有图片

3 中继光路的设计

前述实验中的中继光路尺寸过大,无法应用于实际的头戴式增强现实显示系统中,因此需要对中继光路进行设计,使其能够满足小尺寸和大视场的设计要求。本文运用Zemax软件进行中继光路设计,各参数根据当前市面上以及部分文献中主流的头戴式增强现实设备参数进行设定,仿真物理环境与实际的头戴式增强现实设备应用物理环境相同。

3.1 设计规格

基于实验应用的LBS微型投影和光栅光波导,本光学系统的目标总长小于25 mm,中间像面高度为6.6 mm,入瞳直径和出瞳直径分别为1 mm和4 mm,前端与后端视场分别设定为54°和60°,见表1

3.2 确定焦距与初始结构选取

由前述设定可知,前端的半视场为27°,后端的半视场为30°,中间像面的半高度L为3.3 mm,因此,由全视场的计算公式

表 1. 中继光路设计参数

Table 1. Design parameters for relay optical path

ParameterValue
Entrance pupil diameter /mm1
Exit pupil diameter /mm4
Front-end FOV /(°)54
Back-end FOV /(°)60
Intermediate image height /mm6.6
Total track length /mm<25

查看所有表

可以反推出前后端的焦距分别为4.58 mm和4.04 mm,其中ω为半视场角,L为中间像面半高,f'为焦距。

由前后端焦距并由公式

NA=D2f'NA'=D'2f'7

可以求得前后端的数值孔径大小分别为0.109和0.495,其中NA为前端数值孔径,NA'为后端数值孔径,D为入瞳直径,D'为出瞳直径。由计算可以看出,前后端的数值孔径大小约呈4倍关系,因此需要在中间像面处加入扩散片来使前后端的数值孔径相匹配,从而满足最终的设计要求。

根据本文所需的设计指标,前后端分别选取了HoloLens2的专利和一项美国手机镜头专利中的结构,并对其部分参数进行修改,得到了基本符合要求的初始结构[15-16]。前端采取了5片堆叠式设计,后端采取了4片堆叠式设计,因为考虑到激光光源具有较高的能量,所以前端材料全部选取了模压玻璃,在保证材质不会在高温下变形的同时也实现了易于加工的特点。

由于前后端数值孔径的大小不同,所以对前后端分别进行设计。此外,由于后端入瞳直径大,在设计和优化上更具难度,因此本文在具体设计时先进行了后端设计,再进行与后端匹配的前端设计,使前端设计的成像像面高度与后端设计的成像像面高度保持一致。

3.3 Zemax设计结果和评价

后端设计的总体尺寸约为14.4 mm,使用4片结构,结构中1镜和3镜分别选用高、低色散材料以平衡系统色差,具体设计结果如图10所示。

图 10. Zemax后端设计

Fig. 10. Zemax back-end design

下载图片 查看所有图片

由于实验用的激光微型投影分辨率为640×480,且像面高度为6.6 mm,因此可以通过奈奎斯特采样定理计算出采样频率约为43 lp/mm,并且可以得到后端设计的调制传递函数(MTF)图。MTF表示各种不同频率的正弦分布函数经过光学系统成像后其对比度的衰减程度,是镜头成像品质较为客观的技术参考依据[17]

图 11. 后端设计评价图。(a) MTF图;(b)畸变图

Fig. 11. Back-end design evaluation diagrams. (a) MTF diagram; (b) distortion diagram

下载图片 查看所有图片

图11(a)中可以看出:当分辨率为43 lp/mm时,后端设计的中心视场和边缘视场的MTF值都大于0.3,虽然系统存在一定的像散,但是由于所占比例很小,并不影响成像的整体效果,符合成像要求。图11(b)所示为后端设计的畸变大小,其值在±2.2%以内,因为在畸变小于3%时,人眼很难看出成像的变形,所以基本满足设计指标[18]

前端设计的总体尺寸约为8.3 mm,使用5片结构,同样选用了高、低色散材料以平衡系统色差,具体设计结果如图12所示。

前端设计的MTF图如图13(a)所示,可以看出当分辨率为43 lp/mm时,前端设计的中心视场和边缘视场的MTF值都大于0.4,虽然系统存在一定的像散,但是由于所占比例很小,并不影响成像的整体效果,符合成像要求。图13(b)所示为前端设计的畸变大小,其值在±1.2%以内,因为在畸变小于3%时,人眼很难看出成像的变形,所以基本满足设计指标。

图 12. Zemax前端设计

Fig. 12. Zemax front-end design

下载图片 查看所有图片

图 13. 前端设计评价图。(a) MTF图;(b)畸变图

Fig. 13. Front-end design evaluation diagrams. (a) MTF diagram; (b) distortion diagram

下载图片 查看所有图片

4 扩瞳后显示效果分析

图14为在LBS微型投影与光栅光波导中间加入中继光路的示意图,人眼位于光栅光波导的耦出端,来自前方的实际光线与LBS微型投影经系统传输后的图像最终叠加成像在人眼的视网膜上,达到增强现实的目的。此外,图14中的光学模组尺寸较小,能够满足头戴式增强现实显示系统的小型化需求。

图 14. 中继光路加入系统的示意图

Fig. 14. Diagram of system with relay optical path

下载图片 查看所有图片

当使用中继光路进行扩瞳后,耦入光斑直径从1 mm扩展到了4 mm,加上位于前后端中间像面处的扩散片增大了光束的宽度,最终人眼在不同视场下接收到的光斑尺寸大小如图15所示。

图15中可以看到,4 mm光束下人眼接收不同视场的光斑面积大小变化相对于1 mm光束时趋于平缓,视场内的光强基本呈均匀变化,成像中的Banding现象得到了有效抑制, 该结果与实验结果一致。

图 15. 4 mm光束在不同视场下人眼接收的二维光面积。(a)曲线图;(b)仿真图

Fig. 15. 2D light area for human eye receiving 4 mm beam in different FOV. (a) Curve; (b) simulation diagram

下载图片 查看所有图片

根据得到的4 mm光束下人眼接收不同视场的光斑面积数据,进行归一化后同样采用最小二乘法拟合出一条直线,拟合直线为y=0.021x+0.304。通过曲线图与拟合直线每一点的数据值,可以计算得到残差的均方根值为0.032,其与中心视场的平均接收面积比值为0.055,相对于1 mm光束的残差均方根与中心视场平均接收面积之比下降了50%左右,由此证明扩束确实使成像中的Banding现象得到明显改善。

5 结论

通过对LBS与光栅光波导耦合时产生的Banding现象进行分析,详细阐述了Banding现象的产生原因,并给出了相应的抑制方法,即通过中继光路进行扩束,同时应用扩散片以保证扩束的同时不减小系统的视场角,且使中继光路的前后端数值孔径大小匹配。最后通过Zemax仿真软件,得到了一种小尺寸、大视场的中继光路,该中继光路满足设计的基本要求,并可应用于基于LBS的头戴式增强现实显示系统的光学模组中,在实现扩束的同时改善系统的成像质量。

参考文献

[1] Cakmakci O, Rolland J. Head-worn displays: a review[J]. Journal of Display Technology, 2006, 2(3): 199-216.

[2] 高源, 刘越, 程德文, 等. 头盔显示器发展综述[J]. 计算机辅助设计与图形学学报, 2016, 28(6): 896-904.

    Gao Y, Liu Y, Cheng D W, et al. A review on development of head mounted display[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 896-904.

[3] 梁传样. 激光投影显示光学系统关键技术研究[D]. 长春: 中国科学院长春光学精密机械与物理研究所, 2017.

    Liang CY. Research on key technology of laser projection display optical system [D]. Changchun: Changchun Institute of Optics, Fine Mechanics and Physics,University of Chinese Academy of Science, 2017.

[4] 梁静秋. 微显示器件的研究进展[J]. 光机电信息, 2010, 27(12): 21-27.

    Liang J Q. Research advances in micro-LED display devices[J]. OME Information, 2010, 27(12): 21-27.

[5] 张永利, 周晶晶, 耿卫东, 等. 新型近眼显示系统的分析与设计[J]. 光电子技术, 2004, 24(2): 125-128.

    Zhang Y L, Zhou J J, Geng W D, et al. Analysis and design of new-style NTE display system[J]. Optoelectronic Technology, 2004, 24(2): 125-128.

[6] 曲松, 李丽娟, 侯茂盛, 等. 提高激光扫描投影系统精度的方法研究[J]. 激光与光电子学进展, 2018, 55(2): 020801.

    Qu S, Li L J, Hou M S, et al. Methods to improve accuracy of laser scanning projection system[J]. Laser & Optoelectronics Progress, 2018, 55(2): 020801.

[7] 苗永平, 刘永智. 二维激光扫描规律研究[J]. 应用光学, 2005, 26(2): 27-30.

    Miao Y P, Liu Y Z. Investigation on laws of 2-D laser scanning[J]. Journal of Applied Optics, 2005, 26(2): 27-30.

[8] Webb R H, Hughes G W, Pomerantzeff O. Flying spot TV ophthalmoscope[J]. Applied Optics, 1980, 19(17): 2991-2997.

[9] Yoshinaka K. Display device: 61198892 [P].1986-09-03.

[10] AshizakiK, YamamotoM, MiyaokaS, et al. 1991-03-14.

[11] 林俊国, 丛强, 许晨, 等. MEMS激光扫描视网膜投影显示系统设计[J]. 光学学报, 2017, 37(12): 1222001.

    Lin J G, Cong Q, Xu C, et al. Design of MEMS laser scanning retinal projection display system[J]. Acta Optica Sinica, 2017, 37(12): 1222001.

[12] 李霞, 郝丽, 刘伟奇, 等. 激光显示中散斑减弱的研究[J]. 液晶与显示, 2007, 22(3): 320-324.

    Li X, Hao L, Liu W Q, et al. Speckle reduction in laser display[J]. Chinese Journal of Liquid Crystals and Displays, 2007, 22(3): 320-324.

[13] 呼新荣, 刘英, 王健, 等. 基于视网膜扫描的头戴显示器研究现状[J]. 红外与激光工程, 2014, 43(3): 871-878.

    Hu X R, Liu Y, Wang J, et al. Current progress in head-mounted display based on retinal scanning[J]. Infrared and Laser Engineering, 2014, 43(3): 871-878.

[14] Mateus C F R, Huang M C Y, Deng Y, et al. Ultrabroadband mirror using low-index cladded subwavelength grating[J]. IEEE Photonics Technology Letters, 2004, 16(2): 518-520.

[15] Wall RA, ValliusT, Juhola M. Waveguide-based displays with exit pupil expander: US2017299860 [P].2017-10-19.

[16] Tang HC, Tsai TH, Chou M T. Image optical lens system: US8878975 [P].2014-11-04.

[17] 赵曼, 姜博, 范秀英, 等. CCD相机调制传递函数的测试分析[J]. 激光与光电子学进展, 2012, 49(7): 071201.

    Zhao M, Jiang B, Fan X Y, et al. Measurement and analysis on the modulation transfer function of CCD camera[J]. Laser & Optoelectronics Progress, 2012, 49(7): 071201.

[18] 李晓彤, 岑兆丰. 几何光学·像差·光学设计[M]. 杭州: 浙江大学出版社, 2003: 260- 263.

    Li XT, Cen ZF. Geometrical optics·aberration·optical design [M]. Hangzhou: Zhejiang University Press, 2003: 260- 263.

丁意桐, 高震宇, 彭旭, 宋凝芳, 冯迪, 赵东峰, 迟小羽. 激光扫描头戴式增强现实系统中带斑抑制与中继光路设计[J]. 激光与光电子学进展, 2020, 57(13): 130801. Yitong Ding, Zhenyu Gao, Xu Peng, Ningfang Song, Di Feng, Dongfeng Zhao, Xiaoyu Chi. Banding Suppression and Relay Optical Path Design for Laser Scanning Head-Mounted Augmented Reality System[J]. Laser & Optoelectronics Progress, 2020, 57(13): 130801.

本文已被 4 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!