光学学报, 2017, 37 (12): 1222001, 网络出版: 2018-09-06   

MEMS激光扫描视网膜投影显示系统设计 下载: 1514次

Design of MEMS Laser Scanning Retinal Projection Display System
作者单位
1 北京理工大学光电学院, 北京 100081
2 北京市混合现实与新型显示工程技术研究中心, 北京 100081
摘要
视网膜投影显示(RPD)是头戴显示器(HMD)领域的一个研究热点,能够克服传统HMD辐辏聚焦矛盾(VAC)。为了使RPD小型便携化,以微机电系统(MEMS)扫描镜作为空间光调制器(SLM)设计制造了折反式激光RPD系统。首先,介绍了辐辏聚焦矛盾,分析了RPD的基本原理。通过传统的RPD光路结构,实验验证了以MEMS激光扫描投影作为图像源的麦克斯韦观察法原理的可行性,分析并解决了黑斑问题。接着,完成了RPD系统的光学设计,分析评价了系统的性能。最后,制造出小型便携式的原型机,原型机瞳距可调,视场角为30°(H)×22°(V),无畸变,并通过实验对其显示效果进行了验证。
Abstract
Retinal projection display (RPD) is one of the research hotspots in the field of head-mounted display (HMD), it can overcome the vergence-accommodation conflict (VAC) of the traditional HMD. In order to make the RPD small and portable, a catadioptric laser RPD system, which uses a micro-electromechanical system (MEMS) scanning mirror as the spatial light modulator (SLM), is designed and fabricated. Firstly, the vergence-accommodation conflict is introduced and the basic principle of RPD is analyzed. Then the feasibility of Maxwellian view principle that uses a MEMS laser scanning projection as the image source is experimentally verified by the traditional RPD optical structure. And the black speckle problem is analyzed and solved. The optical design of the RPD system is finished, and the performance of the system is analyzed and evaluated. Finally, the small portable prototype is fabricated, whose interpupillary distance is adjustable, with a viewing angle of 30°(H)×22°(V) and distortion-free. Display performance of the prototype is demonstrated through experiments.

1 引言

头戴显示器(HMD)是近年来研究的热点,其包括增强现实(AR)智能眼镜和虚拟现实(VR)设备。HMD已经从原来的**训练、航空航天领域拓展到工业、医疗、教育、娱乐等民用领域,具有广阔的应用前景[1-5]。目前,阻碍HMD发展的一个主要技术问题是辐辏聚焦矛盾(VAC),用户长时间佩戴HMD会因此感到视觉不适,这极大地影响用户体验[6]。视网膜投影显示(RPD)具有很长的景深,能够克服辐辏聚焦矛盾带来的人眼不适问题[7-8],是HMD领域的一个研究热点。

RPD技术源于1980年Webb等[9]所设计的扫描激光检眼镜。1980~2002年间,在Yoshinaka等[10-12]研究的推动下,逐步发展成为一种近眼显示设备。2010年,日本Brother公司在世博会上展示了一款基于视网膜投影的眼镜终端AirScouter[13],其能够提供单目AR视觉显示,视场角为20°(H)×11.4°(V),质量为106 g。2014年,Avegant公司正式发布一款利用视网膜投影提供立体影像视觉的双目VR观影设备Glyph[14],其大小相当于一个头戴式耳机,体型较大,质量为453 g。近年来,国内外关于HMD的研究已经获得了很大的进展,但在RPD方向的研究仍较为薄弱,现有的RPD设备视场角小,体积和质量无法满足小型便携式的要求。针对这些问题,以微机电系统(MEMS)扫描镜和激光二极管为图像源,采用折反式光学结构,设计并制造一款视场角为30°(H)×22°(V),亮度高,体积小,质量轻且光学结构简单紧凑的视网膜投影AR显示原型机,并通过实验对其显示效果进行验证。

2 RPD原理

2.1 辐辏聚焦矛盾

目前,阻碍HMD发展的一个主要技术问题是辐辏聚焦矛盾,其指的是单一固定的虚拟显示屏幕使得人眼晶状体的调焦和双目的辐辏不一致,而引起人眼的视觉不适[6]。如图1(a)所示,人在观看自然真实物体时,人眼晶状体调焦到物体上,双眼同时会聚辐辏到该物体,通过双目视差形成立体视觉,这种情况下,人眼的调焦深度和辐辏深度相匹配,为自然视觉;图1(b)为VR双目立体观影设备的视觉原理图,观看3D影视时,人眼需要调焦到虚拟显示屏上以获得清晰的数字图像内容,同时又要会聚辐辏到虚拟物体位置以融合出立体图像,此时人眼的调焦和双目的辐辏不一致,是一种不自然的视觉体验;图1(c)为双目AR智能眼镜的视觉原理图,当用户双目聚辐辏到处于同一深度的虚拟物体和真实物体时,人眼需要调焦到虚拟显示屏上以获取附加在真实场景上的数字图像信息,又要调焦到真实物体上,当两者的调焦距离超过人眼所能调节的范围时,便无法同时看清处于同一深度的虚拟物体和真实物体,从而引起人眼非自然的视觉感受。用户佩戴使用HMD时,辐辏聚焦矛盾所导致的不自然的视觉体验,容易增加眼睛疲劳,影响用户体验。

图 1. 辐辏聚焦矛盾示意图。 (a) 自然视觉;(b) VR视觉;(c) AR视觉

Fig. 1. Diagram of VAC. (a) Natural vision; (b) VR vision; (c) AR vision

下载图片 查看所有图片

2.2 传统RPD光路

基于麦克斯韦观察法的RPD是解决辐辏聚焦矛盾的一种方法[8]。传统的RPD光路结构如图2所示,在图像源模块中,光源发出的光经过透镜系统L1和分光镜M准直反射进入空间光调制器液晶显示器(LCD)或硅基液晶(LCoS),经调制后出射的平行光束加载了数字图像信息,并且含有衍射光,因此需要添加滤波系统以滤除高级次衍射光波并得到具有很长景深的细光束[15-16]。滤波系统由透镜系统L2和滤波小孔P构成,细光束经过投影系统L3在人眼晶状体光心会聚于一点,然后直接投射到视网膜上形成图像[7]。经过滤波系统后沿不同方向出射的细光束携带空间光调制器上不同像素点的信息,所有像素点组成的图像被直接投影到人眼视网膜上不同的位置形成图像视觉。由于全部细光束都经过人眼晶状体光心,故晶状体的调焦不影响细光束的传播,而且人眼所观察到的虚拟数字图像具有很长的景深,这便是麦克斯韦观察法的原理。当人眼调焦和会聚辐辏以观察远近不同的自然真实物体时,虚拟数字图像都能够独立于晶状体的调焦而清晰地显示,避免了辐辏聚焦矛盾。

图 2. 传统RPD光路图

Fig. 2. Optical path of conventional RPD

下载图片 查看所有图片

MEMS扫描投影具有亮度高、色域广、结构紧凑的优点[17],基于传统的RPD光路,改用MEMS为图像源,搭建了如图3的系统以验证光路的可行性,实验成像效果如图4(a)所示。验证光路系统的成像效果清晰,但存在较大色差,而且由于麦克斯韦观察法要求人眼晶状体中点和光束汇聚点严格匹配,所以当偏离观察处观察图像时,图像显示不全,还可能出现图4(b)中的黑斑。

图 3. RPD可行性验证光路系统

Fig. 3. Feasibility verification optical system of RPD

下载图片 查看所有图片

图 4. 成像效果图。 (a)正常图像;(b)带黑斑的图像

Fig. 4. Imaging effect figures. (a) Normal image; (b) image with black speckle

下载图片 查看所有图片

实验发现改用尺寸较大的滤波小孔能有效地避免黑斑的出现。经分析,这是因为验证实验所用的MEMS图像源输出的信息光为细光束[7],光线经过球面透镜在滤波小孔位置的球差较大,当滤波小孔尺寸较小或位置不佳时,便会遮挡部分细光束,造成部分图像信息光线的丢失,导致图像出现黑斑。传统的RPD光路不仅结构复杂,而且要求滤波小孔和光束会聚点严格对准匹配,使得加工和装调难度升级。传统RPD光路已经不再适用于以MEMS作为图像源的系统,球差的存在使系统容易产生黑斑导致图像不完整,影响显示效果,因此对传统的RPD光路进行改进。

2.3 基于MEMS的RPD光路结构

针对2.2节所述RPD存在的问题,去除传统RPD光路中的滤波系统,采用如图5所示的RPD光路作为设计原理图。MEMS扫描镜进行二维扫描将激光光源发出的光束调制为加载了图像信息的细光束,沿不同方向出射的细光束相当于不同像素点发出的光,所有像素点组成的数字图像经过光学系统L1在人眼晶状体光心会聚于一点,进而直接投影到视网膜上不同的位置以形成图像,其中MEMS扫描镜中心与人眼晶状体中心共轭。

图 5. 基于MEMS的RPD光路图

Fig. 5. Optical path of RPD based on MEMS

下载图片 查看所有图片

该光路结构的图像源由MEMS和RGB三色激光二极管配合产生,显示系统具有亮度高、色域广的特点。为满足人眼安全等级要求,激光二极管总输出功率严格控制在0.4 μW以下[18]。相比传统RPD光路,避免使用滤波系统,能够有效地减小光学系统的尺寸,有利于系统的紧凑小型化,而且球差的存在不再导致黑斑,保证了成像的完整,降低了系统的设计和装调难度。虚拟数字图像独立于人眼的调焦,具有很长的景深,避免了辐辏聚焦矛盾。

3 显示系统光学设计

3.1 设计分析与优化控制

为了保证近眼显示系统结构简单紧凑且适合佩戴,采用折反式光学结构。图像源置于人脸侧面,经MEMS调制的信号光经过两次反射进入人眼。位于人脸侧面的中继透镜组将图像源输出的带有数字图像信息的光束进行准直,准直光束经平面反射镜折转进入位于人脸前面的后继透镜组,后继透镜组配合分光镜将光束反射会聚于人眼晶状体光心并投影在人眼视网膜上,人眼便能观测到独立于人眼调焦的具有很长景深的数字图像。通过像面成像光斑尺寸的大小以及对系统调制传递函数(MTF)曲线的评估来分析系统设计结果。RPD光学系统的尺寸随视场角、出瞳距离和光学系统直径的增大而增大,因此设计前需要对其权衡分析。

系统的设计规格参数如表1所示。该RPD系统图像源调制器采用720 pixel×480 pixel分辨率的MEMS扫描镜,扫描镜单元的镜面直径为1 mm。为了获得比较舒适的佩戴体验,控制光学系统最后一片透镜表面到出瞳处的距离不少于15 mm,人眼到分光镜间的出瞳距离不少于10 mm,对角线视场角不小于40°。为了保证系统的小型化和虚拟图像在透镜投影的完整性,中继透镜组和后继透镜组的透镜设计孔径不大于20 mm,并且透镜数目应尽量少以减轻系统质量。通常人侧脸眼角到耳前的距离在65~90 mm范围,故图像源及与其相匹配的中继透镜组要满足该距离的尺寸限制,约束中继透镜组的设计长度不大于90 mm。人眼瞳孔到同侧的侧脸距离在50~65 mm范围,人眼瞳距也因人而异,因此光学系统及其机械结构的设计都必须考虑瞳距可调以适应不同的用户,约束后继透镜组的设计长度不大于55 mm。从图4中视网膜投影验证光路的成像效果可看出该系统存在较大的色差,故系统设计应考虑使用双胶合透镜以消除色差。

3.2 设计结果与性能分析

根据3.1节的设计分析和优化控制,采用折反式光学结构,设计所得的折反式RPD系统光路图如图6所示。该RPD光学系统的中继透镜组(L1L2)和后继透镜组(L1'、L2')中的透镜均共轴,均为旋转对称面

表 1. RPD规格参数

Table 1. Specification parameters of RPD

ParameterSpecification
ConfigurationOn-axis catadioptric
Effective focal length35.78 mm
Diagonal field of view40°
Eye relief10 mm
Resolution720 pixel×480 pixel
MEMS mirror diameter1 mm
Interpupillary distance adjustable range0~20 mm

查看所有表

图 6. RPD光学系统光路图

Fig. 6. Optical path of RPD optical system

下载图片 查看所有图片

型的双胶合透镜,口径均在18 mm左右。该系统的中继透镜组和后继透镜组中的透镜为完全对称的结构,角放大率为1,因此该系统理论上没有畸变。系统共有6个光学元件,其中4片透镜、1片平面反射镜和1片分光镜。光学系统的有效焦距为35.78 mm,出瞳距离为10 mm,视场角30°(H)×22°(V),满足预先的设计目标。该系统可通过调节后继透镜组和平面反射镜间的距离来实现瞳距的调节。

设计所得的折反式RPD光学系统以MEMS扫描投影为图像源,像源点发出的光经准直后,在孔径中不同的位置加载了单一视场角的数字图像信息。此时构成数字图像的光线都是单一方向的细光束,因此仅需要考虑一个视场来对系统的性能进行分析。

所设计光学系统的MTF曲线如图7所示,在30 lp/mm处,整个视场的MTF值优于0.9;在140 lp/mm处MTF值为0.3左右,完全满足目视结构系统的要求,说明该光学系统拥有良好的成像质量。光学系统像面

图 7. RPD光学系统MTF曲线图

Fig. 7. MTF curve of RPD optical system

下载图片 查看所有图片

的光束合成传播图如图8所示,会聚点的光斑直径只有5 μm左右,基本为一个点光斑,可以满足麦克斯韦观察法中关于光线在晶状体光心处会聚于一点的条件。

图 8. RPD光学系统像面光束合成传播图

Fig. 8. Beam synthesis propagation of image plane of RPD optical system

下载图片 查看所有图片

4 实物模型及显示效果

折反式RPD系统的实物图及佩戴效果图如图9所示,实现了系统的小型轻量化。图10(a)为图像源的输出图像,图10(b)、(c)是使用单反相机装载F数为1.8、等效焦距为50 mm的镜头进行远近对焦拍摄的成像效果图。通过分光镜可以在看外部物体的同时,清晰地看到由RPD系统投射入眼的虚拟图像,RPD系统距离近焦处的分辨率板500 mm,距离远焦处的分辨率板1500 mm。从成像效果图可见无论相机镜头对焦到近处还是远处,均能观察到清晰的数字虚拟图像,这也验证了基于麦克斯韦观察法的RPD系统所观察到的虚拟图像具有很长景深的特点。

图 9. (a) RPD光学系统原型图;(b) 佩戴效果图

Fig. 9. (a) Prototype of RPD optical system; (b) wearing performance

下载图片 查看所有图片

图 10. (a)图像源;(b)对焦到近处成像效果图;(c)对焦到远处成像效果图

Fig. 10. (a) Image source; (b) imaging effect diagram of focusing on the close-distance plane; (c) imaging effect diagram of focusing on the far-distance plane

下载图片 查看所有图片

5 结论

基于麦克斯韦观察法的RPD是HMD的一个研究热点,其能够使虚拟图像的显示独立于人眼调节,解决了传统HMD普遍存在的辐辏聚焦矛盾。针对现有RPD设备视场角小、体积和质量无法满足小型便携式要求的问题,区别于传统RPD以LCD或LCoS为微图像源,采用MEMS为图像源,避免使用滤波系统,解决了黑斑问题,同时实现了简单紧凑的折反式显示系统的设计制造和性能分析,得到了视场角30°(H)×22°(V),无畸变,满足小型便携需求的RPD系统,并验证了RPD具有很长景深的特点。该设计成果对RPD的研究具有一定的指导意义,为今后的研究打下基础。

参考文献

[1] Rauschnabel P, Brem A, Ro Y. Augmented reality smart glasses: definition, conceptual insights, and managerial importance[J]. Working Paper, The University of Michigan-Dearborn, 2015.

    Rauschnabel P, Brem A, Ro Y. Augmented reality smart glasses: definition, conceptual insights, and managerial importance[J]. Working Paper, The University of Michigan-Dearborn, 2015.

[2] KressB. The segmentation of the HMD market: optics for smart glasses, smart eyewear, AR and VR headsets[C]. SPIE, 2014, 9202: 92020D.

    KressB. The segmentation of the HMD market: optics for smart glasses, smart eyewear, AR and VR headsets[C]. SPIE, 2014, 9202: 92020D.

[3] Cakmakci O, Rolland J. Head-worn displays: a review[J]. Journal of Display Technology, 2006, 2(3): 199-216.

    Cakmakci O, Rolland J. Head-worn displays: a review[J]. Journal of Display Technology, 2006, 2(3): 199-216.

[4] 呼新荣, 刘英, 王健, 等. 基于视网膜扫描的头戴显示器研究现状[J]. 红外与激光工程, 2014, 43(3): 871-878.

    呼新荣, 刘英, 王健, 等. 基于视网膜扫描的头戴显示器研究现状[J]. 红外与激光工程, 2014, 43(3): 871-878.

    Hu Xinrong, Liu Ying, Wang Jian, et al. Current progress in head-mounted display based on retinal scanning[J]. Infrared & Laser Engineering, 2014, 43(3): 871-878.

    Hu Xinrong, Liu Ying, Wang Jian, et al. Current progress in head-mounted display based on retinal scanning[J]. Infrared & Laser Engineering, 2014, 43(3): 871-878.

[5] 吕向博, 王振, 魏张帆, 等. 轻量化头戴显示器光学系统设计[J]. 光学学报, 2015, 35(10): 1022007.

    吕向博, 王振, 魏张帆, 等. 轻量化头戴显示器光学系统设计[J]. 光学学报, 2015, 35(10): 1022007.

    Lü Xiangbo, Wang Zhen, Wei Zhangfan, et al. Lightweight design of a helmet-mounted display optical system[J]. Acta Optica Sinica, 2015, 35(10): 1022007.

    Lü Xiangbo, Wang Zhen, Wei Zhangfan, et al. Lightweight design of a helmet-mounted display optical system[J]. Acta Optica Sinica, 2015, 35(10): 1022007.

[6] 高源, 刘越, 程德文, 等. 头盔显示器发展综述[J]. 计算机辅助设计与图形学学报, 2016, 28(6): 896-904.

    高源, 刘越, 程德文, 等. 头盔显示器发展综述[J]. 计算机辅助设计与图形学学报, 2016, 28(6): 896-904.

    Gao Yuan, Liu Yue, Cheng Dewen, et al. A review on development of head mounted display[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 896-904.

    Gao Yuan, Liu Yue, Cheng Dewen, et al. A review on development of head mounted display[J]. Journal of Computer-Aided Design & Computer Graphics, 2016, 28(6): 896-904.

[7] Lin J G, Cheng D W, Yao C, et al. Retinal projection head-mounted display[J]. Frontiers of Optoelectronics, 2017, 10(1): 1-8.

    Lin J G, Cheng D W, Yao C, et al. Retinal projection head-mounted display[J]. Frontiers of Optoelectronics, 2017, 10(1): 1-8.

[8] Kramida G. Resolving the vergence-accommodation conflict in head-mounted displays[J]. IEEE Transactions on Visualization & Computer Graphics, 2016, 22(7): 1912-1931.

    Kramida G. Resolving the vergence-accommodation conflict in head-mounted displays[J]. IEEE Transactions on Visualization & Computer Graphics, 2016, 22(7): 1912-1931.

[9] Webb R H, Hughes G W, Pomerantzeff O. Flying spot TV ophthalmoscope[J]. Applied Optics, 1980, 19(17): 2991-2997.

    Webb R H, Hughes G W, Pomerantzeff O. Flying spot TV ophthalmoscope[J]. Applied Optics, 1980, 19(17): 2991-2997.

[10] Yoshinaka K. Display device: 61198892[P].1986-09-03.

    Yoshinaka K. Display device: 61198892[P].1986-09-03.

[11] KollinJ. A retinal display for virtual-environment applications[C]. Society for Information Display, 1993 International Symposium, 1993: 827.

    KollinJ. A retinal display for virtual-environment applications[C]. Society for Information Display, 1993 International Symposium, 1993: 827.

[12] Kollin JS, Tidwell MR. Optical engineering challenges of the virtual retinal display[C]. SPIE, 1995, 2537: 48- 60.

    Kollin JS, Tidwell MR. Optical engineering challenges of the virtual retinal display[C]. SPIE, 1995, 2537: 48- 60.

[13] Sugawara M, Suzuki M, Miyauchi N. Late-news paper: retinal imaging laser eyewear with focus-free and augmented reality[J]. SID Symposium Digest of Technical Papers, 2016, 47(1): 164-167.

    Sugawara M, Suzuki M, Miyauchi N. Late-news paper: retinal imaging laser eyewear with focus-free and augmented reality[J]. SID Symposium Digest of Technical Papers, 2016, 47(1): 164-167.

[14] Evans A T. Imaging a curved mirror and partially transparent plate:WO/2015/103640[P]. 2015-07-09.

    Evans A T. Imaging a curved mirror and partially transparent plate:WO/2015/103640[P]. 2015-07-09.

[15] vonWaldkirch M. Effect of light coherence on depth of focus in head-mounted retinal projection displays[J]. Optical Engineering, 2004, 43(7): 1552-1560.

    vonWaldkirch M. Effect of light coherence on depth of focus in head-mounted retinal projection displays[J]. Optical Engineering, 2004, 43(7): 1552-1560.

[16] 杨敏娜, 郭忠达, 阳志强. 基于视网膜投影显示的头盔显示器设计[J]. 应用光学, 2012, 33(2): 370-373.

    杨敏娜, 郭忠达, 阳志强. 基于视网膜投影显示的头盔显示器设计[J]. 应用光学, 2012, 33(2): 370-373.

    Yang Minna, Guo Zhongda, Yang Zhiqiang. Helmet-mounted displays based on retinal projection display[J]. Journal of Applied Optics, 2012, 33(2): 370-373.

    Yang Minna, Guo Zhongda, Yang Zhiqiang. Helmet-mounted displays based on retinal projection display[J]. Journal of Applied Optics, 2012, 33(2): 370-373.

[17] Ma J. Advanced MEMS-based technologies and displays[J]. Displays, 2015, 37: 2-10.

    Ma J. Advanced MEMS-based technologies and displays[J]. Displays, 2015, 37: 2-10.

[18] Sliney D H. Laser and LED eye hazards: safety standards[J]. Optics & Photonics News, 1997, 8(9): 31.

    Sliney D H. Laser and LED eye hazards: safety standards[J]. Optics & Photonics News, 1997, 8(9): 31.

林俊国, 丛强, 许晨, 程德文, 王涌天. MEMS激光扫描视网膜投影显示系统设计[J]. 光学学报, 2017, 37(12): 1222001. Junguo Lin, Qiang Cong, Chen Xu, Dewen Cheng, Yongtian Wang. Design of MEMS Laser Scanning Retinal Projection Display System[J]. Acta Optica Sinica, 2017, 37(12): 1222001.

本文已被 7 篇论文引用
被引统计数据来源于中国光学期刊网
引用该论文: TXT   |   EndNote

相关论文

加载中...

关于本站 Cookie 的使用提示

中国光学期刊网使用基于 cookie 的技术来更好地为您提供各项服务,点击此处了解我们的隐私策略。 如您需继续使用本网站,请您授权我们使用本地 cookie 来保存部分信息。
全站搜索
您最值得信赖的光电行业旗舰网络服务平台!