近眼显示光学系统技术分析与研究进展
1 引言
近眼显示技术(Near-Eye Display)是近年来研究的热点技术,被广泛地应用于虚拟现实(Virtual Reality,VR)和增强现实(Augmented Reality,AR)智能设备中[1]。VR显示技术能让使用者完全沉浸于虚拟的世界中(如游戏场景、影视中的虚拟场景)。AR技术则是在使用者眼前的真实场景的基础上叠加一些虚拟的事物[2]。VR/AR近眼显示设备(VR-NED/AR-NED)可统称为头戴显示器(Head Mounted Display,HMD)[3]。自1968年第一台虚拟图像头盔显示器问世至今,经过50多年的发展,头盔显示器在尺寸、成本、显示效果等方面都得到了不断的优化,核心技术也得到不断创新[4]。VR/AR设备作为近眼显示技术比较典型的应用产品,现已从原来的**训练、航空航天领域逐渐发展,广泛应用于医疗、工业、教育、娱乐等民用领域[5]。自从谷歌智能眼镜概念推出后,各大科技公司纷纷看齐,加入到AR眼镜的研发中,AR眼镜产品先后上市。美国智能眼镜科技公司Vuzix推出了Blade系列商业AR眼镜;微软也推出了一款偏向于头显设计的AR产品HoloLens 2;AR科技初创公司Magic Leap也在2018年推出了Magic Leap 1 AR眼镜。日本数码影像公司爱普生推出了一款名为Moverio BT-300的AR眼镜。在国内,影创科技公司也发布了影创Air双目AR眼镜、AirNano、AirVR和Halo头盔等系列产品,具有广阔的应用前景[6-8]。
目前国内研究的各类近眼显示系统的技术方案大致可划分为以下几类:双目视差技术、视网膜成像技术、集成成像显示技术、全息技术[9]。本文针对目前迅速发展的这几类近眼显示技术中的光学原理进行了分析,详细剖析了几类比较典型的系统光路设计结构,对其各自的技术特点和研究进展进行了讨论和概括,并提出了一种双目视网膜投影三维显示装置,结合双目视差技术与视网膜成像技术优势,实现无辐辏聚焦冲突、高清晰度显示的视网膜成像3D显示。
2 双目视差近眼显示系统
双目视差技术是当前国内市场上立体显示产品所采用的主流技术,现有的VR/AR产品大都采用这种3D显示技术,在娱乐、游戏、电商、教育、旅游等行业中迅速兴起,其典型的产品外观如
在基于双目视差的投影显示系统中,在显示屏幕上同时投影两幅稍有不同的图像,这两幅图像分别对应左眼视点和右眼视点,是同一场景分别在左眼以及右眼两个位置所成的图像,称为一对视差图像。显示屏幕上投影的视差图像经光学成像后分别到达人的左右眼,这两幅稍有不同的视差图像经过大脑处理后融合,还原了真实场景的深度信息,给人以三维立体的沉浸感受[10],其原理如
但在基于双目视差的立体显示技术中,由于成像过程中双眼调焦距离与辐辏成像距离的不一致,会存在辐辏聚焦冲突。在近眼显示设备中具体表现为:人眼需要调焦到虚拟显示屏上,以获得虚拟图像的信息,同时又需要会聚辐辏到虚拟图像融合所产生的立体图像深度的位置,此深度位置通常凸出屏幕外或凹进屏幕里,这时就出现辐辏聚焦矛盾(如
图 3. (a)人眼正常聚焦示意图;(b)辐辏聚焦冲突示意图。
Fig. 3. (a)Schematic diagram of normal focusing of human eye;(b)Schematic diagram of convergence-accommodation conflict.
基于双目视差的VR/AR显示技术已相对成熟,其系统器件结构紧凑,成本较低,目前已经实现了一定程度的商品化。但同时,辐辏聚焦矛盾影响了用户的使用体验,用户长时间佩戴此类VR/AR设备会感到视觉不适,严重制约了基于双目视差型VR/AR设备的进一步发展和广泛使用。
研究者们针对无视疲劳影响的近眼显示方案也开展了大量的研究,提出了基于集成成像显示技术、全息技术、视网膜投影显示技术等近眼显示系统。
3 集成成像近眼显示系统
集成成像显示作为3D显示中的常用技术一直备受关注,是3D显示技术研究中的热点方向之一。集成成像技术包括拍摄和显示两个过程[8],如
为了应用到VR/AR等近眼显示设备中,近年来众专家学者们对集成成像显示系统结构的小型化开展了研究[17-18]。
美国亚利桑那大学的Hua Hong和康尼狄格大学的Javidi团队提出了一种自由曲面镜方案,将集成成像近眼显示系统的成像部分简化[19],如
4 全息近眼显示系统
全息技术是目前备受认可也是最具发展前景的立体显示技术,被认为是终极的3D显示技术,在近眼显示技术研究领域中颇受关注。
全息技术最早于1947年由英国科学家Dennis·Gabor提出[20],直到1960年由美国密执安大学的Leith与Upatnieks拍成了第一张全息相片[21],全息技术由此吸引了大批专家学者的目光,有了蓬勃快速的发展。全息技术利用干涉和衍射的原理,记录并再现物体真实的三维信息,其过程分为干涉记录和衍射再现两个部分,如
在记录过程中利用干涉条纹记录物体光波信息。两束相同的激光,其中一束作为物光波照射到被记录物体上,另一束激光作为参考光束。参考光束和物光束叠加产生干涉条纹,在全息底片上记录物体光波上各点的相位和振幅信息。将记录着干涉条纹的全息底片处理成为一张全息图,全息图犹如一个复杂的光栅,其干涉条纹记录了物体上各点的振幅和相位信息。在再现过程中,利用衍射原理再现物体光波信息,利用与记录过程相同的参考光束照射全息图,可在空间中完整重建出原物体的振幅和相位,真实地再现出物体的立体特征。由于该过程再现了物体的“全部信息”,因此这种技术也被称为“全息术”[22]。全息技术因能真实地还原三维物体的轮廓信息,有望成为下一代主流的三维显示技术。但全息技术目前还停留在实验研究阶段,产品化程度还较低。
5 视网膜投影近眼显示系统
辐辏聚焦矛盾的存在严重影响了用户的体验感,而基于麦克斯韦观察法的视网膜投影显示能够克服辐辏聚焦矛盾带来的视觉疲劳、人眼不适等问题,成为近年来近眼显示技术的一个研究热点。
5.1 麦克斯韦观察法
麦克斯韦观察法是基于视网膜投影显示(Retinal Projection Display,RPD)的关键技术[13],其显示机理如
在采用麦克斯韦观察法成像的投影系统中,由于图像光束都经过人眼晶状体的光心,晶状体的调焦不会影响细光束的传播,投影图像成像过程不依赖于人眼调焦,直接成像在视网膜上,因此在人眼变化调焦深度时,投影图像仍然能在视网膜上清晰成像,使虚拟图像的成像过程独立于眼睛的调节,克服了辐辏聚焦矛盾。目前国内外众多学者基于麦克斯韦观察法基本原理提出了优化的视网膜成像系统。
5.2 视网膜投影显示系统
西安工业大学杨震等人基于麦克斯韦观察法原理提出了一种透射型头盔显示器[23],该显示器采用激光作为背景光源,并加入了滤波系统,使图像直接投影到视网膜上。透射型头盔显示系统结构如
该视网膜投影系统因采用激光作为背景光源,具有高亮度、高显色性等特点,并且系统中加入滤波系统,滤除了高次衍射光,使得系统传递函数达到衍射极限。
近年来随着硅基液晶(Silicon-based Liquid Crystal,LCOS)制备工艺的提升,LCOS技术逐渐被应用到微型投影显示系统中。LCOS是一种新型的反射式micro LCD投影技术,在硅基元上刻蚀三片式LCD结构制备而成,具有尺寸小、分辨率高、衍射效率高、可编程等特点[24-26]。用LCOS作为SLM极大地减小头盔显示器结构体积,显示性能也能得到极大提升[27]。
在此基础上,西安工业大学研究团队提出了一种反射式硅基液晶视网膜投影成像系统[3],其光路结构如
该系统中,激光光束(L)经扩束准直(C)后入射到半透半反镜(M)上,光束一部分被透射损失掉,一部分反射到LCOS芯片上,反射光线经LCOS芯片调制后形成图像,然后沿原光路返回,经过滤波系统(L1和P)后由投影系统(L2)成像,在人眼和投影系统(L2)之间加入了半透半反镜,不仅使投影图像经反射后投影成像到视网膜上,而且外界光线经透射直接进入人眼,实现了融合外界现实物体成像的增强现实显示效果。该系统结合了LCOS技术的特点,具有分辨率高、尺寸小的特点,但该系统中半透半反镜的使用也导致了部分光线损失。
5.3 激光扫描投影显示系统
随着微型机电(MEMS)系统工艺的发展,微机电系统扫描投影技术也被用于近眼显示系统中。北京理工大学研究团队设计了一种采用微机电系统作为空间光调制器的扫描式视网膜投影显示系统[12],其结构如
在该视网膜投影显示系统中,采用RGB三色激光作为显示光源,经光路入射到带微机电系统的二维扫描微镜上,二维扫描微镜在微机电系统控制下快速转动,将RGB三色激光光源发出的细光束进行快速调制,经调制后的光束为加载了图像像素点信息的细光束,并二维扫描输出。输出图像经光学系统L1会聚到瞳孔中心,并直接投影到视网膜上。在该MEMS扫描式RPD系统中,采用了RGB三色激光作为调制光源,具有高亮度、高显色性、色域广的优势[28],并且采用微机电扫描成像代替激光扩束和LCOS的图像调制,使得该系统没有高级衍射像产生,也不需要加入滤波系统,使得该系统结构紧凑,且视场尺寸不受屏幕限制。但该系统的显示性能也会受MEMS转镜的转角和扫描速度的影响。
5.4 双目视网膜投影成像3D显示系统
上述几种近眼显示系统性能分析如
表 1. 近眼显示系统性能分析
Table 1. Performance analysis of near-eye display systems
|
本文提出一种双目视网膜投影三维显示装置,其结构如
图 11. 双目视网膜投影成像显示结构
Fig. 11. Structure of binocular retinal projection imaging display device
点光源发出的球面波照射到透射型显示面板上进行调制,调制后的球面波经透镜会聚,会聚的光线被半反半透镜反射,在人眼瞳孔处形成会聚点,会聚光线在人眼视网膜上成像,形成清晰的视网膜图像。左、右眼视网膜成像子系统中的两个透射型显示面板分别显示用于3D显示的一对视差图像,形成立体视觉。同时,半反半透镜对真实世界的光线具有透射作用,真实世界的光线经半反半透镜直接进入人眼,真实世界的信息与透射型显示面板提供的虚拟信息进行叠加,实现增强现实的三维显示效果。该装置结合了双目视差型近眼显示的沉浸式立体感,又采用麦克斯韦观察法原理,避免了辐辏聚焦冲突,且该装置结构简单、显示分辨率较高。
6 总结
近眼显示技术属于当前的新兴显示技术,具有长远的应用前景,针对近眼显示系统设计方面的研究非常火热。双目视差技术因其技术相对成熟,成本较低,系统结构紧凑,容易实现,已经大量地商品化,但存在辏聚焦问题,容易引起视觉疲劳等不适反应。集成成像显示技术因拍摄和还原过程中都需要微透镜阵列结构,其系统结构较为复杂,显示性能还不够完善,要广泛应用到近眼显示中还有待进一步优化。全息技术被认为是最具有发展前景的新型显示技术,但全息的数据量极大,目前产品化程度极低,还停留在实验研究阶段,离大量产品化还有较远的距离。集成成像近眼显示、全息近眼显示均能有效解决辐辏聚焦问题,是未来AR/VR设备的重要技术方案,目前在系统结构简化、3D显示性能提升等方面还需要进一步的技术突破。视网膜投影成像近眼显示技术相对简单、图像清晰度高,是当下最有可能得到快速发展和实用的AR/VR技术方案。本文提出的双目视网膜投影三维显示装置将双目视差3D显示技术与视网膜投影技术有效结合,实现结构紧凑、无辐辏聚焦冲突、高清晰度显示的视网膜成像3D显示效果。
目前VR/AR设备都呈现轻量化设计的趋势,不断向大众消费市场进军,在价格方面也越发亲民,视网膜投影成像AR产品的普及指日可待。在未来的研究中,实现无视觉疲劳、高还原度、三维立体显示将成为近眼显示技术发展的趋势之一。在头盔式VR/AR显示技术中,如何实现更大视场、虚实遮挡、高透光率、更好的用户体验舒适度、体感手势识别技术等问题也是亟待研究的技术热点,也是未来近眼显示技术发展的重要趋势。
[1] 高源, 刘越, 程德文, 等. 头盔显示器发展综述[J]. 计算机辅助设计与图形学学报, 2016, 28(6): 896-904.
[2] 何泽浩, 隋晓萌, 赵燕, 等. 基于全息光学的虚拟现实与增强现实技术进展[J]. 科技导报, 2018, 36(9): 8-17.
[3] 杨敏娜. 头盔式近眼显示技术研究 [D]. 西安: 西安工业大学, 2012.
YANGM N. Head mounted near-eye display technology [D]. Xi'an: Xi'an Technological University, 2012. (in Chinese)
[4] 王剑, 赵歆波, 马钟, 等. 基于眼动交互的增强现实抬头显示系统[J]. 科学技术与工程, 2017, 17(2): 81-87.
[6] 李书印, 万明习, 李新肖, 等. 虚拟环境中的视觉感知[J]. 中国图象图形学报, 2000, 5(11): 906-910.
[8] 王涌天, 程德文. 头盔显示技术的发展趋势[J]. 中国计算机学会通讯, 2010, 6(7): 23-28.
WANG Y T, CHENG D W. Development trend of helmet mounted display technology[J]. Communications of the CCF, 2010, 6(7): 23-28.
[9] 王琼华.3D显示技术与器件[M].北京: 科学出版社,2011.10.1002/j.2637-496x.2011.tb00390.x
[12] 林俊国, 丛强, 许晨, 等. MEMS激光扫描视网膜投影显示系统设计[J]. 光学学报, 2017, 37(12): 314-320.
[13] 杨震. 视网膜投影显示技术研究 [D]. 西安: 西安工业大学, 2011. 10.7666/d.y1869835
[14] 杨敏娜, 郭忠达, 阳志强. 基于视网膜投影显示的头盔显示器设计[J]. 应用光学, 2012, 33(2): 370-373.
[20] GABOR D. A new microscopic principle[J]. Nature, 1948, 161(4098): 777-778.
[21] 苏显渝,李继陶,曹益平,等.信息光学[M].2版.北京: 科学出版社,2011.
SUX Y, LIJ T, CAOY P, et al. Information Optics [M]. 2nd ed. Beijing: Science Press, 2011. (in Chinese)
[23] 杨震, 郭忠达, 阳志强. 视网膜投影显示系统设计[J]. 应用光学, 2011, 32(2): 222-225.
[24] 周自平, 黎垚, 严银菓, 等. Micro-LED应用于近眼显示的现状与趋势[J]. 液晶与显示, 2022, 37(6): 661-679.
[25] 杨海宁, 李昆, 初大平. 硅基液晶技术与可重构全光通信网络[J]. 液晶与显示, 2021, 36(6): 772-788.
[27] 代永平, 耿卫东, 孟志国, 等. 硅基液晶显示器研究进展[J]. 液晶与显示, 2002, 17(5): 363-371.
[29] 郑义微, 王迪, 李移隆, 等. 基于液晶空间光调制器的大视角全息显示技术[J]. 液晶与显示, 2021, 36(6): 789-796.
Article Outline
邓慧, 黎桂源, 吕国皎, 赖丽萍, 杨梅. 近眼显示光学系统技术分析与研究进展[J]. 液晶与显示, 2023, 38(4): 448. Hui DENG, Gui-yuan LI, Guo-jiao LÜ, Li-ping LAI, Mei YANG. Technical analysis and research progress of near-eye display optical systems[J]. Chinese Journal of Liquid Crystals and Displays, 2023, 38(4): 448.