1 引言

近年来,虚拟现实(VR)取得了迅速的发展^[1]。在虚拟现实中,用户戴上VR眼镜或头盔,通过人的视觉观察虚拟的场景(二维场景或三维场景),通过听觉感知声音,利用触觉感受器感知系统的力触觉呈现^[2],同时人们也在探索通过虚拟嗅觉系统感知虚拟气味。VR手柄通过两个基站实现对其自身的定位,人们可以根据不同的场景进行不同的操作,然而,随着科技的发展和社会的进步,人们更加迫切地需要一种不需佩戴VR眼镜而与空气投影的交互的过程。

为实现对空气中投影的裸眼交互,让使用者获得与使用智能手机屏幕一样的体验,存在三个难题:1)在空气中进行合适的成像;2)对成像触碰和触碰位置的检测;3)触碰时要有触碰的感觉(触感)。目前,空气中的成像技术主要有全息投影技术^[3]、雾屏成像的空气投影技术和激光电离空气的成像技术^[4]。对于触碰的检测,国内外几乎没有相关文章发表,同时也鲜见关于触感的文章。

对于空气投影触碰的检测,受到智能手机的启发,目前智能手机的屏幕多为电阻式触摸屏和电容式触摸屏^[5-6],主要应用定位的原理进行触碰的检测^[6]。因此,本文通过定位的原理进行触碰的检测,给出了空气投影触感的定义,即空间某位置具有引起人感觉的能量或者向该位置传送能够引起人感觉的能量,前提是对人无伤害。

激光被称为“世纪之光”,已广泛应用在机械加工、医疗、通信、测距、雷达、成像等领域^[7-9]。由于其卓越的性能,无疑成为空气成像、触碰位置空间定位检测、向触碰位置传递能量及形成触感的最佳选择。

激光聚焦于空中的一点,如果其聚焦的电磁场强度远超过原子内部相互作用库伦场,那么电子将脱离原子的束缚形成等离子体,使空间等离子化^[10]。因为离子不稳定,所以要捕捉电子来恢复稳定状态,此时就会发出光芒,也就是等离子发光,同时也会使空间具有能量。而飞秒激光由于其超高的峰值功率,完全可以满足这一要求。张显斌等^[11]研究了激光电离空气的多元过程及其应用;王浩等^[12]进行了激光电离击穿空气机理研究;杨宇亮^[13]研究了氮分子在飞秒强激光场中的电离和解离。日本的Burton公司在2014年发布Aerial三维(3D)技术^[14],使用激光聚焦电离空气的等离子体发光现象,以每毫秒50点的速度投影出3D物体,其原理是通过控制激光灯在x、y和z轴焦点位置的变化及空气中氧和氮分子等离子体发光,所显示3D图像由空气中的点阵列构造。苏州德龙激光股份有限公司已经申请激光激发空气电离的立体显示成像装置及其方法的专利^[4],其原理与Aerial 3D技术基本类似。

目前,美国的IO2 Technology公司已经开发出投影系统Heliodisplay,在雾屏上投射出具有互动功能的图像,成为第一个开发出具有交互功能的空气投影的公司。俄罗斯的DISPLAIR公司开发出一种空气显示屏Displair,使用者可以用手势对其进行多点触控,完成的交互功能包括抓取图片、拖拽旋转和按比例放大缩小,并且具有双层气体动力系统的支持,屏幕可以抵抗任何风力影响,并且保持图像的完整和稳定性及画面的色彩清晰,同时具有较好的画面对比度,但是对光线具有一定的要求。由于投影出的画面非常容易受到光线的干扰,其形成的虚拟屏幕将无法实现原来的可触控效果,另外这两家公司开发的投影系统都不带触感。阿里巴巴支付宝发布的“如影计划”,主要是基于交互式空气投影、生物识别技术和物联网技术等,计划称已经有一定的技术积累,并计划在5年之内取代实体手机。

本文将阐述激光电离空气可触控成像的理论与可行性,描述激光电离空气成像方式与装置,提出成像可触控的方法与方式,以及讨论可应用于实践的空间可触控成像的方式。

2 激光电离空气原理与成像装置

2.1 激光电离空气原理

由于国内外关于激光聚焦的原理的研究比较成熟^[15],因此主要针对激光电离空气的原理进行阐述。

空气电离阈值条件,其电离能E表示为^[9]

Ethreshold=eu。(1)

由相关研究得知^[11],在串级电离过程中,电子从激光场中获得的能量为

Eget=mv22=e2X22m(k2+Vc2),(2)

式中:u为气体原子和分子的电离点位;m为电子质量;k为激光角频率;e为电量;X为随激光角频率;V_c为碰撞频率,其大小与气压有关。当电子从激光场中获得的能量E_get大于空气电离阈值条件E_threshold时,空气就会被电离。

2.2 激光电离空气成像装置

图1为苏州德龙激光股份有限公司设计的激光激发空气电离的立体显示成像装置,由控制系统、激光器、光闸、扩束镜、3D动态聚焦系统、高速扫描系统、远心扫描场镜和能量吸收冷却系统组成。由控制系统控制,激光从激光器发出,依次经过光闸和扩束镜,并且光束经过扩束镜扩束后改善了发散角,变得准直。3D动态聚焦系统对其进行方向调制以达到控制高度的目的。光束由远心扫描场镜聚焦后将焦点位置的空气电离发光,同时高速扫描系统将不断改变焦点X、Y位置,从而将电离的空气点扫描成轮廓。由于激光聚焦的高能量,因此需要能量吸收系统吸收多余的能量。

其中,3D动态聚焦系统改变激光聚焦的高度位置的具体方法为:通过变换两片透镜的间距快速准确地改变高度位置Z,而高速扫描系统的作用是将光束对成像X、Y位置进行扫描,其核心装置为两片可以转动的反射镜片,并且高速扫描系统通过改变反射镜片的旋转角度,控制反射光束的水平位置。而对于成像质量的优化,则由远心扫描镜的聚焦镜来完成。该激光电离空气装置虽然可以电离空气成像,但给成像区域带来了很高的能量,会对人体造成伤害,不适用于人的触碰。

图 1. 激光电离空气成像装置示意图

Fig. 1. Schematic of laser ionizing on air imaging device

下载图片 查看所有图片

3 激光电离空气成像的可触控原理与可行性方案

3.1 激光电离空气成像的可触控原理[16]

针对激光聚焦的高能量问题,根据高斯光束能量分布特点,取激光脉宽的半峰全宽(FWHM)为τ,分析束腰范围内的能量密度。用极坐标形式表示高斯光束强度分布为

I(r,θ,t)=I0exp-2rω_02expexp-4ln2tτ2,(3)

式中:I₀为激光的光束中心强度;exp[-2(r/ω_{_0})²]为空间强度分布;exp[-4ln2(t/τ)²]为时间强度分布。

激光的光束总能量为

E=∫I(r,θ,t)dAdt=I0∫0∞·exp-2rω_02rdr∫02πdθ·∫-∞∞·exp-4ln2tτ2dt=I0πω_022×τ×π4ln2。(4)

由此可得:

Ipeak=I0=4ln2π×2Eτ1πω_02。(5)

激光的脉冲能量E可以通过平均功率P求得,设激光的重复频率为f_q,可得单脉冲能量E=P/f_q。因此,峰值功率的表达式为

Ipeak=I0=4ln2π×2Pτfq1πω_02。(6)

由上述可知,当其他参数相同时,为获得相同的峰值功率I_peak,则脉宽τ越小,所需的激光的平均功率P越小,即采用飞秒激光所需平均功率要小于纳秒激光,而且在一定范围内,通过降低重复频率f_q,也能降低所需的激光最小平均功率。因此,采用低功率的飞秒激光进行电离空气成像,可让触控者在触摸图像时避免被聚焦的激光灼伤。

根据相关资料可知,人体皮肤的损伤阈值^[17-18]在9.2~53.84 mJ/cm²之间,可取人体的皮肤损伤阈值E'=31.4 mJ/cm²=314 J/m²,飞秒激光聚焦的光斑直径为0.4 mm,目前的飞秒器的功率较小,平均功率约为几W^[19],可取P=5 W。飞秒激光通过扫描的方式电离空间上的点,激光聚焦电离空间的点速度ν=50000 s^-1,在每个点的持续时间t=1/v=1/50000 s,则每个聚焦点上的能量密度为

E″=P×tS=P×tπr2=5×1/50000π×(0.4×10-3)2=199J/m2<E'=314J/m2。(7)

由分析可知,在一定条件下通过飞秒激光电离空气扫描成像,理论上不会对人体造成伤害,但飞秒激光的最佳脉宽及其他相关参数,还需要实验进一步探索。

空气投影触感为使空间某位置具有引起人感觉的能量或者向该位置传送能够引起人感觉的能量。采用低功率飞秒激光电离空气成像,当人触摸到图像时,不仅会有触感,而且不会对使用者造成伤害。

3.2 可触控成像的装置

将空气投影触碰的检测问题,转换为空间定位问题,即空间成像的空间定位和触碰者的空间定位,以及二者的相对位置的定位检测。由于之前采用激光电离空气成像以及形成触感,且激光具有良好的定位性能,已经广泛应用于各个领域,因此,激光成为激光电离空气投影触碰检测的最好选择。图2为激光电离空气可触控成像装置。

图 2. 激光电离空气可触控成像装置示意图

Fig. 2. Schematic of laser ionized air touch imaging device

下载图片 查看所有图片

如图2所示,激光成像在一侧,触摸在另一侧,可分为激光电离空气成像装置、激光接收与分析装置、动态捕捉与探测装置和控制系统,其中激光接收与分析装置包括激光回波光强测量装置、激光回波波长测量装置、激光回波相位分析装置、计时装置和通信装置。

激光电离空气成像是由激光电离空气聚焦点扫描而成,其触碰检测方法为:在激光接收与分析装置检测常态下,利用每个空间角的的激光回波进行光强、波长和相位分析。在无人触控时,激光发出后,经较长时间才会有较强的激光回波(因为空气被激光电离,并吸收相当一部分能量);而在人触控时,激光会照在手上,产生较强的激光回波,并且其相位角与无人触控时存在差异,即各项指标不同于常态。

动态捕捉与探测装置可用于探测触控者的大体位置,以利于激光接收与分析装置进行重点分析。此外,当触控检测系统出现问题时,可用动态捕捉与探测装置探测触控者的位置,以判定是否被触碰。

对于动态捕捉与探测装置的可用技术有:1) 影像识别;2) 超声波定位;3) 红外光定位;4) 采用和激光雷达相似的装置;5) 运用VR领域的鹰眼系统。图3为设计的动态捕捉与探测装置的辅助触碰检测分析工作流程图。

图 3. 动态捕捉与探测装置工作流程图

Fig. 3. Working flow chart of dynamic capture and detection device

下载图片 查看所有图片

3.3 最基本的触控分析方式

对于触碰的分析,图4和图5所示为最基本的触碰分析方式。

通过激光回波时间以及空间角α等相关参数,确定某个位置被触控。然而,三维状态下包含空间角(α,β,γ),因此,不仅要分析激光回波时间,而且还要分析相位、光强等。对于全方位的复杂触控分析,其工作流程图如图6所示。

图 4. 未触碰状态下的光路图

Fig. 4. Light path in the untouched state

下载图片 查看所有图片

图 5. 触碰状态下的光路

Fig. 5. Light path in the touch state

下载图片 查看所有图片

图 6. 触控分析检测流程

Fig. 6. Touch analysis and detection process

下载图片 查看所有图片

通过向成像位置单独发射触碰检测信号,基于三角定位法检测空间投影图像单元是否被触碰,能够进行触碰检测的信号有激光、红外线、微波和超声波等,如图7所示。

需要说明的是:无论是最基本的触碰检测方式,还是通过向成像位置单独发射触碰检测信号和采用三角定位法进行触碰检测,都需要准确的空间位置信息,以便向空间投影成像位置发射触碰检测信号。而对于激光电离空气成像来说,由于成像信号同时也可以作为触碰检测信号,这就相当于节约了一套触碰检测信号发射装置。虽然激光电离空气成像为已知的空间位置,省去了计算空气投影空间位置的环节,但是会使价格较为昂贵,需要通过不断的技术革新,以降低飞秒激光器的价格和体积,图8、9分别为Aerial 3D技术下空气电离和可触控的空气电离成像图。

图 7. 单独通过发射触碰检测信号的方式的触碰检测示意图

Fig. 7. Schematic of touch detection by transmitting the touch detection signal separately

下载图片 查看所有图片

图 8. Aerial 3D技术下由空气电离所成像图

Fig. 8. Imaging of air ionized air by Aerial 3D Technology

下载图片 查看所有图片

图 9. Aerial 3D技术下的可触控空气电离图

Fig. 9. Touch control air ionization diagram under Aerial 3D Technology

下载图片 查看所有图片

4 用于实践的可触控成像方案

4.1 系统整体的设计方案

鉴于目前全息投影技术和雾屏成像的空气投影技术均比较成熟,而激光电离空气成像的成像区域较小且颜色单一,国内外尤其在国内处于初始研发阶段,故建议采用混合成像的方式,即全息投影或者雾屏成像形成较大的基本图像,激光电离空气在按钮处成像用于触控。将二者成像相叠加,实现优势互补,同时也可以让触控的位置有触感。

图10中,全息投影或者雾屏成像形成基本的图像,激光聚焦电离空气装置在成像按钮位置处将空气电离发光,并可以给触碰者带来触感,激光接收与分析装置接收反射回来的激光并且进行相关分析,检测成像按钮位置是否被触碰。同时,还装有8个定位信号发射探头,该探头为一种动态捕捉与探测装置,可用于辅助定位人的位置,起到辅助触碰检测的作用。

图 10. 激光电离空气与全息投影混合成像装置示意图

Fig. 10. Schematic of hybrid imaging device for laser ionized air and holographic projection

下载图片 查看所有图片

4.2 关于动态捕捉装置的辅助触碰检测方案

常态下8个定位信号发射探头,对空间进行粗扫描,如果在某区域发现目标,则采用多个探头协同重点扫描,如图10所示。通过现有的动态捕捉技术,对人体数据进行处理,图11为 Microsoft Kinect VR场景中提取的人体数据,这些数据可以用来识别人体的位置、姿态和手势等,识别的结果可用于辅助触碰检测以及实现其他的功能。

图 11. Microsoft Kinect VR场景中提取的人体数据

Fig. 11. Processing of human data extracted from Microsoft Kinect VR scene

下载图片 查看所有图片

同时还可利用比较成熟的人脸识别技术确定人头的位置,有利于确定其他人体部分的位置,如手和脚。通过处理数据和识别圆识别人头,或其他算法,提取身体各个部位的数据。

利用3D视觉技术进行动态捕捉与探测,或通过VR领域的动态捕捉定位技术(如Lighthouse和鹰眼系统等)进行空间定位实现辅助触控。

5 结论

分析了激光电离空气的理论和原理,搭建了典型的激光电离空气成像装置。针对激光聚焦的高能量问题,提出了合理的解决方案,即在满足电离空气峰值功率的条件下,为降低脉冲的脉宽就要使用低功率激光,因此采用低功率的飞秒激光。针对激光电离空气成像的触控问题,提出了合理的方案,即分析激光回波的各个属性如空间角、相位,从发出激光至检测到激光回波的延时等,以及辅助触控检测装置(动态捕捉与探测装置),更加全面地分析触控使用者的位置,并给出了最基本的图像触控检测方式和向成像位置发射触碰检测信号,通过三角定位法进行触碰检测的方式,分析了动态捕捉与探测装置的可用技术,提出了可应用于实践的带有触感的空间可触控成像的方式,即全息投影成像、雾屏成像与激光电离空气成像相结合,以全息投影成像或雾屏成像形成基本图像,以激光电离空气成像形成按钮图像用于触控,同时使用者在触碰图像时有触感。最后阐述了通过动态捕捉与探测装置的辅助触碰检测方案的建议。