1　引言

虚拟现实（VR）是依托计算机设备创建的立体虚拟空间。VR技术可以模拟人的视觉等感官知觉，让人在三维空间内有沉浸式体验。随着技术的不断提升，VR被应用到游戏、电影等与人类生活息息相关的各个领域^［1］。VR技术迅速发展的同时也带来了各类问题。视觉诱导晕动症（VIMS）就是VR使用过程中出现的比较严重的生理问题，常常伴随有头痛、胃部不适、恶心、呕吐等症状^［2］。

VIMS发病率极高，其症状所导致的问题引发了各方讨论，多种理论被先后提出。首先是感觉冲突理论，与脑电图（EEG）信号有关，基本思想是所有引起VIMS的情况都是以感觉重排为特征的，这样的情况下，视觉和前庭系统传递的运动信号会出现彼此不匹配的情况^［3］。第二是姿势稳定性理论^［4］，预测易受VIMS影响的人和不易受VIMS影响的人的姿势活动会有所不同，它不仅提供了可检验的假设，而且还可以利用压力中心数据预测晕动症的发生^［5］。同时，还有研究者提出眼动理论^［6］，可以理解为在视觉偏航旋转期间反射性眼球运动，如视动性眼球震颤信号（OKN），提供最终刺激迷走神经的眼肌感受^［7］。在研究中发现，VIMS的严重程度与OKN频率和OKN慢相速度相关^［8］。基于各种理论方法，立体显示的3D视觉不适研究指出，在拍摄（桶形畸变和枕形畸变）和投影（梯形畸变）过程中，二维图像畸变很容易在周边导致左眼和右眼图像之间发生局部错位。这些畸变会破坏自然立体融合，可能增加整体3D观看不适感^［9-10］，进而诱发VIMS。Hwang等^［11］认为如果当前的感觉输入和暴露历史之间存在差异，则会产生不匹配信号，这样的不匹配信号就可能触发VIMS症状。

影响虚拟空间感知畸变的因素有很多，包括立体影像的采集过程、显示过程和人眼感知过程。在两个摄像头捕捉原始3D世界（真实或虚拟）时，左右相机模拟人眼感知过程，摄影师可能通过变化拍摄焦距的方式获取更好的内容效果，例如拍摄大范围风光特写时会使用短焦距、拍摄人物面部细节时会使用长焦距，这样就会存在立体影像获取参数与人眼感知参数不匹配的情况。这种情况会使人在观看立体显示^［12］下视频时感知到虚拟空间产生的畸变（这是3D影像周边存在畸变的一个可能原因），导致人眼的视觉舒适度^［13］下降，从而诱发VIMS。

本文构建了基于相机焦距预设的立体空间畸变模型，其核心是通过调整相机视场角与人眼视场角的匹配度模拟不同等级空间畸变。首次使用系统性实验的方法，从主观和客观相结合的角度分析平衡性、眨眼等生理数据和实验问卷数据，以对比不同程度空间畸变对VIMS的影响，以此验证采集参数与感知参数不匹配导致的虚拟空间畸变增强了视觉诱导晕动症的结论。

2　三维空间畸变模型构建

2.1　立体空间相机模型

在真实环境中观察物体时，人的双眼之间存在约63 mm的距离^［14］且观看物体的角度不同，左右眼看到的内容会存在视差，这种视差可以使人感受到事物的立体效果。立体相机模型就是模拟人眼存在视差这一特性，使用两个有一定距离差的双摄像头拍摄场景，获取有视差的两幅视图或两段视频，获取的内容通过立体显示设备呈现，人的左右眼分别观看对应的左右视图或影像，就能获取虚拟环境的立体视觉感知，如图1所示。

图 1. 立体影像的呈现与感知

Fig. 1. Presentation and perception of stereoscopic video

下载图片 查看所有图片

立体相机与人眼结构相同，在运动拍摄场景中，两相机作为一个整体要始终保持距离不变且在空间中运动的方向和旋转角度保持一致。为了确保立体相机拍摄的效果，首先要建立立体相机模型。

整个模型由左右相机的三维空间点位置和空间旋转角度以及相机之间基线距离这些参数决定。其中已知的参数包括左相机的位置、空间旋转角度、立体相机距离。如图2所示，相机模型以左手坐标系（X轴指向正前方、Y轴指向右方向、Z轴指向正上方）和欧拉角Roll、Pitch、Yaw为标准，左右相机保持相同的空间旋转角度，O_l和O_r分别是左右相机各自的坐标系原点。以左右相机所处的空间坐标系为统一坐标系，左相机坐标系为基准，右相机原点在统一坐标系中有了新的三维坐标信息。设真实空间中左相机原点坐标O_l（X_l，Y_l，Z_l），右相机原点坐标O_r（X_r，Y_r，Z_r），两相机的基线距离d_c，空间旋转角度α、β、γ（α、β、γ分别代表Roll、Pitch、Yaw旋转角度的具体值），已知左相机坐标、旋转角度和两相机的基线距离，求得两相机之间在X、Y、Z轴方向上的相对偏移分别为

图 2. 立体相机模型示意图

Fig. 2. Schematic of stereo camera model

下载图片 查看所有图片

确定两相机的相对距离后，可以得到右相机的坐标为

再根据两相机的相对位置关系，可以知道右相机的旋转角度是

将立体相机模型应用到虚幻4（由Epic Games公司推出的一款游戏开发引擎）中，模拟人眼的两虚拟相机始终在立体空间相机模型下进行拍摄，获取的视频需要经过拼接处理，最终制作成不同场景的影像，为实验提供所需要素材。

2.2　虚拟空间畸变模型构建

双目相机拍摄影像与人眼观看的过程就是真实场景转换成虚拟场景的过程。整个转换过程主要经过3个基本步骤：首先将立体相机拍摄的影像从世界坐标系转换到相机坐标系，再转换到图像坐标系，如图3所示，该过程实现了从真实的三维空间到二维图像的坐标转换^［15］；其次是左右相机对应的二维影像显示过程；最后是人眼观看对应的左右影像感知虚拟空间的过程。在以上转换过程中，当相机基线距离和人眼瞳距、相机会聚距离和人眼聚焦距离、相机视场角和人眼视场角等任一对参数不匹配时，感知的虚拟世界将产生几何畸变，其特征已在夏振平等构建的三维空间可视化模型中呈现^［16］。

图 3. 三个坐标系的转换关系

Fig. 3. Transformation diagram of three coordinate systems

下载图片 查看所有图片

本文针对立体影像采集过程相机视场角与人眼视场角不匹配引起的几何畸变，构建了虚拟空间畸变模型。相机视场角也就是相机视锥体两端的夹角，主要由相机焦距决定^［17］，焦距越短，视场角越大，人眼感知景深范围越大。而人眼视场角是立体影像感知过程参数，主要由显示设备和观看距离决定。虚拟空间畸变模型的构建涉及的主要参数包括相机焦距、相机视场角和人眼视场角。图4是人眼感知立体效果可视化图，当相机视场角（camera field angle）与人眼视场角（eye angle）一致时，相机拍摄到的画面即取景范围最接近人眼真实所见；当相机视场角大于或小于人眼视场角时，人眼感知的画面就会存在畸变，同时感知的景深范围会有相应变化。

图 4. 相机视场角与人眼视场角匹配示意图

Fig. 4. Schematic of matching camera field angle and eye angle

下载图片 查看所有图片

3　视觉感知实验

设计相应的视觉感知实验研究立体影像获取过程中产生的畸变对VIMS的影响，实验分为3组，每组15段视频，包含室内和室外等各类场景。实验前后，受试者填写问卷，并测量平衡力。3组实验顺序随机，在每组实验中，受试者看完一段视频后对当前晕动等级评分，同时他们的客观生理数据也被全程记录。实验设置如图5所示，受试者端坐在显示屏前，正对显示屏中央位置观看立体视频。由于重复实验可能会改变受试者对VIMS的适应性，因此3组实验间隔周期至少为2天，避免对后续的实验产生干扰。

图 5. 实验基础设置

Fig. 5. Basic setting of the experiment

下载图片 查看所有图片

3.1　受试者

实验邀请21名受试者参与，年龄在22至37岁之间，包含4名女性，平均年龄24岁，所有受试者的视力均正常或矫正至正常水平。

3.2　实验设备和素材

实验使用尺寸为27 inch的3D显示器（278G4DHSD，PHILIPS公司）播放视频，屏幕分辨率为1920×1080像素。

采用一种可穿戴的无线脑电设备Muse测试EEG信号，以便捷的方式采集眨眼数据^［18］。该设备的4个电极（TP9、AF7、AF9、TP10）通过模拟眨眼信号进行连续采样。同时，使用Wii Balance Board（WBB）检测受试者的姿势稳定性^［19］，即平衡性。

在整个实验中，为研究立体影像获取参数与人眼感知参数不匹配导致的不同程度畸变对VIMS的影响，视频在3种镜头焦距下显示。已知人的单眼视觉舒适域在60°左右^［20］，由此设定双眼立体视觉舒适域为60°。受试者坐在3D显示器前，显示器长约63 cm，高约33.5 cm，对角线长度约72 cm，可计算得到受试者到屏幕的距离，约63 cm（即1.9倍屏高）。利用固定的立体显示设备和固定的观看距离，人眼感知参数得到限定。

由虚拟空间畸变模型可知，立体影像采集过程中相机视场角与立体影像感知过程中人眼视场角接近时，拍摄的内容最接近人眼真实所见。已知相机传感器对角线长度（L_d=43.27 mm）和相机近似视场角（θ_FOV=60°），根据视场角公式^［21］，

结合引擎中相机常用焦距，得到f=35 mm为人眼舒适焦距，因此将35 mm焦距作为人眼感知无畸变的相机参数；相机焦距在16 mm以下被称为鱼眼镜头，对应的相机视场角比60°大，与人眼视角出现严重的不匹配。经过前期的多次VR真实畸变模拟测试，在虚拟空间畸变模型下，确定15 mm（110°）和105 mm（23°）作为人眼感知畸变的参数。图6为截取的相机3个焦距拍摄的立体视频的一帧画面。

图 6. 镜头拍摄的具有视差的左右融合视图。（a）焦距为15 mm的镜头；（b）焦距为35 mm的镜头；（c）焦距为105 mm的镜头

Fig. 6. Left and right fusion view with parallax captured by the lens. (a) Lens with focal length of 15 mm; (b) lens with focal length of 35 mm; (c) lens with focal length of 105 mm

下载图片 查看所有图片

实验使用虚幻4制作15个场景内容，分别用焦距为15 mm、35 mm、105 mm的相机进行拍摄，共计45 min。每段视频时长约3 min，分辨率为1920×1080像素。

3.3　实验流程

实验是在室温为25 ℃的宽敞环境中进行的，所有受试者都没有进行过类似晕动的训练。整个实验分为观看前、观看中、观看后3个阶段，实验前后受试者需要填写模拟疾病问卷（SSQ）^［22］，并要求站在平衡板上测量姿势稳定性，受试者在实验全程佩戴Muse设备以检测眨眼数据。

观看前：受试者填写完SSQ后，需要在平衡板脚步范围内睁眼站立和闭眼站立各1 min，睁眼过程中受试者需要凝视前方墙壁标记物，其板上压力中心（CoP）空间坐标被记录^［19］。随后要求受试者佩戴Muse设备，保持安静和放松，并记录生理状态基线。

在观看期间：受试者的生理信号始终被记录着，每隔3 min受试者需要对当前状态下的晕动等级（VIMSL）进行主观评分。屏幕中会出5个评分等级，0为无影响，1为轻微，2为中度，3为严重，4为非常严重。当受试者评分为4时，可提前终止观看视频。

观看后：再次测量受试者的睁眼和闭眼的姿势稳定性，随后完成实验后的SSQ。

3.4　姿势稳定性

晕动的一个显著现象就是人身体的平衡能力变差，因此测量受试者的平衡性是整体实验的重要一环。实验采用CoP的标准差和95%的置信椭圆面积作为平衡力分析的指标。CoP为人体重心在平衡板上的1个时间单位投影点，有x和y两个方向分量，在采样率为30 Hz的情况下，可以测得1800个数据点。

CoP标准差用于表征CoP离散情况，该指标在一定程度上反映平衡能力好坏，其计算方法^［23］为：计算所有CoP点在x、y轴的分量标准差δ_x、δ_y，公式分别为

再计算所有CoP点的标准差S_CoP，公式为

数值越小，表示平衡性越好。实验记录1 min内1800个CoP点的轨迹。95%的置信椭圆面积用来表示CoP轨迹图所占用的面积，面积越小，表示重心移动范围越小，平衡能力就越好，计算方法^［24］为

式中：F0.05(2,n-2)是具有n个数据点的二元分布在95%置信水平下的F统计量，对于大样本（n>120），F0.05(2,n-2)=3。δ_APML是协方差，表达式为

式中：AP［·］为CoP点在AP方向的值；ML［·］为CoP点在ML方向的值；N为在分析中包含的CoP点数量。

3.5　Muse眨眼信号

眨眼是眼部肌肉收缩而引起的眼睑的快速开合的生理现象，眨眼有缓解精神疲劳、保护眼睛的作用，且能反映人的心理状态和疲劳状态^［25］。本实验使用Muse感应头戴设备来采集EEG信号和眨眼数据，并经过处理将眼动信号标记出来，如图7所示，其中Amp表示脑电图的波幅，PSD表示脑电波的功率谱密度。

图 7. 脑电图数据和眨眼标记。（a）4个电极Amp数据；（b）5个波段PSD数据

Fig. 7. EEG data and blink markers. (a) Amp data of four electrodes; (b) PSD data of five bands

下载图片 查看所有图片

采集到的眼动数据为布尔类型，眨眼标记为1，未眨眼标记为0，最终要计算眨眼频率（BR），BR表示每分钟的眨眼次数，计算方法^［26］为

式中：S₁为数据段的起始时刻，S₂为结束时刻，单位为s；blink(s)为每个时刻对应的0、1眨眼数据。

4　实验结果分析

4.1　主观分析

研究的目的是确定不同相机参数与人眼感知深度信息参数的不匹配所造成的畸变空间对视觉诱导晕动症的影响。受试者在观看VIMS诱导视频前后的主观感受必然存在差异，通过VIMSL评分和SSQ评分来分析在15 mm、35 mm（无畸变）、105 mm三组实验前后差异的具体变化。

图8为三组实验的受试者在不同时间段的VIMSL评分结果。由图8可见，三组实验整体评分均呈上升趋势，随着时间的加长，晕动等级会变高，且受试者在焦距（FL）为15 mm和105 mm的实验中整体晕动等级评分都比FL为35 mm时的评分高，说明受试者在观看有畸变的视频时VIMS反应更强烈。

图 8. 不同时刻下的VIMSL

Fig. 8. VIMSL at different time

下载图片 查看所有图片

做SSQ是为了让受试者了解VIMS包含的基本生理反应和自身晕动情况，以保证在实验中的VIMSL能够准确、合理地反映受试者的真实晕动状况。实验结果显示，受试者观看不同程度失真视频的SSQ评分在实验前后呈现明显的正向差异（实验后的评分比实验前高），且前后评分差值的高低在三个实验组中出现与VIMSL相同的情况。

使用SPSS（IBM SPSS Statistics 23.0）分别对15 mm和35 mm、105 mm和35 mm实验前后VIMSL和SSQ的差值做分析。VIMSL的单因素方差检验（ANOVA）结果如表1所示，Sig.是显著性检验值，括号内是两组焦距变量具体数值，d_f为自由度，F为组间均方差除以组内均方差的比值。由表1可知，VIMSL在15 mm和35 mm、105 mm和35 mm之间的差异均有显著性，表明调整镜头焦距获取的畸变影像对VIMSL有显著的影响。由于个体主观差异大，个体之间SSQ评分差值过大，导致SSQ的方差分析失去意义。因此，进一步对所有受试者实验前后的评分差值进行平均值处理。图9 VIMSL和SSQ评分处理后的结果显示FL为15 mm和FL为105 mm的VIMSL和SSQ均比FL为35 mm时的大，表明相机焦距改变造成的畸变会使人的主观感受变差，会在一定程度加重VIMS对人的影响。

图 9. 不同焦距对应VIMSL和SSQ评分的平均值。（a）VIMSL；（b）SSQ评分

Fig. 9. Mean of VIMSL and SSQ score corresponding to different focal lengths. (a) VIMSL; (b) SSQ score

下载图片 查看所有图片

4.2　客观分析

实验选取了平衡板检测的平衡能力数据和Muse检测的眨眼频率进行分析。根据实验流程中的姿势稳定性，检测步骤分为实验前睁眼BO、实验后睁眼AO、实验前闭眼BC、实验后闭眼AC 4种状态，按照受试者平衡力计算方法处理测得的数据，得到CoP的标准差和95%置信椭圆面积。为减少实验出现的过多变量，对睁眼和闭眼状态下两个指标的实验前后差值作平均，图10和图11是数据经过处理后的具体展示。

图 10. CoP在不同焦距下的标准差值

Fig. 10. Standard deviation of CoP under different focal lengths

下载图片 查看所有图片

图 11. CoP在不同焦距下的95%置信椭圆面积

Fig. 11. 95% confidence ellipse area of CoP under different focal lengths

下载图片 查看所有图片

由图10和图11可知，在FL为15 mm和105 mm时CoP的标准差差值和95%置信椭圆面积差值均高于FL为35 mm时的数据，说明在镜头焦距的调整下不同空间畸变对人的身体平衡性有不同程度的影响，畸变越明显（FL为15 mm和FL为105 mm），人在实验前后的两个指标的差值就越大，人的身体平衡性越差，因此受到VIMS的影响程度越大。

为了进一步证明实验结果，对21名受试者的CoP标准差和95%置信椭圆面积数据进行处理后，分为15 mm和35 mm、105 mm和35 mm两组进行单因素方差检验（ANOVA）。表2和表3中的数据显示，CoP标准差和95%置信椭圆面积在FL为15 mm和FL为35 mm、FL为105 mm和FL为35 mm之间都有显著性差异（有畸变组与无畸变组），均为p<0.05，表明相机焦距调整造成的两种畸变对人感知画面时的生理变化与无畸变时相比有更明显的影响，由此可知，立体影像采集发生畸变时对视觉诱导晕动症的影响更大。

人的正常眨眼次数为平均每分钟20次左右^［27］，而当人眼出现视疲劳（产生VIMS的一种表现）时眨眼次数就会增加。本实验使用Muse设备测量21名受试者的生理数据，实验前要求受试者静坐3 min（作为实验中检测的眨眼数据的基线）。依据式（10），计算受试者在实验前和实验最后3 min的眨眼频率BR。经计算发现，受试者在观看视频最后3 min的平均眨眼次数比实验前次数多，且在观看不同焦距拍摄的视频后，受试者实验前后BR差值大小明显，结果如图12所示。

图 12. 不同焦距下的眨眼频率

Fig. 12. Blink rate under different focal lengths

下载图片 查看所有图片

整理眨眼数据，对所有受试者实验前后BR差值进行方差分析，结果显示在FL为15 mm和FL为35 mm、FL为105 mm和FL为35 mm之间有显著性差异，如表4所示。由此推断，在镜头焦距的影响下，人观看畸变的视频时平均眨眼次数更多，会出现更严重的VIMS症状，与平衡能力指标下的结果一致。

5　结论

在采集立体影像过程中由于相机焦距的调整对应的相机视场角的变化与人眼出现不匹配，人感知的虚拟空间发生畸变（画面失真），而人在感知畸变的过程中可能会出现VIMS症状。构建了基于相机焦距预设的立体空间畸变模型，针对不同焦距镜头下的动画场景，首次用系统性实验的方法对人眼感知虚拟空间过程中出现的VIMS进行主观评分和客观数据统计分析。研究结果表明，无论从主观VIMSL变化、SSQ的差异还是客观的95%置信椭圆面积的变化、眨眼频率变化，都显示不同的镜头焦距下的空间畸变对VIMS有影响，当相机视场角与人眼视场角出现严重不匹配时，造成的空间畸变对VIMS的影响更大。研究结果可为研究缓解视觉诱导晕动症的方法提供理论参考。