1 引言

现代社会,工作与学习中面临的心理压力逐渐成为影响人们生理健康的主要因素之一。长期的心理压力会对人体的免疫系统与心血管系统产生严重的损害,使人体更容易感染疾病,同时降低自我恢复能力^[1],因此,如何准确评估心理压力具有重要意义。传统心理压力评估方法主要是基于压力量表的主观评估法^[2-5],对心理压力的量化依赖于个体的自我判断与主观经验,难以客观反映被测试者真实的心理状态,且压力评估结果取决于被测试者对待测试的态度,故意隐瞒真实感受、刻意迎合测试期望等情况均会影响测试结果的准确性。此外,由于压力量表的内容难以更新,被测试者会对压力量表的内容产生记忆,无法进行多次测量与连续测量,导致压力量表评估法难以满足现阶段的使用需求。随着生理信号检测技术的发展,人们对基于生理信号的客观评测法的研究越来越多,基于生理信号的心理压力评估方法可以减少主观影响,更准确地评估人们的心理压力。

人体在面对心理压力时,体内的激素含量会产生相应的变化,激素含量检测是基于生理信号的心理压力检测方法之一。Lovallo等^[6]研究了皮质醇含量与心理压力之间的对应关系,实验结果表明,压力状态下的皮质醇含量与基线状态、休息状态下的皮质醇含量有显著性差异,验证了利用皮质醇含量进行心理压力检测的可行性。但该方法属于有创测量,且操作复杂,无法满足多次测量与快速测量的需求。因此,基于心率、呼吸率、皮肤电导率等生理参数的无创测量方法应运而生。Zhai等^[7]通过皮肤电信号、血容量、瞳孔直径、皮肤温度进行了心理压力分类,对采集的信号进行特征提取后建立了基于支持向量机(SVM)的压力评估模型,在一定程度上可以准确评估心理压力的等级。Hernandez等^[8]让9名志愿者佩戴皮肤电导传感器一周,将采集到的数据利用SVM进行分类,结果表明,该方法对压力状态的准确识别率可达到78.03%。基于心电信号、皮肤电信号等生理参数的心理压力评估方法不会对受试者产生伤害,且测量结果具有一定的准确性。但这些生理参数的采集大多基于传感器等穿戴式设备,测量步骤繁琐,限制了该方法的应用场合。随着非接触生理信号检测技术的发展,非接触式心理压力测量技术逐渐兴起,Chen等^[9]提出了一种基于组织氧饱和度的非接触式心理压力测量方法,利用采集到的数据建立用于心理压力分类的二分类器,压力状态与平静状态的分类准确率可以达到76.19%。Kaur等^[10]利用可见光谱相机进行了心理压力的非接触式测量,分别在平静状态下与压力状态下采集受试者的心率变异性(HRV)数据,然后通过逻辑回归与线性回归建立分类模型,该方法具有一定的准确性,但在选取HRV特征时未考虑非线性特征。

综上所述,基于生理参数的心理压力测量方法大多基于传感器等穿戴式设备实现,操作复杂,不利于多次及重复测量。而非接触式测量方法也仅仅利用单一的生理参数进行压力分类,测量准确率不高,不能充分利用视频图像信息。针对以上问题,本文提出了一种融合一维HRV特征与二维图像表情特征的非接触式心理压力测量方法。首先,通过成像设备采集人脸视频信息,利用成像式光电容积描记(IPPG)技术提取HRV;然后,利用深度学习方法建立人脸表情识别模型;最后,融合HRV与人脸表情建立压力分类模型,实现了心理压力的非接触检测。本方法在选择HRV特征时考虑了非线性特征,在此基础上融合了人脸表情,充分利用了视频信号中包含的信息,有效提高了压力评估的准确性。

2 原理及方法

2.1 融合HRV特征与人脸表情的心理压力检测

当人感受到心理压力时,躯体会产生应激反应,包括生理参数及表情等多种生理信息的变化。HRV指逐次心跳之间的细小变化情况,即连续心脏搏动之间的微小涨落变化,可以反映自主神经系统的功能活性,研究表明,HRV与心理压力之间存在密切关联^[11-13]。人体面对心理压力时的应激反应主要依靠交感神经系统与副交感神经系统的调节实现,当人体面对压力时,交感神经系统兴奋,促使心肌与周围血管收缩,调节心血管系统适应压力状态;反之人体处于放松状态时,副交感神经系统相对兴奋,使心血管系统适应放松状态,在交感神经系统与副交感神经系统调节人体平衡的过程中,HRV也会产生变化。HRV功率谱的低频成分和高频成分可分别反映交感神经系统与副交感神经系统的活性,低频、高频能量比可作为评价交感神经系统与副交感神经系统均衡性的指标^[14]。在压力状态下,由于交感神经系统的兴奋,HRV的低频成分会相对增加;在放松状态下,由于副交感神经系统的兴奋,HRV的高频成分会相对增加。因此,可以通过平静状态与压力状态下HRV的差异,区分人体是否处于压力状态,从而实现心理压力的评估。

面部表情包含多种信息,根据达尔文理论^[15],面部表情反映了人体内在的生理反应,当人体处于不同状态时,面部表情会有相应的变化,因此,面部表情可以体现人的心理状态。当人处于紧张、恐惧等压力状态时,会出现皱眉、沮丧等表情;同样,当人体处于放松状态时,面部表情也会变得舒展。Lazarus^[16]的研究指出,面部表情与心理压力之间存在密切联系,研究面部表情对于心理健康具有重要意义。Little等^[17]也指出,人的心理压力可通过静态的面部表情预测。因此,基于人脸表情进行心理压力评估是一种可行的方法。

非接触式心理压力评估模型的建立过程如图1所示。首先,采集压力状态下与非压力状态下的人脸视频图像;然后,基于IPPG得到HRV,基于训练好的深度学习模型得到人脸表情;最后,对两种状态下的数据进行训练,生成压力状态与非压力状态的二分类模型,用得到的模型对未知的样本进行心理压力评估。

图 1. 心理压力评估模型的建立过程

Fig. 1. Process of the establishing a psychological stress assessment model

下载图片 查看所有图片

2.2 特征的提取

1) 非接触式HRV特征的提取

IPPG技术是利用视频图像获取脉搏波的一种生理信号提取方法^[18],非接触式HRV的提取也是基于IPPG技术实现的。用CCD相机拍摄人体时,相机获取由人体各组织成分对光线进行吸收、散射、漫反射后的图像,包含了人体组织成分的多种信息。与骨骼、肌肉等短时间内不发生变化的组织不同,人体外周微血管的血液容积会随心脏收缩发生周期性变化,这种由心脏搏动引起的人体外周微血管的血液容积变化会引起人体组织光吸收量的变化。通过视频图像处理获得图像灰度沿时间序列的变化曲线,可获得由心脏收缩引起的图像光强周期性变化曲线,再通过去噪处理获得脉搏波;通过分析脉搏波序列,可获得与之相关的心率、HRV、血氧等生理参数。基于IPPG技术的HRV提取过程如图2所示。

图 2. 非接触式HRV的提取流程

Fig. 2. Extraction flow chart of the non-contact HRV

下载图片 查看所有图片

图 3. HRV提取程中的信号图。(a)灰度均值;(b)处理后的脉搏波信号;(c) R-R间期的时序图

Fig. 3. Signal diagram during HRV extraction. (a) Mean gray value; (b) pulse wave signal after processing; (c) timing diagram of R-R interval

下载图片 查看所有图片

HRV的提取需要脉搏波的时间分辨率较高,因此,采用每秒传输帧数(FPS)为100 frame的CCD相机采集图像。将采集的图像进行帧处理后,选取敏感区域,并计算灰度均值,获得RGB(Red,Green,Blue)三通道时序图。由于血液中血红蛋白的吸收峰及CCD相机的响应^[19],G通道的脉搏波最明显,如图3(a)所示。

虽然提取到的G通道信号比较明显,但这些信号中存在由运动、光照造成的噪声信号。由于低频线性趋势会影响脉搏波的提取,因此,首先,用去趋的平滑先验法^[20]滤除超低频信号。然后,进行移动平滑滤波,去除信号中的趋势项,保留其中的周期项,移动平滑滤波可表示为

y(n)=x(n)+x(n+1)+x(n+2)+…+x(n+M-1)M,(1)

式中,x(n)为输入信号,y(n)为输出信号,M为步长,实验中取1/4采样周期,即M=25。最后,用小波滤波与小波重构获得脉搏波信号^[21]。对于函数ψ(t)∈L²(R),小波函数满足 ∫Rψ(t)dt=0,其中,ψ(t)为任意函数,t为自变量,R为实数域,L²(R)为实数域上的平方可积空间。引入尺度因子a和平移因子b对ψ(t)进行伸展平移,可表示为

ψa,b(t)=|a|-1/2ψt-ba。(2)

函数f(t)关于小波函数的小波变换可定义为

W[f(a,b)]=∫Rf(t)ψa,b(t)¯dt,(3)

式中, ψa,b(t)¯为ψ_a,b(t)的共轭函数。假设ψ(t)的傅里叶变化为ψ(ω),当小波函数满足 Cψ=2π∫R|ψ(ω)||ω|dω<∞时,小波变化是可逆的,可表示为

f(t)=1Cψ∫∫R2W[f(a,b)]ψa,b(t)dadb/a2。(4)

实际应用过程中,获得的信号一般都是离散数字信号。因此,取a= a0j,b=nb₀a0j,则函数f的离散小波变化为

W[fj(n)]=W[fj(a,b)]=a0-12∑kf(k)ψ(a0jk-nb0)¯,(5)

令a₀=2,b=na,则离散小波变换可表示为

fj(n)=∑kh(k)fj-1(n-2j-1k)Wj[f(n)]=∑kg(k)fj-1(n-2j-1k),(6)

式中,f^j(n)为分辨率为2^j的信号,W^j[f(n)]为原始信号f(n)的二进制小波变换,h(k)为构造的正交小波滤波器H(ω)与G(ω)的系数。假设信号f(n)分解到第j层上的近似信号系数为 ak(j),细节信号系数为 dk(j),则f^j(n)可以理解为将信号f(n)通过冲击响应为h(n)的低频滤波器,并获得分辨率为2^j的信号,W^j[f(n)]可理解为通过高通滤波器后获得的高频信号。

根据脉搏波信号的特点,选取db12小波基对脉搏波信号进行去噪处理。相机设备的帧频为100 Hz,对IPPG信号进行8层小波分解。由于脉搏波信号的频率一般在0.7~4 Hz,脉搏波信号集中在分解信号5、6、7层的细节信号中。因此,以分解信号5、6、7层的细节信号进行重构,得到脉搏波信号,获得的脉搏波信号如图3(b)所示。实际测量过程中,通常通过R-R间期(相邻R波之间的时间长度)计算HRV。对于测得的脉搏波信号,两个波峰之间的时间长度为R-R间期,利用峰值检测将波峰点检测出来,差分得到可直观反映心脏跳动变化规律的R-R间期信号,如图3(c)所示。

通过脉搏波信号与R-R间期信号提取HRV,对于HRV的分析包括时域分析、频域分析、非线性分析三种方法。时序分析法是指对得到的R-R间期信号进行统计学分析,实验采用的时域评价指标有每分钟的平均心跳次数(Mean HR)、R-R间期的标准差(SDNN)、相邻R-R间期差值大于50 ms的个数占总R-R间期个数的比例(PNN₅₀)、相邻R-R间期差值的均方根(RMSSD)等,具体指标如表1所示。其中,BPM为每分钟心跳数的单位, XiRR为第i个R-R间期, XRR-为R-R间期的平均值,N为R-R间期的数量。

时域分析可以反映交感神经与副交感神经的平衡状态,频域分析可以反映交感神经与副交感神经各自的活动。实验采用自回归(AR)模型进行频域分析^[22],频域分析指标有超低频功率(X_VLF)、低频功率(X_LF)、高频功率(X_HF)、低频功率与高频功率的比值(X_LF/X_HF)、归一化低频功率(N_LF)、归一化高频功率(N_HF)、超低频功率峰值点(P_VLF)、低频功率峰值点(P_LF)、高频功率峰值点(P_HF)等,具体指标如表2所示。

心脏的生理运动并不是完全规律的周期性运动,因此,还需要用非线性分析方法评价心脏的运动规律。目前HRV非线性分析方法包含庞加莱图形法,分维数分析和复杂度分析,Lyapunov指数和近似熵分析等^[23]。实验采取的HRV非线性评价有庞加莱图的垂轴标准差(X_SD1)、庞加莱图的沿轴标准差(X_SD2)、相关维数(D₂)、去趋势波动分析中的短期波动(α₁)、长期波动(α₂)等,具体指标如表3所示。

得到的HRV特征不一定都适用于心理压力检测,因此,还需选取与心理压力相关的特征。通过配对t检验(学生检验),对平静状态与压力状态下的HRV特征进行显著性检测,选出具有显著性差异的特征。这些特征随着心理状态的变化而变化,是与心理压力相关的指标。此外,HRV特征之间还可能存在相关性,相关变量对于建立压力分类器是冗余的,因此还需对HRV特征进行相关性检测,选出独立特征。实验通过皮尔逊检测判断HRV特征之间的相关性,根据皮尔逊系数剔除相关变量。

2) 人脸表情特征的提取

深度学习方法可以挖掘图像的抽象特征,实现图像的识别与分类,实验采用VGG19网络实现人脸表情的识别。VGG19网络是卷积神经网络的一种,用连续数个尺寸为3×3的卷积核代替神经网络中较大的卷积核。采用堆积的小卷积核意味着更多的非线层,可在相同感受野下,提升网络深度、减少参数、提升识别的准确性。

人脸表情可以分为平静、高兴、悲伤、愤怒、沮丧、惊讶、害怕7种基本表情^[24],无论在平静状态下还是压力状态下,人脸表情均属于以上7种表情中的一种。将包含7种基本表情的训练数据集输入VGG19网络进行训练,得到人脸表情分类模型。通过训练得到的网络可实现未知表情的识别,识别结果为7种表情中的一种。

7种基础表情中,悲伤、愤怒、沮丧、惊讶、害怕是与压力相关的表情,如果这5种表情出现的频率高,表明志愿者处于压力状态,反之则表明志愿者处于相对平静的状态。通过心算任务诱使志愿者产生心理压力时,心算过程中出现的压力情绪,会增加志愿者悲伤、愤怒、沮丧、惊讶、害怕等与压力相关表情出现的次数。而在平静状态下,与压力相关的表情出现次数相对较少。用压力表情值S表示压力表情出现频率的高低,可表示为

S=SemotNemot×100%,(7)

式中,N_emot为在时长为3 min的视频中以1 s为间隔截取的图像总数,S_emot为N张图像中悲伤、愤怒、沮丧、惊讶、害怕5种压力表情的数量。

2.3 心理压力识别模型的训练

得到HRV与人脸表情的数据后,选择合适的分类模型进行分类。实验得到的数据量较少,需要将样本数据进行二分类,且样本数据是有标签数据,可使用SVM算法、决策树分类算法等^[25-26]。实验采用SVM算法,基本模型是在特征空间上找到最佳的分类超平面,使训练集上正负样本间隔最大,引入核方法后SVM算法也可用来解决非线性问题。

SVM算法通过核函数将输入样本从原空间非线性映射到高维特征空间,并在高维特征空间中构造最优分类超平面,即决策函数,从而达到信号分类的效果^[27]。非线性分类决策函数可表示为

f(x)=sgn∑i=1nmiyiK(xi,x)+b*,(8)

式中,m_i为Lagrange乘子,y_i为数据标签,K(x_i, x)为核函数,x_i为数据特征,b^*为分类阈值,可表示为

b*=yi-∑i=1nyimiK(xi,xj)。(9)

SVM算法中有两个非常重要的参数:惩罚系数C与高斯核函数自带的参数Gamma。其中,C为对误差的宽容度,C越大,表明越不能容忍出现误差,容易出现过拟合;C过小,容易欠拟合,C过大或过小均会导致网络的泛化能力变差。Gamma是选择高斯核函数作为核函数后,该函数自带的一个参数,可决定数据映射到新特征空间后的分布,Gamma越大,支持向量越少,Gamma越小,支持向量越多,支持向量的个数会影响训练与预测的速度。SVM训练的过程就是对Gamma与C优化的过程。SVM的泛化性能强,可以很好地解决高维问题,且对小样本数据的学习效果很好,因此实验将SVM算法作为分类算法。

3 实验装置及过程

实验装置如图4所示,视频的录制帧率均为100 frame/s,视频的分辨率为1024 pixel×768 pixel,并保存为AVI格式。参加实验的志愿者为年龄在23~28周岁的在校研究生,志愿者在参加实验前被告知实验目的,且均为自愿参加,所有志愿者均身体健康,无心脏病等疾病。

图 4. 实验装置图

Fig. 4. Diagram of the experimental setup

下载图片 查看所有图片

首先让受试者在一个安静的房间内休息30 min,使身体尽量处于放松状态;然后让受试者坐在椅子上并保持静止,采集面部视频,时长为3 min,将该数据作为非压力状态下的数据;其次,通过心算任务^[28]诱使受试者产生心理压力,要求受试者在椅子上保持静止,用鼠标完成电脑屏幕上的心算任务,单个题目的作答时间为2 s,整个任务持续3 min,受试者在实验开始前被告知会记录作答成绩,且成绩过低会受到惩罚。任务期间采集受试者的面部视频,将该数据作为压力状态下的数据。志愿者在平静状态下与完成任务后两次填写SRQ(Stress rating questionnaire)压力调查问卷,问卷结果作为心理压力等级的评价指标^[29]。如果志愿者在任务结束后的问卷调查结果与平静状态下的调查结果有显著性差异,认为该志愿者在任务过程中产生了心理压力,只有明显感到压力的样本才会被用于心理压力评估模型的建立。

4 实验结果及分析

将73名(146份)志愿者的数据用于心理压力评估模型的建立,基于上文提出的非接触式HRV方法提取HRV,73名志愿者HRV特征的均值如表4所示。

得到样本的HRV特征后,通过双端配对t检测(显著性水平p<0.05)选出在平静状态与压力状态有显著性变化的特征,然后通过皮尔逊检测剔除冗余变量。显著且独立的特征包括Mean HR、PNN₅₀、SDNN、RMSSD、X_LF/X_HF、N_LF、N_HF、D₂、X_SD2。图5中的盒形图显示了这些指标非压力状态下与压力状态下的特征分布。

图 5. HRV特征分布的盒形图。(a) Mean HR;(b) SDNN;(c) PNN₅₀;(d) RMSSD;(e) N_LF;(f) N_HF;(g) X_LF/X_HF;(h) X_SD2;(i) D₂

Fig. 5. Box plot of the HRV feature distribution. (a) Mean HR; (b) SDNN; (c) PNN₅₀; (d) RMSSD; (e) N_LF; (f) N_HF; (g) X_LF/X_HF; (h) X_SD2; (i) D₂

下载图片 查看所有图片

实验结果表明,压力状态下Mean HR升高,PNN₅₀降低,这表明压力状态下心跳加速,且交感神经兴奋、心跳间期变短;压力状态下,N_LF升高,H_LF降低,X_LF/X_HF变大,这表明交感神经活性增强,副交感神经活性减弱,原有交感神经与副交感神经的运动平衡被打破,为了适应压力环境交感神经与副交感神经对人体产生调节;压力状态下,X_SD2降低,这表明副交感神经活动减弱。实验结果反映的交感神经系统与副交感神经系统的变化趋势与理论分析一致。

将包含7种基本表情的训练数据集输入VGG19网络进行训练,得到人脸表情分类模型,实现表情识别。使用VGG19网络进行表情特征训练的过程中,将平静状态与压力状态下拍摄的视频按帧处理,得到表情图像。选取其中4808张图像作为训练集,平静表情为1423张,沮丧表情为858张,愤怒表情为649张,高兴表情为284张,悲伤表情为759张,惊讶表情为616张,害怕表情为219张,交叉验证方法选用10折交叉验证,训练结果的准确率为94.62%。然后,利用训练好的表情识别模型进行表情识别。通过(7)式计算表情压力值,73名志愿者非压力状态与压力状态下的压力表情值特征分布如图6所示。

图 6. 表情压力值的盒形图

Fig. 6. Box plot of the expression pressure value

下载图片 查看所有图片

利用选择的HRV特征与表情压力值进行非压力状态与压力状态的分类,通过SVM算法训练得到心理压力评估模型。按照7∶3的比例将数据划分为训练集与测试集^[30],训练集样本用于SVM算法的训练。训练过程中,核函数选择高斯核函数,通过网格搜索法确定最优的参数Gamma与惩罚因子C,由于数据较少,交叉验证方法选用留一法^[31]。训练结束后用测试集的样本评价模型效果,最终确定的参数Gamma、C以及测试集的分类准确率如表5所示。

由表5可知,通过HRV与人脸表情,可以很好地区分非压力状态与压力状态,因此,可通过融合HRV与人脸表情进行心理压力的评估预测。为了验证本方法的性能,将本方法与其他三种方法进行对比:利用文献[ 10]中选择的HRV特征建立压力评估模型(不包含HRV的非线性特征);利用本方法选择的HRV特征建立压力评估模型(包含HRV的非线性特征,不包含表情特征);仅利用本方法得到的压力表情值建立压力评估模型(包含表情特征,不包含HRV特征)。通过上述三种特征提取方法,用SVM算法建立压力评估模型,训练和调参过程与上文一致,最终结果如表6所示。

从表6可以看出,仅通过时域特征与频域特征建立模型的结果准确率较低,只有65.1%。增加非线性特征后再进行分类的准确率可达到73.9%。仅利用表情压力特征进行分类的准确率为71.9%,而融合HRV与人脸表情的方法分类准确率可达81.4%。实验结果表明,融合HRV与表情的方法可以有效提高压力识别准确率,与只利用HRV的方法相比,识别准确率提高了7.5个百分点,与只利用表情特征的方法相比,识别准确率提高了9.5个百分点。

5 结论

传统心理压力评估通过受试者对问卷问题的反馈判断受试者的心理压力,具有很强的主观性且问卷内容难以更新,无法重复、多次使用。基于生理参数的客观评估方法可以克服问卷评估法的主观性,但在实际使用过程中,采集生理参数需要人体穿戴测量设备,操作复杂,使用范围有限。成像式非接触生理参数检测方法具有操作便利、信息丰富等特点,在情绪检测方面具有独特优势。针对现有非接触式心理压力测量方法准确性差的问题,提出了一种融合HRV与人脸表情的非接触式心理压力测量方法。根据非压力状态下与压力状态下HRV与人脸表情的差异,通过SVM算法建立心理压力评估模型,分类准确性可达到81.4%。有效提高了非接触式心理压力评估结果的准确性,在普通人群、运动员、犯罪人员心理测试等领域有重要的应用价值。