情绪作为人的一种生理与心理状态, 蕴藏着性格喜好、身心状态等诸多有价值的信息^[1]. 情绪识别与日常生活的诸多领域都有很大联系, 例如在医疗护理方面, 通过情绪识别可以获取表达障碍患者的情绪状态, 为深入探究抑郁症、焦虑症等的生理、病理机制提供了指南, 有助于医生对患者进行相应的治疗使患者情绪向正性情绪和积极情感调节转化^[2]. 白芷嫣等人^[3]研究发现部分时间段的脑电信号的Alpha、Beta频段具有可识别抑郁情绪倾向的特征值. 在交通出行方面, 情绪识别可用于实时监测司机或者飞行员的情绪变化信息, 当驾驶人员处于愤怒、焦虑、极度兴奋等不稳定情绪状态时, 系统可以及时预警从而防止交通事故的发生, 有利于出行安全, 同时也可以播放调节驾驶员情绪的音乐, 提升驾驶体验^[4]. 在教育教学方面, 通过实时监测并分析学生的情绪状态可以判断其学习时的兴趣程度及疲劳程度, 从而适当的调整教学内容和进度, 达到更好的学习效果.

传统的情绪识别大多基于易于获取的人体面部表情、语音信号等身体表现^[5]. 情绪的面部表情表现是指人们将情绪的内在心理状态通过面部表情外在表现出来, 例如人在情绪愉悦时嘴角会朝外朝上扩展, 愤怒时会皱眉、眼睛变狭窄等. Shan等人^[6]采用局部二进制模式(local binary pattern, LBP)提取了面部表情图像的纹理特征, 然后采用SVM分类器进行情绪识别. 情绪的语音表现是指人们根据情绪的变化展现出不同的语言、语调表达形式, 例如人在高兴状态时语调会比较轻松欢快, 悲伤时语调会低沉压抑. 纪正飚等人^[7]提取了语音信号的基音频率、短时能量、短时幅度和短时过零率4个特征参数后训练了KNN分类模型进行情绪识别. 朱艺伟等人^[8]提出了一种基于轨迹的时空特征的语音情绪识别方法. 然而这些非生理信号的有效性和准确识别性在实际应用中有时难以保证^[9], 因为人的面部表情可以伪装, 例如人在悲伤时也能微笑等, 另外对于情绪表达障碍者来说, 获取他们的非生理信号往往难以实现. 脑电信号(electroencephalogram, EEG)反映了大脑神经元细胞的活动节律, 不易受个体主观意识控制, 能够客观综合地反映人体生理活动信息与心理认知状态信息^[10], 对研究情绪状态分类具有重要意义. Khalil等人^[11]在研究中证实了脑电信号在情绪识别中的表现优于其他生理信号.

近年来, 随着机器学习的广泛应用, 脑电信号研究已经获得了前所未有的技术进步, 许多学者提出了基于统计机器学习方法的分类模型, 具有较好的非线性逼近能力, 主要有支持向量机、K近邻、人工神经网络(artificial neural networks, ANN)和随机森林(random forest, RF)等算法. 在情绪识别方面, Liu等人^[12]提取了DEAP数据集的时域、频域、时频域和多电极的特征, 选用K近邻作为二分类器, 最后得到愉悦度(valence)和唤醒度(arousal)平均准确率分别为66.3%和68.4%. 王凤等人^[13]在自采集的脑电数据集中提取了诱发脑电中晚期正电位特征, 使用SVM分类器进行脑电情绪三分类实验, 平均识别率超过60%. Arnau-Gonzalez等人^[14]在对DEAP数据集上提取了每个通道各频段的相对能量、对数相对能量、功率谱以及互信息等特征, 经过降维后使用Sigmoid核函数的SVM进行分类, 愉悦度和唤醒度平均准确率分别可达66.7%和69.6%. 李娟等人^[15]利用共空间模式算法对自采集的EEG进行特征提取并用SVM分类, 得到视频刺激的识别率为88.97%, 高于图像刺激79.24%的识别率. Li等人^[16]在脑电情绪识别实验中, 提取了峰-峰平均值、均方值、排列熵、Hjorth参数等18种特征, 使用SVM分类器对SEED数据集做了分类实验, 平均识别率可达83.3%. 张俊晓等人^[17]运用卷积神经网络(convolutional neural network, CNN)在输出层对自采集的16个通道的脑电数据实现正面和负面情绪的分类, 最后FP2通道(右额叶区)的平均识别率为83.0%, FP1通道(左额叶区)的平均识别率为74.6%. Chen等人^[18]在DEAP数据集上计算每段alpha和beta的能量、能量比率、Hjorth参数等9个特征, 采用RF作为分类器, 最终平均正确识别率为70.04%. 目前来看, 使用以上单一算法对脑电情绪进行识别的准确率不够理想, 因为单一算法容易存在自身难以克服的缺陷, 如SVM对超平面附近点易错分, K近邻对样本的分布是否平衡较敏感且数据集较大时训练时间复杂度高, ANN的网络结构难以确定, RF的计算成本和时间复杂度高等. 为此, 本文基于组合理论, 充分结合SVM分类器对距离超平面较远的样本识别率高和KNN分类器对可能含有类域交叠的较近样本识别率高的优点, 将SVM和KNN分类器进行优势互补, 提出一种基于SVM-KNN融合算法的脑电信号分类方法, 用于情绪类型识别, 通过在SEED情感数据集进行实验测试, 以验证其有效性.

1 SVM、KNN分类器简介 1.1 SVM分类器

根据统计学习理论中的结构风险最小化原则, Cortes等人^[19]于1995年提出了一种新的监督式机器学习方法—支持向量机, 其对于新鲜样本有较强的适应能力, 能较好的解决高维度与非线性的分类问题.

对于线性问题, 二维情况下线性可分的超平面如图1所示, ${w^{\rm{T}}}x + b = 0$ 为实数空间的一个最优分类超平面, ${w^{\rm{T}}}x + b = 1$ 和 ${w^{\rm{T}}}x + b = {{ - }}1$ 两虚线间的距离(称为分类间距)为 $2/\left\| w \right\|$ . 对于非线性问题, 可以将样本从低维空间映射到高维空间, 即用核函数 $\kappa \left( {{x_i}, {y_i}} \right)$ 代替点积 $\left\langle {{x_i}, {y_i}} \right\rangle $ , 使得样本在高维属性空间线性可分, 继而求出最优分类超平面.

径向基函数(radial basis function, RBF)具有较好的高维数据分析能力^[20], 本文选择RBF函数作为核函数, 如式(1):

$ \kappa \left( {{x_i}, {x_j}} \right) = \exp \left( { - g{{\left\| {{x_i} - {x_j}} \right\|}^2}} \right) $

(1)

其中, $g = \dfrac{1}{{2{\sigma ^2}}}$ , 参数 $g$ 的选取应避免造成SVM过拟合. 基于RBF函数的 SVM 的分类决策函数为:

$ f\left( x \right) = {\rm{sgn}} \left( {\sum\limits_{i = 1}^N {{\alpha _i}{y_i}\kappa \left( {{x_i}, {x_j}} \right) + b} } \right) $

(2)

其中, 拉格朗日乘子 ${\alpha _i} \geqslant 0$ .

1.2 KNN分类器

K近邻法是由Cover和Hart于1967年提出的^[21], 该算法的基本思路是将测试集数据的属性特征与训练集中对应的属性特征进行比较, 在训练集中找到与之最近的k个 “邻居”, 看这k个近邻多数属于哪一类即可推出测试集样本的类别^[22].

在这里, KNN模型使用欧式距离来找到最近的“邻居”, 通常采用空间两向量的欧式距离表示:

$ d\left( {x, y} \right) = \sqrt {\mathop \sum \limits_{i = 1}^n {{\left( {{x_i} - {y_i}} \right)}^2}} $

(3)

2 SVM-KNN分类器 2.1 SVM-KNN算法原理

SVM分类器对于距离超平面较远的样本能准确地分类, 但是对于距离超平面较近的样本(基本上是支持向量SVs), 分类出错率较高; KNN算法在分类决策上只与k个近邻的类别有关, 对于那些含有类域交叠样本的数据集其分类效果良好, 但它是一种懒惰学习算法, 当训练的数据集较大时, 其产生的巨大的计算空间会导致算法运行时间复杂度很高. 结合两者优势, 本文采用 SVM和KNN融合算法来提高情绪分类的准确率. 其基本思想是对距离分类超平面较远的样本点选用SVM算法进行分类, 较近的则选用KNN算法进行分类, 具体远近通过设定的阈值 $\varepsilon $ 来判断. 阈值 $\varepsilon $ 越小, 则表明SVM的贡献率越大, 当 $\varepsilon $ 小到0, SVM-KNN算法就是SVM算法; 反之, 阈值 $\varepsilon $ 越大, 则表明KNN的贡献率越大, 当 $\varepsilon $ 大到无穷大时, SVM-KNN算法就是KNN算法. 因此, 阈值 $\varepsilon $ 的选取直接影响到识别准确率的高低, 应对照实际情况灵活调整. 根据 SVM的反馈参数经验值, $\varepsilon $ 一般设置在[0.4, 0.8].

具体来说, 计算空间中待识别样本 $x$ 与两类支持向量代表点 ${x^ + }$ 和 ${x^ - }$ 的距离差 $g(x)$ , 如果 $g(x)$ 大于设定的阈值 $\varepsilon $ , 即样本点在图2中所示的区域I 和II, 说明 $x$ 离分类超平面较远, 则采用SVM算法对其进行分类; 如果 $g(x)$ 小于设定的阈值 $\varepsilon $ , 即样本点在图2中区域III, 说明 $x$ 离分类超平面较近, 则把SVs集作为测试集的近邻样本, 采用KNN分类器对其进行分类.

2.2 SVM-KNN分类器的实现

由上述的原理, 可以将SVM-KNN算法的分类训练实现步骤表示如算法1.

算法1. SVM-KNN分类训练算法

输入: 训练集Train, 测试集Test.

输出: 测试集Test的分类结果, 取值为{−1, 0, 1}, −1表示消极情绪, 0表示中性情绪, 1表示积极情绪.

1)对Train中的样本用svmtrain函数进行训练, 得到model的参数, 包括SVs、SVs对应的系数sv_ceof及常数rho等.

2)从测试集Test中取一个待识别样本 $\scriptstyle x$ , 若Test为空集, 则分类步骤结束.

3)计算空间中待识别样本 $\scriptstyle x$ 与两类支持向量代表点 $\scriptstyle{x^ + }$ 和 $\scriptstyle{x^ - }$ 的距离差 $\scriptstyle g\left( x \right) = \sum {y_i}{\alpha _i}\kappa \left( {x, {x_i}} \right) + b$ , 即svmpredict函数的输出项dec_values, 其中 $\scriptstyle{y_i}{\alpha _i} = {\text{model}}{\text{.sv\_ceof}}$ , $\scriptstyle b = - {\text{model}}{\text{.rho}}$ .

4)将 $\scriptstyle g(x)$ 与设定的阈值 $\scriptstyle\varepsilon $ 比较, 若 $\scriptstyle\left| {g\left( x \right)} \right| > \varepsilon $ , 则直接输出SVM识别结果; 若 $\scriptstyle\left| {g\left( x \right)} \right| < \varepsilon $ , 则调用KNN分类算法, 过程如下:

计算待识别样本 $\scriptstyle x$ 与所有SVs的距离, 将得到的距离依据从小到大的顺序排列, 从中选出前 $\scriptstyle k$ 个小的距离, 统计这 $\scriptstyle k$ 个近邻对应SVs的所属类别, 最后依据多数表决规则输出 $\scriptstyle x$ 的识别类别.

5)更新测试集, 返回步骤2.

3 脑电-情绪分类实验及结果分析

实验在PC上进行, 环境为Windows 10操作系统, 编程语言是Matlab, 同时基于Libsvm-mat-3.24工具箱^[23].

3.1 EEG数据来源

本文实验数据选自由上海交通大学计算机科学与工程系类脑计算与机器智能中心建立的情感数据库(SJTUE emotion EEG dataset, SEED)^[24]. 实验过程中, 由从电影库中选出的喜剧、悲剧及中性电影片段各5个作为诱发情绪的刺激材料, 分别对应需诱发产生的3种目标情绪—积极情绪、中性情绪和消极情绪. 该实验在安静环境下进行测试, 采用NeuroScan ESI-128系统采集被试者在观看影片片段时间段内的EEG, 该系统主要由刺激系统、湿电极帽、脑电信号放大系统和 Scan 软件组成. 被试者由刺激系统诱发出相应的情绪, 经涂有液态导电介质的湿电极帽采集对应情绪的EEG, 并将其发送到脑电信号放大系统进行EEG的放大和初步降噪, 然后将其发送到Scan 软件, 实时监测各电极当前的阻抗值和所获取的脑电数据. 实时监测为实验数据的获取提供了很大的可靠性和准确性. 本实验选用64导的湿电极帽, 其中有效电极数为 62 导, 电极放置位置采用国际统一标准的10-20系统如图3所示, 采样频率为1 000 Hz. 为了保证实验结果的稳定性, 每位被试者参加3次实验, 每次实验与上次实验时间间隔一周, 因此每位被试者需要观看45段影片片段. 以该数据库提供者的研究数据为依据, 本文实验仅选取10位健康被试者(男女各半)的脑电数据, 样本数量总和为450, 对情绪脑电进行三分类.

3.2 实验步骤

实验总体流程如图4所示.

具体操作步骤如下所示:

(1) SEED数据集中的EEG数据已经经过滤波、降噪等预处理, 因此可以直接进行特征提取. 首先通过窗长为1 s的256点短时傅里叶变换(short time Fourier transform, STFT)将脑电数据转换到频域, 然后将频域划分为5个频段(Delta: 1–4 Hz; Theta: 4–8 Hz; Alpha: 8–14 Hz; Beta: 14–31 Hz; Gamma: 31–50 Hz)并提取微分熵特征(differential entropy, DE). DE作为情绪特征分类效果良好, 2010年, Murugappan等人^[25]通过脑电信号识别高兴、恐惧、厌恶等6种情绪, 发现熵作为一种非线性特征量可以很好的表征不同情绪状态的脑电波. 2013年, Duan等人^[26]提取了脑电信号5个频段的DE特征, 对情绪进行二分类, 最后识别率为84.22%, 说明DE具有很好的情绪识别能力. DE等于其在特定频段上的能量谱的对数^[27].

$ {{DE}} = - \int_a^b {p(x)\log (p(x))dx} $

(4)

其中, $\left[ {a, b} \right]$ 表示特征信息取值的区间, $p(x)$ 表示连续特征信息的概率密度函数.

SEED数据采集实验中有效电极数为 62 导, 所以每次实验的特征向量包含62×5维数据. 这310维特征序列中, 可能会掺杂其他大脑活动产生的伪迹和与情绪识别无关的信息, 因此本实验通过滑动平均平滑算法(moving average, MA)降低无关成分对目标特征造成的误差, 提高之后的情绪分类准确率.

(2)为避免有某些项的属性值太大而吞掉了属性值小的数据项, 需要对其进行归一化处理. 这里利用Matlab自带的mapminmax函数将训练集和测试集的样本进行归一化处理, 有助于提高后续情绪分类准确度, 其公式为:

$ x' = \left( {{{upper}} - {{lower}}} \right)\times\frac{{x - {x_{\min }}}}{{{x_{\max }} - {x_{\min }}}} + {{lower}} $

(5)

其中, [lower, upper]是归一化范围, ${x_{\max }}$ 、 ${x_{\min }}$ 分别为特征值集最大值和最小值, $x$ 为原始的特征值, $x'$ 为归一化后的特征值. 这里设置归一化范围为[0, 1].

(3)由于脑电极帽排布紧密, 相邻电极采集到的EEG信号相关性可能较高, 为了提取到冗余度小且代表性强的情绪特征向量, 本文利用最大相关最小冗余 (max-relevance and min-redundancy, mRMR) 算法降低数据维度, 有助于后续训练模型的准确建立.

(4)采用网格搜索算法(grid search, GS)获取最佳的SVM参数. $C$ 参数的搜索范围设置为 $\left[ {{2^{{{ - }}2}}, {2^6}} \right]$ , $g$ 参数的搜索范围为 $\left[ {{2^{ - 5}}, {2^5}} \right]$ , 经过不断交叉测试验证, 综合考虑最高分类准确率和最大化分类间隔, GS-SVM分类器参数优化结果如图5和图6所示, 得出SVM的最佳参数值为 $C$ =4, $g$ =0.659 75.

(5)从降维后的特征集中随机选取总样本的80%作为Train, 20%作为Test, 建立训练模型. 由于本实验要解决情绪三分类问题, 而SVM分类器是一个二分类器, 因此本文采用基于SVM的 “一对多” 的方式构建3个SVM分类器^{[28, 29]}, 可实现对3种情绪类型的分类, 如图7所示.

(6)依据第2.2节中SVM-KNN分类训练算法对脑电-情绪特征集进行训练, 输出情绪三分类结果.

3.3 SVM-KNN分类训练模型及结果分析

将Train样本分别输入SVM, KNN, SVM-KNN分类器做对比实验, 建立相应的情绪分类模型, 然后在Test样本上测试, 得到的情绪识别性能结果如表1所示.

对表1中实验数据结果进行对比分析, SVM-KNN分类器平均识别正确率为 88.84%, 分别超过KNN和SVM分类器 10.00%和5.56%, 可以看出相对于单一的SVM和KNN分类器, SVM与KNN融合算法的分类器获得了更好的情绪分类效果. SVM-KNN分类器克服了SVM 对分类面附近的情绪特征向量识别易出错以及KNN计算时间复杂度高的缺陷, 较好地结合了SVM 和 KNN分类器的优势, 对于基于EEG的情绪识别获得了更优的效果.

4 结论与展望

情绪识别是基于监测和分析人类各种身体的外在表现及生理信号的模式识别任务. 本文将通过NeuroScan ESI-128系统采集的SEED情绪脑电数据集进行特征量提取和降维后, 建立了基于SVM与KNN融合算法的情绪脑电识别模型, 实验结果表明, 相对于单一的分类学习算法, SVM与KNN融合算法的分类方法识别效果更优, 能更加准确地输出情绪类别. 在医疗护理、交通出行、教育教学等方面, 实时监测被试者的脑电数据, 从中分离出情绪任务相关的成分, 通过分析与处理这些成分可以持续辨识他们的情绪状态变化, 从而根据情绪反馈适当的调整方案和改进措施.

除此之外, 在脑电信号监测方面, 本文的EEG数据集采集过程选用了湿电极技术. 目前新兴的干电极技术无需涂抹液态导电介质, 更加便捷、舒适, 例如可穿戴设备Emotiv EPOC+^[30]. 但是目前干电极技术还不够成熟, 且EEG是一种非平稳信号, 采集过程中容易受到头皮毛发的干扰而使获得的信号不够纯净稳定. 随着技术的不断完善和发展, 相信干电极技术将日渐成熟完备, 会为情绪识别应用提供更便捷、可靠的脑电信号采集途径.