引言

情感识别已逐渐成为脑电信号识别研究的重点^[1–3], Petrantonakis等^[4]利用高阶交叉和混合滤波的方法对前额区脑电信号用以进行情感识别研究, 数据包含气愤、高兴、惊讶、恐惧、厌恶、悲伤6种情感, 识别率为84.72%. Khosrowabadi等^[5]利用自组织映射的方法对4种情感进行情感识别, 获得较好的结果. Hosseini等^[6]提取脑电信号的近似熵特征, 并以支持向量机(Support Vector Machine, SVM)进行识别, 正确率达到73.25%. 李昕等^[7]提出了基于PCA特征融合近似熵、小波变换特征、Hurst指数特征方法并以SVM识别, 在8种情感识别平均准确率在85%左右.

自回归模型(Auto-Regressive, AR)是一种经典的分析脑电信号方法. Zhang等^[8]从脑电信号中提取自回归模型系数和样本熵值作为特征向量, 基于SVM进行情感识别, 结果反映自回归模型可以有效地提高脑电信号的分类性能. Pham等^[9]利用功率谱密度和自回归模型从脑电信号提取特征并识别, 最高分类识别准确率为77.38%. Hatamikia等^[10]从脑电信号中提取自回归模型系数作为特征向量进行情感识别, 最高识别率为74.20%. 与上述文献仅使用AR模型从原始脑电信号提取AR系数不同, 本文提出了基于小波变换的AR模型提取脑电信号特征方法, 不仅使用AR模型从原始脑电差分信号提取系数, 并从小波分量及一阶差分小波分量中提取系数. 小波分量反映了脑电信号在不同频段下的时频信息, AR模型能用较少的系数反映序列丰富的谱信息, 两者之间的结合能够结合两种方法的优势. PCA在数据分析中通常作用是压缩数据维数, 而李昕等^[7]使用PCA对脑电信号的多特征起到融合作用, 本文则使用PCA过滤AR系数中拟合误差数据. 在模式识别方面中泛化性能比较好的分类器使用较多^[11–15], 如SVM^[6,7], 本文使用与SVM一样拥有较强泛化能力的梯度提升分类树以实现情感识别.

1 方法

本文算法基于小波变换、自回归模型这两种脑电信号分析方法提取出每种情感的脑电特征. 小波变换是一种经典时频域脑电信号分析方法, 自回归模型能够近似拟合真实的脑电信号, 可用较少的参数反映更多的谱信息^[16]. 本文算法从这二个不同特征提取角度出发, 先是利用小波变换获取脑电信号的时频信息, 后在原始脑电信号与小波分量中使用自回归模型, 以用较少的AR系数反映信号的谱信息以及时频信息, 最终使用PCA对系数进行过滤. 具体算法流程如图1所示.

1.1 离散小波变换

小波变换在众多脑电信号分析方法中是一种经典的时频分析方法. 其定义为:

$WT(\alpha , \tau ) = \dfrac{1}{\alpha }\int_{ - \infty }^\infty {f(t)} *\Psi \left(\dfrac{{t - \tau }}{\alpha }\right)dt$

(1)

本文使用基于db4小波函数的四阶离散小波变换. 信号经离散四阶小波变换后可得:

$\begin{split} S(t)&=cA_i+\sum\nolimits_{j=1}^{i}cD_j\\ &=cA_4+cD_4+cD_3+cD_2+cD_1 \end{split}$

式中, $S(t)$是脑电信号, $i$为离散小波变换的分解层数, $c{A_i}$、$c{D_j}, j = 1, 2, \cdots, i$别为低频小波分量和不同尺度下的小波分量.

1.2 AR模型的系数估计

${\rm{AR}}\left( {p, 0} \right)$模型可表示为:

$ {X_t} = {\alpha _1}{X_{t - 1}} + {\alpha _2}{X_{t - 2}} + \cdots { { + }}{\alpha _{\rm{p}}}{X_{t - {\rm{p}}}}{{ + }}{\delta _t} $

其中${X_t}$是$t$时刻去中心化样本值, ${\alpha _i}$是AR模型的系数, ${\delta _t}$是白噪声序列, $p$为AR模型的阶数. 本文对于AR模型的系数估计使用Yule-Walker方法, 其方法详细过程如下:

首先设${\alpha _i}$满足Yule-Walker方程.

$\left\{ \begin{gathered} {\alpha _1} + {\alpha _2}y(1) + \cdots {{ + }}{\alpha _p}y(p - 1) = y(1) \hfill \\ {\alpha _1}y(1) + {\alpha _2}{{ + }} \cdots {{ + }}{\alpha _p}y(p - 2) = y(2) \hfill \\ \cdots \hfill \\ {\alpha _1}y(p - 1) + {\alpha _2}y(p - 2)+ \cdots +{\alpha _p} = y(p) \hfill \\ \end{gathered} \right.$

(2)

在工程实际应用中, 用样本自相关函数$r(k)$代替总体值$y(k)$得到${\alpha _i}$满足n元方程组

$\left\{ \begin{gathered} {\alpha _1} + {\alpha _2}r(1) + \cdots {{ + }}{\alpha _p}r(p - 1) = r(1) \hfill \\ {\alpha _1}r(1) + {\alpha _2}{{ + }} \cdots {{ + }}{\alpha _p}r(p - 2) = r(2) \hfill \\ \cdots\hfill \\ {\alpha _1}r(p - 1) + {\alpha _2}r(p - 2)+ \cdots +{\alpha _p} = r(p) \hfill \\ \end{gathered} \right.$

(3)

式(3)中,

$ r(k) = \frac{1}{{{s^2}(p - k)}}\sum\nolimits_{t = 1}^{p - k} {{X_t}} {X_{t + k}}, k = 1, 2, \cdots, p $

其中, ${s^2}$为样本方差^[8].

使用Yule-Walker估计AR系数, 步骤如下:

(1)设每个通道的原始脑电信号为$y(t)$, 进行一阶差分并归一化得到${{Y}}(t)$.

(2) ${{Y}}(t)$进行小波变换, 得到cA₄、cD₄、cD₃、cD₂、$c{D_1}$分量.

(3) cD₄、cD₃、$c{D_2}$进行一阶差分, 得到cD_4d、cD_3d、$c{D_{2d}}$.

(4)对$y(t)$、cA₄、cD_4d、cD_3d、$c{D_{2d}}$分别用30, 30, 20, 25, 30阶AR模型获得总计135维AR系数, 则每个人14个脑电信号通道总计提取1890维的特征数据.

1.3 特征过滤

使用PCA对AR系数特征进行特征变换.

(1) 假设n×m的原始特征矩阵为M, 对矩阵M去中心化处理, 得到矩阵${M^*} = M - \overline M $.

(2)求${M^*}$的协方差矩阵$C$, $C = {M^*}*{({M^*})^{\rm{T}}}$.

(3)求解协方差矩阵$C$, 从而得到矩阵$C$的特征根和特征向量.

$ C = UA{U^{\rm{T}}} $

(5)

(5)式中, 协方差矩阵$C$的特征向量是$U = ({u_1}, {u_2},$$ \cdots , {u_p}) $, 特征根矩阵$A = diag({\lambda _1}, {\lambda _2}, \cdots, {\lambda _p})$对角矩阵, 主成分方差的大小与对应的特征根成正比.

(4)求解投影矩阵$W$, 特征根的值反映对应主成分所包含的信息量, 其主成分的贡献率CR定义为

$CR(j) = \dfrac{{{\lambda _j}}}{{\displaystyle\sum\nolimits_{i = 1}^p {{\lambda _i}} }}, j = 1, 2, \cdots, p$

(6)

则前$k$个主成分累积贡献率定义为:

$C{R_{\rm{total}}} = \dfrac{{\displaystyle\sum\nolimits_{j = 1}^k {{\lambda _j}} }}{{\displaystyle\sum\nolimits_{i = 1}^p {{\lambda _i}} }}$

(7)

根据累积贡献率的大小来确定主成分的投影矩阵$W$, 一般而言, 保留累计贡献率大于85%的前k个主成分, 因为特征根向量$A$是按照特征根的大小顺序排列, 所以投影矩阵$W = ({u_1}, {u_2}, \cdots , {u_m})$是矩阵${{U}}$的前$k$个特征向量.

(6) 依据矩阵M与投影矩阵$W$计算出原特征量在新特征空间中的低维特征量

$F = M*W.$

利用PCA方法对1890维AR系数特征进行特征变换, 保留累积贡献率在85%以上的主成分, 所得主成分的累积贡献率和特征根如图2所示(以前15个特征量为例).

图2中的上图对应主成分的累积贡献率, 可以看出, 第一主成分的累积贡献率是93.40%, 但第三主成分的累积贡献率已为98.61%. 下图是对应主成分的特征根, 可看出前三个主成分的特征根之间相差较大, 相对之前的主成分而言, 后面主成分的特征根很小并且之间的相差很小. 一般而言, 在保留累积贡献率在85%以上的主成分的基础上, 结合PCA特征变换后的新特征量选取依据是选择特征根之间相差较大的主成分^[7]. 本文在不同情感分类时, 皆保留前三个主成分, 即经变换后特征数据总计三维.

为探究PCA在本文算法中起到的作用, 以有无使用PCA的识别平均结果作为推断依据, 结果如表1所示. 由表1可知, 未使用PCA的识别结果仅有50.89%, 而使用后准确率有明显提高. 因为AR模型是对脑电信号序列进行拟合, 由于模型拟合具有一定的误差, 14个通道的信号拟合误差的叠加将会导致AR系数特征数据中含有较多的冗余及错误信息, 将会导致分类精度的下降. PCA通常作用是能够压缩数据维数, 而在本算法中PCA起到过滤AR系数特征中的冗余及错误信息的作用.

2 结果与分析 2.1 数据说明

采用由Koelstra等^[17]提出的分析人类情感状态的多模态数据库DEAP. 该数据库记录了32位健康受测试者观看40个时长为1分钟的不同音乐视频(MV)时的脑电信号和外周生理信号. 受试者的平均年龄为26.9岁, 男女各半. 每位观看MV的受测试者所采集到的脑电信号数据格式为40×40×8064, 采样频率为128 Hz, 其中第一个40代表MV编号, 第二个40代表采集脑电信号的常用通道, 8064是指每通道脑电信号所含数据点数量. 按照国际标准10-20系统, 分别提取前额区(FP1、FP2)、额区(F3、F4、F7、F8)、中央(C3、C4)、颞区(T7、T8)、顶区(P3、P4)和枕区(O1、O2)的通道数据. 本文从数据库中选取8种常见的情感: 高兴、激动、欢乐、喜爱、憎恨、抑郁、难过、恐惧^[5], 所选取的脑电信号数据截取时间长度为24 s, 即3072个数据点, 则每种情感有32个数据段, 即32个样本.

2.2 数据选取位置的影响

为了防止因为数据选取位置不同而造成的偶然结果. 本文随机选取8段不同位置的数据, 评估任务为八种情感两两分类, 得到平均分类精度以及平均标准差, 其结果如表2所示. 结果反映了不同位置的数据的识别结果具有差异, 原因是不同位置数据段所含有情感的信息量不同. 在8次识别结果中, 最低平均准确率为91.93%, 最高96.13%, 总体平均准确率为94.44%, 其结果表明在数据选取方面上本算法泛化能力良好. 下文以对于识别的详细结果以及分析使用7号数据段作为讨论对象以及本实验仿真使用的平台是Anconda3-5.0.1.

2.3 详细结果

以八种情绪两两之间的分类任务, 用10折交叉验证法的平均准确率作为算法评估, 如表3所示; 取10折交叉验证所得的平均标准差作为模型的泛化能力评估, 如表4所示. 从表3中可知, 最低分类精度为82.50%, 最高分类精度为98.75%, 平均分类精度为95.76%. 从表4中可以看出, 最高标准差为11.90%, 最低标准差为3.75%. 平均标准差为6.82%. 结合表3与表4数据, 发现较多情感分类任务不仅识别结果较好, 且标准差低, 反映模型在分类任务的泛化能力良好. 因为与文献[7]的使用相同的情感数据库DEAP, 且情感选取类别及分类任务相同, 因此本文选取文献[7]进行算法横向对比. 文献[7]使用了基于PCA方法融合近似熵、小波变换特征和Hurst指数三种特征算法. 结果如表5所示. 文献[7]结果中最低分类精度为77.45%, 最高分类精度为91.47%. 平均分类精度为85%左右. 对比表3和表5数据, 本文的算法的总体分类精度高于文献[7]算法, 识别结果提高10.76%.

3 结束语

本文算法虽使用了PCA、离散小波变换与AR模型这些经典脑电信号分析方法提取情感脑电信号特征, 但本文利用AR模型将小波分量和脑电信号的变化情况作为特征提取重点, 而不仅仅从原始脑电信号提取系数; PCA在本文方法中作用亦不是压缩数据维数, 而是与AR模型搭配, 从而过滤特征中的冗余及信息. 脑电信号与小波分量的差分序列反应不同尺度下的情绪剧烈程度, 而AR模型因为其拟合误差的原因, 如果能够将系数中的错误信息过滤, 则系数能够有效的从脑电信号与小波分量的差分序列中提取特征. 结果表明PCA能够过滤系数中的拟合误差信息, 使得AR模型能够作为有效提取情感脑电信号特征的一种方法.