用于脑电数据增强和情绪识别的自注意力GAN

陈景霞，唐喆喆，林文涛，胡凯蕾，谢 佳

陕西科技大学 电子信息与人工智能学院，西安 710021

情绪在人们的思考、行为和交流方式中起着重要作用。随着人工智能技术的发展，人们的关注热点转向开发能够自动识别人类情感的设备和系统[1]。将人机交互系统中的情绪评估与情绪识别相结合，可以让人机交互更加智能化、人性化。因此，情绪识别在安全驾驶、医疗保健（特别是心理健康检测）、社会保障等领域具有广泛的应用前景[2]。

目前，用于情绪识别的数据主要分为两大类，一类是非生理信号，如面部表情、语音音调等；
另一类是生理信号，如心电、皮肤电、眼电、脑电等。其中，脑电信号（electroencephalogram，EEG）由于其采集时无法伪装且较易获得真实客观的结果的特点，成为了情绪识别中较受重视的一种生理信号。近年来，基于EEG的情绪识别引起了学术界和工业界的广泛关注[3-4]。研究人员在特征提取和模型构建方面取得了较大的进展。然而，对于使用机器学习或深度学习来构建基于EEG的情绪识别模型，可用的高质量训练数据仍显不足，其主要原因包括：（1）建立一个能够有效采集EEG信号的实验环境的开销比较大；
（2）基于EEG的情绪识别实验耗时长且步骤繁琐，信号采集效率低；
（3）采集的原始EEG数据的信噪比太低；
（4）基于EEG的公共情绪识别数据集数量有限，如DEAP[5]、SEED[6-7]、DREAMER[8]、MAHNOBHCI[9]等。因此，高质量EEG数据的缺乏限制了机器学习和深度学习方法在EEG情绪识别中的进一步发展和应用。

解决数据稀缺性问题的一种策略是根据原始数据生成人工数据，利用生成的人工数据扩充原始数据集，这通常被称为数据增强[10]。在计算机视觉领域中，通过几何变换（平移、旋转、缩放、水平剪切）[11]来生成人工图像是很常见的。类似的技术也被应用在基于脑电信号的任务中。Lotte[12]通过对原始实验的相关组合和畸变产生人工脑电数据，该方法提高了训练集较小时的识别准确率。Wang等人[13]通过在脑电特征中加入高斯噪声生成人工数据，提高了基于EEG的情绪识别模型的性能。

由于脑电信号为时间序列信号，应用几何变换会破坏事件相关的特征。Goodfellow等人[14]提出的生成对抗网络（generative adversarial networks，GANs）并没有通过几何变换生成数据，而是通过采用对抗式训练生成类似现实的数据。Hartmann等人[15]提出了脑电信号生成对抗网络（electroencephalogram-generative adversarial networks，EEG-GAN）生成脑电信号，在神经科学中开辟了一系列新的生成应用场景，如脑机接口任务中的数据增强、EEG超采样或损坏数据段的恢复等。Zhang和Liu[16]提出了一种基于条件的深度卷积生成对抗网络（conditional deep convolutional generative adversarial networks，cDCGAN），在运动想象的BCI竞赛数据集上进行了验证，实验结果表明，原始EEG数据、人工EEG数据和混合EEG数据的分类准确率基本一致，分别为82.86%、82.86%和82.14%。Luo等人[17]提出了一个条件Wasserstein生成对抗网络（conditional Wasserstein generative adversarial networks，CWGAN），采用带有梯度惩罚的CWGAN生成EEG的微分熵（DE）特征并对EEG训练数据进行增强，在DEAP数据集上进行了唤醒度和效价情感二分类实验，在SEED数据集上进行了情感三分类实验，其分类精度较原始DE特征分别提高了2.97、9.15和20.13个百分点。Bhat和Hortal[18]提出了一种基于梯度惩罚的Wasserstein生成对抗网络（Wasserstein generative adversarial networks with gradient punishment，WGAN-GP）的EEG数据增强方法，在DEAP数据集上提取时域的9个特征，情绪二分类任务的准确率在效价、唤醒度、支配度和喜欢这四个维度上分别提高了5、3.75、6.25、17.5个百分点。

虽然现有的基于GAN增强原始数据集的方法已取得了较大的进展，但仍存在两个问题有待解决：一是由于原始EEG信号的信噪比较低，直接生成原始EEG数据可能会引入噪声和伪迹，导致生成数据质量较差；
二是如何使用深度学习网络从EEG时序信号中提取前后相关的特征信息，从而提高生成数据的质量。基于上述两个问题，本文将EEG数据的标签作为辅助信息输入到搭建的带有自注意力机制的Wasserstein生成对抗网络中，从而生成更高质量的DE特征和PSD特征，最后在SVM分类器上进行情绪分类。本文主要研究了引入自注意力机制的条件Wasserstein生成对抗网络（SAcWGAN）在生成并增强EEG数据集（合成数据）方面的可用性，以及提高情绪识别分类性能的有效性。

1.1 cWGAN

GANs是新兴的深度学习网络结构，最常用于生成类似真实的数据。一个标准的GAN由两个相互竞争的组件组成，它们都被参数化为深度神经网络。给定真实数据分布Pr和生成数据分布Pg，生成器G在给定噪声变量输入的情况下生成类似真实的数据分布Pg，而判别器D要尝试识别一个样本是来自Pr还是Pg。对抗性训练过程可以表述为一个极大极小问题：

其中，θG和θD分别表示生成器和判别器的参数，Pg是由xg=G(xz)隐式定义的，这里的xz是噪声样本，采集自均匀分布或高斯分布。

原始的GANs使用的优化方法是KL散度（Kullback-Leibler divergence）和JS散度（Jensen-Shannon diver-gence）。这两个方法都是对两个数据分布之间的差异进行描述，其中JS散度对KL散度不对称的这一缺陷进行了改进，但是这两种度量方式在计算时还是会出现梯度不连续并且会消失的问题，这也是GAN网络不稳定的主要原因。

针对GAN网络中存在的梯度消失问题，Arjovsky等人[19]提出了Wasserstein生成对抗网络（Wasserstein generative adversarial network，WGAN）。WGAN网络摒弃了KL散度和JS散度，引入了推土机距离（earthmover distance，EMD），也被称为Wasserstein距离，其计算公式可以表示为：

其中，Π(Pr,Pg)表示真实数据分布Pr和生成数据分布Pg之间所有可能的联合分布，γ是其中任意一个可能的联合分布。

EMD几乎在所有地方都是连续且可微分的，因此可以为优化生成器提供有意义的梯度，这样可以保证GANs的收敛性。在现实中，其实很难实现上述等式的输入值，从而有了另一种方法，即应用EMD的KR对偶性（Kantorovich-Rubinstein duality），将公式（2）转化为：

其中，f是1-Lipschitz函数的集合，K是一个常数。在实现过程中，判别器D的输出替换了f，‖f‖L≤K被‖D‖L≤1替换。

接下来的问题就是解决公式（3）中函数f的最大化问题。Arjovsky等人[19]提出了一种权重剪裁的方法，即在优化判别器时每一步梯度下降后，将判别器的参数的绝对值剪裁到某个固定常数所构成的范围。但是权重剪裁的方法比较暴力，为了使训练过程更加稳定，收敛速度更快，Gulrajani等人[20]采用梯度惩罚的Lipschitz约束，而不是权重剪裁，直接约束梯度范数，他们所提出的方法是在网络的损失函数上增加了一个惩罚项：

其中，λ是控制原始数据和梯度惩罚之间权衡的超参数，是从真实数据分布Pr和生成数据分布Pg之间的直线上采样的数据点，其计算公式如下：

其中，α来自U[0,1]，xr来自Pr，xg来自Pg。

受Mirza等人[21]提出的条件生成对抗网络（conditional generative adversarial nets，cGANs）的启发，可以将类别标签作为额外信息也输入到生成器和判别器中。为了生成具有多个类别的数据，将辅助标签Lr输入判别器和生成器。在生成器中，将噪声Z和Lr连接起来；
在判别器中，将真实数据Pr和生成数据Pg与Lr连接起来，构造一个隐藏表示，它可以控制生成数据的类别。

本文首先构建cWGAN，其工作原理如图1所示，基于梯度惩罚的cWGAN其生成器损失（Gloss）和判别器损失（Dloss）的计算公式可以表示为：

图1 cWGAN的工作原理Fig.1 Working principle of cWGAN

1.2 SA-cWGAN

在本文构建的cWGAN网络中，生成器和判别器中均有卷积层，而卷积层受到卷积核大小的限制，生成器只能采集到EEG数据局部区域的相关性。EEG数据是时间序列信号，前后的时间点信息是有关联性的，Zhang和Goodfellow等人[22]在2019年提出的SAGAN中使用到的自注意力机制可以在数据生成过程中利用自注意力的远程依赖关系建立模型，从而提高生成数据的质量。在基于EEG的情绪识别中，自注意力机制可以利用来自所有时间点的信息生成更细致的与情绪相关的信息。同时，判别器可以用来检查EEG时间序列中前后相差较远的时间点的细节特征是否相关。自注意力机制既可以给更重要的信息分配更大的权重，也可以获取EEG时间序列的全局特征。

本文采用的自注意力机制的工作原理如图2所示。图中最后的输出，即自注意力特征映射是将卷积特征映射和其自身转置的乘积再与卷积特征映射相乘，这样计算的效果可以增强EEG时间序列中时间点相差较远特征间的关联，从而可以学习任意两个时间点之间的依赖关系，进而获得EEG全局特征。

图2 自注意力机制的工作原理Fig.2 Working principle of self-attention mechanism

具体的计算方法如下：记Wf∈ℝCˉ×C，Wg∈ℝCˉ×C，Wh∈ℝCˉ×C和Wv∈ℝC×Cˉ是学习的权重矩阵，都是通过1×1卷积实现，在实验中使用/8。将一个隐藏层x∈ℝC/N的EEG信号特征转换为两个特征空间f、g来计算注意力，其中C是通道数，N是来自前一个隐藏层的特征位置数，f(x)=Wf x，g(x)=Wg x。

用βj,i表示在合成第j个区域时模型对第i个位置的影响程度，有：

其中，sij=f(xi)Tg(xj)。

注意层的输出为o=(o1,o2,…,oj,…,oN)∈ℝC×N，其中：

此外，进一步将注意层的输出与一个比例参数相乘，并将其添加回输入特征图。因此，最终的输出表示为：

其中，γ被初始化为0，目的是让网络首先关注邻域信息，然后逐渐学会为其他远距离特征分配权重。

本文搭建的SA-cWGAN的总体结构如图1所示，其生成器与判别器的结构如图3所示。其中，判别器是由卷积层（Conv）、批量归一化层（BN）、LeakyReLU激活层、自注意力层（self-attention）、平铺层（Flatten）和全连接层（Dense）构成，生成器是由全连接层（Dense）、批量归一化层（BN）、ReLU激活层、反卷积层（DeConv）、自注意力层（self-attention）和卷积层（Conv）构成，最后一层是由激活函数为ReLU的卷积输出生成的EEG数据。SA-cWGAN使用Wasserstein距离作为判别器的损失函数来稳定整个训练过程，并使用TTUR（two timescale update rule）技术来优化整个网络的训练，即生成器和判别器的使用单独的学习率进行训练。

图3 SA-cWGAN中生成器与判别器的网络结构Fig.3 Network structure of generator and discriminator in SA-cWGAN

2.1 EEG数据集

本文在公开的EEG情绪识别数据集DEAP和SEED上进行实验，以验证并评估所提方法的性能。

DEAP数据集是由英国伦敦玛丽皇后大学的Koelstra等人[5]创建的，它包含32名参与者在观看40个1 min时长的音乐视频片段时的脑电信号和其他外围生理信号，观看视频之后，每个被试对观看的每个视频根据唤醒度、效价、喜好、支配度和熟悉度在连续的9分制上进行在线自我评价，评价值越大表示各项指标越强。该数据集包括48个通道，其中32个EEG通道、12个外围通道（包括皮肤电反应和温度）、3个未使用的通道和1个状态通道。根据国际1 020系统对来自EEG的信号进行采样。

SEED数据集是由上海交通大学的吕宝粮等人[6-7]创建的，它包含15名参与者观看15个情绪电影片段，以引出三种情绪：积极、中性和消极。实验共开展了三次，总共有45个实验。该数据集包括62个EEG通道，使用ESI神经扫描系统以1 000 Hz的采样率记录EEG信号。

2.2 EEG数据预处理及特征提取

2.2.1 预处理

（1）DEAP数据集

本文取DEAP数据集的32个通道的EEG信号，为了消除数据采集过程中所产生的噪声和伪迹，使用4~45 Hz的带通滤波器对数据进行过滤，再采用盲源分离技术将眼电干扰去除，并将采样频率降到128 Hz，最终得到总时长为63 s的EEG信号，包括观看前静息态的3 s和观看视频时的60 s。将观看视频之前静息态的3 s EEG信号作为基线，以剔除与视频刺激无关的信号，从60 s实验信号中去除基线，得到刺激相关的序列变化。之后再对每个视频诱发的60 s EEG序列进行特征提取。

原始的数据集数据（data）格式表示为32（subs）×40（trials）×40（channels）×8 064（samples），其中8 064表示128（samples）×63（s），标签表示为40（trials）×4。经过上述预处理之后，数据表示为32（subs）×40（trials）×32（channels）×7 680（samples）。标签（labels）选取效价和唤醒度两个维度，即40（trials）×2，然后，将评分大于5的值设为1，表示高效价/唤醒度；
小于等于5的值设为0，表示低效价/唤醒度；
这两类标签表示为{0，1}。

本文作者之前的实验[23]发现，使用大于或小于1秒的窗长进行分段都会降低分类的性能，这也许与人类大脑情感活动的周期长度有关。因此，本文进行样本划分时采用1 s时长对EEG序列进行不重叠分段，每个实验得到60个片段，每个片段包含128个采样点，每个采样点包含32个通道，这样每个被试的EEG数据可表示为40×128×60×32，维度变换后得到2 400×128×32的EEG数据，每个被试共有2 400个EEG片段，每个片段大小为128×32。对标签进行同样的处理，维度变换后可表示为2 400×1。

（2）SEED数据集

SEED数据集中已有提取到的DE和PSD特征，将每个被试的实验数据连接到一起后的DE和PSD特征大小均为62（channels）×5×3 394（samples），其中5为δ、θ、α、β和γ五个频带；
三分类标签表示为{−1，0，1}。

2.2.2 特征提取及处理

Zheng等人的研究[6]表明，EEG信号的DE特征对于EEG情绪识别性能较好。因此，本文选用微分熵（differential entropy，DE）特征进行后续的实验。DE特征的计算公式可以表示为：

其中，时间序列X服从高斯分布N(μ,σ2)Shi等人[24]证明了DE的值等于一定频带内固定长度EEG序列的对数频谱能量，根据他们的方法，本文从预处理的EEG信号中提取了DE特征。

同时，本文也提取了DEAP数据集上的PSD特征，PSD是基于EEG的情绪识别的传统特征，用来验证所提方法的有效性。

神经科学和心理学的研究表明，EEG信号在δ（1~4 Hz）、θ（4~8 Hz）、α（8~13 Hz）、β（13~30 Hz）和γ（30 Hz以上）5个频段上包含大量与情绪等心理活动密切相关的节律信息[25]。由于DEAP数据集在预处理时已将δ频带过滤，故从θ、α、β和γ这四个频带提取DE特征和PSD特征。

对DEAP和SEED数据集中的DE特征和PSD特征分别进行最小最大归一化处理，然后输入到本文构建的生成对抗网络模型中进行DE和PSD数据生成。最小最大值归一化（min-max normalization）的计算方式如式（11）所示。

对于每一维特征xi，i=1,2,…,p，第k个样本的特征值xik，k=1,2,…,n，归一化后表示为：

使结果值映射到[0,1]之间。其中min(xi)和max(xi)分别是特征xi在所有样本上的最小值和最大值。

经过处理后，DEAP数据集中每个被试的EEG数据维度转化为32（channels）×4，其带有标签的样本数量为2 400个；
SEED数据集中每个被试的EEG数据维度转化为62（channels）×5，其带有标签的样本数量为3 394个。本文在DEAP数据集的效价和唤醒度两个维度上进行了二分类实验，在SEED数据集上进行了三分类实验。

基于上述DEAP和SEED数据集中所有被试的EEG数据的DE和PSD特征，本文进行了大量情感分类实验，来验证所提方法的可行性与有效性，并使用SVM对原始数据和增强数据进行情绪分类。实验基于Tensorflow 1.8框架和GeForce GTX 3090 GPU进行。

本文选择三种目前使用较多的生成对抗网络作为基准方法展开对比实验，3种对比方法的基本原理和配置如下：

（1）cGAN：生成器和判别器网络均由多层感知机构成，EEG情绪标签作为两个网络的辅助信息输入，对抗性训练过程与原始GAN网络一致，使用BCEloss作为判别器的损失函数，使用Adam优化器优化生成器和判别器网络。

（2）cDCGAN：判别器由两层卷积网络构成，生成器由两层反卷积网络构成，EEG情绪标签作为两个网络的辅助信息输入，损失函数和优化函数与上面的cGAN相同。

（3）cWGAN：生成器和判别器网络与cDCGAN网络的构成相同，使用Wasserstein距离来计算损失函数并加上一个梯度惩罚项，使用Adam优化器来优化两个网络。

3.1 SA-cWGAN网络构建与训练

3.1.1 网络结构与超参数选择

为了获取模型的最优参数配置，本文设置了如下模型参数的搜索空间：模型生成器和判别器的卷积和反卷积层数分别可选2、3和4，每一个卷积层和反卷积层的卷积核个数可选16、32、64和128，生成器和判别器的优化器学习率选择区间为[0.000 01，0.000 1，0.001，0.01]，梯度惩罚项的超参数λ的值分别可选1、5和10，训练机制的超参数critic的值分别可选5、10和20，迭代次数分别可选500、1 000、1 500和2 000。为了得到最优的loss曲线和质量最高的生成数据，对这些参数设置排列组合并进行一次次调优实验，最终得到如表1所示的最优参数配置。

表1 SA-cWGAN网络的参数设置Table 1 Parameter setting of SA-cWGAN network

其中，G表示生成器，D表示判别器，卷积层和反卷积层的参数n、k和s分别表示卷积核个数、卷积核大小和步长，“/”前后的数据分别为DEAP和SEED数据集训练时的模型参数，其余参数保持一致。

3.1.2 SA-cWGAN模型的训练过程分析

生成对抗网络一般使用判别器损失作为评价网络学习功能好坏的指标。本文所构建的SA-cWGAN模型在DEAP数据集效价维度下判别器损失（Dloss）的学习曲线如图4所示。DEAP数据集唤醒度和效价维度下和SEED数据集中被试进行模型训练的曲线都是相似的。

图4 SA-cWGAN模型判别器损失的学习曲线Fig.4 Learning curve of discriminator loss of SA-cWGAN model

图4是DEAP数据集在效价维度下SA-cWGAN模型判别器损失（Dloss）的学习曲线，如图所示，随着迭代系数的增加，判别器损失值刚开始会出现急速下降的情况，但它很快就会上升到−1以上，经过400次迭代后，Dloss已经上升到−0.2，这表明该网络具有良好的收敛性能，当迭代次数达到600以后，Dloss虽然会轻微振荡，但也是稳定在−0.15~0这个范围之间，并且不断趋近于0。同时，Wasserstein距离用来描述真实数据分布和生成数据分布之间的差异性，Dloss收敛到一个较小的值意味着两个数据分布越来越相似。此外，也可以观察到Dloss的收敛速度很快并且训练过程很稳定，这应该得益于梯度惩罚（GP）在梯度计算过程中起到的作用。

3.2 逐步添加生成数据的分类结果

本文分别在DEAP数据集的唤醒度（arousal）和效价（valence）两个维度以及SEED数据集上进行了数据增强与情感分类实验，并使用SVM作为分类器。DEAP数据集中每个被试有2 400个样本，实验分别生成了0、50、200、500、1 000、2 000、2 400和4 000个人工DE和PSD特征样本；
SEED数据集中每个被试有3 394个样本，实验分别生成了0、50、200、500、1 000、2 000、3 394和5 000个人工DE和PSD特征样本。将它们分别添加到原始训练数据集中对其进行增强。

通过观察表2和表3可知，无论在DEAP数据集的arousal和valence两个维度还是SEED数据集上，随着所提模型生成的人工样本逐步添加到原始数据集，平均分类准确率都有一定的增长。在给每个被试的原始训练集中添加2 400/3 394个人工样本（1×dataset）时，DE和PSD特征上的平均分类准确率均达到了峰值，在DEAP数据的arousal和valence维度上和SEED数据集上，增强的DE训练数据集平均分类准确率分别为75.26%、80.06%和88.26%，较原始DE训练数据集的平均分类准确率分别提高了16.63、17.55和4.64个百分点，这表明了由SA-cWGAN生成的人工样本可以有效地增强训练数据集并提升情绪识别的性能。由表2、表3可知，所提模型生成的PSD特征也能有效地增强分类准确率。但人工样本数继续增加时，两个数据集上分类准确率均趋于稳定并且有所降低，这表明随着人工样本的增加，与情绪识别不相关的特征也在增加，分类准确率也因此受到限制。

表2 DEAP数据集上的平均分类准确率Table 2 Mean classification accuracies in DEAP dataset单位：%

表3 SEED数据集上的平均分类准确率Table 3 Mean classification accuracies in SEED dataset单位：%

图5中展示的是在DEAP数据集的arousal和valence两个维度上原始数据集和添加2 400个人工样本以后的数据集上每个被试的分类准确率对比情况，可以看出，用所提模型生成的人工样本对原有数据集进行增强后均在不同程度上提高了每个被试的分类准确率。从而验证了所提模型及方法对于提高EEG情绪分类任务准确率的有效性。

图5 每个被试分类准确率对比示意图Fig.5 Comparison diagram of classification accuracy of each subject

3.3 与现有模型对比

3.3.1 与基准模型对比

为了验证所提模型的可行性与有效性，本文还搭建了cGAN、cDCGAN和cWGAN三种基准模型进行了对比实验。这三个模型的基本原理和配置如本节开头所述。表4中的结果都是DEAP数据集中给每个被试添加2 400个生成的人工样本（1×dataset）后使用SVM分类器进行二分类的平均分类准确率；
表5中的结果都是SEED数据集中给每个被试添加3 394个生成的人工样本（1×dataset）后使用SVM分类器进行三分类的平均分类准确率。

如表4和表5所示，这三个模型所生成的人工样本添加到原始训练数据集后都不同程度地提高了分类准确率。但是，cGAN和cDCGAN由于训练过程不稳定，训练过程中容易出现模型坍塌，最后的准确率提高得不是很明显；
cDCGAN因为生成器和判别器都使用的是卷积网络，所以可以获取到更多与情绪相关的信息；
cWGAN是在cDCGAN的基础上改进了损失计算函数和梯度计算方式，即使用Wasserstein距离来缩小生成数据和真实数据之间的分布差异，并使用梯度惩罚来计算梯度，从而使得分类准确率提高得更加明显。本文所提模型是在搭建的cWGAN模型上引入了自注意力机制并且对生成器和判别器使用不同的学习率，通过观察表4和表5可知，所提模型达到了最优效果，增强的DE训练数据集较cWGAN在DEAP数据集的arousal和valence维度和SEED数据集上分别提高了3.2、4.37和1.7个百分点，这表明自注意力机制可以更好地提取时间序列中前后时间点的深层情感相关信息。同时，也证明了所提模型提高情绪分类任务的可行性和有效性。

表4 DEAP数据集不同模型的平均分类准确率Table 4 Mean classification accuracies of different model in DEAP dataset 单位：%

表5 SEED数据集不同模型的平均分类准确率Table 5 Mean classification accuracies of different model in SEED dataset 单位：%

3.3.2 与现有最优模型对比

为了进一步验证自注意力机制对提升cWGAN生成人工样本质量的有效性，将所提模型与Luo等人[17]所提出的CWGAN模型在不同程度增强的数据集上进行了对比实验。对比实验采用与其相同的策略来划分每个被试的训练集和测试集。DEAP数据集的总样本数有2 400个，有40个实验（trials），前24个实验（1 440个样本）设为训练集，其他的16个实验（960个样本）设为测试集；
SEED数据集的总样本数有3 394个，有15个实验（trials），前9个实验（2 010个样本）设为训练集，其他的6个实验（1 384个样本）设为测试集。在两个数据集上提取每秒频带上的DE和PSD特征，并使用相同参数配置的SVM作为分类器。对比实验结果如表6、7所示。

添加的人工样本数量n×dataset表示将原始数据集扩增n倍，通过观察表6和表7中数据发现，当扩增样本为1×dataset时，两个模型均达到峰值。由于Luo等人只对DE训练数据集进行了增强，所以对比实验只罗列了Luo等人所提模型对DE训练数据集进行增强的平均分类准确率。所提模型对DE和PSD训练数据集分别进行了增强，在DEAP数据集的valence维度上比Luo等人提出的模型高出6.17个百分点，在SEED数据集上比Luo等人提出的模型高出1.3个百分点，后面随着人工样本数的增加，平均分类准确率也趋于稳定。在本文的实验场景下，原始DE特征在DEAP数据集的valence维度的平均分类准确率比arousal维度的平均分类准确率要高，可能是数据处理阶段受实验环境和条件的影响，与Luo等人的实验结果有所不同。实验结果证明了所提模型的有效性，并且也表明自注意力机制能够获取EEG数据前后时间点的相关信息，进而有效提升了生成数据的质量和情感分类的性能。

表6 不同程度增强的DEAP数据集上的对比实验结果Table 6 Comparative experimental results on DEAP datasets with different scale of enhancement 单位：%

表7 不同程度增强的SEED数据集上的对比实验结果Table 7 Comparative experimental results on SEED datasets with different scale of enhancement 单位：%

本文提出了一个引入自注意力机制的条件Wasserstein生成对抗网络（SA-cWGAN）模型，模型在使用Wasserstein距离来稳定训练过程的同时，引入自注意力机制从而能够更好地提取EEG时间序列前后相关的特征信息，提升生成数据的质量，以解决基于深度学习的EEG情绪识别研究中高质量数据集缺乏、情感分类准确率和稳定性不高等问题。在DEAP和SEED数据集上进行了多组对比实验，使用了生成的DE和PSD特征来扩充原始数据集，使用SVM进行情绪二分类和三分类实验，所提模型对DE特征的增强效果更佳，在DEAP数据集的唤醒度和效价两个维度上的最好平均分类准确率达到了75.26%和80.06%，均优于所搭建的三个基准模型，并较现有的最优模型在效价情绪二分类的平均准确率提高了6.17个百分点，在SEED数据集上的平均分类准确率也提升了，较现有的最优模型提高了1.3个百分点，结果证明了所提模型的可行性与有效性。

与文本、语音、图像等数据不同的是，生成的EEG数据比较抽象，这些生成数据的可解释性和如何评估这些生成的人工数据的质量还需要做进一步研究。此外，后续也会对生成对抗网络进行更深入的研究，不断改进优化模型的结构从而生成更多高质量的EEG数据，为EEG情绪识别、脑-机接口任务中EEG数据增强、EEG超采样及损坏数据段的恢复提供更多有效的解决途径。

猜你喜欢集上卷积准确率基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析健康之家(2021年19期)2021-05-23不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨医学食疗与健康(2021年27期)2021-05-132015—2017 年宁夏各天气预报参考产品质量检验分析农业科技与信息(2021年2期)2021-03-27Cookie-Cutter集上的Gibbs测度数学年刊A辑(中文版)(2020年2期)2020-07-25链完备偏序集上广义向量均衡问题解映射的保序性数学物理学报(2019年6期)2020-01-13分形集上的Ostrowski型不等式和Ostrowski-Grüss型不等式井冈山大学学报(自然科学版)(2019年4期)2019-09-09从滤波器理解卷积电子制作(2019年11期)2019-07-04高速公路车牌识别标识站准确率验证法中国交通信息化(2018年5期)2018-08-21基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20

推荐访问:注意力 识别 情绪