基于双向LSTM,卷积网络与注意力机制的自动睡眠分期模型

李倩玉，王蓓，金晶，张涛，王行愚

（1.华东理工大学 信息科学与工程学院,上海 200237;2.清华大学 自动化系,北京 100086）

睡眠是人的一生中不可缺少的一种复杂生理过程。充足的睡眠能使大脑和身体得到充分的休息和恢复。由于如今不健康的生活方式的影响，睡眠障碍已成为现代社会的严重问题。长时间的睡眠障碍会使人精神不振、免疫力下降，还会诱发心脑血管疾病等[1]。因此，及早诊断睡眠障碍有助于发现异常变化并防止疾病进一步发展，对身心健康具有重要的意义。

睡眠分期是诊断睡眠障碍和检测睡眠质量的有效方式。在实际临床上，首先利用多导睡眠监测仪（polysomnography,PSG）获取脑电、眼电、肌电、脉搏、血氧饱和度、呼吸等信号，再由专业医师对照国际通用的睡眠分期标准[2-4]，对每个30 s时长的睡眠数据进行睡眠时期的人工划分。研究表明，睡眠深浅的变化是由神经中枢活动的变化引起的，因此综合上述信号在不同睡眠时期的特征，能够很好地反映睡眠模式[5-6]。然而，整晚的睡眠数据量较大，对专业医师的资质要求高，人工判读烦琐且耗时。随着大数据、人工智能等创新技术的发展，自动睡眠分期方法逐渐成为快捷的辅助方式，受到了广泛的研究与关注[7]。

近年来，自动睡眠分期方法主要涵盖了基于机器学习和深度学习的方法。基于机器学习的自动睡眠分期方法通常包含了特征提取和睡眠阶段分类两个步骤。通过时域分析法[8-9]、频域分析法[10-11]等来提取睡眠特征，捕获睡眠过程中的主要变化，然后采用如随机森林[12-13]、支持向量机[14-15]等分类器对睡眠阶段进行分类。基于深度学习的自动睡眠分期方法主要依靠深度神经网络端对端特性，自动提取复杂、有用的特征，从一定程度上避免了手工提取特征的主观性。然后，通过深化网络结构、堆叠不同功能网络层的方式，提高网络的特征表达能力。深度学习模型能够利用损失函数衡量网络输出与实际标签的偏差，并借助反向传播算法计算损失成本关于参数的梯度，以此来不断更新各层参数，从而得到最佳的分类输出。

相比于机器学习的处理模式，深度学习模型在自动特征提取和模型优化上均具有一定的优势。常见的卷积神经网络最先在自动睡眠分期上获得广泛的应用。例如：Tsinalis 等[16]使用未经预处理的原始脑电信号作为输入，在两个卷积层中分别利用大小不同的卷积核，提取信号不同尺度上的抽象特点，丰富了信号的特征表示；
Zhao 等[17]利用多层卷积及映射模块提取并融合了脑电图和心电图中的多尺度特征，对不同睡眠阶段相关信号的细微变化进行捕捉；
Sors 等[18]则利用当前待分类的数据段及其前后两个数据段作为输入，构建了一个14 层卷积神经网络。

此外，考虑到睡眠过程中所获取的脑电数据具有时间序列的特点，适用于时间序列分类的递归神经网络[19-20]（recursive neural network,RNN）、长短时记忆网络[21-23]（long short-term memory,LSTM）、双向长短时记忆网络[24-25]（bi-directional long short-term memory,BiLSTM）等相继被应用在了睡眠分期问题上。例如：Hsu 等[19]利用Elman递归神经网络同时提供信号流前馈连接和反馈连接通道，便于捕捉睡眠前后关联信息；
杨鑫等[20]提出了一种基于双向递归神经网络的单通道睡眠分期方法，融入了双向递归神经网络对前后时序信号的记忆能力，提高了睡眠分期判别的准确率；
Dong 等[23]利用整流神经网络检测分层特征，并利用长短时记忆网络进行序列信息学习，以优化分类性能；
罗森林等[24]将卷积神经网络与双向长短时记忆网络结合，综合利用这两种网络的优点，实现睡眠时期的自动判别。

虽然目前基于深度学习的自动睡眠分期方法已取得了不错的效果，但仍存在几个比较突出的问题：1）虽然深度学习可以通过不断加深网络结构来获得输入信号的更有效的特征表达，但一个层级过深的神经网络往往会存在梯度消失的问题；
2）在睡眠分期任务上效果较好的双向长短时记忆网络尚不能在一个长序列中突出重要的信息，进而削弱了网络对时序信息的学习能力；
3）由于不同睡眠时期样本之间存在明显的不平衡问题，不可避免地会影响到自动睡眠分期模型在少样本类别上的分类性能，从而降低了整体的分类效果。

综合考虑上述问题，在构建睡眠分期的深度学习模型中，本文提出了一种基于双向LSTM 卷积网络与注意力机制(CNN-BiLSTM-Attention)的自动睡眠分期模型。首先，利用卷积神经网络(convolution neural network,CNN)从原始脑电信号中提取时不变特征，并引入残差网络，避免网络结构过深带来的梯度消失问题；
其次，针对睡眠脑电数据的前后序列相关性，设计了带注意力机制(Attention)的双向长短时记忆网络(BiLSTM)，来加强对时序信息的学习，以提升睡眠分期方法的分类性能；
同时，采用过采样方法，对睡眠过渡阶段（少样本类别）进行数据增强处理，以减轻样本不平衡问题对模型带来的影响。

本文所设计并构建的基于双向LSTM 卷积网络与注意力机制的自动睡眠分期模型结构如图1所示。该CNN-BiLSTM-Attention 模型主要由4 个模块组成：数据输入模块、特征表示模块、序列信息学习模块以及分类判别模块。

图1 基于CNN-BiLSTM-Attention 的自动睡眠分期模型Fig.1 Automatic sleep staging model based on CNN-BiLSTM-Attention

1.1 数据增强处理

自动睡眠分期以临床采集的受试者整夜睡眠产生的生物电信号作为输入。在一个正常人的整晚睡眠中，不同睡眠时期的时长占比存在较大差异，导致了少样本睡眠阶段分类性能表现较差的问题。

为解决样本不平衡问题，在数据输入模块中，本文采用了边界人工合成少数类过采样算法（borderline synthetic minority oversampling technique,Borderline SMOTE）对原始脑电信号进行数据增强处理。该算法是常用过采样技术的改进算法[26]，它将少数类样本分为安全、危险和噪声3 类，并仅使用代表在少数类样本边界上的危险样本来合成新的数据，以达到样本平衡效果。利用该算法生成样本步骤：

1）对每个少数类样本pi，利用K近邻算法从整个数据集中计算其m个最近邻；

2）将周围m个最近邻样本有一半以上为少数类样本的定义为安全样本，周围m个最近邻样本有一半以上为多数类样本的定义为危险样本，周围m个最近邻样本均为多数类样本的定义为噪声样本；

3）对于每个危险样本di，从其k个最近邻中随机选择s个最近邻，在这s个最近邻样本和原危险样本之间随机合成n个新样本，计算公式为

1.2 CNN 特征表示

在深度学习中，常常在网络前端构建多个具有不同大小卷积核的卷积层提取输入信号的局部或全局特征，从而得到输入数据的有效描述。一般来说，卷积层越多，网络往往能获得更大的感受野，并提取出更好的特征。但实践证明，网络结构的加深会使梯度爆炸、梯度消失的风险增加。

为了提取更有效的特征避免梯度消失的风险，本文在网络架构中加入了残差网络。如图1特征表示模块所示，在特征表示层构建了一个16 层卷积神经网络。该卷积神经网络由浅层卷积模块与残差模块两部分组成。浅层卷积模块将增强后的数据作为输入，依次通过1×50 大卷积核层、1×8 最大池化层、3 个1×8 小卷积核层以及1×4 最大池化层，提取输入数据的低级特征，然后将得到的低级特征输入给残差模块。残差模块部分共包括5 个相同的残差块，本文设计的残差块结构如图2 所示。

图2 残差块结构Fig.2 Residual block structure

残差块与普通卷积神经网络的不同之处在于，它在一般卷积层外增加了跳跃结构。假定网络的输入为x，输入经卷积后运算结果为F(x)，残差块输出为H(x)。若x与F(x)维度匹配，则有

若x与F(x)维度不匹配，则在跳跃结构添加平均池化层与全零填充层，利用全零填充增加输入维度，使得跳跃结构的输出与F(x)维度适配。

1.3 序列信息学习

对于睡眠分期任务来说，作为输入的睡眠脑电信号是一段连续的具有强相关性的时间序列，需要网络具有一定的“记忆功能”，综合前后信息对当前睡眠时期作出判断。卷积神经网络的输入是一个独立的、没有上下文联系的单元，在处理输入是具有明显上下文关系的序列化信号时不占优势。

为了解决上述问题，本文在特征表示模块后，加入了BiLSTM 结构和注意力机制，以帮助网络进行序列信息学习。如图1 中的序列信息学习模块所示，将BiLSTM 层与注意力层级联，BiLSTM 层的输出是注意力层的输入。

BiLSTM 层：BiLSTM 是将两个方向不同的独立的LSTM 结构叠加在一起而组成的，一个为前向层，另一个为反向层。在每一个时刻t，输入xt同时提供给这两个层，在前向层从1 时刻到t时刻正向计算一遍，得到并保存每个时刻向前隐含层的输出hfw。在反向层沿着时刻t到时刻1 反向计算一遍，得到并保存每个时刻向后隐含层的输出hbw。最后，在每个时刻结合前向层和反向层输出结果得到最终的输出ht。

注意力层：BiLSTM 不能在一个长序列中突出重要的信息，削弱了网络对时序信息的学习能力。而注意力机制恰恰能弥补这一缺点。注意力机制可以通过引入新的可训练变量，依次加强各段数据之间的联系，突出注意力集中的数据段帮助网络捕获阶段信息。

对于t时刻BiLSTM 层的输出ht，初始化查询向量q，利用点积模型计算注意力层输入ht与查询向量q之间的相似度，通过相似度对比得出各输出数据段的重要程度，得到注意力得分fscore(ht,q)。然后利用归一化指数（Softmax）函数将注意力得分转换为[0,1] 之间的概率分布，得到权重系数αt，根据权重系数对输入ht进行加权求和，得到注意力层输出v。具体计算如下：

1.4 分类判别

最后，将利用注意力机制求得的特征表示v利用Softmax 函数分类，得到当前输入样本的睡眠时期预测分布P。Softmax 函数是深度学习中常用且有效的分类器，计算公式为

式中W和b分别为Softmax 层的权重和偏置。

2.1 实验数据集

本文使用了来自PhysioNet 数据库中的Sleep-EDF 数据集[27]。该数据集包含197 个整夜睡眠的生物电信号。数据集中的数据由睡眠专家按照R&K 规则划分为：清醒期（W）、非快速眼动睡眠I 期（S1）、II 期（S2）、III 期（S3）、IV 期（S4）、快速眼动期（REM）、身体运动时间阶段和无法判读的阶段。选取了年龄为25～33 岁的女性被试者身上采集的19 个整晚单通道（Pz-Oz）睡眠脑电数据，采样频率为100 Hz。对上述数据做了如下调整：1）去除原数据集中身体运动时间阶段和无法判读的阶段；
2）考虑到S3、S4 时期都属于深度睡眠时期，其数据特征也较相似，因此将S3 和S4 期合并为SS 期。调整后的数据用于模型的训练、验证与测试，得到5 个睡眠时期的判别结果（W、REM、S1、S2 和SS）。

将30 s 时长的脑电数据作为一个样本，从原始数据集中总计提取到18 816 个样本。根据已知的睡眠分期人工标签，统计了不同睡眠时期的样本数量占比，其中S2 占比44.80%，REM 时期占比18.25%，SS 时期占比15.77%，W 时期占比12.63%，S1 时期占比8.55%。相比于S2，属于睡眠过渡阶段的S1 的占比明显偏少，其余睡眠时期略有差异。采用1.1 节中的Borderline SMOTE，对少数类样本进行了数据增强处理，使得各睡眠时期之间的样本数量占比均衡。经过类平衡处理后的样本总量为42 145。

2.2 实验设置与评价指标

本文采用七折交叉验证来评估模型性能，使用RMSProp 优化器来调整权重，学习速率和衰减系数分别设置为0.000 1 和0.9。为了探究模型对原始数据的分类性能，本文利用序号编码，在开始训练前即给数据添加编号，然后打乱数据。将数据分为7 折，每次以其中6 折作为训练集，1 折作为测试集，共计进行7 次实验，得到模型对全部数据的预测结果。再将预测标签按原来编号顺序重排，得到模型对真实睡眠脑电数据的睡眠分期预测结果。

为了评估所构建的模型的分类效果，本文计算了各睡眠时期的精确率（p）、召回率（r）和F1值（F1）以及整体睡眠分期的平均准确率和宏平均F1值（MF1）。

2.3 实验结果与分析

2.3.1 混淆矩阵

表1 和表2 分别给出了两种模型的混淆矩阵。混淆矩阵涵盖了自动睡眠分期结果与已知的人工标签相比较得到的统计结果。表1、2 中，行代表已知的人工标签，列是模型得到的预测结果，对角线上粗体的数字为两者判断相一致的样本数量。表1 给出了采用原始睡眠脑电数据，基于常用的CNN-LSTM 自动睡眠模型得到的混淆矩阵；
表2 给出了采用经类平衡处理后的数据，基于CNN-BiLSTM-Attention 自动睡眠模型得到的混淆矩阵（该结果仅包含真实的睡眠脑电数据，生成数据不包含在内）。

表1 原始数据集下CNN-LSTM 模型的混淆矩阵Table 1 Confusion matrix of CNN-LSTM model under the original data set

表2 类平衡后CNN-BiLSTM-Attention 模型的混淆矩阵Table 2 Confusion matrix of CNN-BiLSTM-Attention model after class balance

比较表1 和表2，可以观察到，本文提出的自动睡眠分期模型取得了令人满意的总体分类性能，分类准确率达到88.37%，相比CNN-LSTM 模型提升了近8%。在原始睡眠脑电数据集中，属于睡眠过渡阶段的S1 的样本数量占比极小。在表1中，S1 的精确率为45.34%，召回率为25.42%，反映综合性能的F1指数仅为32.58%。经过类平衡处理后，S1 的分类性能得到了显著提高。在表2中，S1 的精确率和召回率分别提高到至76.34%和83.03%，F1指数也达到了79.55%，体现了类平衡处理的必要性和有效性。同时，其他睡眠分期的判别效果均有不同程度的提升，其中W 的3 项性能指标都在95%以上，S2、SS 和REM 的各项性能指标也都在80%以上。从上述分类结果中可以看出，CNN-BiLSTM-Attention 模型明显优于常用的CNN-LSTM 模型，体现了本文在模型结构上所作的改进能够有效提高模型在不同睡眠分期上的分类效果。

2.3.2 睡眠时相序列图

构建自动睡眠分期的目的是为临床诊断提供高效的辅助判别工具。本文通过序列编码的方式，既能够保证模型训练时有类间较平衡的样本数量，也能够从自动判别结果中快捷地获取原始数据的睡眠分期判别结果，得到整晚睡眠的时相序列图，展示睡眠状态随时间变化的结果，为临床的诊断与治疗提供重要依据。

图3 和图4 是同一名受试者整晚睡眠的时相序列图，其中图3 为睡眠分期的人工判别结果，图4 为本文所提出的自动睡眠分期模型的判别结果。从图4 可以观察到，该模型对于持续的清醒状态有较好的判别效果，对睡眠过程中出现的短时觉醒现象也能做到较准确的预测。整晚睡眠过程是一个连续过程，相邻睡眠状态之间的特征较相似，模型在部分相邻状态S2 和S3 以及S1 和S2、REM 存在一定的混淆。整体上，模型得到的睡眠状态的变化趋势与人工标签大体相一致，能够为临床诊断提供有效的辅助判别。

图3 临床专家手动判断结果Fig.3 Mannual inspection results by clincial experts

图4 基于CNN-BiLSTM-Attention 的自动睡眠分期模型的判断结果Fig.4 Interpretation results based on CNN-BiLSTM-Attention automatic sleep staging model

2.3.3 与其他方法的比较

为进一步验证模型中引入的BiLSTM 模块与注意力机制的有效性，首先进行了消融实验，将模型中的BiLSTM-Attention 结构分别替换成了LSTM 块和BiLSTM 块，结果如表3 中第1、2 行所示。与本文所提出的CNN-BiLSTM-Attention模型进行对比后，从中可以看到，在不使用BiLSTM模块和注意力机制时，模型的总体分类准确率及各睡眠分期的F1都会有不同程度的下降。特别是S1 阶段的分类性能下降的最为明显。这样的结果验证了本文所提出模型的有效性以及注意力机制在学习睡眠分期转换规律上的重要性。

其次，与采用相同数据集和脑电信号通道的部分文献中自动睡眠分期判别结果进行了比较。如表3 中第3、4、5 行所示，所比较的3 个模型均属于基于深度学习的自动睡眠分期模型。其中，文献[28]提出了一个DeepSleepNet 的网络架构，利用CNN 自动提取特征，堆叠BiLSTM 架构学习睡眠转换规则；
文献[29]提出了一种序列深度模型；
文献[30]提出了一个结合状态转移规则的深度睡眠分期模型。从表3 中可以看出，相比上述文献中的模型，本文所提出的CNN-BiLSTM-Attention 模型的分类准确率有5.5%～8.5%的提高，且MF1提高了10%以上。

表3 基于CNN-BiLSTM-Attention 的自动睡眠分期模型和其他分类方法的比较Table 3 Comparison of automatic sleep staging model based on CNN-BiLSTM-Attention and other classification methods

本文提出了一种基于CNN-BiLSTM-Attention 的自动睡眠分期模型。该模型利用卷积神经网络作为特征提取器，从原始单通道脑电信号提取时不变特征，同时引入残差网络架构，在加深网络层次的同时避免网络出现梯度消失问题，并利用带注意力机制的BiLSTM 进一步学习输入信号的时序信息，挖掘睡眠过程的转换机制。通过交叉验证、消融实验，以及与相关文献方法的对比，表明本文所提出的模型在睡眠分期判读的精度上和综合判别性能上，均具有优势，能够为睡眠过程监测、诊断与治疗提供有效可行的辅助判别工具。此外，本文的研究工作主要基于单通道的睡眠脑电信号，在此基础上可加入其他电生理信号（如眼电和肌电等），基于更加丰富的信号来源，利用该模型进行自动睡眠分期判别的研究。

猜你喜欢 注意力卷积神经网络 基于递归模糊神经网络的风电平滑控制策略现代电力(2022年2期)2022-05-23让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09基于3D-Winograd的快速卷积算法设计及FPGA实现北京航空航天大学学报(2021年9期)2021-11-02如何培养一年级学生的注意力甘肃教育(2020年22期)2020-04-13卷积神经网络的分析与设计电子制作(2019年13期)2020-01-14神经网络抑制无线通信干扰探究电子制作(2019年19期)2019-11-23从滤波器理解卷积电子制作(2019年11期)2019-07-04基于神经网络的中小学生情感分析电子制作(2019年24期)2019-02-23基于傅里叶域卷积表示的目标跟踪算法北京航空航天大学学报(2018年1期)2018-04-20基于Q-Learning算法和神经网络的飞艇控制北京航空航天大学学报(2017年12期)2017-04-23

推荐访问:卷积 双向 注意力