睡眠是人们生活中非常重要的一部分活动,每个人的一生大约有30%的时间是被睡眠所占据的。通常,青少年每天睡觉的时长在8 h以上,成年人大约在6 h[1]。因此,睡眠与人们的身心健康密切相关,对维持生活质量起着举足轻重的作用。但是,随着社会经济的迅速发展,来自工作、学习、生活等外部环境的压力日益增大,这些外部压力对人类的正常睡眠和正常生活造成了很大的冲击[2]。因此,睡眠状态的实时监测和睡眠质量的准确评价对于睡眠相关疾病的预防和诊治,都有着十分重要的现实意义和社会价值。
评估睡眠质量、治疗睡眠障碍疾病的前提和依据就是标准的睡眠分期。准确的睡眠分期数据能够让人们更好地了解睡眠各个阶段的特点,也有助于医生对睡眠相关疾病做出正确的诊断,进而改善病人的睡眠问题[3]。最初的分期都是专家手动打标,有一定局限性[4]。因为人工标注的过程比较繁琐、费时、费力,而且需要专业的睡眠医生来完成,存在一定的主观因素。近年来,在模式识别技术的推动下,人们提出了一套以脑电(electroencephalogram,EEG)、心电(electrocardiograph,ECG)、眼电(electrooculogram,EOG)为基础的睡眠时期自动分类方法。Gong等[5]基于双向循环神经网络(BiRNN)对睡眠进行五分期,得到了87.3%的总体准确率和82.5%的F1分数。Urtnasan等[6]使用深度卷积递归网络,对单导联心电信号进行睡眠分期,实验得出Wake、N1、N2、N3、REM五分类的总体准确率为74.2%。牛艳玲等[7]采用两种方式对心率变异性信号的特征进行筛选,并利用随机森林分类器进行分类,最终得到“呼吸暂停-正常”的准确率为80%。郭艳平等[8]基于极端梯度提升算法对单通道脑电信号进行四分类和五分类,实验得到四分类的准确率为81.0%,五分类的准确率为79.7%。Xiao等[9]利用卷积模块、双向门控循环单元和自注意力机制实现特征自动提取与分类,在单通道心电信号上进行睡眠分期,得到的四分类的准确率为81.01%。Gao等[10]首先提取脑电信号中6个特征波(K复波、δ波、θ波、α波、纺锤波、β波)作为分类特征,然后利用随机森林分类器对5种睡眠状态(W、N1、N2、N3、REM)进行自动分类,得到了90.79%的准确率。
尽管当前对睡眠阶段的研究已取得了一定的发展,但是仍有很多问题:1)目前大多数的自动睡眠分类算法都是从睡眠信号中间接提取出睡眠特征,然后进行特征学习,这会丢失波形特征的重要信息;2)已有的睡眠分类方法大都是以单一的生理电信号为基础建模的,这忽视了不同时期多模态数据所提供的丰富的睡眠阶段信息;3)大部分睡眠分期模型都是对所有特征直接进行学习,而忽略了不同特征对于不同睡眠阶段具有不同程度的权重作用。
因此,本文拟采用改进后的U2-Net网络和CNAM融合注意力机制相结合的方法,对人体中的EEG-ECG双模态信号的自动睡眠分期算法进行研究。
1 研究方法与实验数据
1.1 研究方法
本文实验所使用的基于U2-Net和CBAM融合注意力的双模态睡眠分期网络模型的整体架构如图1所示,主要包括五大部分:原始数据预处理、睡眠生理信号的波形特征检测、双模态信号的特征融合、CBAM融合注意力机制以及分类器,最后实现自动睡眠分类任务。
如图1所示,首先,对公开的MIT-BIH数据集中的原始EEG和ECG信号进行预处理操作,得到一个高质量的EEG和ECG信号。然后,为了更好地适应生理时序信号的特点,本文在原始U2-Net网络的基础上添加了一个多尺度特征提取模块(multi-scale feature extraction,MSE),并利用改进后的2个U2-Net网络并行地对EEG-ECG信号的波形特征进行检测和提取。其次,对提取到的双模态波形特征进行特征融合后,输入CBAM融合注意力机制模块生成权重特征图向量。最后,利用平均池化层和一维卷积层进行分类,由Softmax激活函数输出分类结果的概率,完成自动睡眠分期任务。
1.2 实验数据集
本文研究使用MIT-BIH Polysomnograhicd-atabase多导睡眠图数据集(slpdb)。该数据集可在网上物理样本档案库[11]公开获得(https://physionet.org/content/slpdb/1.0.0/)。该数据库包含18条夜间多导睡眠图(polysomnography,PSG)数据,这些数据都是从16名健康成人受试者中采集到的,16名受试者年龄为32~56岁,体重范围为44.5~76 kg。该数据库包含4、6、7通道,共计大于80 h的多导睡眠图记录,每一条记录均由心电图、脑电图(C4-A1/O2-A1/C3-O1)、血压信号、呼吸信号等多种生理信号组成,数据的采样频率为250 Hz。根据R&K准则,本文对每一条原始PSG数据记录都以30 s进行一次分段,共得到了10 182个原始样本数据。
1.3 数据预处理
在脑电和心电信号的处理中,存在很多干扰噪声,如肌电干扰、电磁干扰、呼吸干扰、电极噪声等。在波形特征的学习过程中,这些噪声会影响到信号的特征提取,进而影响到模型的训练效果,甚至会导致错误的分析结果。所以,在进行波形特征检测之前,首先需要对脑电和心电信号进行单独的预处理,从而得到干净、规则的信号波形。
针对脑电和心电信号易受噪声干扰的问题,本文对巴特沃斯滤波器设计40 Hz和50 Hz的截止频率分别去除EEG和ECG信号中的工频干扰噪声;使用bior3.9小波基和bior2.8小波基的小波阈值去噪法分别滤除EEG和ECG信号的内部伪迹干扰;采用截止频率为0.1 Hz和0.3 Hz的高通滤波器分别去除EEG和ECG信号的基线漂移噪声。
在滤波处理之后,本文以30 s为一间隔对每一位受试者的EEG和ECG信号进行睡眠标签划分,然后对划分好的每个数据和对应标签进行查看,对EEG和ECG信号以及标签中存在缺失错误的那段时间进行删除。本文实验依据R&K睡眠分期准则,将对睡眠阶段进行W、NREM(S1、S2、S3、S4)、REM的六分类任务。在预处理之后,对本实验所用到的MIT-BIH数据集进行了统计,每个睡眠阶段的样本数量详见表1所示。
表1 本文使用的不同睡眠阶段样本数量Tab.1 Sample sizes of different sleep stages used in this study |
| W | S1 | S2 | S3 | S4 | REM | 合计 |
|---|---|---|---|---|---|---|
| 3 087 | 1 808 | 3 871 | 483 | 181 | 697 | 10 127 |
1.4 数据集的训练与测试划分
表2 睡眠六分类时的训练集和测试集样本数量Tab.2 The number of samples in the training and test sets during six classifications |
| 分类数据 | 训练集(80%) | 测试集(20%) |
|---|---|---|
| W | 2 467 | 620 |
| S1 | 1 446 | 362 |
| S2 | 3 097 | 774 |
| S3 | 386 | 97 |
| S4 | 145 | 36 |
| REM | 558 | 139 |
由于数据划分中缺少验证集,所以模型在训练过程中会出现一些问题,例如:泛化性、过拟合等。为了尽可能地避免出现该类问题,在训练集中,本文使用了十折交叉验证法来评估和验证本模型的分类性能。同时,针对该数据类别不平衡现象,本文采用了一种自适应权重交叉熵损失函数来进行类平衡处理,通过改进传统的损失函数,为不同特征分配不同的权重值,从而降低不平衡标签对自动睡眠分期效果的影响。交叉熵损失函数的权重值可以根据数据集中的类别数量进行自适应调整,其定义公式为
$L=\frac{1}{N} \sum_{i} L_{i}=-\frac{1}{N} \sum_{k=1}^{K} \sum_{i=1}^{N} w_{k} x_{i}^{k} \lg \left(y_{i}^{k}\right) w_{k}={\frac{\prod_{p=1}^{k}\left(\frac{N_{p}}{N_{k}}\right)}{\sum_{q=1}^{k} \prod_{p=1}^{k}\left(\frac{N_{p}}{N_{q}}\right)^{\circ}}..}^{\circ}$
式中: 是第i个样本的真实概率; 是第i样本的预测概率;N是样本的总数;K是类别的数量;wk是第k个类别的权重;Nk是第k个类别的数据量。
通过上述公式,可以得到每个类之间的关系如下式所示:
$w_{1} \times N_{1}=w_{2} \times N_{2}=\cdots=w_{k} \times N_{k}$,
$w_{1}+w_{2}+\cdots+w_{k}=1$。
由以上两个公式可以得出结论,每个类别的权重取决于其对应的样本数量。这样既不会增加模型计算的复杂性,还能对每个类别实现良好的训练和测试。
2 基于U2-Net的波形特征检测和特征处理
2.1 基于U2-Net的波形特征检测网络
本文对最初用于目标检测的U2-Net网络进行了改进,将多尺度特征提取模块(MSE)嵌入到每一个下采样之后。原因在于,最初的U2-Net是为了图像分割而提出的[13]。但不同于图像的是,生理信号是一个连续的一维时序信号,并且以30 s为一睡眠阶段划分时,也需要考虑该片段的前后文信息,所以为了更好地适应生理时序信号的特点,本文在每一个下采样层后都添加了MSE模块。
图4为改进后的U2-Net睡眠信号波形特征检测网络的整体结构。U2-Net网络的整体架构包括了3个主要部分:编码器(左侧5个)、解码器(右侧4个)、多尺度特征提取模块(MSE)。
1)编码器:利用下采样层将左侧5个编码器之间连接起来,这样不仅可以保留波形的主要特征,同时还能降低网络参数,并避免了模型的过拟合。
2)解码器:利用上采样层将右侧的4个解码器和编码器En_5之间连接起来,目的是将左侧下采样后的特征图利用双线性插值的操作来恢复。
3)多尺度特征提取模块(MSE):利用多尺度特征提取模块(MSE)将左侧编码器和右侧解码器进行连接。目的是把上一个解码器的上采样输出与MSE模块的输出之间利用Concat进行串联,然后输入下一个解码器,从而提取睡眠阶段之间的过渡规则。
2.2 多尺度特征提取模块
本文在原始U2-Net网络上加入了一个多尺度特征提取模块(MSE)。它是一种深度的神经网络结构,主要用于图像处理任务。如图5所示,本文的多尺度特征提取模块(MSE)首先设置4个膨胀率分别为1、3、5、7,利用其对输入的特征图进行卷积操作,其中,卷积核大小设置为5×1;然后连接不同尺度的特征图 进行输出,这样就得到了多尺度特征图Xls,如公式所示:
$X_{d}^{r}=\operatorname{DConv}_{r}\left(x_{r}^{\prime \prime}\right),r \in\{1,3,5,7\},$
$X_{l s}=\text { Concatention }\left(X_{d}^{1}, X_{d}^{3}, X_{d}^{5}, X_{d}^{7}\right).$
式中: 为MSE模块的输入特征图;Dconvr代表膨胀率为r的膨胀卷积操作; 为膨胀卷积Dconvr的输出;Xls是输出的多尺度特征图;Concatention代表对所有膨胀卷积后输出的特征图进行级联。
2.3 双模态特征融合模块
脑电和心电信号的不同模式蕴藏了不同的生理特征,融合的生理特征更加有助于对特定睡眠阶段的分类任务。为了加强不同模式的特征学习,使其在自适应方法中对特定睡眠阶段的分类有更大的贡献,本文使用一个多模态特征融合模块(multi-modal feature fusion,MFF),用于融合EEG和ECG的双流特征。图6为MFF操作图。
本文将模态融合分量定义为
$X_{\text {fuse }}=X_{\mathrm{EEG}}+X_{\mathrm{ECG}}+\left(X_{\mathrm{EEG}} \odot X_{\mathrm{ECG}}\right)$
式中:XEEG表示原始EEG信号经过U2-Net网络输出的特征;XECG表示原始ECG信号经过U2-Net网络输出的特征;Xfuse表示EEG和ECG的融合特征;☉表示矩阵对应元素乘法。
2.4 CBAM融合注意力网络
通道空间融合注意力模块(convolutional block attention module,CBAM)是一种可以与任何前馈卷积神经网络进行集成、简单且有效的注意力模块。当给定一个中间特征图时,模块会自主沿着两个独立的维度(通道和空间)依次推断注意力权重值,然后将生成的注意力权重图乘以输入特征图进行自适应细化。CBAM的结构如图7所示。
CBAM融合注意力机制引入了通道(channel)和空间(spatial)两个分析维度,实现了从通道到空间的顺序注意力结构[14]。通道注意力是为了突出多个特征图中包含重要信息量的特征图,空间注意力则可使模型更加关注该特征图中对分类起决定作用的像素区域,而忽略无关紧要的其他区域。CBAM融合注意力的操作过程可以被定义为
$\begin{aligned}F_{c}= & \sigma\left(\operatorname{MLP}\left(\operatorname{Avg} \operatorname{Pool}\left(X_{1 m}\right)\right)+\right. \\& \left.\operatorname{MLP}\left(\operatorname{MaxPool}\left(X_{1 m}\right)\right)\right),\end{aligned}$
$F_{m}=X_{\text {fuse }} \odot F_{c},$
$F_{s}=\sigma\left(\operatorname{Conv}\left(\operatorname{AvgPool}\left(F_{m}\right) ; \operatorname{MaxPool}\left(F_{m}\right)\right)\right),$
$F_{\mathrm{out}}=F_{m} \odot F_{s 。}$
式中:Xfuse表示输入的特征图;σ表示Sigmoid函数;Fc表示经过通道注意力后的征图;Fm表示空间注意力的输入特征图;Fs表示经过空间注意力后的特征图;Fout表示经过CBAM融合注意力操作之后输出的权重特征向量。
2.5 分类器
3 实验结果及分析
3.1 六分类实验结果及分析
实验过程中,本文首先利用训练集数据对U2-Net和CBAM融合注意力模型进行训练以便得到结果最优时的网络参数,从而提升睡眠分期时的性能。
观察图9可以看出,在U2-Net和CBAM融合注意力模型的训练中,训练集的损失函数几乎没有太大震荡,收敛效果比较好。在训练集上,最终的总体准确率达到了92.56%。
观察图10可以看出,验证集的损失函数曲线在第8次迭代(epoch)到第22次迭代(epoch)之间震荡较为明显,这可能是由于一些因素导致的,例如数据还存在细微噪声、学习率设置得不适合等原因。但是,最终该模型在验证集上的总体准确率约为89.91%,说明该模型在训练后还是具有较好的泛化能力,并能够有效地识别验证集中的数据。
基于验证时模型的网络参数,本文采用MIT-BIH数据集中的独立测试集来对模型进行性能评估。在模型的训练中,采用了十折交叉验证法来选择模型的最佳参数,并从中选择验证集结果最好的一组参数作为测试集的模型参数来进行性能测试。同时,为了证明双模态信号比单模态信号更加有效,本文增加了2组对比实验,分别是使用单模态ECG和单模态EEG进行模型训练,并且使用相同的评价指标对测试结果进行性能评估。
使用单模态ECG、单模态EEG以及双模态EEG-ECG信号进行六分类睡眠分期的实验结果如下表3所示。
表3 ECG、EEG、EEG-ECG的六分类睡眠分期结果 单位:%Tab.3 Six-classifications sleep staging results of ECG, EEG, EEG-ECG |
| 信号类型 | 总体结果 | 每一睡眠周期的F1值 | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| F1值 | 准确率 | W | S1 | S2 | S3 | S4 | REM | ||||
| ECG | 75.3 | 80.2 | 83.7 | 35.2 | 87.3 | 82.8 | 75.4 | 87.1 | |||
| EEG | 81.7 | 85.8 | 90.3 | 64.1 | 87.4 | 80.5 | 79.8 | 88.1 | |||
| EEG-ECG | 85.6 | 90.4 | 94.4 | 70.3 | 91.7 | 86.8 | 81.5 | 88.7 | |||
由表3可知:1)单独使用ECG信号特征时,各睡眠阶段的分类准确率较低,尤其是S1期的F1值仅为35.2%。S2期的F1值最高,约为87.3%。说明使用单模态ECG信号时更容易识别S2期的波形特征。2)与单模态的EEG信号相比较,使用单模态EEG信号时,各睡眠阶段的分类准确率有所提升,总体准确率可达85.8%。特别是S1期的F1值提高了28.9%。3)对比单模态ECG和EEG的分类结果,结合EEG-ECG双模态信号的特征进行睡眠分类的效果最好,总体准确率可达90%以上。相比于使用单模态ECG时,总体准确率提高了10.2%,相比于使用单模态EEG时,总体准确率提高了4.6%。
实验结果证明:基于EEG和ECG的双模态信号进行睡眠分期的评估结果确实要比单模态的结果好,更加验证了不同模式的数据均与睡眠阶段有关系,并可以结合起来获得更精细的特征信息。从ECG和EEG中提取的特征补充了仅从EEG或者ECG中提取的特征,说明双模态的数据输入能提供更多的、相关的睡眠波形特征信息,可以捕获多样性的、不同类型的电生理信号特征,从而提高睡眠分期的准确率。
同时,当基于U2-Net和CBAM融合注意力模型进行睡眠分期任务时,实验得到的单模态ECG、单模态EEG以及双模态EEG-ECG信号的六分类混淆矩阵分别如图11~13所示。
图11 使用单模态ECG信号进行六分类时的混淆矩阵Fig.11 Confusion matrix when using single-mode ECG signals for six classifications |
图12 使用单模态EEG信号进行六分类时的混淆矩阵Fig.12 Confusion matrix when using single-mode EEG signals for six classifications |
3.2 消融实验的结果及分析
为了进一步研究和评估U2-Net和CBAM注意力模型中每个模块的有效性,本文设计了几个变体模型如下。
1)U2-Net结构:该模型只是一个双流U2-Net结构,没有嵌套多尺度特征提取模块和注意力机制,而是直接将从两个U2-Net网络中提取的双流特征图连接起来用于睡眠分期。
2)U2-Net结构+MSE:该模型在原始U2-Net结构的基础上添加了多尺度特征提取模块(MSE),主要考虑到睡眠信号是一个连续且持久的过程,为了检测上下文的过渡规则。
3)U2-Net结构+MSE+CBAM:该模型在模型2)的基础上,使用了通道和空间维度上的CBAM注意力机制进行睡眠分期。
为了实验对比的有效性,本文对这3个模型分别使用同样的数据集进行六分类睡眠分期实验,图14为上述3种模型的实验准确率和F1值。
通过分析图14的实验结果可知。
1)U2-Net结构能够从机器视觉领域应用到生理时序信号的分类任务中,并取得较好的结果,得到了82.3%的准确率和78.6%的F1值。因为该结构可以直接从原始信号中捕获更多样化的显著性波形特征信息,不会丢失部分信息。
2)当在原始U2-Net结构中加入多尺度特征提取模块(MSE)后,模型的性能得到了提升。相比于原始U2-Net结构,加入MSE后的实验准确率提升了2.50%,说明MSE结构学习了信号波形中的多尺度特征。
3)当在U2-Net和MSE模块后继续添加CBAM融合注意力模块,模型的分类性能得到了进一步提高。相比于U2-Net+MSE模型,准确率提升了5.6%;相比于U2-Net模型,准确率提升了8.1%。这是因为CBAM可以同时从通道和空间两个维度加强重要特征的学习,并且能捕获更精细的深层特征。
3.3 损失函数的对比实验结果及分析
如图15所示,使用自适应权重交叉熵损失函数的F1值和准确率均超过了其他所有加权交叉熵损失函数,并且使用该损失函数时的准确率能达到90.4%。对于睡眠六分类时,采用自适应权重交叉熵损失函数的准确率比使用类感知权重损失函数提升了2.1%;比使用均衡权重提升了3.0%;比使用传统权重提升了7.3%。
实验结果表明,本文所采用的自适应权重交叉熵损失函数能有效地解决数据不平衡的问题,并且取得优于其他加权交叉熵损失函数的结果。这主要得益于自适应权重交叉熵损失函数能够使模型对各类别进行良好的训练。
3.4 与其他方法的对比结果及分析
从分类准确率的角度来看,本研究对利用EEG和ECG双模态生理信号实现睡眠分期研究提供了一定的价值。同时,之前研究者们在MIT-BIH数据集上也有类似的研究,表4列出了本文模型和其他方法之间的性能比较。
表4 与其他方法的睡眠分期工作对比Tab.4 Comparison of sleep staging work with other methods |
| 研究者 | 信号类型 | 分类类别 | 分类模型 | 准确率/% |
|---|---|---|---|---|
| Rossow等[17] | EEG | Wake,NREM,REM | Hidden Markov model | 60.14 |
| Lesmana等[18] | HRV | Wake,Light sleep,Deep sleep,REM | Extreme learning machine | 71.51 |
| Utomo等[19] | ECG | Wake,Light sleep,Deep sleep,REM | Weighted extreme Machine learning | 73.09 |
| Tripathy等[20] | ECG-EEG | Wake,Light sleep, Deep sleep,REM | Deep neural network | 73.7 |
| Song等[21] | EEG | Light sleep,Deep sleep | Multivariate discriminant analysis | 79.4 |
| Zhao等[22] | ECG-EEG | Wake,Light sleep,Deep sleep,REM | Deep neural network | 80.4 |
| 本文模型 | EEG-ECG | W,S1,S2,S3,S4,REM | U2-Net+CBAM | 90.4 |
本文提出的U2-Net和CBAM融合注意力的分类框架所学习到的特征应该比上述比较中计算出的特征更具有鉴别性,并且能够更好地适应类不平衡的数据,这为睡眠分期的研究提供了一种有效的解决方案。
4 结论
本模型以EEG和ECG双模态信号作为输入,使用添加了MSE模块的U2-Net网络并行提取双通道的波形特征;随后,将EEG和ECG信号特征通过双模态特征融合模块(MFF)进行融合后,先是通过通道注意力模块,再紧接着通过空间注意力模块。最后,使用Softmax函数进行分类。在MIT-BIH数据集上,基于单模态ECG的六分类总体准确率为80.2%,F1值为75.3%;基于单模态EEG的六分类总体准确率为85.8%,F1值为81.7%;基于EEG-ECG双模态的六分类总体准确率为90.4%,F1值为85.6%。本文为生理时序信号的分类提供了一种高效的、新颖的分类模型。这为将来基于生理信号进行可穿戴式、家用式的设备构建提供了一种较准确的思路方向,同时也为临床上睡眠障碍及相关疾病的诊治提供了理论依据。
本文提出的自动化睡眠分期模型虽然具备一定的优势,但由于研究有限,所以还存在一些不足之处,接下来将从以下几方面继续进行实验研究和工作开展:1)由于同时包含ECG和EEG信号的数据集较少,所以本文在验证模型时仅使用了MIT-BIH数据库的数据,未来将使用其他数据集进行实验,或者直接和相关医院进行合作,自己采集临床数据集进行实验;2)本文在数据集上仅仅进行了六分类睡眠分期任务,后续工作将考虑如何使用该波形特征实现“睡眠和清醒” “浅睡期和深睡期” “快速眼动期和非快速眼动期”等两分类。