Bimodal sleep staging study based on U2-Net and CBAM fusion attention

ZHAO Qian, LI Jin, FENG Feilong, QIANG Ning, HU Jing

PDF(3722 KB)
Welcome to visit Journal of Shaanxi Normal University(Natural Science Edition)!
Journal of Shaanxi Normal University(Natural Science Edition) ›› 2025, Vol. 53 ›› Issue (1) : 1-11. DOI: 10.15983/j.cnki.jsnu.2025001

Bimodal sleep staging study based on U2-Net and CBAM fusion attention

Author information +
History +

Abstract

Aiming at the difficulties present in current automatic sleep staging methods, a method for automatic sleep staging of EEG and ECG dual modal signals by combining U2-Net and CBAM fusion attention is proposed.Firstly, the EEG-ECG signals in the MIT-BIH public dataset used in this paper are preprocessed. Then, the U2-Net network with multi-scale feature extraction module is used to extract waveform features in EEG and ECG in parallel. Secondly, CBAM fusion attention is used to assign weights to all features. Finally, the Softmax activation function is used to classify sleep periods into six. The results show that when sleep staging is performed based on U2-Net and CBAM fusion attention models, the overall accuracy of hexaclassification using ECG single-modal signals is 80.2%, and the F1 score is 75.3%. The overall accuracy of six classifications using EEG single-modal signals was 85.8%, and the F1 score was 81.7%;The overall accuracy of the six classifications using EEG-ECG dual-modal signals was 90.4%, and the F1 score was 85.6%. This shows that the bimodal sleep staging model proposed in this paper is feasible and effective, and provides a new idea for automatic sleep staging.

Key words

automatic sleep staging / EEG-ECG dual-modal signal / U2-Net network / CBAM fuses attention

Cite this article

Download Citations
ZHAO Qian , LI Jin , FENG Feilong , QIANG Ning , HU Jing. Bimodal sleep staging study based on U2-Net and CBAM fusion attention. Journal of Shaanxi Normal University(Natural Science Edition). 2025, 53(1): 1-11 https://doi.org/10.15983/j.cnki.jsnu.2025001
睡眠是人们生活中非常重要的一部分活动,每个人的一生大约有30%的时间是被睡眠所占据的。通常,青少年每天睡觉的时长在8 h以上,成年人大约在6 h[1]。因此,睡眠与人们的身心健康密切相关,对维持生活质量起着举足轻重的作用。但是,随着社会经济的迅速发展,来自工作、学习、生活等外部环境的压力日益增大,这些外部压力对人类的正常睡眠和正常生活造成了很大的冲击[2]。因此,睡眠状态的实时监测和睡眠质量的准确评价对于睡眠相关疾病的预防和诊治,都有着十分重要的现实意义和社会价值。
评估睡眠质量、治疗睡眠障碍疾病的前提和依据就是标准的睡眠分期。准确的睡眠分期数据能够让人们更好地了解睡眠各个阶段的特点,也有助于医生对睡眠相关疾病做出正确的诊断,进而改善病人的睡眠问题[3]。最初的分期都是专家手动打标,有一定局限性[4]。因为人工标注的过程比较繁琐、费时、费力,而且需要专业的睡眠医生来完成,存在一定的主观因素。近年来,在模式识别技术的推动下,人们提出了一套以脑电(electroencephalogram,EEG)、心电(electrocardiograph,ECG)、眼电(electrooculogram,EOG)为基础的睡眠时期自动分类方法。Gong等[5]基于双向循环神经网络(BiRNN)对睡眠进行五分期,得到了87.3%的总体准确率和82.5%的F1分数。Urtnasan等[6]使用深度卷积递归网络,对单导联心电信号进行睡眠分期,实验得出Wake、N1、N2、N3、REM五分类的总体准确率为74.2%。牛艳玲等[7]采用两种方式对心率变异性信号的特征进行筛选,并利用随机森林分类器进行分类,最终得到“呼吸暂停-正常”的准确率为80%。郭艳平等[8]基于极端梯度提升算法对单通道脑电信号进行四分类和五分类,实验得到四分类的准确率为81.0%,五分类的准确率为79.7%。Xiao等[9]利用卷积模块、双向门控循环单元和自注意力机制实现特征自动提取与分类,在单通道心电信号上进行睡眠分期,得到的四分类的准确率为81.01%。Gao等[10]首先提取脑电信号中6个特征波(K复波、δ波、θ波、α波、纺锤波、β波)作为分类特征,然后利用随机森林分类器对5种睡眠状态(W、N1、N2、N3、REM)进行自动分类,得到了90.79%的准确率。
尽管当前对睡眠阶段的研究已取得了一定的发展,但是仍有很多问题:1)目前大多数的自动睡眠分类算法都是从睡眠信号中间接提取出睡眠特征,然后进行特征学习,这会丢失波形特征的重要信息;2)已有的睡眠分类方法大都是以单一的生理电信号为基础建模的,这忽视了不同时期多模态数据所提供的丰富的睡眠阶段信息;3)大部分睡眠分期模型都是对所有特征直接进行学习,而忽略了不同特征对于不同睡眠阶段具有不同程度的权重作用。
因此,本文拟采用改进后的U2-Net网络和CNAM融合注意力机制相结合的方法,对人体中的EEG-ECG双模态信号的自动睡眠分期算法进行研究。

1 研究方法与实验数据

1.1 研究方法

本文实验所使用的基于U2-Net和CBAM融合注意力的双模态睡眠分期网络模型的整体架构如图1所示,主要包括五大部分:原始数据预处理、睡眠生理信号的波形特征检测、双模态信号的特征融合、CBAM融合注意力机制以及分类器,最后实现自动睡眠分类任务。
Fig.1 Bimodal sleep staging network model based on U2-Net and CBAM fusion attention

图1 基于U2-Net和CBAM融合注意力的双模态睡眠分期网络模型

Full size|PPT slide

图1所示,首先,对公开的MIT-BIH数据集中的原始EEG和ECG信号进行预处理操作,得到一个高质量的EEG和ECG信号。然后,为了更好地适应生理时序信号的特点,本文在原始U2-Net网络的基础上添加了一个多尺度特征提取模块(multi-scale feature extraction,MSE),并利用改进后的2个U2-Net网络并行地对EEG-ECG信号的波形特征进行检测和提取。其次,对提取到的双模态波形特征进行特征融合后,输入CBAM融合注意力机制模块生成权重特征图向量。最后,利用平均池化层和一维卷积层进行分类,由Softmax激活函数输出分类结果的概率,完成自动睡眠分期任务。

1.2 实验数据集

本文研究使用MIT-BIH Polysomnograhicd-atabase多导睡眠图数据集(slpdb)。该数据集可在网上物理样本档案库[11]公开获得(https://physionet.org/content/slpdb/1.0.0/)。该数据库包含18条夜间多导睡眠图(polysomnography,PSG)数据,这些数据都是从16名健康成人受试者中采集到的,16名受试者年龄为32~56岁,体重范围为44.5~76 kg。该数据库包含4、6、7通道,共计大于80 h的多导睡眠图记录,每一条记录均由心电图、脑电图(C4-A1/O2-A1/C3-O1)、血压信号、呼吸信号等多种生理信号组成,数据的采样频率为250 Hz。根据R&K准则,本文对每一条原始PSG数据记录都以30 s进行一次分段,共得到了10 182个原始样本数据。

1.3 数据预处理

在脑电和心电信号的处理中,存在很多干扰噪声,如肌电干扰、电磁干扰、呼吸干扰、电极噪声等。在波形特征的学习过程中,这些噪声会影响到信号的特征提取,进而影响到模型的训练效果,甚至会导致错误的分析结果。所以,在进行波形特征检测之前,首先需要对脑电和心电信号进行单独的预处理,从而得到干净、规则的信号波形。
针对脑电和心电信号易受噪声干扰的问题,本文对巴特沃斯滤波器设计40 Hz和50 Hz的截止频率分别去除EEG和ECG信号中的工频干扰噪声;使用bior3.9小波基和bior2.8小波基的小波阈值去噪法分别滤除EEG和ECG信号的内部伪迹干扰;采用截止频率为0.1 Hz和0.3 Hz的高通滤波器分别去除EEG和ECG信号的基线漂移噪声。
为了更直观地展示去噪前后信号波形的变化,本文以受试者slp01a为例,呈现了10 s内EEG和ECG信号去噪前后的波形对比图。图2为EEG波形图,其中图2a为EEG原始波形图,图2b为EEG经过上述处理之后的去噪图。图3为ECG波形图,其中图3a为ECG原始波形图,图3b为ECG经过上述处理之后的去噪图。
Fig.2 Comparison of EEG signal before and after denoising

图2 EEG信号去噪前后的对比图

Full size|PPT slide

Fig.3 Comparison of ECG signal before and after denoising

图3 ECG信号去噪前后的对比图

Full size|PPT slide

在滤波处理之后,本文以30 s为一间隔对每一位受试者的EEG和ECG信号进行睡眠标签划分,然后对划分好的每个数据和对应标签进行查看,对EEG和ECG信号以及标签中存在缺失错误的那段时间进行删除。本文实验依据R&K睡眠分期准则,将对睡眠阶段进行W、NREM(S1、S2、S3、S4)、REM的六分类任务。在预处理之后,对本实验所用到的MIT-BIH数据集进行了统计,每个睡眠阶段的样本数量详见表1所示。
Tab.1 Sample sizes of different sleep stages used in this study

表1 本文使用的不同睡眠阶段样本数量

W S1 S2 S3 S4 REM 合计
3 087 1 808 3 871 483 181 697 10 127

1.4 数据集的训练与测试划分

本文实验所使用的MIT-BIH数据集的样本数据量不大,如果划分为3部分,会使得各部分数据量更小,所以把实验使用的样本数据只分为了2部分:训练集与测试集[12]。同时,观察表1发现:该数据集中一部分类别的标签数量比较稀少,此时就不适合使用传统的随机取样方法进行划分。因为传统的随机抽取方法会使一部分标签在训练和测试中出现得不完整或者只出现某一处,很容易导致样本数据的不均匀划分,从而降低睡眠分类的准确率。因此,在MIT-BIH数据集中,本文采取了分层抽样的方式抽取训练集和测试集,将10 127个数据集的80%数据作为训练集,剩余的20%作为测试集。表2为睡眠阶段六分类时的训练集和测试集样本数量。
Tab.2 The number of samples in the training and test sets during six classifications

表2 睡眠六分类时的训练集和测试集样本数量

分类数据 训练集(80%) 测试集(20%)
W 2 467 620
S1 1 446 362
S2 3 097 774
S3 386 97
S4 145 36
REM 558 139
由于数据划分中缺少验证集,所以模型在训练过程中会出现一些问题,例如:泛化性、过拟合等。为了尽可能地避免出现该类问题,在训练集中,本文使用了十折交叉验证法来评估和验证本模型的分类性能。同时,针对该数据类别不平衡现象,本文采用了一种自适应权重交叉熵损失函数来进行类平衡处理,通过改进传统的损失函数,为不同特征分配不同的权重值,从而降低不平衡标签对自动睡眠分期效果的影响。交叉熵损失函数的权重值可以根据数据集中的类别数量进行自适应调整,其定义公式为
L=1NiLi=1Nk=1Ki=1Nwkxiklg(yik)wk=p=1k(NpNk)q=1kp=1k(NpNq)..
(1)
式中: xik是第i个样本的真实概率; yik是第i样本的预测概率;N是样本的总数;K是类别的数量;wk是第k个类别的权重;Nk是第k个类别的数据量。
通过上述公式,可以得到每个类之间的关系如下式所示:
w1×N1=w2×N2==wk×Nk,
(2)
w1+w2++wk=1
(3)
由以上两个公式可以得出结论,每个类别的权重取决于其对应的样本数量。这样既不会增加模型计算的复杂性,还能对每个类别实现良好的训练和测试。

2 基于U2-Net的波形特征检测和特征处理

2.1 基于U2-Net的波形特征检测网络

本文对最初用于目标检测的U2-Net网络进行了改进,将多尺度特征提取模块(MSE)嵌入到每一个下采样之后。原因在于,最初的U2-Net是为了图像分割而提出的[13]。但不同于图像的是,生理信号是一个连续的一维时序信号,并且以30 s为一睡眠阶段划分时,也需要考虑该片段的前后文信息,所以为了更好地适应生理时序信号的特点,本文在每一个下采样层后都添加了MSE模块。
图4为改进后的U2-Net睡眠信号波形特征检测网络的整体结构。U2-Net网络的整体架构包括了3个主要部分:编码器(左侧5个)、解码器(右侧4个)、多尺度特征提取模块(MSE)。
Fig.4 Overall structure diagram of U2-Net network

图4 U2-Net网络的整体结构图

Full size|PPT slide

1)编码器:利用下采样层将左侧5个编码器之间连接起来,这样不仅可以保留波形的主要特征,同时还能降低网络参数,并避免了模型的过拟合。
2)解码器:利用上采样层将右侧的4个解码器和编码器En_5之间连接起来,目的是将左侧下采样后的特征图利用双线性插值的操作来恢复。
3)多尺度特征提取模块(MSE):利用多尺度特征提取模块(MSE)将左侧编码器和右侧解码器进行连接。目的是把上一个解码器的上采样输出与MSE模块的输出之间利用Concat进行串联,然后输入下一个解码器,从而提取睡眠阶段之间的过渡规则。

2.2 多尺度特征提取模块

本文在原始U2-Net网络上加入了一个多尺度特征提取模块(MSE)。它是一种深度的神经网络结构,主要用于图像处理任务。如图5所示,本文的多尺度特征提取模块(MSE)首先设置4个膨胀率分别为1、3、5、7,利用其对输入的特征图进行卷积操作,其中,卷积核大小设置为5×1;然后连接不同尺度的特征图 Xdr进行输出,这样就得到了多尺度特征图Xls,如公式所示:
Xdr=DConvr(xr),r{1,3,5,7},
(4)
Xls= Concatention (Xd1,Xd3,Xd5,Xd7).
(5)
式中: Xd为MSE模块的输入特征图;Dconvr代表膨胀率为r的膨胀卷积操作; Xdr为膨胀卷积Dconvr的输出;Xls是输出的多尺度特征图;Concatention代表对所有膨胀卷积后输出的特征图进行级联。
Fig.5 Structural diagram of MSE

图5 MSE的结构图

Full size|PPT slide

2.3 双模态特征融合模块

脑电和心电信号的不同模式蕴藏了不同的生理特征,融合的生理特征更加有助于对特定睡眠阶段的分类任务。为了加强不同模式的特征学习,使其在自适应方法中对特定睡眠阶段的分类有更大的贡献,本文使用一个多模态特征融合模块(multi-modal feature fusion,MFF),用于融合EEG和ECG的双流特征。图6为MFF操作图。
Fig.6 Multimodal feature fusion operation diagram

图6 多模态特征融合操作图

Full size|PPT slide

本文将模态融合分量定义为
Xfuse =XEEG+XECG+(XEEGXECG)
(6)
式中:XEEG表示原始EEG信号经过U2-Net网络输出的特征;XECG表示原始ECG信号经过U2-Net网络输出的特征;Xfuse表示EEG和ECG的融合特征;☉表示矩阵对应元素乘法。

2.4 CBAM融合注意力网络

通道空间融合注意力模块(convolutional block attention module,CBAM)是一种可以与任何前馈卷积神经网络进行集成、简单且有效的注意力模块。当给定一个中间特征图时,模块会自主沿着两个独立的维度(通道和空间)依次推断注意力权重值,然后将生成的注意力权重图乘以输入特征图进行自适应细化。CBAM的结构如图7所示。
Fig.7 Structural diagram of CBAM

图7 CBAM的结构图

Full size|PPT slide

CBAM融合注意力机制引入了通道(channel)和空间(spatial)两个分析维度,实现了从通道到空间的顺序注意力结构[14]。通道注意力是为了突出多个特征图中包含重要信息量的特征图,空间注意力则可使模型更加关注该特征图中对分类起决定作用的像素区域,而忽略无关紧要的其他区域。CBAM融合注意力的操作过程可以被定义为
Fc=σ(MLP(AvgPool(X1m))+MLP(MaxPool(X1m))),
(7)
Fm=Xfuse Fc,
(8)
Fs=σ(Conv(AvgPool(Fm);MaxPool(Fm))),
(9)
Fout=FmFs
(10)
式中:Xfuse表示输入的特征图;σ表示Sigmoid函数;Fc表示经过通道注意力后的征图;Fm表示空间注意力的输入特征图;Fs表示经过空间注意力后的特征图;Fout表示经过CBAM融合注意力操作之后输出的权重特征向量。

2.5 分类器

由于Softmax分类具有较强的可解释性且可以进行多类别分类,所以本文采用了Softmax分类,它将像素级特征图映射到片段预测标签序列,即通过计算每个类别的率来判断数据应该分到哪个类别[15]。如图8所示。
Fig.8 The classifier diagram

图8 分类器

Full size|PPT slide

3 实验结果及分析

3.1 六分类实验结果及分析

实验过程中,本文首先利用训练集数据对U2-Net和CBAM融合注意力模型进行训练以便得到结果最优时的网络参数,从而提升睡眠分期时的性能。
图9是在MIT-BIH训练集上进行睡眠六分类时,训练过程中的性能指标,其中图9a是训练集的损失函数曲线,图9b是训练集的准确率曲线。
Fig.9 Loss function curve and accuracy curve of the training set

图9 训练集的损失函数曲线和准确率曲线

Full size|PPT slide

观察图9可以看出,在U2-Net和CBAM融合注意力模型的训练中,训练集的损失函数几乎没有太大震荡,收敛效果比较好。在训练集上,最终的总体准确率达到了92.56%。
图10为验证集验证过程中的性能指标,其中图10a是验证集的损失函数曲线,图10b是验证集的准确率曲线。
Fig.10 Loss function curve and accuracy curve of the verification set

图10 验证集的损失函数曲线和准确率曲线

Full size|PPT slide

观察图10可以看出,验证集的损失函数曲线在第8次迭代(epoch)到第22次迭代(epoch)之间震荡较为明显,这可能是由于一些因素导致的,例如数据还存在细微噪声、学习率设置得不适合等原因。但是,最终该模型在验证集上的总体准确率约为89.91%,说明该模型在训练后还是具有较好的泛化能力,并能够有效地识别验证集中的数据。
基于验证时模型的网络参数,本文采用MIT-BIH数据集中的独立测试集来对模型进行性能评估。在模型的训练中,采用了十折交叉验证法来选择模型的最佳参数,并从中选择验证集结果最好的一组参数作为测试集的模型参数来进行性能测试。同时,为了证明双模态信号比单模态信号更加有效,本文增加了2组对比实验,分别是使用单模态ECG和单模态EEG进行模型训练,并且使用相同的评价指标对测试结果进行性能评估。
使用单模态ECG、单模态EEG以及双模态EEG-ECG信号进行六分类睡眠分期的实验结果如下表3所示。
Tab.3 Six-classifications sleep staging results of ECG, EEG, EEG-ECG

表3 ECG、EEG、EEG-ECG的六分类睡眠分期结果 单位:%

信号类型 总体结果 每一睡眠周期的F1值
F1值 准确率 W S1 S2 S3 S4 REM
ECG 75.3 80.2 83.7 35.2 87.3 82.8 75.4 87.1
EEG 81.7 85.8 90.3 64.1 87.4 80.5 79.8 88.1
EEG-ECG 85.6 90.4 94.4 70.3 91.7 86.8 81.5 88.7
表3可知:1)单独使用ECG信号特征时,各睡眠阶段的分类准确率较低,尤其是S1期的F1值仅为35.2%。S2期的F1值最高,约为87.3%。说明使用单模态ECG信号时更容易识别S2期的波形特征。2)与单模态的EEG信号相比较,使用单模态EEG信号时,各睡眠阶段的分类准确率有所提升,总体准确率可达85.8%。特别是S1期的F1值提高了28.9%。3)对比单模态ECG和EEG的分类结果,结合EEG-ECG双模态信号的特征进行睡眠分类的效果最好,总体准确率可达90%以上。相比于使用单模态ECG时,总体准确率提高了10.2%,相比于使用单模态EEG时,总体准确率提高了4.6%。
实验结果证明:基于EEG和ECG的双模态信号进行睡眠分期的评估结果确实要比单模态的结果好,更加验证了不同模式的数据均与睡眠阶段有关系,并可以结合起来获得更精细的特征信息。从ECG和EEG中提取的特征补充了仅从EEG或者ECG中提取的特征,说明双模态的数据输入能提供更多的、相关的睡眠波形特征信息,可以捕获多样性的、不同类型的电生理信号特征,从而提高睡眠分期的准确率。
同时,当基于U2-Net和CBAM融合注意力模型进行睡眠分期任务时,实验得到的单模态ECG、单模态EEG以及双模态EEG-ECG信号的六分类混淆矩阵分别如图11~13所示。
Fig.11 Confusion matrix when using single-mode ECG signals for six classifications

图11 使用单模态ECG信号进行六分类时的混淆矩阵

Full size|PPT slide

Fig.12 Confusion matrix when using single-mode EEG signals for six classifications

图12 使用单模态EEG信号进行六分类时的混淆矩阵

Full size|PPT slide

Fig.13 Confusion matrix when using dual-modal EEG-ECG signals for six classifications

图13 使用双模态EEG-ECG信号进行六分类时的混淆矩阵

Full size|PPT slide

综合对比图11图12图13的混淆矩阵图可知:在MIT-BIH数据集上,W、S2、S3、S4和REM的分类精度均有所提升,基本在80%以上,但S1期的识别准确率还是比较差,在分类结果最好时也只有74.50%。归根到底,可能是S1期的波形比较复杂,不仅幅值较低,还呈现多频率混合。

3.2 消融实验的结果及分析

为了进一步研究和评估U2-Net和CBAM注意力模型中每个模块的有效性,本文设计了几个变体模型如下。
1)U2-Net结构:该模型只是一个双流U2-Net结构,没有嵌套多尺度特征提取模块和注意力机制,而是直接将从两个U2-Net网络中提取的双流特征图连接起来用于睡眠分期。
2)U2-Net结构+MSE:该模型在原始U2-Net结构的基础上添加了多尺度特征提取模块(MSE),主要考虑到睡眠信号是一个连续且持久的过程,为了检测上下文的过渡规则。
3)U2-Net结构+MSE+CBAM:该模型在模型2)的基础上,使用了通道和空间维度上的CBAM注意力机制进行睡眠分期。
为了实验对比的有效性,本文对这3个模型分别使用同样的数据集进行六分类睡眠分期实验,图14为上述3种模型的实验准确率和F1值。
Fig.14 Comparison of module ablation experimental results

图14 模块消融实验结果对比图

Full size|PPT slide

通过分析图14的实验结果可知。
1)U2-Net结构能够从机器视觉领域应用到生理时序信号的分类任务中,并取得较好的结果,得到了82.3%的准确率和78.6%的F1值。因为该结构可以直接从原始信号中捕获更多样化的显著性波形特征信息,不会丢失部分信息。
2)当在原始U2-Net结构中加入多尺度特征提取模块(MSE)后,模型的性能得到了提升。相比于原始U2-Net结构,加入MSE后的实验准确率提升了2.50%,说明MSE结构学习了信号波形中的多尺度特征。
3)当在U2-Net和MSE模块后继续添加CBAM融合注意力模块,模型的分类性能得到了进一步提高。相比于U2-Net+MSE模型,准确率提升了5.6%;相比于U2-Net模型,准确率提升了8.1%。这是因为CBAM可以同时从通道和空间两个维度加强重要特征的学习,并且能捕获更精细的深层特征。

3.3 损失函数的对比实验结果及分析

为了证明在数据类平衡处理时,本文模型采用自适应权重交叉熵损失函数的有效性,使用同样的数据集对传统权重、均衡权重、类感知权重损失函数[16]进行实验,并将其他加权交叉熵损失函数的结果和本文的自适应权重交叉熵损失函数的结果进行对比。实验结果如图15所示。
Fig.15 Comparison results of loss functions

图15 损失函数的对比结果

Full size|PPT slide

图15所示,使用自适应权重交叉熵损失函数的F1值和准确率均超过了其他所有加权交叉熵损失函数,并且使用该损失函数时的准确率能达到90.4%。对于睡眠六分类时,采用自适应权重交叉熵损失函数的准确率比使用类感知权重损失函数提升了2.1%;比使用均衡权重提升了3.0%;比使用传统权重提升了7.3%。
实验结果表明,本文所采用的自适应权重交叉熵损失函数能有效地解决数据不平衡的问题,并且取得优于其他加权交叉熵损失函数的结果。这主要得益于自适应权重交叉熵损失函数能够使模型对各类别进行良好的训练。

3.4 与其他方法的对比结果及分析

从分类准确率的角度来看,本研究对利用EEG和ECG双模态生理信号实现睡眠分期研究提供了一定的价值。同时,之前研究者们在MIT-BIH数据集上也有类似的研究,表4列出了本文模型和其他方法之间的性能比较。
Tab.4 Comparison of sleep staging work with other methods

表4 与其他方法的睡眠分期工作对比

研究者 信号类型 分类类别 分类模型 准确率/%
Rossow等[17] EEG Wake,NREM,REM Hidden Markov model 60.14
Lesmana等[18] HRV Wake,Light sleep,Deep sleep,REM Extreme learning machine 71.51
Utomo等[19] ECG Wake,Light sleep,Deep sleep,REM Weighted extreme Machine learning 73.09
Tripathy等[20] ECG-EEG Wake,Light sleep, Deep sleep,REM Deep neural network 73.7
Song等[21] EEG Light sleep,Deep sleep Multivariate discriminant analysis 79.4
Zhao等[22] ECG-EEG Wake,Light sleep,Deep sleep,REM Deep neural network 80.4
本文模型 EEG-ECG W,S1,S2,S3,S4,REM U2-Net+CBAM 90.4
本文提出的U2-Net和CBAM融合注意力的分类框架所学习到的特征应该比上述比较中计算出的特征更具有鉴别性,并且能够更好地适应类不平衡的数据,这为睡眠分期的研究提供了一种有效的解决方案。

4 结论

本模型以EEG和ECG双模态信号作为输入,使用添加了MSE模块的U2-Net网络并行提取双通道的波形特征;随后,将EEG和ECG信号特征通过双模态特征融合模块(MFF)进行融合后,先是通过通道注意力模块,再紧接着通过空间注意力模块。最后,使用Softmax函数进行分类。在MIT-BIH数据集上,基于单模态ECG的六分类总体准确率为80.2%,F1值为75.3%;基于单模态EEG的六分类总体准确率为85.8%,F1值为81.7%;基于EEG-ECG双模态的六分类总体准确率为90.4%,F1值为85.6%。本文为生理时序信号的分类提供了一种高效的、新颖的分类模型。这为将来基于生理信号进行可穿戴式、家用式的设备构建提供了一种较准确的思路方向,同时也为临床上睡眠障碍及相关疾病的诊治提供了理论依据。
本文提出的自动化睡眠分期模型虽然具备一定的优势,但由于研究有限,所以还存在一些不足之处,接下来将从以下几方面继续进行实验研究和工作开展:1)由于同时包含ECG和EEG信号的数据集较少,所以本文在验证模型时仅使用了MIT-BIH数据库的数据,未来将使用其他数据集进行实验,或者直接和相关医院进行合作,自己采集临床数据集进行实验;2)本文在数据集上仅仅进行了六分类睡眠分期任务,后续工作将考虑如何使用该波形特征实现“睡眠和清醒” “浅睡期和深睡期” “快速眼动期和非快速眼动期”等两分类。

References

[1]
FANG J, WHEATON A G, AYALA C. Sleep duration and history of stroke among adults from the USA[J]. Journal of Sleep Research, 2014, 23(5):531-537.
Although short sleep duration is related to chronic conditions, such as hypertension, diabetes and obesity, the association with stroke is less well known. Using 2006-2011 National Health Interview Surveys, we assessed the association between self-reported duration of sleep and prevalence of stroke stratifying by age and sex. Of the 154 599 participants aged 18 years or older, 29.2%, 61.8% and 9.0% reported they sleep ≤6, 7-8 and ≥9 h per day, respectively. Corresponding age-standardized prevalence of stroke were 2.78%, 1.99% and 5.21% (P < 0.001). Logistic regression models showed a higher prevalence of stroke among those who slept ≤6 or ≥9 h a day compared with those who slept 7-8 h, after adjusting for sociodemographic, behavioural and health characteristics. Further stratifying by age and sex showed that the association of duration of sleep and stroke differed among different age or sex groups. Among young adults (18-44 years), a higher prevalence of stroke was found among women with short sleep. Higher prevalence of stroke was found among middle-aged men and women reporting short or long sleep duration. Among older adults (≥65 years), higher prevalence of stroke was found only among those who slept ≥9 h. In this national sample of adults, the association between duration of sleep and stroke varied by sex and age. Although there was an association of short sleep duration with stroke, we also observed the association of long sleep duration with stroke, especially among those aged 65 years or older.Published 2014. This article is a U.S. Government work and is in the public domain in the USA.
[2]
HAURI P J. Sleep disorders[M]//Handbook of Psychology and health. London: Routledge, 2021:211-260.
[3]
WOLPERT E A. A manual of standardized terminology, techniques and scoring system for sleep stages of human subjects[J]. Archives of General Psychiatry, 1969, 20(2):246-247.
[4]
ABOALAYON K, FAEZIPOUR M, ALMUHAMMADI W, et al. Sleep stage classification using EEG signal analysis:a comprehensive survey and new investigation[J]. Entropy, 2016, 18(9):272.
[5]
GONG Y L, WANG F T, LV Y D, et al. Automatic sleep staging using BiRNN with data augmentation and label redirection[J]. Electronics, 2023, 12(11):2394.
[6]
URTNASAN E, PARK J U, JOO E Y, et al. Deep convolutional recurrent model for automatic scoring sleep stages based on single-lead ECG signal[J]. Diagnostics, 2022, 12(5):1235.
[7]
牛艳玲, 刘健, 朱一荻, 等. 基于心率变异性信号的睡眠呼吸暂停检测方法[J]. 陕西师范大学学报(自然科学版), 2020, 48(6):26-32.
摘要
提出了一种仅使用心率变异性信号来自动检测睡眠呼吸暂停的方法。首先,从心电信号中提取心率变异性信号,并进行异常值处理和分段;其次,利用基于方差分析(analysis of variance,ANOVA))和最大相关-最小冗余(max-relevance and min-redundancy,mRMR)的两阶段特征选择策略获得特征向量;最后,采用五折交叉验证训练随机森林分类器。结果表明:本算法使用9个特征将每分钟“epoch”信号分类为呼吸暂停或正常,在测试集中获得的睡眠呼吸暂停识别的平均准确率为80%,Kappa系数0.61;该方法具有无创且低成本的特性,有利于便携式睡眠检测设备的硬件实现。
NIU Y L, LIU J, ZHU Y D, et al. Sleep apnea detection method based on heart rate variability signal[J]. Journal of Shaanxi Normal University (Natural Science Edition), 2020, 48(6):26-32.
[8]
郭艳平, 刘聪, 侯凤贞, 等. 基于单通道脑电信号的睡眠自动分期研究[J]. 陕西师范大学学报(自然科学版), 2020, 48(6):18-25.
摘要
睡眠分期是睡眠评估的基础,在睡眠紊乱症的早期诊断和干预中起着重要的作用。本文利用集合经验模态分解对单通道脑电信号进行预处理,联合使用从分解得到的固有模态信号中提取的线性和非线性动力学等多元特性,构建了机器学习模型的输入特征空间,并最终训练出可行的睡眠自动分期模型。通过对111个健康受试者整夜睡眠数据的分期实验发现,使用本文提出的特征构建策略,能在多种经典的机器学习算法(反向传播神经网络、支持向量机、随机森林和极端梯度提升)中获得具有实用价值的睡眠自动分期模型。其中,基于极端梯度提升算法的模型在对睡眠状态进行4种分期和5种分期的任务中,准确率分别为81.0%和79.7%。
GUO Y P, LIU C, HOU F Z, et al. Automatic sleep staging with a single electroencephalography channel[J]. Journal of Shaanxi Normal University (Natural Science Edition), 2020, 48(6):18-25.
[9]
XIAO W W, LINGHU R Q, LI H, et al. Automatic sleep staging based on single-channel EEG signal using null space pursuit decomposition algorithm[J]. Axioms, 2022, 12(1):30.
[10]
GAO Q X, WU K. Automatic sleep staging based on power spectral density and random forest[J]. Journal of Biomedical Engineering, 2023, 40(2):280-285.
[11]
MOODY G B, MARK R G, GOLDBERGER A L. PhysioNet:a web-based resource for the study of physiologic signals[J]. IEEE Engineering in Medicine and Biology Magazine:The Quarterly Magazine of the Engineering in Medicine & Biology Society, 2001, 20(3):70-75.
[12]
MALEKZADEH M, HAJIBABAEE P, HEIDARI M, et al. Review of deep learning methods for automated sleep staging[C]//2022 IEEE 12th Annual Computing and Communication Workshop and Conference (CCWC).Las Vegas,NV,USA. New York: IEEE, 2022:80-86.
[13]
QIN X B, ZHANG Z C, HUANG C Y, et al. U2-Net:going deeper with nested U-structure for salient object detection[J]. Pattern Recognition, 2020, 106:107404.
[14]
WOO S, PARK J, LEE J Y, et al. CBAM:convolutional block attention module[C]//European Conference on Computer Vision, Cham: Springer, 2018:3-19.
[15]
KOURETAS I, PALIOURAS V. Hardware implementation of a softmax-like function for deep learning[J]. Technologies, 2020, 8(3):46.
[16]
ELDELE E, CHEN Z H, LIU C Y, et al. An attention-based deep learning approach for sleep stage classification with single-channel EEG[J]. IEEE Transactions on Neural Systems and Rehabilitation Engineering:A Publication of the IEEE Engineering in Medicine and Biology Society, 2021, 29:809-818.
[17]
ROSSOW A B, SALLES E O T, CÔCO K F. Automatic sleep staging using a single-channel EEG modeling by Kalman filter and HMM[C]//ISSNIP Biosignals and Biorobotics Conference.Vitoria,Brazil. New York: IEEE, 2011:1-6.
[18]
LESMANA T F, ISA S M, SURANTHA N. Sleep stage identification using the combination of ELM and PSO based on ECG signal and HRV[C]//2018 3rd International Conference on Computer and Communication Systems (ICCCS),Nagoya,Japan. New York: IEEE, 2018:258-262.
[19]
UTOMO O K, SURANTHA N, ISA S M, et al. Automatic sleep stage classification using weighted ELM and PSO on imbalanced data from single Lead ECG[J]. Procedia Computer Science, 2019, 157:321-328.
[20]
TRIPATHY R K, RAJENDRA A U. Use of features from RR-time series and EEG signals for automated classification of sleep stages in deep neural network framework[J]. Biocybernetics and Biomedical Engineering, 2018, 38(4):890-902.
[21]
SONG I H, LEE D S, KIM S I. Recurrence quantification analysis of sleep electoencephalogram in sleep apnea syndrome in humans[J]. Neuroscience Letters, 2004, 366(2):148-153.
[22]
ZHAO R Q, XIA Y, WANG Q Y. Dual-modal and multi-scale deep neural networks for sleep staging using EEG and ECG signals[J]. Biomedical Signal Processing and Control, 2021, 66:102455.
PDF(3722 KB)

108

Accesses

0

Citation

Detail

Sections
Recommended

/