大脑是人类神经系统中最复杂的部分,由数千亿个神经元通过突触相互连接,形成了一个高度复杂的大脑网络。功能性磁共振影像(functional magnetic resonance imaging,fMRI)是一种利用磁共振成像技术来测量人脑神经元活动的方法[1],其原理是利用磁振造影来测量神经元活动所引发的血氧浓度(blood oxygen level dependent,BOLD)变化。结构性磁共振成像(structural magnetic resonance imaging,sMRI)是一种利用人体不同组织器官中氢质子的弛豫特性不同来进行成像的方法[2],其原理是利用磁场和无线电波来成像水分子在组织中的分布,从而反映大脑的解剖结构。二者是磁共振脑影像学的两大分支,fMRI具有非侵入性、无辐射性及高时空分辨率等特点,缺点是不能直接反映脑局部的电活动且时间分辨率比脑电低,用于研究大脑在执行任务时的活动模式,如说话、记忆、视觉处理等。sMRI具有高对比成像和多参数成像的特点,但是其成像速度慢且易受多种伪影影像的干扰,主要用于揭示大脑中的解剖关系,能够提供人脑的结构和解剖学信息,是目前应用广泛的一种大脑结构成像技术。功能脑网络(functional brain networks,FBN)[3-5]被认为是人类大脑结构的基本组织元素,每个脑网络都由一组具有相似时间特征的脑区组成,这种时间同步使得它们在神经活动中协调合作完成特定的功能。因此,原始的四维fMRI影像数据可以分解为时间维度和三维空间维度(脑网络)。许多研究表明,脑功能障碍疾病如孤独症、注意力缺陷多动症、精神分裂症、抑郁症等都伴随脑网络和脑功能连接的改变,因此,研究脑网络对于理解脑功能和脑疾病以及推动新一代人工智能技术的发展具有重要的意义。
在以往的研究中,研究人员提出了多种大脑网络映射的计算方法和工具,经典的基于fMRI的大脑功能网络检测方法包括广义线性模型(general linear model,GLM)[6-9]、独立成分分析(independent component analysis,ICA)[10-16]和稀疏字典学习(sparse dictionary learning,SDL)[17-22]。GLM是一种经典的模型驱动方法,在基于任务态fMRI数据分析中广为人知。ICA是一种数据驱动方法,在静息态fMRI数据分析中占主导地位。SDL也属于数据驱动方法,近年来被广泛应用于任务态fMRI数据和静息态fMRI数据。非负矩阵分解(non-negative matrix factorization,NMF)[23-26]是一种用于提取fMRI数据中潜在功能连接模式的方法,与ICA相比,NMF可以在高维数据中捕获稳健可靠的潜在结构差异,适合用于sMRI检测个体间的差异;由于静息态fMRI数据为大脑自发活动信号,用于脑功能网络的分区。典型的基于静息态fMRI数据的脑功能网络检测方法为种子点方法[27-28],在该方法中,所有与选定种子点高度相关的体素被认定为同一脑网络。然而,在同一脑区选不同的种子点,会得到不同空间结构的脑网络,该方法完全依赖于用户定义的感兴趣区域(region of interest,ROI)。与种子点方法不同,图论分析(graph theory analysis)[29-31]可以测量整个大脑或与特定功能相关的网络中ROI的拓扑属性。通过构建脑功能连接矩阵,可以计算各种网络参数(如节点度、聚类系数、小世界性等),在大脑功能网络研究中得到广泛应用。此外,其他机器学习方法,如偏最小二乘回归(partial least squares regression,PLSR)[32-33]、支持向量机(support vector machines,SVM)[34-35]和主成分分析(principal component analysis,PCA)[36],也已成功用于fMRI的分析中[37]。虽然这些方法已经取得了许多有意义的结果,但它们仍然受到一些限制。由于脑网络本质上具有多层、动态交互的特性,使得GLM、ICA和SDL作为浅层的模型难以挖掘蕴含在fMRI影像中复杂的隐藏信息,因此需要探索新的方法来检测大脑功能网络。
深度学习是一种基于人工神经网络的机器学习算法,它通过多层非线性变换对数据进行建模和处理,与传统的机器学习模型相比,深度学习模型能够自动从大量数据中学习特征和模式,通常比传统方法表现更出色。在fMRI领域,深度学习模型可以提取分层的时间特征和空间特征,这些特征比传统的浅层模型包含更多的潜在信息。在过去的十年里,研究人员提出了各种应用于fMRI的深度学习模型,如深度置信网络(deep belief network,DBN)[38-40]、卷积神经网络(convolutional neural network,CNN)[41-42]、循环神经网络(recurrent neural network,RNN)[43-46]、变分自动编码器(variational auto-encoder,VAE)[47-49]、图神经网络(graph neural network,GNN)[50]等。
本文基于fMRI影像,全面回顾了用于检测功能脑网络的深度学习模型及相关应用,总结了脑网络检测所面临的挑战与应对策略,并提供了新的视角和未来的研究方向。
1 基于深度学习的脑网络检测基本原理
fMRI数据记录了大脑中每个体素的BOLD信号,是一种四维数据,包含时间维度和三维大脑空间维度。基于ICA和SDL中的假设,四维fMRI数据可被分解为时间特征乘以空间特征,所谓空间特征即功能脑网络。具体来说,功能脑网络是指具有相似时间特征的大脑体素或区域的集合,反映了不同脑区功能的相关性。脑网络具有动态性、重叠性以及分层模块化等属性,反映了大脑区域之间的动态交互[51]。基于深度学习的脑网络检测是一种利用深度神经网络对人类大脑中神经元之间的连接进行分析和预测的方法,通常分为三个步骤。1)数据预处理。在标准的fMRI数据预处理后,现有的方法大多先对原始的四维fMRI数据进行降维,将其转换为二维矩阵(如图1所示),这大大降低了模型的计算量,但可能损失部分空间信息。2)时间特征提取。针对脑网络而言,fMRI数据没有标签,因此现有方法通常使用无监督深度学习模型训练fMRI数据,例如自编码器模型。训练结束后自编码器的编码器部分就成为一个特征提取器用来获取fMRI数据的时间序列特征(如图2所示)。3)空间特征(脑网络)计算。根据ICA和SDL中的假设,即fMRI数据可被分解为时间特征和空间特征(脑网络)的乘积,因此在获取时间特征后,可以采用线性回归或LASSO(least absolute shrinkage and selection operator)回归算法[52-53]来估计脑网络。由于LASSO回归具有稀疏特性,因此现有的方法多采用LASSO回归来计算脑网络(如图3所示)。
由于fMRI数据体素量非常大,根据不同的采集精度由几万到几十万个不等,造成深度学习模型训练难度极大,因此通常需要对四维fMRI进行降维处理。图1是四维fMRI数据转换为二维数据的示意图,大脑的三维体素被转换成向量,四维数据转换为二维,即时间维度和空间体素维度。随着计算资源的增加和技术的进步,使用三维模型建模三维fMRI序列,甚至使用四维模型直接建模四维fMRI数据也成为可能。
如图3所示,将二维fMRI数据集成到一个信号矩阵X中,T为时间点数,n为体素数,信号矩阵X的每行代表每个时间点的全脑fMRI信号,每列代表单个体素的时间序列。时间特征Y由上一步获取。通过LASSO回归来计算空间特征矩阵W。矩阵W的每一行向量可以理解为一个脑网络,与相应的时间特征对应,这个向量可被返回到大脑的三维空间并可视化为脑网络,该操作是预处理中四维数据转二维的反操作。
以上步骤是一个典型的基于深度学习的脑网络检测流程,除去数据预处理,脑网络检测分为两步来实现,即先提取时间特征,再计算脑网络。目前,多数现有的深度学习模型采用这种双步式方法检测脑网络,只不过采用了不同的深度学习模型来获取时间特征。此外,还有一种方法不需要时间特征检测这一步骤而直接得到脑网络,我们称之为单步式方法。例如VS-DBN(volumetric sparse deep belief network)模型[38],经过训练后模型网络的权重直接被可视化为脑网络。单步式方法的主要缺点是在训练过程中更新的网络并不适用于测试数据集,而双步式方法很容易获取测试数据上的脑网络,且不需要完全的再训练,并且脑网络的稀疏度可以很容易地通过LASSO进行调整。
2 脑影像数据分析工具
2.1 数据预处理工具
fMRI数据的处理依赖于高质量的数据来源和工具。表1对当前主流的fMRI开源数据集进行了系统性总结,涵盖了数据集的名称、用途及数据类型等信息。这些数据集为脑网络检测研究提供了丰富的基础资源,在模型开发与验证中发挥了重要作用。接下来,将进一步介绍几种常用的fMRI数据预处理工具及其特点。
表1 fMRI开源数据集总结表Tab.1 Summary table of fMRI open source dataset |
| 数据集名称 | 数据集介绍 | |
|---|---|---|
| 人脑连接组计划 (human connectome project,HCP) | HCP数据集于2009年在HCP项目的官网(https://www.humanconnectome.org/)发布,是由美国国立卫生研究院(NIH)资助的大型神经影像学项目,该数据库包含1 200名来自健康成年人的多模态神经影像数据,包含包括结构MRI、静息态MRI、任务态fMRI等数据模态,公开可用。 | |
| 1000功能连接组计划(1000 functional connectomes project,FCP) | FCP数据集于2009年在官网(https://fcon_1000.projects.nitrc.org/)发布,由功能磁共振成像社区的领导成员合作推出了1 000人的功能连接组计划,该数据库采集自35个中心,1 355名被试,包括结构态MRI和静息态fMRI,公开可用。 | |
| ADHD-200数据库 | ADHD-200数据库于2009年在官网(https://fcon_1000.projects.nitrc.org/indi/adhd200/)发布,来自8个独立成像站点的776个静止状态fMRI和解剖数据,其中491个来自正常发育的个体,285个来自年龄为7~21岁的ADHD儿童和青少年,公开可用。 | |
| 孤独症脑成像数据(autism brain imaging data exchange,ABIDE) | ABIDE数据集于2012年在官网(https://fcon_1000.projects.nitrc.org/indi/abide/)发布,该数据集涉及17个国际站点,共享以前收集的磁共振成像数据,包含1 112个数据,其中539个来自孤独症患者,573个来自典型对照组(7~64岁)的静息态fMRI、解剖学和表型数据,公开可用。 | |
| 国际信度与可重复性联盟 (consortium for reliability and reproducibility, CORR) | CORR数据集于2014年在官网(http://fcon_1000.projects.nitrc.org/indi/CoRR/html/)发布,由中科院心理所和美国儿童心理研究所共同发起,该数据库包含1 629名来自33个中心被试的MRI数据,MRI数据模态包括结构MRI、静息态fMRI、扩散磁共振成像和动脉自旋标记成像,目前32个可提供下载。 | |
| OpenNeuro数据库 | OpenNeuro数据库于2016在官网(https://openneuro.org/)发布,由Poldrack及其团队创建的免费且开源的神经影像学数据库共享平台,该数据库包含577例数据集,共计19 872名受试者的数据,公开可用。 | |
| fastMRI数据库 | fastMRI数据库于2018年在官网(https://fastmri.med.nyu.edu/)发布,是Facebook AI research和纽约大学朗格尼健康中心(NYU Langone Health)的合作研究项目,该数据库分为膝盖MRI和脑部MRI。脑部MRI数据库提供6 970名受试者的T1、T2和FLAIR数据,数据库使用授权访问制,需申请授权方可访问及获取。 | |
| 阿尔茨海默神经影像计划 (Alzheimer’s disease neuroimaging initiative,ADNI) | ADNI数据库是一个研究阿尔茨海默病的多中心合作项目,目前已经进行了4期(ADNI-1,ADNI-GO,ADNI-2,ADNI-3),第一阶段开始于2004年,可在官网上(https://adni.loni.usc.edu/)下载,包含类型有dMRI、fMRI、sMRI、PET等神经影像数据,公开可用。 | |
| 西蒙数据集 | 西蒙数据集在官网(https://fcon_1000.projects.nitrc.org/indi/retro/SIMON.html)发布,由73例29~46岁成年健康男性受试者组成的MRI和fMRI数据集,采集自多个不同的站点,使用多种不同的MRI扫描仪,扫描了多种不同的T1、T2序列,公开可用。 | |
| fcon_1000和INDI 项目数据库 | 该数据集在官网(https://fcon_1000.projects.nitrc.org/indi/IndiPro.html)发布,是由Michael Milham博士运行的一个开放共享的神经影像数据库,该项目有多个不同分类的子数据库,公开可用。 | |
FSL(FMRIB software library)(https://fsl.fmrib.ox.ac.uk/)是由英国牛津大学开发的一款用于结构和功能MRI以及弥散张量成像(diffusion tensor imaging,DTI)[55-56]数据预处理的主流软件[57],被广泛应用于脑科学研究。FSL的优势在于其强大的功能和可靠性,能够处理各种复杂的成像数据,并提供高效的分析流程。
SPM(statistical parametric mapping,SPM)(https://www.fil.ion.ucl.ac.uk/)是一种基于MATLAB开发的脑成像数据分析系统[58],是由伦敦大学学院的神经学家Karl Friston领导的团队开发的。REST软件是由杭州师范大学附属医院认知与脑疾病研究中心主任臧玉峰团队开发的一款基于SPM的fMRI数据处理和分析工具[59],能够完成基本的fMRI数据预处理,包含时间层校正、头动校正、原点校正、空间标准化等功能。REST软件具有较为友好的用户界面和丰富的功能模块,为研究人员提供了便捷且可靠的工具来处理和分析fMRI数据。
Nilearn(https://nilearn.github.io/)是一个基于Python的神经影像工具包[60],其作者也是著名的Scikit-Learn机器学习[61-63]工具包的作者。Nilearn具有强大的fMRI数据预处理、数据分析以及数据可视化等功能。Nilearn建立在NumPy、SciPy和Scikit-learn平台上,并且结合了一些其他的Python包,可以快速、高效地进行各种神经影像数据分析。Nilearn的一个显著特点是它与深度学习模型的兼容性,借助于Python在深度学习领域的广泛应用,Nilearn能够与深度学习模型无缝集成,为脑影像研究提供了更加强大的工具。
2.2 数据可视化工具
可视化工具是神经影像学领域的重要工具,它们可以将复杂的脑网络和脑功能连接图形象地呈现出来,使得研究人员可以更好地理解大脑的拓扑结构、网络模式和信息传递路径,进而理解和分析脑功能和疾病。同时,对于研究注意力、认知、情绪等高级认知过程,通过分析脑网络和脑功能连接图,有助于理解脑疾病中脑功能的改变,帮助诊断和治疗脑疾病。目前,已经开发的脑影像可视化工具包括Connectome Workbench、BrainNet Viewer(https://www.nitrc.org/)、Gephi(https://gephi.org/)以及Python中的可视化工具包[64-67],如NetworkX(https://networkx.org/)、Nilearn等。
其中,Nilearn应用十分广泛,专门用于各种神经影像分析,如fMRI、PET等。Nilearn提供了处理和分析功能性和结构性脑成像数据的工具。Nilearn的plotting模块提供了体素空间和皮层的绘图方法,可以绘制结构像、功能像、时间序列、神经影像分析结果的可视化图,比如ROI绘制、脑网络图绘制、统计结果绘制等神经影像研究中常用的各种类型的图片。如图4所示,Nilearn以切片(slices)、玻璃透视(glass brain)以及表面(surface)三种方式展示了与运动相关的大脑网络。
此外,基于MATLAB的BrainNet Viewer也是一款功能强大的脑影像可视化工具。它能够显示大脑表面、节点、边缘的不同组合,为脑连接研究提供了一个灵活、快速的可视化平台。该工具支持多种文件类型,包括大脑表面文件、节点文件、边缘文件和体积文件,用户可以根据需求灵活导入。同时工具包提供了节点颜色、大小、视图等多种图形配置参数,可以通过选择不同的节点形状、线条颜色和粗细等参数来更改网络图的外观。如图5所示,展示了基于 BrainNet Viewer 绘制的大脑功能连接图,直观反映了功能区域之间的连接模式。此外,该工具还支持用户添加功能模块,进行网络统计分析和动力学分析。如图6所示,展示了基于统计分析计算的t值分布图,用于观察功能连接的显著性变化。
XjView(https://www.alivelearn.net/xjview/)也是一款基于MATLAB的功能强大的神经影像可视化工具。它可以用于显示、分析和处理各种类型的神经影像数据,如MRI、PET、fMRI等,并支持不同的数据格式,包括NIfTI、AFNI等,可通过选择颜色表、阈值等参数来优化图像显示效果。同时,它提供了切片查看、立体视图、三维渲染、ROI定位等功能帮助用户更好地理解神经影像数据,并从中提取有用的信息。除此之外,用户也可以根据需要添加各种插件,如链接分析、网络分析等。图7为XjView展示的默认脑网络。在截面图中点击一个位置,透视图和截面图正下方会显示该位置的定位信息,并通过“//”进行分割,Right Cerebrum//Limbic Lobe//Cingulate Gyrus//undefined//undefined是基于Talairach的分区模板, 表示在半球水平、叶水平等不同水平的位置,Precuneus R(aal)是基于AAL的分区模板。在截面图中,可以选择不同的模板呈现脑网络,也可以调整colorbar的范围,改变图像显示的颜色。
3 现有深度学习脑网络检测方法总结
表2从模型框架、建模方式等方面对现有的深度学习脑网络检测方法进行了总结。
表2 深度学习脑网络检测方法总结Tab.2 Summary of deep learning methods for brain network detection |
| 方法 | 发布 年份 | 框架 | 是否生 成模型 | 建模 方式 | 任务 | 描述 | 数据集 | 优势 | 局限性 | |||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| DCAE[41] | 2017 | 自编 码器 | 否 | 时域 建模 | 时间特征分析、脑疾病分析 | 双步式、 无监督 | HCP Q1 | 增强了特征重建能力。 | 忽视了原始信号中的大脑空间信息。 | |||||||||
| DVAE[68] | 2020 | 变分自 编码器 | 是 | 空域 建模 | 脑网络检测、脑疾病诊断 | 双步式、 无监督 | ADHD-200 | 充分应用fMRI数据的空间特征,构建了数据驱动的脑图谱。 | 忽略了数据时间上的依赖关系。 | |||||||||
| DRVAE[69] | 2021 | 变分机 制、循环 神经网络 | 是 | 时空 建模 | 脑网络检测、数据生成 | 双步式、 无监督 | HCP Q3、 ADHD-200 | 有效学习序列数据的时空特征表示,可用于数据生成。 | 无法获取数据时域上的全局依赖关系。 | |||||||||
| DSRAE[70] | 2019 | 自编 码器 | 否 | 时空 建模 | 脑网络检测、任务识别 | 双步式、 无监督 | HCP Q3 | 揭示了大脑的时空网络动态模式,训练效果提升。 | 模型泛化能力有待提高。 | |||||||||
| STAAE[71] | 2022 | 自编 码器 | 否 | 时空 建模 | 脑网络检测、脑疾病诊断 | 双步式、 无监督 | ADHD-200 | 能够捕获全局的时序依赖信息,可对fMRI数据进行时空建模。 | 基于时域特征模板的脑疾病分类方法有待进一步验证。 | |||||||||
| Multi- Head GAGNN[50] | 2022 | 多头注 意力、图 神经网络 | 否 | 时空 建模 | 静息态脑网络检测 | 单步式、 弱监督 | HCP S900、 HCP S1200 | 使用多头注意力和图神经网络有效地捕捉数据中的复杂关系和特征。 | 使用弱监督方式精确定位目标大脑网络,无监督表征能力有待提高。 | |||||||||
| VS-DBN[38] | 2019 | 深度置 信网络 | 是 | 空域 建模 | 脑网络检测、分层脑网络分析 | 单步式、 无监督 | HCP Q3 | 在分层结构下对脑功能网络具有良好的学习和表征能力。 | 没有考虑fMRI数据时间上的依赖关系。 | |||||||||
| RWGAN[72] | 2022 | 生成对 抗网络 框架 | 是 | 时空 建模 | 脑网络检测、数据生成 | 双步式、 无监督 | HCP Q3 | 首次使用GAN进行脑网络检测和数据生成。 | 模型训练仍然比较困难,生成能力有待提高。 | |||||||||
| MAMSM[73] | 2023 | 多头注 意力、掩码 序列模型 | 否 | 时域 建模 | 任务态脑网络检测 | 单步式、 弱监督 | HCP Q1 | 借鉴了NLP中的掩码序列模型,利用任务态fMRI的任务设计信息更好地建模fMRI的时序信息。 | 不适用于静息态fMRI数据。 | |||||||||
深度学习模型从自编码器结构开始,逐步针对fMRI特点引入多种机制,如深度卷积自编码器(deep convolutional auto-encoder,DCAE)、深度稀疏循环自编码器(deep sparse recurrent auto-encoder,DSRAE)、深度变分自编码器(deep variational auto-encoder,DVAE)、深度循环变分自编码器(deep recurrent variational auto-encoder,DRVAE)、时空注意力自动编码器(spatiotemporal attention auto-encoder,STAAE)等。其中,DCAE模型旨在利用数据驱动方法和CNN的分层特征提取能力[74],在无监督的情况下从复杂的、大规模的任务态fMRI时间序列中学习中级和高级特征。DSRAE是一种时空数据驱动方法,可以从四维fMRI数据中联合表征和重建时空信息,揭示了大脑网络时间上的动态复杂模式。DVAE引入变分机制,是一种生成模型。在小样本数据集上,DVAE有效缓解了过拟合,提升了脑网络检测性能。DRVAE在继承DVAE优势的基础上,引入循环神经网络,既能够获取fMRI时间序列上的局部特征,同时还可以为fMRI数据增强和相关应用生成高质量的新数据。另一种生成模型为生成对抗网络(generative adversarial network,GAN),能够应用于fMRI数据,循环瓦瑟斯坦生成式对抗网络(recurrent Wasserstein generative adversarial network,RWGAN)实现了这一全新的脑网络检测框架,并获得比DRVAE更好的增强数据。
此外,自然图像处理和自然语言处理领域的神经网络架构搜索技术(neural architecture search,NAS)也被引入fMRI深度学习模型中[81-83]。NAS方法可以实现自动化网络超参数设计,有效提高了模型的性能。例如,混合时空神经结构搜索网络(hybrid spatiotemporal neural architecture search net,HS NASNet)[76]、基于DBN的神经网络架构搜索方法(deep belief network with neural architecture search,NAS-DBN)[40]、基于DSRAE的神经网络架构搜索方法(eNAS-DSRAE)[84]。上述NAS方法的搜索空间是离散域,最优结构受原始深度学习模型约束,为此研究者提出了可微网络架构搜索算法(differentiable architecture search,DARTS)[85-87],该方法能够发现具有复杂图拓扑的高性能结构,从而突破原始模型限制。ST-DARTS模型[88]在DARTS的基础上引入了空间维度和时间维度的相关性,构建了一套适合时空数据建模的网络结构搜索算法,很大程度上提高了大脑网络的分解能力。
以下将介绍目前主流的脑网络检测深度学习模型,按照它们的特点分为三类,包括自编码器框架的深度学习模型、时空深度学习模型和其他模型。
4 自编码器框架的深度学习模型
自编码器(auto-encoder,AE)是一种典型的无监督深度学习模型[89],由于fMRI数据不存在脑网络层面的标签,因此自编码器在 fMRI 数据建模中展现了显著的优势。
4.1 深度卷积自编码器
由于fMRI影像通常只有宏观上的标签,例如受试者的年龄、性别、疾病等,缺乏针对脑网络的直接标注信息,无监督深度学习模型如自编码器便成为 fMRI 数据建模的理想选择。与ICA和SDL等传统机器学习方法相比,AE通过对特征加权融合,可以更有效地利用次要特征。人类大脑功能是分层组织的,受深度卷积网络的启发,Huang等[41]提出了DCAE模型。该模型由编码器和解码器组成,编解码部分加入卷积层,利用局部连接和权值共享,减少参数的同时获得更丰富的中级和高级特征。在HCP数据集7个任务态fMRI数据(https://www.humanconnectome.org/)上进行实验,比较DCAE与低级稀疏字典学习(SL-SDL)各自的重建信号和原始时间序列的Pearson相关系数,DCAE有更高的平均相关性,并且相邻脑区有清晰的边界;在阿尔茨海默病(Alzheimer’s disease,AD)静息态数据集上进行实验,应用DCAE和高级稀疏字典学习(HL-SDL)计算框架获得时间序列模式与空间映射,结果表明:即使数据集不同,DCAE学习的第一层过滤器也是相当稳健的。值得注意的是,DCAE 的建模方式主要基于 fMRI 数据的时间维度:将一个时间序列作为一个训练样本输入,其中大脑体素的时间序列依次被送入自编码器进行训练。这种方式虽然有效,但忽略了原始信号中大脑空间信息的丰富性,对空间特征的捕捉存在一定的局限性。
4.2 深度变分自编码器
深度学习模型在训练fMRI数据时经常遇到数据量不足的问题,这可能会导致模型过拟合,从而影响模型的泛化能力。生成模型如变分自编码器(VAE)和生成对抗网络(GAN)[90-91]能够学习数据的潜在分布从而生成新的数据,这一特性可用于建模小样本数据,在牺牲精确度的同时提高了泛化性,从而在一定程度上缓解过拟合问题。为了解决小样本问题,Qiang等[68]提出了DVAE模型。该模型由编码器和解码器组成,输入为大脑空间体素,即一个时间点上的所有大脑体素是一个训练样本,把每一个时间点上的空间数据依次输入模型。这种建模方法充分考虑了fMRI数据的空间特征,但忽略了时间上的依赖关系。在 DVAE 中,编码器将输入的大脑空间数据映射到潜在空间,生成描述数据分布的潜在变量,这些潜在变量通过分布参数(均值和方差)进行采样后获得。解码器则利用这些潜在变量生成新的数据。因此,与传统的自编码器相比,DVAE 在建模过程中展现了更好的泛化性能。在注意力缺陷多动症数据集ADHD-200的小样本数据集(https://fcon_1000.projects.nitrc.org/indi/adhd200/)上,DVAE相比AE和SDL具有更好的脑网络检测性能。通过 DVAE 检测到的脑网络组合形成一个完全数据驱动的大脑图谱,而非预定义图谱。基于该图谱,研究者进一步计算 ADHD-200 数据集个体的功能连接特征,并使用这些特征训练一个有监督神经网络分类器,构建了从原始 fMRI 数据到分类预测结果的端到端脑疾病分类框架。与采用预定义大脑图谱的方法相比,该框架表现出了显著的优越性,验证了 DVAE 模型的有效性。
4.3 深度循环变分自编码器
大量研究表明,大脑状态是随时间不断变化的,然而,许多针对 fMRI 空间特征建模的深度学习方法如DVAE、VS-DBN未能充分考虑空间体素间时间动态的依赖关系[92-94]。因此,Qiang等[69]将循环神经网络与变分机制和自编码器框架相结合,提出了DRVAE模型,用于fMRI数据的建模和增强。循环层有助于对fMRI的时间动态进行建模。变分机制使DRVAE成为一个生成模型,学习具有泛化性的特征,克服过拟合问题。在HCP的7个任务态数据集上进行实验时,DRVAE的脑网络检测效果优于SDL、AE和DVAE等对比方法。进一步分析显示,DRVAE 生成的数据可用于脑疾病数据集的扩充。在小样本数据集上,使用这些生成数据显著提高了脑疾病预测的准确性,展示了该模型在数据增强与脑疾病分析中的潜力。
5 时空深度学习模型
在fMRI领域,早期的深度学习模型如 DCAE 主要在时域上对数据进行建模,但未能充分利用空间信息。随后发展出的一些模型(如DVAE、VS-DBN等)则专注于空间特征建模,却忽视了时间维度上的依赖关系。为了解决这一局限性,研究者提出了时空深度学习模型。这类模型的核心特征是能够同时捕捉 fMRI 数据中时域和空间维度的关键信息,从而更全面地反映大脑的动态功能活动。
5.1 深度稀疏循环自编码器
DSRAE模型采用无监督学习的方式对fMRI的时空数据进行特征选择和特征重建,并基于HCP任务态数据集进行7个任务的识别[85]。模型采用正则化方法在训练中稀疏网络权重,有效提升了训练效果。DSRAE首次将长短期记忆网络(long short term memory,LSTM)和AE相结合,采用空间数据输入,通过LSTM同时获取时域信息,是最早考虑fMRI时空建模的深度学习方法之一。DSRAE使用随机梯度下降(stochastic gradient descent,SGD)算法[95]优化损失函数,能够最小化重建误差和正则化误差。此外,DSRAE假设不同的被试具有不同的认知水平,验证了DSRAE在推断和表征任务诱发和自发的大脑网络方面表现出较高的有效性和鲁棒性。通过Pearson相关性及基于DSRAE的大脑状态解码工具研究fMRI数据与学习到的特征网络之间的关系,结果表明:当体素与网络高度正相关或负相关时,大脑处于某一特定状态;当体素与所有网络的相关性较低时,大脑处于任务过渡期间。DSRAE模型揭示了大脑的时空网络动态模式,并应用于基于脑解码的任务识别,达到了极高的准确率。
5.2 时空注意力自动编码器
STAAE[86]引入了自注意力机制(self-attention)[96],在空间上建模fMRI数据,相比于循环神经网络,STAAE能够捕获全局时序依赖信息,能够更全面地对fMRI数据进行时空建模。该模型也属于自编码器框架,由编码器和解码器组成,编码器用于提取高级特征,解码器用于重建输入。STAAE利用自注意力机制获取fMRI时间序列上的全局依赖关系,通过注意力分数衡量fMRI输入序列之间的全局依赖关系,能够学习fMRI的时空特征,自动捕获静息态下认知或生理变量的时间特征,并反映大脑活动的空间特征。该模型在ADHD-200数据集上进行了验证,成功获取了个体的时序特征和空间脑网络,并基于个体的时序特征分别建立了疾病和正常人的时序特征模板,用于ADHD分类预测[97],与传统方法相比,基于STAAE和时序特征模板的分类方法在预测性能上表现出显著优势。
5.3 多头引导注意图神经网络
多头引导注意图神经网络(multi-head guided attention graph neural network,MHGAGNN)是一种基于GNN的模型[50],由空间多头注意图U-Net[98-99]和时间多头引导注意网络[100]两个主要部分组成。空间部分基于三维U-Net,采用 fMRI 数据作为输入,生成10个目标静息态脑网络(resting state network, RSN)的空间模式。时间部分则利用fMRI数据,生成10个目标RSN对应的时间模式。由于在训练中使用了目标RSN,MHGAGNN是一种弱监督深度学习方法,该模型引入了注意图块(attention graph,AG)[101-102],将建模的空间模式与fMRI各时间点的三维空间块相乘,提取fMRI数据中相应的时间特征,进行快速下采样(fast DS)[103]操作。该方法在HCP和ABIDE I数据集上进行验证,结果表明:与其他SOTA方法相比,MHGAGNN模型在同时对多个脑功能网络的时空建模方面表现出更优越的建模性能,并且在其他独立测试数据集上也具有很好的泛化性。此外,MHGAGNN还能够更准确地预测大脑和认知行为之间的关联,这为研究大脑功能建模以及理解大脑认知行为关联提供了一种新颖且有效的工具。
6 其他深度学习模型
接下来介绍的三种深度学习模型不属于前述的两类,包括深度置信网络、生成对抗网络和多头注意力掩码序列模型。
6.1 深度置信网络
深度置信网络(deep belief network,DBN)结合了无监督学习和有监督学习的多层概率机器学习模型[104],由若干个受限玻尔兹曼机(restricted Boltzmann machines,RBM)[105-107]堆叠而成,组成了一个逐层递进的结构。DBN能够从原始数据中自动学习、提取特征,并且通过DBN的“逐层初始化”能够更有效地解决深层网络的训练问题。但DBN模型应用于fMRI数据有很多困难,为了弥补现有技术和知识上的差距,Dong等[38]提出了一种稀疏深度信任网络模型(VS-DBN),在VS-DBN获取的多层脑网络中,当网络处于较深层时,功能网络中激活的大脑区域往往更大,模式也更全面。在HCP数据集上的实验验证表明:VS-DBN能够分层稳健地重建大量有意义的功能脑网络。这一结果表明,VS-DBN在分层结构下具备良好的脑功能网络学习能力。此外,VS-DBN 使用网络权重作为分层功能大脑网络,为推断大脑功能网络提供了一个通用的DBN深度学习框架,并且是最早研究脑网络分层组织结构的方法之一。
6.2 循环瓦瑟斯坦生成对抗网络
GAN是一种数据驱动的无监督生成模型[108],可以直接从数据中学习特征。RWGAN[87]在GAN的基础上采用Wasserstein距离度量重建误差并引入循环层[109],提高了GAN的训练效率和稳定性,且能够更好地对时间序列的局部特征进行建模。RWGAN模型由生成器和鉴别器组成[110]:生成器利用随机噪声产生假的fMRI数据;鉴别器识别真实数据和虚假数据之间的差异。在训练完成后,鉴别器可被用作特征提取器,从新的输入中提取时间特征,而无需重新训练。若模型训练良好,鉴别器能够从真实与虚假数据中提取出相似的广义特征。RWGAN在HCP数据集的7个任务态fMRI数据上进行了验证[87],实验结果表明:与GLM和其他深度学习模型相比,RWGAN能够有效提取时间特征和功能脑网络。此外,RWGAN在处理fMRI数据时能够提取出有效的时间和空间特征,克服了过拟合和高质量标签缺乏的问题,并且在小型训练数据集上展示出更优的性能。
6.3 基于多头注意力的掩码序列模型
基于多头注意力的掩码序列模型(multi-head attention-based masking sequence mode,MAMSM)[88,111]利用多头注意机制[112]和多单元法(masking sequence mode,MSM)计算fMRI序列中相同信号值对应的不同含义,采用随机掩码和连续掩码相结合的方法提高模型的学习能力。为了充分利用先验知识获得更好的特征,MAMSM模型结合余弦相似误差和均方误差设计了新的损失函数。该模型由两个主要部分组成:预训练和进一步训练。首先,对tfMRI时间序列进行掩码编码,并通过掩码序列模型预训练获得上下文信息。其次,将预训练得到的潜在特征输入到非对称自编码器中,结合新的损失函数进行进一步训练。训练完成后,生成的系数矩阵可以映射到三维脑空间,进而得到功能脑网络。该模型已应用于HCP的Motor数据集上[88],实验结果表明:MAMSM 能有效提取并学习 tfMRI 中的时间动态特征,其性能优于传统深度学习模型,达到了目前的先进水平。MAMSM模型借鉴了自然语言处理(natural language processing,NLP)[113]问题中的掩码序列模型,利用任务设计信息更好地建模fMRI的时序信息。然而,由于该方法依赖任务设计进行弱监督训练,因此不适用于静息态 fMRI 数据。
7 现存问题与未来改进方向
深度学习模型在fMRI数据处理中已经得到了广泛应用,但仍然存在一些不足。首先,第一个问题是深度学习模型的训练需要足够的数据,而大多数fMRI数据集都不够大,所以容易出现过拟合问题。第二个问题是缺乏高质量的标签。由于缺乏标签,大多数研究者只能采用自编码器等无监督模型或利用任务信息设计弱监督模型来建模fMRI数据,这在一定程度上限制了最新的深度学习模型在fMRI领域的应用。第三个问题是fMRI的时空建模问题。原始的四维fMRI数据在大脑三维空间和时间序列中都包含了复杂而丰富的信息,虽然递归神经网络和注意力网络已经成功地应用于fMRI的时空建模,但同时对fMRI的时间特征和空间特征进行建模仍然具有挑战性。第四个问题是深度学习模型的神经架构搜索。深度神经网络是一种强大而灵活的模型,与传统方法相比,它可以应用于fMRI数据,具有出色的表示能力。然而,由于fMRI体积图像的维数高,人工设计网络模型的过程非常耗时。第五个问题是表示不同大脑在不同条件下的规律性和变异性。虽然大脑功能的组织及其结构在不同的人群中差异很大,但是仍然表现出同质性。如何从fMRI中有效地表示出不同大脑的规律性和变异性仍然是一个具有挑战性的问题。第六个问题是脑网络的动态和分层模块化组织还有待进一步研究。已有的研究表明,大脑功能网络是一种典型的分层模块化结构,能够进行分层的功能性整合与分离,从而产生丰富的大脑功能。然而,这种动态分层属性以及网络交互特性的相关研究目前还很少。最后是开发有效的多模态融合方法[114]来整合多种类型的网络连接问题。由于大脑网络内在的复杂关系,如何有效地整合多模态数据来表征大脑网络仍然是一个未解决的问题。
针对深度学习在fMRI数据应用中的挑战,可从三个方面进行改进。首先,针对数据问题,可以考虑使用数据增强技术、迁移学习、元学习等方法,通过扩充数据、加速模型在fMRI数据上的学习过程,进一步提升模型在有限fMRI数据上的泛化能力和性能表现。其次,在模型方面,目前在自然语言处理领域广泛应用的Transformer 模型[115-117],是一种极具发展潜力的基于注意力机制的模型,它摒弃了递归网络结构,却能够对序列的输入方式进行记忆,并对每个元素的相对位置进行编码,结合Transformer和其他深度学习模型,利用注意力机制捕捉fMRI数据的时序和空间依赖,可以提供一种潜在的大脑动态建模解决方案。最后,多种神经影像学数据的可用性和大脑的复杂性促进了多模态数据的融合应用,通过结合不同类型的影像数据(如sMRI、fMRI、PET、EEG等)和临床数据,在不同模态之间共享知识,提高模型在少样本情况下的泛化能力,同时进行跨模态学习,实现模态之间的信息传递和互补,实现更准确的脑疾病预测和评估。
8 结语
在过去的十年中,各种深度学习模型已经成功地应用于fMRI数据,用于脑功能检测网络及其相关的应用。研究表明,与传统方法相比,深度学习模型具有更好的性能。此外,深度学习的分层结构,可以提供更多隐含在分层时间特征和大脑功能网络中的信息,有助于大脑认知和功能障碍的分析[118]。未来,基于深度学习的脑网络检测及应用有以下几个研究方向供参考。一是研究和引入新的深度学习模型应用于fMRI数据。目前多种深度学习模型已被用作提取多模式神经影像融合框架中高级特征的主要特征,模型的选择在很大程度上取决于每种模式的数据结构。设计能够自适应学习大脑结构特征的深度学习模型,可以更好地模拟fMRI的时空动态特性。二是基于分层脑网络的脑疾病辅助诊断研究。传统方法采用功能连接作为特征预测脑疾病,且多使用预定义的脑图谱模板,预测效果不佳。大规模分层脑网络中蕴含了更丰富的信息,如网络间交互特性的改变、网络动态性能的差异都可能作为新的脑疾病特征。三是基于多模态大模型的脑疾病诊断。近年来随着ChatGPT的出现,各种大模型层出不穷,研究者们已经开始探索将大模型应用于医学辅助诊断。多模态大模型能够融合影像数据、报告数据和专家诊断数据自动学习和生成专家级的诊断报告,对于各种疾病包括脑疾病的影像学辅助诊断具有非常重要的意义。