欢迎访问陕西师范大学学报(自然科学版)官方网站！

陕西师范大学学报(自然科学版) >

2023 , Vol. 51 >Issue 5: 25 - 34

DOI: https://doi.org/10.15983/j.cnki.jsnu.2023023

生物医学大数据专题

基于因果模型和多模态多目标优化的两阶段特征选择方法

  • 王逸豪 1 ,
  • 黄敬英 2 ,
  • 范勤勤 , 1, *
展开
  • 1 上海海事大学 物流研究中心,上海 201306
  • 2 浙江大学 医学院附属邵逸夫医院麻醉恢复室,浙江 杭州 310020
*范勤勤,男,副教授,博士生导师,主要从事多目标优化、机器学习方面的研究。E-mail:

Office editor: 宋轶文

收稿日期: 2022-05-11

  网络出版日期: 2023-09-28

基金资助

上海市浦江人才计划(22PJD030)

国家自然科学基金山东联合基金(U2006228)

收起

A two-stage feature selection method based on causal model and multimodal multi-objective optimization

  • WANG Yihao 1 ,
  • HUANG Jingying 2 ,
  • FAN Qinqin , 1, *
Expand
  • 1 Logistics Research Center, Shanghai Maritime University, Shanghai 201306, China
  • 2 Postanesthesia Care Unit, Sir Run Run Shaw Hospital, Zhejiang University School of Medicine,Hangzhou 310020, Zhejiang, China

Received date: 2022-05-11

  Online published: 2023-09-28

Fold

摘要

特征选择中特征数量和分类精度之间的关系通常可以看作是一个多模态多目标优化问题,但现有大多数多模态多目标进化算法对于高维优化问题的求解存在搜索能力不足的问题。为解决该问题,提出一种基于因果模型和多模态多目标进化算法的两阶段特征选择方法。在该方法中,首先使用因果模型对数据进行特征选择以便降低问题维度;然后使用多模态多目标优化算法搜索具有多模态特性的特征子集。为验证所提算法性能,它被用于术中低体温风险预测模型的特征选择问题。实验结果表明,提出的两阶段特征选择方法不仅融合了2种不同方法的优点,而且能为术中低体温预测提供更多决策支持。

关键词： 因果模型; 多模态多目标优化; 特征选择; 术中低体温; 进化计算

本文引用格式

王逸豪 , 黄敬英 , 范勤勤 . 基于因果模型和多模态多目标优化的两阶段特征选择方法[J]. 陕西师范大学学报(自然科学版), 2023 , 51(5) : 25 -34 . DOI: 10.15983/j.cnki.jsnu.2023023

Abstract

The relationship between the number of features and classification accuracy in the feature selection can usually be considered as a multimodal multi-objective optimization problem (MMOP). However, most existing multimodal multi-objective evolutionary algorithms (MMOEAs) have weak search capability in solving high-dimensional MMOPs. To solve this problem, a two-stage feature selection method based on causal model and MMOEA is proposed. In the proposed algorithm, the causal model is firstly used to select features to reduce the problem dimensionality, and then a competitive MMOEA is used to find a subset of features with multimodal characteristics. To demonstrate the performance of the proposed algorithm, it is used to solve the feature selection problem of intraoperative hypothermia prediction model. Experimental results show that the proposed two-stage feature selection method not only combines the advantages of two different methods, but also provides more decision support for the intraoperative hypothermia prediction.

Key words： causal model; multimodal multi-objective optimization; feature selection; intraoperative hypothermia; evolutionary computation

在医疗领域,风险预测模型通常以某种疾病的病因为基础,通过分析多因素的危险水平来建立预测模型[1]。术中低体温是指人体在接受手术治疗中核心体温低于36 ℃的现象。术中低体温的发生会影响人体酶促反应效率和药物代谢时间,严重的会导致人体术后寒战、凝血功能异常、呼吸抑制等情况,有时甚至会导致死亡[2-3]。此外,术中低体温的发生概率较高(50%~70%)[4-5]。因此,降低术中低体温发生的风险十分重要[6]。
为降低术中低体温的发生,研究人员相继推出各种风险预测模型。文献[7]根据专家文献分析选取了7个危险因素来建立全麻手术患者的术中低体温评分方程,并使用外部数据对其进行验证,所得AUC(area under the curve,记作AUC)值为0.771,实验结果表明该方程具有良好的预测性能。文献[3]提出一种针对腹腔镜手术的低体温风险预测模型,该模型通过单因素和多因素的逻辑回归选取4个特征进行建模,实验结果AUC=0.791,表明该模型的拟合度中等偏上。文献[8]提出一种低体温风险预测模型,首先通过双变量相关分析对特征进行分析,然后使用后向删除不显著的特征,最终选取5个特征来建立逻辑回归模型;通过64名手术患者测试集的测试,该模型所得AUC=0.85,实验结果表明模型的拟合度较好。
已有研究表明,特征选择会极大影响机器学习模型的预测精度。传统的特征选择方法主要有4种[9]:封装式、过滤式、嵌入式和混合式方法。为解决特征选择问题,文献[10]提出一种基于信息增益与皮尔森相关系数的2D自适应特征选择算法,该方法以信息增益为特征辨识度,并以皮尔森相关系数作为特征的独立性,选出在2D坐标空间中对分类任务贡献大的特征作为特征子集;实验结果证明,与经典特征选择算法相比,所提方法能在高维小样本的基因表达数据上选出有效的特征子集。文献[11]根据最大信息系数理论提出一种基于特征排序和近似马尔科夫毯的两阶段混合式特征选择方法,从而得到特征相关性与冗余性的关系。文献[12]通过众包学习将多种特征选择方法的结果根据可靠性集成在一起,实验结果表明该方法能够提高特征选择的有效性。为了避免特征选择陷入局部最优[13],研究人员使用进化算法去解决特征选择问题。文献[14]提出一种融合遗传算法和乌燕鸥算法的封装式特征选择方法,该方法使用遗传乌燕鸥算法对特征和支持向量机两个参数进行同时优化,从而提高预测模型的分类精度。文献[15]提出一种改进的多目标森林优化算法来解决多目标特征选择问题,实验结果表明,所提算法在特征数量和分类错误率方面都优于其他多目标特征选择方法。文献[16]提出一种基于特征属性的新型自学习封装式特征选择方法,该方法利用先前特征子集的SHAP值指导元启发算法的搜索过程,故具有较高的搜索效率。文献[17]提出一种将高维特征选择任务转化成几个低维特征选择任务的多任务粒子群算法,通过低维特征选择任务之间的知识迁移找到最优特征子集。
由于以上研究都尚未将特征选择当作是一个多模态多目标优化问题,故它们无法给出更多等效的特征子集。相比于普通的多目标优化问题,多模态多目标优化不仅需要在目标空间找到好的帕累托前沿逼近,还要在决策空间找到足够多的等价帕累托解[18]。虽然特征选择的主要任务是找出特征子集以降低维度,但这些特征子集可能存在多组等效的情况。为解决以上问题,Kamyab等[19]将多模态优化算法用于求解特征选择问题,结果表明多模态优化方法找到的解决方案比单模态方法更具多样性。Yue等[9]则使用一种多模态多目标优化算法来进行特征选择,实验表明多模态多目标优化算法可以降低特征提取成本。Jha等[20]基于特征间互信息与冗余度等因素,使用一种基于环形拓扑结构的多模态多目标优化算法进行过滤式的特征选择,选择出具有最小冗余和最大相关的特征子集;实验结果显示,相比于其他特征选择方法,所提算法不仅能提供更多数量的等效特征子集,而且具有更好或相似的预测精度。
虽然以上研究使用多模态多目标优化算法来进行特征选择,但是它们都没有考虑高维特征选择问题。为解决现有多模态多目标优化算法无法解决高维特征选择问题,本文提出一种基于因果模型和多模态多目标优化的两阶段特征选择方法(two-stage feature selection method based on causal model and multimodal multi-objective optimization,TSFS-CMMMO)。在所提算法中,首先通过因果模型删除高维数据样本中的不相关特征进行降维,然后使用多模态多目标进化算法对降维后的数据特征再次进行特征选择,最后将TSFS-CMMMO与深度森林算法进行结合,用于术中低体温风险预测。实验结果表明,相比于传统特征选择方法,所提算法不仅能够提供多种可行方案,还能克服实际应用中数据特征不易获取的问题。同时,相比于基于多模态多目标进化算法的特征选择方法,所提方法能够大大降低多模态多目标优化算法的求解难度,从而获得更多的等效解集。

1 相关工作

1.1 因果模型

因果模型可以表示数据中的因果关系[21]。真正快速因果推断[22](really fast causal inference,RFCI)算法是由Diego等提出的一种因果模型。在因果充分性假设难以满足的条件下,满足因果马尔可夫和因果忠诚性假设就可以刻画高维数据中各变量的依赖关系。
RFCI算法主要包含4个步骤:1)构造所有变量的完全图;2)使用d-分离法对三元组中的节点vi和vj进行vz节点下的独立性检测(如图1所示),并删去多余边确定开放三元组<vi,vj,vk>和分离集sepset(记作SS);3)根据开放三元组<vi,vj,vk>中的vj是否为碰撞点来确定v型结构;4)尽可能给更多的边定向。RFCI算法的具体流程如算法1所示。
图1 vi⊥vj|vk的3种d-分离示意图

Fig.1 Three d-separation diagrams of vi⊥vj|vk

算法1 RFCI算法
输入:训练数据集D,可观察变量集V={v1,v2,…,vn}
输出:有向无环图G
1.构造由变量集V中所有元素的非定向边组成的完全图
2.for each vi,vk∈V
3.if vi⊥vk then
4.移除vi-vk连接边,更新完全图
5.end if
6.end for
7.邻接子集M储存到分离集SS中
8.if vi和vk不相邻且vi和vk都与vj相邻 then
9.确定为开放三元组M<vi,vj,vk>,并放入集合Q
10.end if
11.for each <vi,vj,vk>∈Q
12.if vi和vk以及vk和vj都满足数据集D下条件依赖 then
13.将三元组添加到L
14.else删除错误边//确定v型结构和非v型结构
15.end if
16.从集合Q中移除三元组<vi,vj,vk>
17.end for
//用定向规则尽可能多地确定L中边的方向
18.返回最大定向的框架图C和分离集SS

1.2 基于自组织的多目标粒子群算法

基于自组织物种生成的多目标粒子群算法[23](self-organized speciation based multi-objective particle swarm optimizer,SSMOPSO)是一种结合了非支配排序算法和特殊拥挤距离的多模态进化算法[17]。它根据相似性将种群分为多个子种群,在求解多模态多目标优化问题上有较好表现。
在SSMOPSO算法中,首先,建立个体最优存档(private optimal archive,POA,记作POA),POA(i)代表当前第i个粒子的最优位置,并根据个体的非支配排序选择物种种子(记为nbest),预设半径R确定物种大小及包含的个体。然后,将多个子种群作为不同物种,同时向多个最优方向进化,Pi(t)代表第t代第i个粒子,每个粒子i的速度向量s和位置l根据(1)式和(2)式[23]迭代更新:
$\begin{aligned}\boldsymbol{s}_{i}(t)= & W \boldsymbol{s}_{i}(t-1)+c_{1} r_{1}\left(\boldsymbol{l}_{p_{\text {best }}}-\boldsymbol{l}_{i}(t)\right)+ \\& c_{2} r_{2}\left(\boldsymbol{l}_{n_{\text {best }}}-\boldsymbol{l}_{i}(t)\right),\end{aligned}$
li(t)=li(t-1)+si(t)。
式中:W表示惯性权重;c1和c2为2个加速因子;r1和r2为服从[0,1]均匀分布的2个伪随机数;pbest代表个体最佳粒子。最后,各子种群并行搜索得出多个帕累托等价解集。SSMOPSO的伪代码如算法2所示。
算法2 SSMOPSO算法
输入:随机初始化种群P(0),粒子数N,最大迭代次数Gmax
输出:POA中的非支配粒子
1.评估P(0)所有个体目标值
2.初始化POA
3.for i=1∶N
4.POA{i}=Pi(0)
5.end for
6.G=0//初始迭代次数为0
7.while G<Gmax do
8.用非支配排序方法对P中所有个体进行排序
9.将排名第一的个体确定为nbest
10.指定物种种子的生态半径R
11.将范围内粒子归为物种sp(j)
12.for i=1∶N
13. p b e s t i=排序后POA{i}中的第一个粒子
14. n b e s t i=sp(j)中的物种种子
15.根据(1)式和(2)式更新Pi(t)和Pi(t+1)
16.评价Pi(t+1)
17.G=G+1
18.把Pi(t+1)放入POA{i},并排序POA{i}//更新POA
19.end for
20.end while

1.3 深度森林

深度森林是一种基于决策树集成的深度学习算法[24],它具有参数少和训练快等优点,在小规模数据集上表现优异。深度森林主要由多粒度扫描和级联森林两部分组成[25]。多粒度扫描机制对特征进行提取(如图2所示),首先使用S个k维滑动窗口(k = N、k = N/2、k = N/4…)扫描输入的N维特征,然后将S个k维特征向量通过随机森林A(记作A)和完全随机森林B(记作B)获得S个C维概率向量,将得到的所有概率向量拼接成为2个P维特征向量,并将它们作为级联森林的输入。级联森林如图3所示,每一层有2个随机森林(记作A)和2个完全随机森林(记作B),每个随机森林和完全随机森林各有n个决策树和n个完全随机树。决策树每次随机选取 n个特征来计算gini值,然后根据特征节点进行分割;完全随机树每次随机选择一个特征节点进行分割生长,直至每个叶节点只包含同类别的实例。每个森林会输出一个经交叉验证产生的二维类向量,这个类向量会与原始输入拼接作为级联森林下一层的输入。当级联的最后一层完成处理时,前一层森林输出的信息将被平均化,从而生成最终的类向量。
图2 多粒度扫描示意图

Fig.2 Schematic diagram of multi granularity scanning

图3 级联森林示意图

Fig.3 Schematic diagram of cascade forest

2 基于因果模型和多模态多目标优化的两阶段特征选择方法

为了解决现有多模态多目标优化算法无法求解高维数据特征选择的问题,本文提出一种基于因果模型和多模态多目标优化算法的两阶段特征选择方法:首先使用因果模型对高维数据特征进行降维,然后使用SSMOSPO算法对降维后的数据特征进行多模态特征选择,从而克服多模态多目标进化算法对高维特征搜索能力不足的问题,最终获得多组等效的特征子集。
图4是特征选择中多模态特性的示意图,图中虚线代表多目标优化问题的帕累托前沿。假设x1、x2、x3、x4、x5表示原始数据特征,填充黑点的方框表示被选择的特征,而空白方框是未选择的特征。在图4中,{x1,x3}和{x2,x4}是选中的两组不同特征子集,它们的分类错误率和特征数量相同,因此它们是一组具有多模态特性的等效特征子集。
图4 特征选择中的多模态特性示意图

Fig.4 Schematic diagram of multimodal characteristics in feature selection

基于TSFS-CMMMO的深度森林算法主要包含两个部分,即数据特征两阶段选择和深度森林算法建模。在使用因果模型进行特征选择时,所提算法先对输入的原始特征使用证据权重[26](weight of evidence,WOE,记作WE)进行编码处理。对于第h个类型,其正负样本分布比值的对数计算公式为
WEh=ln p y 1 p y 0=ln B h / B T G h / G T。
式中: p y 1表示该类型在负类样本分布; p y 0表示该类型在正类样本的分布;Bh表示该类型中负类样本的数量;BT为总样本中负类样本的数量;Gh表示该类别中正类样本的数量;GT为总样本中正类样本的数量。
在使用多模态多目标进化算法进行特征选择阶段时,因为所选多模态多目标进化算法不能直接求解特征选择问题,所以每个决策变量的取值范围设为[0,1],同时设置0.5为选择阈值,即当某个决策变量的值大于等于0.5代表这个位置对应的特征被选中;小于0.5则代表这个位置对应的特征被剔除。为直观解释个体编码和解码过程,其过程如图5所示。粒子维度等于特征数量(在本例中特征数量假设为9),从图5中可以看出, {x1,x3,x5,x6,x8,x9}为选中特征组成的子集。对于原始数据特征F,选中的特征FS和未选中特征FNS满足(4)式和(5)式:
F=FS∪FNS,
FS∩FNS=∅。
图5 粒子与特征选择的示意图

Fig.5 Shcematic diagram of particle and feature selection

基于TSFS-HMMMO的深度森林算法如图6所示,整体实现步骤如下:
图6 基于TSFS-HMMMO的深度森林算法框架图

Fig.6 Framework of deep forest algorithm based on TSFS-HMMMO

步骤1,输入原始数据;
步骤2,对手术类别特征进行WOE编码;
步骤3,使用因果模型对原始数据进行特征选择;
步骤4,基于步骤3,使用SSMOPSO算法对降维后的数据特征进行再次选择;
步骤5,根据步骤4得到的数据特征,使用深度森林算法进行建模;
步骤6,判断是否满足搜索停止条件,满足则进行步骤7,不满足则返回步骤4;
步骤7,输出所有满足条件的搜索结果,即具有多模态特性的特征子集。

3 实验结果比较与分析

3.1 数据集

本文使用的数据集为实际术中低体温数据,共有295个样本,特征数量为11,包含发生术中低体温和未发生术中低体温两类结果。其中术中低体温的总体发生率约为67.80%。经过数据预处理,删除其中数据缺失过多的样本,最终使用其中290个数据样本。表1给出术中低体温数据集的详细情况。
表1 术中低体温数据集的所有特征

Tab.1 All features of intraoperative hypothermia data set

名称 实际意义 类型
x1 术前是否发生低体温 布尔型
x2 术前体温 连续型
x3 性别 布尔型
x4 年龄 离散型
x5 ASA分级 有序分类类型
x6 身体质量指数 连续型
x7 手术类型 无序分类类型
x8 麻醉时间 连续型
x9 输液量 连续型
x10 失血量 连续型
x11 是否冲洗 布尔型
x12 是否发生术中低体温 布尔型

3.2 实验设置

本文将数据集按比例随机分为训练集(75%)和测试集(25%),并使用1-AUC来对算法的分类能力进行评价。所有错误率均通过五折交叉验证法产生。
在基于TSFS-HMMMO的深度森林算法中,SSMOPSO算法的物种半径设置为自变量范围[0,1]的5%,即0.05[27];种群规模和最大适应度评估次数分别设为300和30 000。所有实验均使用相同参数的深度森林算法作为分类器,其中随机森林和完全随机森林均包含100个决策树[28]。为确保实验的公平性,本文所有实验都在Intel Core i7-10700 CPU @2.90 GHz运行环境下,并使用MATLAB 2021a和Python 3.7来进行计算。

3.3 实验结果对比分析

3.3.1 算法结果比较

为验证所提方法的特征选择能力,将其分别与2种方法进行比较,即未进行特征选择的深度森林算法和基于因果模型的深度森林算法。
所提算法首先使用因果模型(即RFCI算法)来对数据特征进行分析;其输出的特征因果关系如图7所示,可以看出术前体温(x2)、BMI(x6)等能直接或者间接影响术中低体温情况的发生。根据因果模型,可以剔除与结果x12不相关的x3、x4和x5等特征,即病患性别、病患年龄和ASA分级。因此,术中低体温可由x1、x2、x6、x7、x8、x9、x10和x11等8个特征表示。根据以上8个特征,本实验分别使用深度森林算法和基于因果模型的深度森林算法来对其进行建模,实验结果见表2。
图7 术中低体温风险的因果模型

Fig.7 Hausal model of intraoperative hypothermia risk

表2 3种方法的实验结果

Tab.2 Experimental results of the three methods

方法 特征数量 错误率 选择的特征 子集个数
未进行特征选择的深度森林算法 11 0.32 x1,x2,x3,x4,x5,x6,x7,x8,x9,x10,x11 1
基于因果模型降维的深度森林算法 8 0.28 x1,x2,x6,x7,x8,x9,x10,x11 1
基于TSFS-HMMMO的
深度森林算法		 1 0.34 x2 1
2 0.27 x2,x6 4
x2,x7
x2,x9
x2,x11
3 0.25 x2,x7,x11 3
x2,x8,x10
x2,x9,x10
4 0.24 x2,x6,x7,x11 4
x2,x6,x10,x11
x2,x6,x7,x8
x2,x6,x7,x9
5 0.23 x2,x7,x9,x10,x11 5
x2,x7,x8,x9,x11
x2,x6,x7,x8,x11
x2,x6,x8,x9,x10
x2,x8,x9,x10,x11
6 0.22 x2,x6,x7,x8,x10,x11 2
x1,x2,x6,x7,x8,x11
7 0.21 x2,x6,x7,x8,x9,x10,x11 2
x1,x2,x6,x7,x9,x10,x11
在因果模型得到的特征选择结果基础上,所提TSFS-HMMMO算法利用多模态多目标进化算法对特征再次进行选择;并将特征数量和分类错误率作为2个优化目标(结果见表2)。从表2可知,使用深度森林算法对原始数据(11个特征)进行建模,不仅使用特征数量最多,而且错误率较高。对于基于因果模型的深度森林算法而言,其使用8个特征来进行建模,相比于原始深度森林算法,其在特征数量和错误率两方面都有较好表现。另外,从表2可知,在特征数量≥2的情况下,所提算法在特征数量和错误率方面的表现均要优于未进行特征选择的深度森林算法和基于因果模型的深度森林算法。这说明TSFS-HMMMO算法有较好的特征选择能力,主要原因是所提TSFS-HMMMO算法不仅使用因果模型剔除了不相关的特征,而且还使用多模态多目标进化算法得到更多的等效特征子集。
此外,相比于其他2种方法,TSFS-HMMMO算法可以通过多组等效的特征子集进行建模。例如,当选择特征{x2,x6,x7,x8,x10,x11}或特征{x1,x2,x6,x7,x8,x11}进行建模时,它们的特征数量都为6,分类错误率都是0.22。在术中低体温数据集中,x1是术前是否发生低体温,x10是失血量。术前是否发生低体温可以直接通过测量体温获得,而失血量这一特征需要专家在术前根据病人手术类型估计得到。如果只选择6个特征进行建模预测,显然术前是否发生低体温比失血量这一特征更容易获得,所以决策者可以选择特征获取成本低的{x2,x6,x7,x8,x10,x11}而不是{x1,x2,x6,x7,x8,x11}进行建模。同时,从表2可以看出,TSFS-HMMMO算法可以在高维空间找到多组具有多模态特性的特征子集,为决策者提供多种建模方案,从而降低了术中低体温风险预测模型的建模成本。
如上所述,特征数量和分类精度通常是2个冲突的目标,所提算法得到的Pareto前沿逼近见图8。从图8可知选择特征数量与分类错误率呈现负相关,这表明决策者需要在特征数量和分类精度之间进行平衡。
图8 结合TSFS-HMMMO的深度森林算法所得Pareto前沿

Fig.8 Pareto front obtained by the deep forest algorithm combined with TSFS-HMMMO

综上所述,所提算法不仅具有较强的数据特征选择能力,而且能够提供多种等效的特征子集来降低建模成本。因此,TSFS-HMMMO是一种提高术中低体温风险预测能力的有效方法。

3.3.2 算法分析

为验证本文提出的TSFS-HMMMO算法在高维数据上的特征选择能力,将去除因果模型的TSFS-HMMMO算法用于术中低体温数据的特征选择,其结果如表3所示。由表2可知,当特征子集为{x2,x6,x7,x8}时,基于TSFS-HMMMO的深度森林算法的分类错误率为0.24;而由表3可知,当不使用因果模型和特征子集为{x2,x5,x7,x8}时,基于SSMOPSO的深度森林算法的分类错误率为0.25。由上可知,在特征数量相同的情况下,基于TSFS-HMMMO的深度森林算法的分类错误率更低。这是由于因果模型剔除x5等不具备良好分类能力的特征,避免了多模态多目标优化算法在高维决策空间上进行搜索。此外,从表2可知,当特征子集为{x2,x6,x7,x11}时,基于TSFS-HMMMO的深度森林算法的分类错误率为0.24;但表3显示,当特征子集为{x2,x3,x6,x7,x11}时,基于SSMOPSO的深度森林算法的错误率也为0.24。这说明代表性别的特征无法提高分类器的性能,在分类错误率相同的情况下,使用基于因果模型和多模态多目标进化算法两阶段特征选择方法要好于只使用多模态多目标进化算法的特征选择方法。
表3 基于SSMOPSO算法的特征选择实验结果表

Tab.3 Experimental results of feature selection based on SSMOPSO

特征数
量/个		 错误率 选择的特征 相似子集
数量/个
1 0.34 x2 1
2 0.27 x1,x2 2
x2,x9
3 0.26 x2,x6,x8 3
x1,x2,x10
x2,x8,x11
4 0.25 x2,x5,x7,x8 2
x2,x7,x8,x10
5 0.24 x2,x3,x5,x8,x9 3
x2,x5,x8,x10,x11
x2,x3,x6,x7,x11
6 0.23 x1,x2,x3,x5,x7,x8 3
x1,x2,x5,x6,x8,x11
x1,x2,x5,x7,x8,x10
7 0.22 x2,x5,x7,x8,x9,x10,x11 1
8 0.21 x1,x2,x3,x5,x6,x7,x8,x11 2
x1,x2,x3,x5,x7,x8,x9,x10
为进一步说明本文算法的有效性,对比TSFS-HMMMO和SSMOPSO 2种算法找到的等效特征子集数量(如图9所示)。从图9可以看出,在特征数量较少时,相比于SSMOPSO算法,TSFS-HMMMO方法能找到更多的等效特征子集。这是由于因果模型缩小特征空间,使得多模态多目标优化算法可以有效地进行搜索。但是,在高维情况下,SSMOPSO算法反而能找到更多的特征子集,其主要原因可能是降维后的搜索空间存在的等效解变少。比如,当从11个特征中挑选8个特征时,可能会存在更多的等效特征子集。因此,相比于SSMOPSO,TSFS-HMMMO方法可以在缩小的搜索空间内找到更多的特征子集,这缓解了多模态多目标进化算法求解高维数据特征能力弱的问题。
图9 多模态特征子集数量对比图

Fig.9 Comparison of the number of multi-modal feature subsets

4 结语

本文针对现有大多数多模态多目标进化算法在高维特征选择问题上存在搜索能力不足的问题,提出一种基于因果模型和多模态多目标优化的两阶段特征选择方法(TSFS-HMMMO)。在本文TSFS-HMMMO算法中,首先使用因果模型分析特征变量之间的因果关系,剔除不相关特征以减小特征搜索空间的大小;然后使用多模态多目标进化算法搜索特征子集;最后使用深度森林算法对降维后的术中低体温数据进行建模。实验结果表明,该方法具有以下优点:1)克服了多模态多目标算法在高维特征选择问题中搜索能力不足的问题;2)提供多组等效的特征选择方案,降低了建模的特征获取成本;3)可以为决策者提供有效决策支持。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
[1]
张蕊, 郑黎强, 潘国伟. 疾病发病风险预测模型的应用与建立[J]. 中国卫生统计, 2015, 32(4):724-726.

[2]
项海燕, 黄立峰, 朱锋杰, 等. 基于人工神经网络技术构建围术期病人低体温风险预测模型[J]. 护理研究, 2022, 36(5):767-772.

XIANG H Y, HUANG L F, ZHU F J, et al. Construction of prediction model of perioperative hypothermia risk based on artificial neural network technology[J]. Chinese Nursing Research, 2022, 36(5):767-772.

[3]
李丽, 颜艳, 房馨, 等. 腹腔镜手术患者术中低体温风险预测模型的构建及验证[J]. 中华护理杂志, 2022, 57(4):463-468.

DOI

[4]
陈蓓, 王晓军. 手术中低体温的相关因素和护理干预研究进展[J]. 护士进修杂志, 2016, 31(11):990-992.

CHEN B, WANG X J. Research progress on related factors and nursing intervention of hypothermia during operation[J]. Journal of Nurses Training, 2016, 31(11):990-992.

[5]
刘小颖, 吴新民. 围术期低体温[J]. 中华麻醉学杂志, 2003, 23(9):712-714.

LIU X Y, WU X M. Perioperative hypothermia[J]. Chinese Journal of Anesthesiology, 2003, 23(9):712-714.

[6]
曹立源, 范勤勤, 黄敬英. 基于特征选择和XG-Boost优化的术中低体温预测[J]. 数据采集与处理, 2022, 37(1):134-146.

CAO L Y, FAN Q Q, HUANG J Y. Intraoperative hypothermia prediction model based on feature selection and XG-boost optimization[J]. Journal of Data Acquisition & Processing, 2022, 37(1):134-146.

[7]
YI J, ZHAN L J, LEI Y J, et al. Establishment and validation of a prediction equation to estimate risk of intraoperative hypothermia in patients receiving general anesthesia[J]. Scientific Reports, 2017, 7:13927.

DOI PMID

[8]
RINCÓN D A, VALERO J F, ESLAVA-SCHMALBACH J. Construction and validation of a model to predict intraoperative hypothermia[J]. Revista Espanola De Anestesiología y Reanimación, 2008, 55(7):401-406.

[9]
YUE C T, LIANG J J, QU B Y, et al. Multimodal multiobjective optimization in feature selection[C]//2019 IEEE Congress on Evolutionary Computation (CEC). Wellington:IEEE, 2019:302-309.

[10]
谢娟英, 吴肇中, 郑清泉. 基于信息增益与皮尔森相关系数的2D自适应特征选择算法[J]. 陕西师范大学学报(自然科学版), 2020, 48(6):69-81.

XIE J Y, WU Z Z, ZHENG Q Q. An adaptive 2D feature selection algorithm based on information gain and Pearson correlation coefficient[J]. Journal of Shaanxi Normal University (Natural Science Edition), 2020, 48(6):69-81.

[11]
孙广路, 宋智超, 刘金来, 等. 基于最大信息系数和近似马尔科夫毯的特征选择方法[J]. 自动化学报, 2017, 43(5):795-805.

SUN G L, SONG Z C, LIU J L, et al. Feature selection method based on maximum information coefficient and approximate Markov blanket[J]. Acta Automatica Sinica, 2017, 43(5):795-805.

[12]
陈长建, 姜流, 雷娜, 等. 基于众包学习的交互式特征选择方法[J]. 中国科学(信息科学), 2020, 50(6):794-812.

CHEN C J, JIANG L, LEI N, et al. An interactive feature selection method based on learning-from-crowds[J]. Scientia Sinica (Informationis), 2020, 50(6):794-812.

[13]
李郅琴, 杜建强, 聂斌, 等. 特征选择方法综述[J]. 计算机工程与应用, 2019, 55(24):10-19.

DOI

LI Z Q, DU J Q, NIE B, et al. Summary of feature selection methods[J]. Computer Engineering and Applications, 2019, 55(24):10-19.

DOI

[14]
贾鹤鸣, 李瑶, 孙康健. 基于遗传乌燕鸥算法的同步优化特征选择[J]. 自动化学报, 2022, 48(6):1601-1615.

JIA H M, LI Y, SUN K J. Simultaneous feature selection optimization based on hybrid sooty tern optimization algorithm and genetic algorithm[J]. Acta Automatica Sinica, 2022, 48(6):1601-1615.

[15]
NOURI-MOGHADDAM B, GHAZANFARI M, FATHIAN M. A novel multi-objective forest optimization algorithm for wrapper feature selection[J]. Expert Systems with Applications, 2021, 175:114737.

DOI

[16]
CHEN J T, YUAN S H, LV D D, et al. A novel self-learning feature selection approach based on feature attributions[J]. Expert Systems with Applications, 2021, 183:115219.

DOI

[17]
CHEN K, XUE B, ZHANG M J, et al. Evolutionary multitasking for feature selection in high-dimensional classification via particle swarm optimization[J]. IEEE Transactions on Evolutionary Computation, 2022, 26(3):446-460.

DOI

[18]
FAN Q Q, YAN X F. Solving multimodal multiobjective problems through zoning search[J]. IEEE Transactions on Systems, Man and Cybernetics:Systems, 2021, 51(8):4836-4847.

[19]
KAMYAB S, EFTEKHARI M. Feature selection using multimodal optimization techniques[J]. Neurocomputing, 2016, 171:586-597.

DOI

[20]
JHA K, SAHA S. Incorporation of multimodal multiobjective optimization in designing a filter based feature selection technique[J]. Applied Soft Computing, 2021, 98:106823.

DOI

[21]
蔡瑞初, 陈薇, 张坤, 等. 基于非时序观察数据的因果关系发现综述[J]. 计算机学报, 2017, 40(6):1470-1490.

CAI R C, CHEN W, ZHANG K, et al. A survey on non-temporal series observational data based causal discovery[J]. Chinese Journal of Computers, 2017, 40(6):1470-1490.

[22]
COLOMBO D, MAATHUIS M H, KALISCH M, et al. Learning high-dimensional directed acyclic graphs with latent and selection variables[EB/OL].[2022-04-29].https://arxiv.org/abs/1104.5617v3.

[23]
QU B Y, LI C, LIANG J, et al. A self-organized speciation based multi-objective particle swarm optimizer for multimodal multi-objective problems[J]. Applied Soft Computing, 2020, 86:105886.

DOI

[24]
ZHOU Z H, FENG J. Deep forest:towards an alternative to deep neural networks[C]// Proceedings of the Twenty-Sixth International Joint Conference on Artificial Intelligence. California: International Joint Conferences on Artificial Intelligence Organization, 2017:3553-3559.

[25]
王玉静, 王诗达, 康守强, 等. 基于改进深度森林的滚动轴承剩余寿命预测方法[J]. 中国电机工程学报, 2020, 40(15):5032-5042.

WANG Y J, WANG S D, KANG S Q, et al. Prediction method of residual life of rolling bearing based on improved deep forest[J]. Proceedings of the CSEE, 2020, 40(15):5032-5042.

[26]
岳爱东. 信用风险定量指标选取的实证研究[J]. 山东大学学报(哲学社会科学版), 2019(3):151-160.

YUE A D. Empirical study on the selection of quantitative indicators of credit risk[J]. Journal of Shandong University (Philosophy and Social Sciences), 2019(3):151-160.

[27]
LI X D. Adaptively choosing neighbourhood bests using species in a particle swarm optimizer for multimodal function optimization[C]// Genetic and Evolutionary Computation-GECCO 2004. Heidelberg: Springer Berlin Heidelberg, 2004:105-116.

[28]
彭飞, 马煜, 张晓华, 等. 基于改进深度森林的短期电力负荷预测模型[J]. 重庆大学学报, 2022, 45(5):1-8.

PENG F, MA Y, ZHANG X H, et al. Short-term power load forecasting model based on improved deep forest[J]. Journal of Chongqing University, 2022, 45(5):1-8.

Options
文章导航

/

〈 〉

版权所有 © 《陕西师范大学学报(自然科学版)》编辑部
地址：中国西安陕西师范大学长安校区文汇楼C段3层　
邮编：710119
电话：029-81530883，81530879，81530885　
E-mail：lkxuebao@snnu.edu.cn
技术支持：北京玛格泰克科技发展有限公司