在传统二支决策模型中,决策者通常会面对两种选择: 正向决策和负向决策,一个错误决策往往会导致严重后果。在实际生活中,考虑到决策者所面临的问题具有不确定性、不完备性、不精确性等特征,这可能导致人们可能无法及时做出决策。为了解决上述问题,Yao[1]提出了三支决策(three-way decisions,3WD)的概念,并指出:在信息不充分的情形下,可以通过延迟决策来降低决策成本。三支决策理论的核心思想是将论域细化为三个互不相交的子集,并对每个子集实施不同的决策行动或分治方案,进而对相应行动进行评价和反馈[2]。由于三支决策思想反映了人类在应对实际决策问题时的思考和认知方式,并能有效应对实际决策过程中的不确定性因素,因而被广泛应用于医疗决策[3]、垃圾邮件过滤[4]、推荐系统[5]、信用评估[6]等不同领域。
在大数据时代背景下,可解释性问题是大数据决策和人工智能面临的一个巨大挑战,如何高效地进行数据挖掘并构建具有可解释性的机器学习模型日益重要。在面对复杂和不确定性的问题时,决策过程中往往会受到多种因素的影响,包括数据的多模态性、结构多样性、内涵复杂性等。传统机器学习模型在数据挖掘任务中大多表现出复杂度高、训练时间长等问题[7]。三支决策通过模拟人类思维和行为模式来处理原始信息,在决策过程中充分考虑了决策成本和决策代价因素,能够帮助决策者对问题本质特性有更深入的认识,进而加强对不确定决策过程的控制并提高决策结果的可解释性,展现出更高的有效性和可靠性。因此,融合三支决策思想可以有效优化和改进传统机器学习模型,并为大数据决策提供有力的技术支撑和方法借鉴。
近年来,基于三支决策的机器学习理论与方法受到国内外学者的广泛关注。三支分类[8]、三支聚类[9]、三支图像识别[10]、三支推荐系统[11],以及基于深度学习的三支模型[12]等研究问题也逐渐成为三支决策研究的热点问题。在实际问题中,不同决策策略存在不同决策风险,而传统机器学习模型并未充分考虑决策代价对决策结果的影响。三支决策采取“三分而治”的思想和“化繁为简”的策略,符合人类认知规律且具有一定的误分类容错能力。它通过引入最小风险代价,将不确定性对象归入边界域,可以有效降低错误分类成本[13]。此外,如何构造合适的粒度是三支多粒度学习中的重要问题[14]。随着机器学习相关理论的快速发展,大量基于机器学习模型的特征提取方法,诸如神经网络[15]、主题提取[16]和矩阵分解技术[17]等,被用来构造粒度信息。这些方法不仅能够显著降低计算复杂度,还可以有效提升计算能力,从而能够更高效地解决问题。综上所述,深入研究三支决策与机器学习融合的理论、方法和应用,具有重要的科学意义。
基于上述分析,本文首先阐述了三支决策基本模型和研究背景;其次,运用CiteSpace和VOSviewer软件分析并总结了国内外三支决策在机器学习领域的研究进展和热点;再者,从研究问题、应用背景、研究问题等方面对三支聚类、三支分类、三支推荐以及基于三支决策理论的深度学习模型的研究工作展开探讨;最后,对三支决策在机器学习领域的未来研究趋势进行展望。
1 研究现状分析
本文以Web of Science数据库和中国知网(CNKI)为数据源,以“三支决策(three-way decision)”“机器学习(machine learning)”“深度学习(deep learning)”为主题词,检索得到2010年到2023年发表的263篇文献,通过CiteSpace和VOSviewer软件进行可视化分析,以全面剖析基于机器学习的三支决策领域的国内外研究现状。
由图1对发文量的统计可知:基于机器学习的三支决策相关研究在2013年以前处于缓慢发展期,2014年后呈明显上升阶段,在2021年进入快速发展阶段,并预期在未来还会持续上升。究其原因,一是大数据驱动的机器学习算法兴起,为人工智能与三支决策的结合提供了新的研究契机;二是三支决策的理论、方法和应用的研究边界在不断扩大。
图3为国内外关键词共现网络图。可以看到,除“三支决策(three-way decision)”“机器学习(machine learning)”等基本关键词外,在国外文献中“分类(classification)”“模型(model)”“预测(prediction)”“特征选择(feature-select)”“聚类(clustering)”等关键词的出现频率较高并且中心性较强;在国内文献中“文本分类”“集成学习”“主动学习”等关键词较为突出。从研究模型和方法视角出发,我们发现基于机器学习的三支决策领域研究热点集中在分类模型、聚类模型、深度学习模型,以及对机器学习模型和深度学习模型进行改进和优化等方面。从应用视角出发,我们发现该领域研究热点涵盖了不同类型数据挖掘任务、集成学习、特征选择等诸多话题,并且在情感分析、推荐系统、医疗诊断等多个应用领域都有涉及。
突现词是指研究领域在阶段时间内频繁出现的词汇,可以反映学术领域局部热点的变化,通过分析其出现频率和时间能够洞察该研究领域的前沿动态。图4为国内外文献关键词突现图,可以看到,“recommendation system(推荐系统)”“fuzzy set(模糊集)”“集成学习”“神经网络”是近年来基于机器学习的三支决策研究领域的热点趋势。通过对图4的分析可以发现,三支决策的研究热点已逐渐从概念理论模型转移到人工智能方法中,将三支决策理论应用于推荐系统、分类聚类、集成学习和深度学习等领域已逐渐引起了国内外研究人员的浓厚兴趣和广泛关注。建立基于三支决策理论的机器学习融合模型已逐渐成为三支决策研究的新方向,值得进一步探索。
综上所述,随着机器学习技术的蓬勃发展,研究者们正积极引入三支决策思想优化模型和改进算法,以辅助决策者作出更合理的判断,使得决策过程更加灵活,从而能够有效应对各种复杂和信息不确定的情况。同时,跨学科融合成为三支决策研究的重要方向,通过与认知计算、人工智能、信息科学等领域的交叉融合,可以进一步推动相关学科的发展和进步。此外,三支决策理论也在不断完善和发展,研究者们从理论层面深入探讨了三支决策空间、三支认知模型、三支逻辑等三支决策与数学理论的交叉研究[13],不仅为实际应用提供了更坚实的理论基础,还展现出广阔的应用前景。
2 三支决策基础模型
三支决策的思想来源于粗糙集理论,Pawlak粗糙集[18]通过上下近似集实现了对信息系统的不确定性描述。假设论域U是一个有限非空集合,记Sapr(U,R)为粗糙近似空间。∀x⊆U,其上下近似集可表示为
Sapr(X)={x∈U|[x]⊆X},
(X)={x∈U|[x]∩X≠∅}。
这里,两个近似集将论域划分成三个互不相交的决策域,即正域POS(X)、边界域BND(X)和负域NEG(X),如图5所示。三个区域和两个近似集之间的对应关系如下:
$P_{\text {OS }}(X)=\underline{S_{\text {apr }}}(X)=\{x \in U \mid[x] \subseteq X\},$
$\begin{array}{l} B_{\mathrm{ND}}(X)=\overline{S_{\mathrm{apr}}}(X)-\underline{S_{\mathrm{apr}}}(X)= \\ \quad\{x \in U \mid[x] \cap X \neq \varnothing \wedge[x] \nsubseteq X\}, \end{array}$
$\begin{array}{l} N_{\mathrm{EG}}(X)=U-\overline{S_{\mathrm{apr}}}(X)= \\ \{X \in U \mid[x] \cap X=\varnothing\} 。\end{array}$
可以看到,从正域得到的规则表示“接受x属于X”;从负域得到的规则表示“拒绝x属于X”;从边界域得到的不确定规则表示“x可能属于X”。在现实决策应用中,正域POS(X)、边界域BND(X)和负域NEG(X)分别表示接受决策、延迟决策和拒绝决策。
显而易见,Pawlak粗糙集存在一定的局限性,因为它没有考虑决策规则的容错性。基于此,概率粗糙集随之被提出来改进Pawlak粗糙集的缺陷,并通过引入两个阈值α和β (0≤β<α≤1)对Pawlak粗糙集上下近似集的定义进行扩展[19]。在概率粗糙集中,三个决策区域的表达式如下:
POS(X)={x∈U|Pr(X|[x])≥α},
BND(X)={x∈U|β<Pr(X|[x])<α},
NEG(X)={x∈U|Pr(X|[x])≤β}。
在概率粗糙集中,阈值α和β的设置依赖人为判断,这在实际决策过程中容易受到主观偏见的影响,导致决策结果可能与实际情况存在偏差。为了合理计算和解释概率粗糙集中的阈值对,Yao进一步将贝叶斯最小风险原则融入概率粗糙集,提出决策粗糙集理论[20]。
在决策粗糙集中,决策者构建两个关联的状态集和三个独立的行动集,来阐释三支决策过程。其中,状态集Ω={X,┐X}分别表示对象x属于X和不属于X。行动集A={aP,aB,aN}涵盖了接受、延迟和拒绝三种不同决策行动。表1展示了在不同状态下采取不同行动的损失函数。
表1 损失函数矩阵Tab.1 The decision cost matrix |
| 行动 | X(P) | ┐X(N) |
|---|---|---|
| aP | λPP | λPN |
| aB | λBP | λBN |
| aN | λNP | λNN |
其中,λPP、λBP、λNP分别表示对象x属于状态X时,采取行动aP、aB、aN的损失函数;λPN、λBN、λNN分别表示对象x属于状态┐X时,采取行动aP、aB和aN的损失函数。基于此,对于一个对象x,采取不同行动的期望损失可表示为
R(aP|x)=λPPPr(X|[x])+λPNPr(┐X|[x]),
R(aB|x)=λBPPr(X|[x])+λBNPr(┐X|[x]),
R(aN|x)=λNPPr(X|[x])+λNNPr(┐X|[x])。
对于式(9)~(11),遵循贝叶斯决策准则,选择期望损失最小的行动作为最佳决策方案,据此得到三条决策规则:
(P)如果R(aP|[x])≤R(aB|x)且R(aP|x)≤R(aN|x),则x∈POS(X);
(B)如果R(aB|[x])≤R(aP|x)且R(aB|x)≤R(aN|x),则x∈BND(X);
(N)如果R(aN|[x])≤R(aP|x)且R(aN|x)≤R(aB|x),则x∈NEG(X);
式中Pr(X|[x])+Pr(┐X|[x])=1。由此可见,决策规则与条件概率Pr(X|x)和损失函数λ相关。除此之外,拒绝正确事物的损失大于延迟接受正确事物的损失,且两者都不小于接受正确事物的损失;接受错误事物的损失大于延迟拒绝错误事物的损失,且两者都不小于拒绝错误事件的损失,因此有λPP≤λBP<λNP且λNN≤λBN<λPN。假设 (λPN-λBN)·(λNP-λBP)>(λBP-λPP)·(λBN-λNN),则决策规则可简化为
(P1)如果Pr(X|[x])≥α,则x∈POS(X);
(B1)如果β<Pr(X|[x])<α,则x∈BND(X);
(N1)如果Pr(X|[x])≤β,则x∈NEG(X)。
式中:阈值α和β的取值为
α= ,
β= 。
3 主要研究进展及成果
3.1 三支决策与三支聚类
聚类分析作为数据挖掘中的重要任务之一,能有效揭示数据的结构和规则,以发掘有潜在价值的知识和智慧。聚类的目的是把有限的无标签对象划分为多个簇,属于无监督学习。在传统的二支聚类方法中,簇的表示通常只反映对象与簇之间的两种关系:一个对象属于或不属于这个簇。然而,当信息不足时,将对象强行划分可能会导致较高的误分类代价。在现实世界中,对象和簇之间可能还存在部分属于的关系,而传统的二支聚类不能有效表示簇边界模糊的情况。针对上述情形,Yu[9]受三支决策思想的启发,提出了三支聚类方法。在三支聚类中,论域被划分为三个域,即核心域、琐碎域和边缘域,这三个域正好反映了对象与簇之间的三种关系,即对象属于簇、对象不属于簇、对象可能属于簇。传统二支聚类和三支聚类对同一论域下的对象进行聚类,得到不同的聚类结果如图6a所示。其中,X1、X2靠近簇C1和C2的边缘,属于不确定性关系的对象。强行对这两个对象进行聚类可能会导致错误归类。相较于二支聚类,三支聚类对于不确定的对象采取延迟决策,将其划入边缘域中,如图6b所示,等待信息充足时再进行归类,能够有效降低决策风险。
表2 三支聚类相关研究Tab.2 The researches on three-way clustering |
| 理论或模型 | 作者 | 研究问题 |
|---|---|---|
| 增量重叠 | Yu等[23] | 解决数据动态变化问题 |
| 数学形态学 | Wang等[25] | 簇的不确定性边界 |
| K-means | Zhang等[24],Jiang等[29],Wang等[32] | 簇的资源利用率低以及聚类数据缺失 |
| 样本相似性 | Jia等[26] | 最佳聚类数目和分区阈值的选择 |
| 证据理论、密度聚类 | Yu等[27] | 聚类标签错误传播 |
| 基于阴影集、集成算法 | Jiang等[28] | 对象和簇之间的不确定关系 |
| 适应度函数 | Yu等[30] | 复杂网络重叠社区检测 |
| 图像增强 | Ali等[31] | 图像聚类 |
| 谱聚类 | Fan等[34] | 簇的不确定性边界 |
| 模糊集 | Zhang等[35] | 模糊决策 |
| 主动学习 | Min等[36],Yu等[37] | 在学习过程中动态选择合适的聚类方法 |
| 基于博弈粗糙集 | Afridi等[38] | 聚类数据缺失 |
在三支聚类方法提出后,不少学者对其聚类机理问题展开了研究。对于簇边界不明确的问题,Wang等[25]从聚类表示的角度提出一种基于数学形态学的三支聚类框架。可以看到,三支聚类的最大优点是在二支聚类的基础上引入了边界区域,能够有效降低传统聚类算法中因信息量过少而造成的错误判断。然而,三支聚类通常主观选择聚类数量和阈值,但面对不同规模和密度的数据集时,固定的聚类数目和阈值不一定是最佳选择。针对这一问题,Jia等[26]引入样本相似度来测量不确定性,并设计了一种自动选择阈值和聚类数的方法。此外,一些学者结合三支决策思想对传统的聚类算法,诸如K-means[24,32-33]、谱聚类[34]、模糊聚类算法[35]等进行了改进,以便更好地解释数据结构且保持良好的聚类性能。考虑到不同聚类方法对模型性能有不同程度的影响,Min等[36]研究了动态选择聚类方法的三支主动学习模型。
综上所述,对大规模数据进行三支聚类越来越受到关注,将三支决策思想应用到传统聚类算法中可有效分离类与类重叠的部分,使得聚类结果更加可靠,并能够更好地刻画对象与类之间归属不明确的情况,进而提高算法的准确性。此外,三支聚类策略在社交网络、网络营销、电子商务等众多应用领域具有潜在而又广阔的应用前景,有助于更好地理解和分析用户之间的关系,揭示潜在的用户群体和社区结构[30]。可以看到,三支聚类在学科交叉融合和应用拓展方面展现出了强大的生命力,为数据挖掘和分析提供了新的研究途径。
3.2 三支决策与三支分类
分类学习是近年来三支决策与机器学习结合的一个重要研究课题。传统的分类模型往往根据最近邻域原则对数据样本进行分类,通过深入学习和分析样本中的各种特征以及属性信息,将训练的分类器应用于实际数据集,其分类结果一般只有两种,即样本属于某个类别或不属于某个类别。然而,在现实情境中,考虑到决策者所掌握的决策信息有限,不能立即准确地将样本划分到具体类别中,因此做出的决策行动往往存在分类风险高、误分类代价大等问题。三支决策模型作为二支决策的扩展,其核心思想为:当决策信息不足时采取延迟决策,当获得充分信息后,再进行下一步决策,确保决策过程具有较好的可靠性和一定的可解释性。现如今,三支决策理论中的三支分类思想已被广泛应用于企业信用评分[39]、文本分类[40-41]、风险决策[42]、医疗诊断分类[3]等多个研究领域。具体而言,在垃圾邮件识别研究中,通过三支思想将邮件分为接受邮件、拒绝邮件、延迟处理邮件,并允许用户在不确定情况下对邮件进行进一步检查[4]。在三支情感分类研究中,除了基于词典[43]的方法,还有学者研究了主题级[16]、句子级[44]以及基于语言模型[45]的三支情感分类方法。此外,受到序贯三支决策策略的启发,Zhang等[46]提出了一种代价敏感的集成方法来用于情感分类任务。朱艳辉等[47]将三支决策与机器学习算法相结合,来对新闻情感进行识别。三支分类的研究模型和应用领域如表3所示。
表3 三支分类研究理论及应用领域Tab.3 The research theories and applications on three-way classification |
| 应用领域 | 作者 | 理论模型或方法 |
|---|---|---|
| 情感分类 | 王磊等[16] | LDA |
| Zhang等[44] | FastText、TextCNN、TextRNN | |
| Yang等[60] | 基于词典 | |
| Ren等[43] | 集成学习 | |
| Zhang等[46] | CNN和NB-SVM | |
| 张刚强等[45] | 贝叶斯分类器下N-gram模型 | |
| 特征分类 | Yue等[51] | 领域覆盖 |
| 徐久成等[53] | 支持向量机增量学习 | |
| Yue等[55] | 阴影集 | |
| Chen等[57] | 基于模糊商空间理论 | |
| 微博文本讽刺检测 | Jia等[40] | 特征融合 |
| 政策文本分类 | Liang等[41] | 集成学习 |
| 新闻情感分类 | 朱艳辉等[47] | NB、SVM、KNN |
| 医疗诊断分类 | Yang等[3] | 模糊集 |
在大数据时代背景下,不同行业和社交媒体每天都涌现出高维、多源、海量的复杂数据[48]。结合三支决策理论,国内外学者提出了对文本数据[44]、图像数据[49]和网络数据[30]等不同类型数据进行分类的方法,并进一步将三支决策思想与监督式学习[4]、无监督式学习[32]、半监督学习[50]相结合来进行数据分类。随着对三支分类的深入研究,Yue等[51]将传统邻域覆盖扩展到模糊邻域覆盖。Liu等[52]讨论了基于逻辑回归的三支多分类决策模型,为决策粗糙集中条件概率的计算提供了全新视角。徐久成[53]将三支决策与支持向量机增量学习相结合,提高分类准确性。为了进一步解决分类中的不确定性问题,三支决策与阴影集[54-55]、粗糙集[56]、自适应学习[57]等理论结合的方法也被相继提出。
在真实世界中,决策者获取初始信息后往往不能一次性做出决策,而是在不断获取信息后再进行决策,这是一个由粗粒度向细粒度的逐步转化过程。如何动态处理海量数据并进行实时决策,也受到了越来越多学者的关注。为解决该问题,Yao[21]提出了序贯三支决策模型来挖掘不确定性信息。序贯三支决策是一种典型的多步骤决策方法,它从粒计算的角度进行动态决策,其核心思想是从粒结构上处理多粒度信息。在每一步骤中,如果当前粒层的可用信息足够充分,则采取接受或者拒绝决策,否则采取延迟决策,直到满足预期条件后停止。在此基础上,Yao[8]提出了序贯三支分类框架,该框架研究了基于多粒度、概率粗糙集、多模型以及集成学习的序贯三支分类模型。可以看到,对于分类决策中的代价不平衡现象,序贯三支决策模型能够有效降低决策过程中的损失和代价,更加符合人类实际决策情形,也为提高多分类决策计算效率提供了一种有效途径[58]。进一步地,在诸多实际决策场景中,时间和空间两个要素通常呈现出一种密不可分的关系。刘盾等[59]在序贯三支决策模型的基础上提出了时空三支决策模型,通过时、空两个维度对决策空间实施“三分而治”的策略,不仅有效应对复杂性决策问题,也为大数据分析提供了参考。随后,Yang等[60]同时考虑数据变化的时间性和参数演化的空间性,提出了一个时空多粒度框架,并结合序贯三支决策思想来逐步处理边界域中的不确定样本。进一步,由于决策信息可能随着时间和空间的变化而变化,Zhang等[61]提出了一种动态三支决策模型,通过属性值的变化来确定决策阈值,逐步实现了对所有对象的分类。
总之,三支分类模型致力于解决实际问题,通过构建动态的粒结构来处理决策过程中的不确定性问题,在决策过程中充分考虑分类风险代价,以人类思考和处理问题的方式进行决策,从而提高了决策的效率和准确率。随着学科融合的不断深入,三支分类研究正面临着新的挑战和机遇。一方面,随着数据体量的不断增长和数据结构的复杂化,如何有效处理和分析多模态数据成为三支分类研究的重要课题;另一方面,随着通用人工智能和大模型等新技术的不断涌现,如何将三支分类与这些新技术相结合,进一步提高其性能和准确性,也是当前研究的重点之一。
3.3 三支决策与三支推荐
推荐系统(recommendation system)是一种信息过滤技术,其核心在于构建用户与项目间的二元关系,通过分析数据中的相似性,结合用户当前的行为模式和潜在偏好,从而对用户提供个性化的产品推荐服务。在传统静态推荐系统中,忽略了推荐信息的多粒度特征以及用户偏好和数据分布的不平衡性问题,其推荐结果通常分为两类,即推荐或不推荐。然而,在很多实际推荐问题中,由于对信息的收集不够充分、对推荐风险的评估不够全面、对产品的了解不够彻底等因素,二支推荐策略很难实现精准推荐,并且可能会因错误推荐而带来严重的后果。因此,在推荐系统中引入三支决策,将推荐结果的呈现方式从“推荐和不推荐”两种简单策略,延展为“推荐、延迟推荐和不推荐”三种推荐方式。三支推荐方法在优化推荐系统性能方面显示出显著的成效,不仅减少了因推荐错误而导致的成本,还可以提升用户体验,使其更加符合个性化需求。这里,我们总结了关于三支推荐系统的相关研究,如表4所示。
表4 三支推荐系统相关研究Tab.4 The researches on three-way recommendation system |
| 理论或模型 | 作者 | 研究问题 |
|---|---|---|
| 协同过滤算法 | Ye等[11] | 解决数据和用户偏好的不平衡问题 |
| 矩阵分解 | Liu等[17] | 推荐信息的不确定性和多层次性 |
| 回归分析 | Zhang等[44] | 考虑推荐成本 |
| 基于RNN递归神经网络 | Ye等[62] | 考虑用户偏好和商品受欢迎程度的动态变化 |
| 基于增量式非负矩阵分解 | Zhang等[63] | 降低新增样本的推荐成本 |
| 阴影集 | Wu等[64] | 解决只考虑推荐评分的局限性和使用稀疏数据集的不确定性问题 |
| 基于随机森林 | Zhang等[65] | 考虑推荐成本 |
| 朴素贝叶斯模型和协同过滤推荐算法 | Zhang等[66] | 推荐系统中的数据稀疏问题和二支决策推荐成本高、效率低的问题 |
| 矩阵分解 | Qian等[67] | 数据稀疏和推荐信息不足 |
传统推荐系统很少在推荐过程中考虑各种推荐结果的代价和损失,对此Zhang等[5]提出一种基于三支决策的推荐算法,该算法同时考虑了错误容忍度和成本敏感性,利用回归分析构造粒层,旨在实现最小风险代价的精准推荐。考虑到推荐过程中的决策成本和时间成本,Ye和Liu[11]探讨了基于协同过滤的代价敏感三支推荐方法。为有效地捕捉用户偏好的动态性,叶晓庆和刘盾等[62]还进一步考虑了推荐过程的时间性和空间性,并提出一种基于循环神经网络的时空三支推荐方法。为了解决推荐过程中的不确定性问题,众多学者将三支决策理论与增量式非负矩阵分解[63]、阴影集[64]、随机森林模型[65]等技术结合,用以降低决策风险,提高推荐质量和精度。
通过对文献的梳理可以发现,已有的三支推荐研究主要是将比较成熟的人工智能技术和机器学习模型与三支决策相结合,通过引入粒计算思想,考虑推荐系统的可扩展性、用户偏好的动态性以及推荐结果的可解释性等因素,从而确保其能够应对日益增长的数据和用户规模,同时捕捉用户兴趣的变化,最终提供更加个性化的推荐服务。更为重要的是,三支推荐研究强调了推荐结果的可解释性,这一特性在当前推荐系统领域中显得尤为关键,因为用户往往更倾向于接受那些能够提供明确理由的推荐,而非基于黑箱算法产生的推荐。通过探索非结构化数据的粒化机制和多步骤推荐过程的决策准则,旨在解决不同问题导向和应用背景下的推荐问题,这也为推荐系统领域的发展提供有益的思路和方法,有助于促进该领域的深入发展和创新。
3.4 三支决策与深度学习
随着深度学习技术的快速崛起和飞速发展,大量融合三支决策理论和深度学习的理论与方法应运而生。与传统机器学习算法不同,深度学习是具有多层非线性映射的深层次结构,可以有效地从海量数据中学习深度特征表示。现有的神经网络模型中隐含层结点个数主要是由经验公式决定,缺乏理论指导,学习效果较差。为了提高神经网络模型的性能,Wu等[15]受到三支决策启发,提出了一种基于前馈神经网络的三支决策模型,实现了在动态决策过程中寻找神经网络的隐层节点数。Zhang等[44]在卷积神经网络模型的基础上设置了一个增强模型对边界域样本进行重分类。此外,在政策文本识别[41]、意见挖掘[69]、供电预警[70]等实际管理问题中,以神经网络模型为基础,引入三支决策理论构建的多阶段模型框架,能够有效降低信息不充分带来的决策风险。基于上述分析,我们总结了关于基于三支决策与深度学习模型相结合的应用领域与理论方法,如表5所示。
表5 三支决策与深度学习模型Tab.5 The researches on three-way decisions and deep learning |
随着物联网和云计算技术的迅猛发展,社会逐渐从信息时代转换为大数据时代,图像数据作为大数据的重要组成部分,其数量和复杂性也日益增加,图像识别技术也成为学界和业界值得深入探究的热门话题。与人工提取特征的方法相比,基于深度学习的相关技术在图像数据处理中能够取得更好的效果。然而,在对图像数据的处理和分析过程中,人们也会遇到图像噪声、图像分割、图像增强、图像配准和图像压缩等常见问题,将三支决策思想引入图像识别领域有望降低图像数据处理和分析过程中的不确定性和复杂程度。陈超凡等[54]提出了一种基于三支决策的两阶段图像分类方法,融合深度学习和机器学习的优势,实现信息在两者间的有效传递,进而提升算法性能。此外,将三支决策应用于图像类非结构化数据时,需寻找适当的特征提取和粒化方法,许多学者选择通过深度学习模型提取特征,从深度神经网络[73]、自动编码器[71]、卷积神经网络[10,12,72]等模型的训练过程中提取图像的多层次粒度特征, 提高了模型识别不确定图像的能力和运行速度。Li等[49]基于2DPCA、2DLDA和2DLPP的二维子空间投影的粒化方法将人脸图像转化为粗粒度到细粒度的粒度信息,提出了一种成本敏感的序贯三支决策方法用于人脸识别。Savchenko[72]引入序贯三支决策思想,基于卷积神经网络多层次结构,构造不同粒度的图像特征,缩短模型运行时间。刘盾等[74]从不确定性人工智能的视角综述了可解释性三支决策潜在的研究方向。可以看到,国内外众多学者从粒度的构建、模型的改进以及应用领域的拓展等不同研究视角对三支决策理论与深度学习方法作了大量系统性研究,并取得了一系列重要研究成果,这为三支决策理论与深度学习方法的融合提供了重要的理论支撑和实践指导。
4 总结与展望
三支决策理论遵循“三分而治”原则,当面临信息不充分时采取延迟决策,可有效降低错误决策损失。借鉴三支决策思想,决策者能更精确地识别不确定性问题的关键要素,增强对决策过程的控制,最终得到一个更有效且具有可解释性的决策结果。近年来,随着三支决策在理论、方法和应用上的不断发展,关于三支决策与机器学习相结合的研究也逐渐增多。本文探讨了三支决策与聚类模型、分类模型、推荐系统以及深度学习模型的融合机理,整理并归纳了三支决策与机器学习在不同研究问题、模型方法和应用领域的现有工作,对后续研究具有一定启发和参考价值。在未来的研究中,我们认为有如下三个方面值得关注。
首先,随着数据规模和结构复杂性的增加,数据处理的成本与时间也在逐渐增加。如何构建合理的损失函数,划分决策区域,降低决策成本和时间复杂度,从而对数据进行有效处理并获取重要信息是值得探究的问题。此外,针对多模态、多标签、多示例复杂数据的多层次结构,借鉴人工智能模型构建相应的由粗到细粒化方法,是今后的新趋势和新方向之一。
其次,从机器学习模型的研究角度出发,针对现有的三支决策模型进行优化和改进,优化阈值设置问题,以提高分类准确率、降低计算复杂度并提升模型泛化能力,包括对模型结构的调整、参数的优化、训练算法的改进等方面值得深入研究。因此,利用三支决策理论提高机器学习模型的可解释性是今后的重要研究方向之二。
最后,鉴于现实中存在更复杂的决策环境和问题,未来可拓展三支决策模型在不同领域的应用,将三支决策思想有机地融入决策科学、人工智能、信息科学等领域,通过与其他学科的交叉融合,更加深入地理解人类认知过程中的信息处理机制,从而优化决策过程和提高决策效果。跨学科的合作与交流不仅有助于推动三支决策理论的发展,还能有效解决实际问题,实现从理论到实践的转变,是今后的值得深入研究的方向之三。