近年来,推荐系统被广泛应用以解决信息过载问题。传统推荐方法通常基于用户历史行为数据构建用户交互矩阵,通过计算用户矩阵与物品矩阵的相关性来获取推荐结果[1]。这种方法在一定程度上依赖于用户与物品之间的交互信息,例如用户对物品的评分[2]、浏览记录[3]、购买历史[4]等,从而推断用户的偏好并向其推荐相似的物品。然而,这种方法存在一个很大的限制,就是当用户与物品之间的交互信息很少或者不存在时,传统推荐方法将无法为用户提供有效的个性化推荐[5]。
在现实生活中,用户与物品之间的交互信息往往是不完整的,甚至可能为空。例如,用户可能对某些领域没有兴趣、缺乏时间或者没有接触到相关的物品,导致缺乏相关的交互信息。这种情况下,传统推荐方法很难为用户提供有价值的个性化推荐,而用户也很难发现符合自己偏好的物品。
针对上述问题,研究人员提出利用辅助信息来提高推荐性能,例如用户第三方社交网络信息[6]、用户/物品多维属性[7]、用户行为序列[8]、时间信息[9]和知识图谱[10]等。在各种类型的辅助信息中,知识图谱通常包含更丰富的物品属性和联系。基于知识图谱的推荐系统利用知识图谱实体之间的语义关联发现他们的潜在联系,通过各种类型的关系使得推荐系统可以更加合理地扩展用户的兴趣[11⇓⇓⇓⇓⇓⇓-18]。然而,这些方法忽视了用户对某一特定物品的偏爱程度,对用户兴趣表示单纯利用知识图谱偏好传播结果,忽略传播过程中用户的兴趣,无法全面反映用户的个性化需求和兴趣偏好。因此,本文提出了一种基于局部影响力与深层偏好传播的推荐方法(LIDP),通过引入局部影响力的概念和深层偏好传播的方法,弥补了传统方法的不足。具体而言,LIDP模型可以有效捕获用户在偏好传播过程中的局部兴趣权重,这意味着对于用户来说,不同物品的偏爱程度可以得到更准确地表示。同时,LIDP模型对于具有较大影响力的节点进行深层偏好传播,以获取用户更深层次的兴趣偏好,进一步提高了推荐的准确性和个性化程度。本文的主要工作如下:1)提出一种基于局部影响力的推荐方法,该方法能够在偏好传播过程中考虑用户局部兴趣权重,并利用这些权重对推荐结果进行调整;2)提出一种深层偏好传播的方法,该方法通过考虑节点对推荐结果的影响,对具有较大影响力的节点进行深层偏好传播,以获取用户更深层次的兴趣偏好;3)将局部影响力和深层偏好传播结合起来,提出了一种全新的推荐模型,能够在传统偏好传播推荐算法的基础上,更好地考虑节点对推荐结果的影响,从而提高推荐性能。
1 相关工作
1.1 基于知识图谱的推荐方法
基于知识图谱嵌入的推荐方法通过将知识图谱中的特征信息映射到推荐系统中以达到特征扩充功能。Sheu等[13]提出一种基于会话新闻推荐的上下文感知图嵌入CAGE模型,该模型利用外部知识图谱来改进新闻文章的语义级表示,同时利用图神经网络进一步增强文章嵌入,并利用注意力神经网络模拟短期用户偏好。此类方法能有效捕捉知识图谱中的用户表示,但是无法获取用户的顺序行为表示。Elahi等[29]提出一种端到端推荐模型CACF模型,该模型共同学习协同信号和知识图谱上下文,利用了用户特定的注意力机制,对每个用户进行个性化推荐。Liu等[25]提出一种基于跨领域知识图谱嵌入的多领域项目-项目推荐,利用跨域知识图谱交叉嵌入方法实现项目的同域嵌入与异域嵌入,并提出一种多领域I2I推荐方法实现多领域推荐任务。
基于路径的推荐方法相比于基于嵌入的推荐方法更关注知识图谱中实体之间的联系,通过知识图谱中实体之间的连接关系计算节点相似性而实现推荐。Yang等[12]提出用于推荐的增强型知识感知路径网络EKPN模型,在原有仅连接用户-项目对的路径基础上提出捕获知识图谱外部项目之间的隐式特征以供推荐。Shi等[14]提出了一种基于神经网络的层级协同过滤模型NeuACF,该模型利用不同的元路径提取用户和项目的不同方位相似矩阵以学习潜在因素并最终实现Top-N的推荐任务。Chen等[24]提出了异构图增强顺序神经网络HGESNN,通过显式建模具有元路径结构的项目关系探索用户的历史交互之外的兴趣。此类方法对知识图谱中实体关系的利用率较高,但是需要手动设计元路径,且不同图谱结构对元路径的依赖程度较大,无法广泛应用于实践。
由于以上两类推荐方法在知识图谱利用方面存在一定的局限性,研究人员开始尝试结合知识图谱嵌入推荐与知识图谱路径推荐的混合推荐方法[33⇓⇓⇓⇓⇓⇓⇓⇓⇓⇓-44]。该类方法既考虑到知识图谱中实体与关系的语义,又考虑到各实体之间的连通性。首先通过在知识图谱上进行传播以获取用户偏好表示,然后通过知识图谱嵌入方式对用户偏好进行特征学习,最后利用推荐模块实现推荐功能。Liu等[19]提出KADM模型,将本地用户-项目交互数据和外部知识图谱数据整合为Top-N推荐,通过学习局部表征与全局表征计算用户偏好,从而实现推荐功能。Cao等[39]提出了基于用户长期行为序列建模的点击率预估模型SDIM,从多个哈希函数中采样以生成哈希候选项目和用户行为序列中每个项目的签名,并通过直接收集关联的行为项来获取用户兴趣,根据哈希签名候选项的相同与否进行推荐。罗宇泰等[45]在RippleNet[41]模型基础上提出Cn-RippleNet模型,利用知识图谱中的最大连通子图为节点设置节点影响力,一定程度上改善推荐结果。Chiny等[46]提出结合TF-IDF与余弦相似度的Netflix推荐系统。此类方法可以有效获得知识图谱中的实体与关系表示,但是在进行用户偏好表示时不能有效获取用户兴趣表示,且在偏好传播过程中的传播效率不高,不能有效表示实体之间的关系。
2 研究方法
2.1 问题描述
知识图谱中存在着大量的实体与关系,通过对各个实体之间进行偏好传播可以很方便地了解各实体之间存在的潜在关系。本文着重探讨如何有效地利用这些实体和关系来提高推荐系统的性能,特别是在处理点击率预估任务时。为此,引入了一个基于知识图谱的偏好传播模型,旨在更准确地捕捉和反映用户的兴趣偏好。
设n位用户集合U={u1,u2,…,un},m个项目集合V={v1,v2,…,vm},Y={yuv|u∈U,v∈V}为用户项目交互矩阵,其中yuv取值为
yuv=
式中用户与项目存在交互指用户与项目之间存在点击、浏览、评价等操作,反映了用户的历史行为。
在用户偏好传播过程中,通过分析用户历史行为在知识图谱中的关系,可以逐层扩散获取用户偏好实体。以电影《你好,李焕英》为例,该电影的主演是沈腾,类型是喜剧,可以从这些信息中推断出用户可能对沈腾主演的其他喜剧电影也感兴趣。然而,对于沈腾主演的众多电影,又有多种不同类型的电影。为了精细化用户偏好的表示,本文引入兴趣点权重[47]的概念,它基于用户的历史交互行为以及与目标实体的关系强度来计算,从而为每个实体赋予不同的权重。例如,对于沈腾主演的喜剧/科幻类电影《独行月球》,喜欢《你好,李焕英》的人对《独行月球》的喜爱程度将由《独行月球》的类型以及主演和导演所占的权重决定。可以通过分析用户的历史行为和兴趣点权重来推断用户对其他实体的偏好,从而为用户推荐相关的实体。
在给定用户集U、项目集V和知识图谱G的情况下,将用户历史兴趣集Su={v|yuv=1}作为种子集进行偏好传播,沿着知识图谱G中的实体由内向外逐层扩散,获取用户u的k(k=1,2,…,H)跳传播偏好实体集 ,
={t|(h,r,t)∈G,h∈ }。
式中: =Hu,H为偏好传播次数。用户u的偏好传播集定义为
={(h,r,t)|(h,r,t)∈G,h∈ }。
如图1所示,在偏好传播阶段,从初始兴趣集开始,每次传播遍历初始集的邻域节点,将其添加到用户兴趣集内,然后以新的节点为起点进行下一轮传播,直到达到预定的传播深度或者已经遍历完整个知识图谱,传播深度即偏好传播次数H,是基于模型的性能和计算效率进行预先设定的,以确保偏好传播既全面又高效。这个过程类似于信息或者病毒传播,但是不同之处在于传播的目标是个性化的,即每个用户的兴趣集是不同的。通过不断地迭代传播过程,用户的兴趣集会不断扩展,涵盖更多相关的实体和关系,从而提高个性化推荐的准确性和效果。
2.2 局部影响力计算
利用网络拓扑结构度量节点影响力是社会学相关领域的研究热点之一。节点的局部影响力越大,节点对信息、行为在整个社会网络中的传播控制能力越强[34]。
由于电影知识图谱构成的网络为无向网络图,且传播过程中大量节点度值较小,因此,本文在传播过程中使用节点度中心性方法[35]对知识图谱的局部影响力进行计算以准确区分不同度值的节点。在度中心性度量中,节点连接其他节点的数量被称为节点的度值,单个节点的度中心性由节点度值与当前传播路数中的节点总结来计算,节点度值越大,度中心性也越大。
图2为加入局部影响力的深层偏好传播示意图,其中采用三层逐层扩散的椭圆进行偏好传播示意,并对每个节点标注局部影响力权重。在给定k(k=1,2,…,H)跳传播过程中,节点入度值Xi(i∈k),节点局部影响力Cki计算公式如下:
Cki= 。
式中k表示传播的深度,即用户偏好传播扩散的层数。
2.3 深层偏好传播
在知识图谱偏好传播过程中,节点的局部影响力权重主要通过前一节点入度值计算所得。给定偏好传播指数a,当前跳数k,总跳数n,当k<n-2时通过对当前传播的节点局部影响力权重进行排序,获得局部影响力较大的前a个节点,并对此类节点进行下一轮传播。
如图2所示,在深层偏好传播过程中,偏好传播的节点会根据深度优先遍历算法进行传播。图中的白色圆圈表示不进行偏好传播。在每一跳传播中,若当前跳数中节点总数少于给定的偏好传播指数a,则会进行补全操作,即距离当前节点最近的未传播节点也加入到传播列表中。这种补全策略的引入,确保了在节点数量不足时,偏好传播仍能继续进行,从而保持了传播过程的完整性和连续性。补全策略有助于维持传播的广度,提高传播的覆盖率,并确保算法的鲁棒性。尤其在知识图谱的某些区域节点相对较少时,通过补全操作可以保证每一轮传播都能触及足够数量的节点,这对于全面理解用户偏好并提高推荐系统的探索能力至关重要。此外,若当前跳数中节点总数大于等于a,则会根据各节点的局部影响力值大小进行截断操作,只保留影响力值较高的节点进行传播,以达到减少噪声干扰、提高传播效率的目的。深层偏好传播过程算法如下。
3 LIDP模型
3.1 模型介绍
本文提出一种基于局部影响力与深层偏好传播的推荐模型LIDP,模型框架如图3所示。该模型使用了预先定义并在传播过程中保持不变的知识图谱,来自动和迭代地扩展用户偏好。通过输入用户U、项目V以及知识图谱G,输出预测概率 ,从而实现推荐功能。首先输入用户历史行为数据uhistory,将uhistory作为知识图谱种子集进行深层偏好传播,以获取用户深层偏好传播数据集Di,其次将项目V进行嵌入操作,获取项目矩阵Ve∈Rd,d为嵌入维度dim,利用Di三元组中的头节点h,将h的局部影响力值Cki作为权重矩阵,计算加权之后的头节点hi,
式中h∈Rd,是头节点h的嵌入表示。之后,利用Di三元组中的关系节点r、节点hi与用户嵌入矩阵Ve进行计算,以获取由实体v与头节点hi在关系r影响下的相关概率pi
pi=softmax(vTrihi)。
式中:vT为实体v的转置矩阵;r∈Rd×d是关系r嵌入表示,softmax为归一化指数函数,
softmax(xi)= 。
将计算所得相关概率pi与三元组中的尾节点ti进行矩阵相乘,以获取用户u相对于实体v的一次响应 ,
= piti。
式中ti∈Rd是尾节点t的嵌入表示,此时的用户兴趣集已经从历史行为数据转移到了深层偏好传播第一次传播集合 。将式(6)中的实体v替换为 ,并将跳数加1,重复深层偏好传播过程可以得到用户u相对于实体v的二次响应 ,经过跳数的不断迭代可以获得用户u相对于实体v的嵌入表示ue,
ue= + +…+ ,
式中H为给定总传播次数。最后利用用户嵌入ue与物品嵌入v相结合输出预测的点击概率 ,
=sigmoid(v)。
式中: 为用户u相对于实体v的嵌入表示ue的转置矩阵;sigmoid为逻辑回归函数,其计算公式为
sigmoid(x)= 。
3.2 优化算法
为了提高模型推荐性能,本文的损失函数主要包含三部分:第一部分采用交叉熵损失函数作为预测值 与真实值yuv之间的损失函数Lrs,
Lrs= L(,yuv)。
第二部分利用平方误差作为知识图谱嵌入模块的损失函数,
$ L_{\mathrm{kge}}=\frac{\lambda_{2}}{2} \sum_{r \in R}\left\|\boldsymbol{I}_{r}-\boldsymbol{E}^{\mathrm{T}} \boldsymbol{R} \boldsymbol{E}\right\|_{2}^{2} \text { 。 } $
式中:Ir为知识图谱关系r的指标张量I切片的真实值;ETRE为重构的指标矩阵;E为所有实体的嵌入矩阵;R是关系R的嵌入矩阵;λ2是知识图谱嵌入模块的参数。
第三部分是用于防止过拟合的正则化项
l2= 。
式中:E为所有实体的嵌入矩阵E∈Rd;R是关系R的嵌入矩阵,R∈Rd×d;λ1是正则化项的参数。LIDP模型完整的损失函数为
L=Lrs+Lkge+l2。
经过损失函数计算后利用Adam(adaptive moment estimation)算法反向传播后优化模型参数,经过多轮更新最终得出预测模型。
4 实验分析
4.1 数据集
在2个公开数据集MovieLens-1M和Book-Crossing上分别进行实验,MovieLens-1M公开数据集被广泛应用在电影推荐系统中,共包含753 772条评分记录,评分范围1~5分,其中用户6 036名,电影2 445部,Book-Crossing公开数据集被用于图书推荐系统中,共包含139 746条评分记录,评分范围0~10,其中用户17 860名,书籍14 976本。实验数据集详细信息如表1所示。
表1 实验数据集统计信息Tab.1 Statistical information of experimental datasets |
| 数据集 | MovieLens-1M | Book-Crossing |
|---|---|---|
| 用户数 | 6 036 | 17 860 |
| 项目数 | 2 445 | 14 967 |
| 关系交互数 | 753 772 | 139 746 |
| 知识图谱三元组数 | 1 241 995 | 151 500 |
| 知识图谱实体数 | 182 011 | 77 903 |
| 知识图谱关系数 | 12 | 25 |
这是2个常用的数据集。在MovieLens-1M数据集中,评分大于等于4被视为正向反馈,而评分小于4被视为反向反馈。这种划分可能导致数据不平衡的问题。然而,对于MovieLens-1M数据集,经过分析发现,正向和反向反馈之间的比例尚在可接受范围内,且模型的设计能够适应这种不平衡。未来的研究将探索进一步的方法来处理和减轻数据不平衡的潜在影响,以提高模型的鲁棒性和推荐质量。
对于Book-Crossing数据集,其数据的高度稀疏性导致采取了将用户评论过的书籍视为正向反馈的策略。这一处理方法基于假设,用户更有可能对他们感兴趣或喜欢的书籍进行评论。虽然这种方法可能无法完全准确地捕捉用户对所有书籍的偏好,但它为减少数据稀疏性带来的影响提供了一种有效的途径,使模型能够在这一具有挑战性的数据集上进行训练和评估。这种方法可能引入了一定的偏差,未来的工作将探索更先进的技术来更准确地从稀疏数据中推断用户偏好。
在本研究中,采用了由Wang等构建的电影及书籍知识图谱[41],该知识图谱数据为增强推荐系统性能提供了结构化的项目属性和关系表示。
4.2 评价指标及基准模型
本文采用AUC(area under curve)、ACC(accuracy)、MAE(mean absolute error)和F1值作为评价指标。其中,AUC被定义为ROC曲线下方的面积大小。由于ROC曲线通常处于y=x这条直线上方,因此其值介于0.5~1之间。AUC值越接近1,则检测越准确;反之,若越接近于0.5,则检测效果越差。ACC准确度值是描述预测正确结果占总结果的比率。其值越大,准确率越高。MAE平均绝对误差是衡量变量精度的常用指标,是绝对误差的平均值,可以更好地反映预测值误差的实际情况。F1值是基于精确率(Precision)和召回率(Recall)之间的权衡,综合考虑二者的指标,可以更好地反映分类器的性能。为了保证评价的准确性,本文将综合考虑这4个指标。
为了评估LIDP模型的性能,本文进行了一系列实验,并将其与基准模型进行对比。实验使用了PyTorch机器学习框架,在CentOS 7操作系统上,配备了Intel Xeon Gold 5220R CPU@2.20 GHz,以及NVIDIA GeForce RTX 3090 Founder Edition和512 GB内存。选用了常见的知识图谱推荐模型作为基准模型,这些模型在处理知识图谱推荐方面表现出色,并且被广泛应用于实践中。将LIDP模型与这些基准模型进行了对比,以验证其性能。
1)KGCN[18]:一种基于知识图谱卷积神经网络的推荐方法,它利用图卷积神经网络处理知识图谱,可以捕捉高阶的结构信息和语义信息,从而提高推荐效果。相比传统基于矩阵分解的方法,KGCN可以更好地处理稀疏性、冷启动和多样性等问题。同时,它还可以灵活地处理复杂的知识图谱,包括实体之间的多种关系,从而更好地挖掘知识图谱中的信息。
2)MKR[26]:一种基于知识图谱增强的多任务深度推荐方法,能够克服传统推荐算法中物品冷启动、数据稀疏等问题。MKR通过交替训练和交叉压缩单元,将知识图谱中的实体与推荐系统中的物品相关联,从而利用实体信息来增强推荐系统的性能。MKR能够在多个任务之间进行信息共享,提高推荐性能,并且能够对知识图谱中实体之间的语义关系进行建模,捕捉高阶结构信息和语义信息,提高推荐准确性。
3)CKAN[32]:一种知识图谱协同感知推荐模型,其突出了隐藏在用户-物品交互的关键协同信号。该模型将用户-物品交互信息和知识图谱中的实体联系起来,通过协同感知的方式对用户和物品进行表示学习,并考虑它们之间的交互和影响。CKAN通过建立协同感知矩阵和知识图谱矩阵来进行用户和物品表示,以提高推荐效果。同时,CKAN还使用了一种基于关系嵌入的注意力机制来学习实体之间的关系,从而更好地表示它们之间的交互和影响。
4)KRGCN[40]:一种知识水波图卷积网络推荐模型,模型采用了图卷积神经网络(GCN)和知识表示学习方法,以提高推荐系统的性能和效果。该模型利用知识图谱中实体之间的关系,并将其与用户和物品的交互信息相结合,通过图卷积网络来学习实体之间的关系和表示。KRGCN还使用了多任务学习的方法来考虑用户的不同兴趣和物品的不同属性,从而提高推荐的个性化程度。
5)RippleNet[41]:一种基于偏好传播的端到端推荐框架,其独特的思路在于将知识图谱扩散方法类比为水面上的涟漪扩散方式。相较于传统的基于嵌入和基于路径的知识图谱推荐方法,RippleNet通过将用户和物品的偏好信息传播到整个知识图谱中的相关实体,更加全面地捕捉了实体之间的关系和语义信息。此外,RippleNet还采用了交替训练的策略,将偏好传播和推荐模型联合学习,从而实现了端到端的推荐过程。
6)HRS[42]:一种基于注意机制和知识图嵌入的混合推荐系统模型,旨在解决传统推荐方法中的稀疏性和冷启动问题。该模型利用知识图作为辅助信息,引入推荐系统中,以提高推荐性能。HRS模型采用交叉压缩单元和偏好传播方法来丰富物品和用户的特征表示。在这个过程中,应用注意机制和知识图嵌入来增强推荐系统的表达能力。通过获取用户向量表示和物品向量表示,HRS模型能够预测用户对物品的点击概率。
7)GNRF[43]:一种基于关系整合的图神经网络推荐模型,其关注于有效利用用户-物品交互信息和知识图谱中的实体之间的关系。通过引入用户-物品交互图和知识图谱两种图结构信息,GNRF通过图神经网络融合交互特征、相似特征和知识特征,来构建用户和物品的特征表示,以提高推荐效果。
8)CN-RippleNet[45]:一种基于知识图谱的推荐模型,它在RippleNet的基础上,加入了复杂网络节点影响力,通过利用知识图谱中最大子网模型计算节点的全局影响力,并将其添加到图谱实体中,从而进一步提高模型的性能。与传统的推荐模型相比,CN-RippleNet不仅考虑了用户行为数据,还充分利用了知识图谱中的丰富语义信息,能够更好地挖掘出潜在的用户兴趣,提高推荐的准确性和个性化程度。
9)TCPSRec[9]:一种用于顺序推荐系统的方法,通过提出一种时间对比预训练方法来提高推荐性能。该方法通过建模用户行为序列的不变性和周期性来更好地捕捉用户行为的时间特征。TCPSRec设计了4个特殊的对比学习目标,分别用于建模全局不变性、局部不变性、粗粒度周期性和细粒度周期性。通过优化这些预训练目标,可以有效地捕捉学习到的顺序表示中的时间交互模式。
10)LIDP:一种基于局部影响力和深层偏好传播的推荐方法,它将知识图谱节点的局部影响力考虑在内,同时提出深层偏好传播的思想。在影响力传播的过程中,LIDP会考虑每个节点在知识图谱中的局部影响力,并将其加入影响力传播的计算中。此外,LIDP还使用了深层偏好传播的思想,即将用户的偏好信息与知识图谱中的节点信息相结合,从而更好地捕捉用户的兴趣和偏好。通过这些创新性的方法,LIDP可以提高推荐系统的性能和效果。
4.3 实验设置
首先将过滤后的数据按照6∶2∶2划分为训练集、验证集和测试集。对于基线模型采用原论文中超参数设置。对于LIDP模型,采用验证集来调整超参数以获得最佳性能。学习率从5×10-4尝试到1×10-2,正则化项从6×10-6尝试到1。模型使用Adam优化器进行优化。表2给出了LIDP模型在不同数据集的超参数设置。其中:d表示知识图谱嵌入的维度;λ1为知识图谱权重;λ2为正则化项权重;η为学习率;b为每个批次中的样本数量;s为深层传播额定数量;m为项目邻域数量;H为知识图谱扩散最大跳数。
表2 LIDP模型在两个数据集中的超参数信息Tab.2 Hyperparameter information of LIDP model in two datasets |
| 数据集 | d | λ1 | λ2 | η | b | s | m | H |
|---|---|---|---|---|---|---|---|---|
| MovieLens-1M | 16 | 0.01 | 0.000 000 1 | 0.02 | 1 024 | 32 | 16 | 3 |
| Book-Crossing | 4 | 0.01 | 0.000 01 | 0.01 | 1 024 | 32 | 32 | 3 |
4.4 实验结果与分析
表3 CTR预测结果Tab.3 CTR prediction results |
| 模型 | MovieLens-1M | Book-Crossing | ||||||
|---|---|---|---|---|---|---|---|---|
| AUC | ACC | MAE | F1 | AUC | ACC | MAE | F1 | |
| KGCN | 0.868 2 | 0.786 1 | 0.280 8 | 0.786 1 | 0.732 5 | 0.687 8 | 0.382 3 | 0.689 6 |
| MKR | 0.914 9 | 0.839 9 | 0.222 4 | 0.843 7 | 0.733 1 | 0.703 4 | 0.377 8 | 0.655 4 |
| RippleNet | 0.915 6 | 0.840 7 | 0.219 3 | 0.825 1 | 0.648 4 | 0.625 6 | 0.433 8 | 0.643 5 |
| CN-RippleNet | 0.917 7 | 0.841 2 | 0.214 9 | 0.827 3 | 0.730 4 | 0.658 9 | 0.419 8 | 0.648 3 |
| CKAN | 0.917 1 | 0.841 5 | 0.248 7 | 0.844 9 | 0.738 9 | 0.661 3 | 0.407 1 | 0.672 1 |
| HRS | 0.918 2 | 0.840 8 | 0.215 6 | 0.843 2 | 0.733 2 | 0.690 1 | 0.391 3 | 0.683 2 |
| KRGCN | 0.919 8 | 0.841 2 | 0.220 3 | 0.830 8 | 0.729 3 | 0.656 3 | 0.410 3 | 0.642 1 |
| GNRF | 0.920 2 | 0.843 2 | 0.210 3 | 0.845 1 | 0.738 2 | 0.712 4 | 0.380 1 | 0.689 8 |
| TCPSRec | 0.919 7 | 0.842 3 | 0.212 4 | 0.844 6 | 0.736 7 | 0.710 3 | 0.385 3 | 0.685 7 |
| LIDP | 0.921 8 | 0.848 4 | 0.201 0 | 0.847 2 | 0.742 7 | 0.733 8 | 0.377 2 | 0.698 5 |
MKR模型采用交替训练和交叉压缩单元将知识图谱中的实体与推荐系统中的物品相关联,其在两个数据集上的四个评价指标均优于KGCN模型。
RippleNet模型的表现在前三个评价指标中均优于KGCN和MKR两个基准模型,但F1值低于MKR模型。值得注意的是,RippleNet模型在Book-Crossing数据集上的结果远低于其他基准模型,这是由于RippleNet模型仅采用简单的偏好传播,不能获取有效的用户-项目表示。在面对稀疏性较强的Book-Crossing数据集时,推荐准确度大大降低。
CKAN模型通过协同感知的方式对用户和物品进行表示学习,在Movielens-1M数据集上的AUC评价指标高于RippleNet模型,仅次于CN-RippleNet模型,MAE值仅优于KGCN模型,然而CKAN模型的ACC值与F1值远高于其他基准模型。在Book-Crossing数据集上CKAN模型的AUC值与F1值高于其他基准模型,其ACC值与MAE值相对于LIDP模型分别低了9.8%与7.9%。
HRS模型通过注意机制和知识图嵌入来丰富用户和物品的特征表示,并在推荐系统中应用。对于Movielens-1M数据集,HRS模型在AUC评价指标方面表现良好,接近于CKAN模型并略低于KRGCN模型。此外,HRS模型在MAE值上优于KGCN等其他基线模型,显示出对用户-物品交互的准确性和精度。而在ACC值和F1值上,HRS模型表现出较高的性能,展示了其在推荐准确性和整体性能方面的优势。
KRGCN模型融合了KGCN模型与RippleNet模型并进行改进,在Movielens-1M数据集上模型性能低于GNRF模型,高于前六个基准模型,在Book-Crossing数据集上模型性能仅高于RippleNet数据集与CN-RippleNet数据集,却低于其他基准模型。
TCPSRec模型,是一种考虑时间上下文信息和用户个性化序列的推荐方法。该模型通过分析用户行为的时间动态性和序列模式,致力于提高推荐的准确性和个性化程度。在Movielens-1M数据集上,TCPSRec模型的性能略低于GNRF模型,展现了其在处理用户-物品交互信息方面的有效性,尤其是在考虑时间因素和用户历史行为序列的情况下。尽管在Book-Crossing数据集的稀疏性挑战下表现有所下降,TCPSRec模型仍然展示了其对时间上下文和个性化序列的有效利用,为推荐系统领域提供了新的研究方向。
GNRF模型是一种融合了用户交互信息和图神经网络的模型。在Movielens-1M数据集上,GNRF模型展现出了较好的性能,仅次于LIDP模型,在AUC和F1评价指标上超过了前七个基准模型。这表明GNRF模型在捕捉用户-物品交互和预测用户兴趣方面具有较高的准确性和预测能力。尽管如此,在某些评价指标上,LIDP模型与GNRF模型的性能差异并不显著。这归因于两种模型在处理用户-物品交互信息方面采取了相似的有效策略,从而在这些指标上达成了相近的性能水平。此外,MovieLens-1M数据集的特定结构和特征对这两种模型的性能产生了相似的影响。然而,在Book-Crossing数据集上,GNRF模型的性能略低于CKAN模型,这进一步表明不同数据集的特性可能会显著影响模型的表现。
LIDP模型在所有指标中表现最好,在Movielens-1M数据集相比于基准模型LIDP模型的AUC、ACC、MAE和F1值分别提高了0.2%~7.7%、0.8%~7.8%、1.8%~24.8%和0.2%~7.7%;在Book-Crossing数据集,LIDP模型的AUC、ACC、MAE和F1值分别提高了1.3%~14.5%、4.3%~11.8%、0.2%~13.1%和1.2%~8.7%。需要注意的是,各模型在Book-Crossing数据集上的评价指标低于Movielens-1M数据集,这主要是由于Book-Crossing数据集数据拥有大量稀疏性数据。这也提示我们在实际应用中需要考虑数据集的特性,选择适当的推荐算法来提高推荐准确度。
通过实验结果可以看出,本文提出的LIDP模型在推荐效果方面表现最好。其AUC、ACC、MAE和F1指标均优于其他5个基线模型。这表明本文方法能够更准确地预测用户的兴趣,从而提高推荐效果。进一步分析发现,LIDP模型采用了一种新的特征提取方式,可以更好地捕捉用户和物品的相关性,从而提高了推荐准确度。
综上所述,本文提出的LIDP模型在推荐效果方面表现最好,可以作为一个有效的推荐算法应用到实际场景中。
4.5 消融实验
为了验证局部影响力权重与深层偏好传播带来的模型性能提升效果,进行了如表4所示的消融实验,分别验证在没有局部影响力权重与深层偏好传播的情况下模型性能情况。
表4 消融实验结果Tab.4 Ablation experiment results |
| 模型 | MovieLens-1M | Book-Crossing | ||||||
|---|---|---|---|---|---|---|---|---|
| AUC | ACC | MAE | F1 | AUC | ACC | MAE | F1 | |
| 未加局部影响力权重的LIDP | 0.912 7 | 0.836 8 | 0.228 7 | 0.837 0 | 0.655 3 | 0.626 2 | 0.423 2 | 0.603 8 |
| 未加深层偏好传播的LIDP | 0.914 7 | 0.839 8 | 0.232 2 | 0.839 2 | 0.631 0 | 0.621 8 | 0.425 0 | 0.619 2 |
| LIDP | 0.921 8 | 0.848 4 | 0.221 0 | 0.847 2 | 0.742 7 | 0.733 8 | 0.377 2 | 0.698 5 |
结果表明,未加局部影响力权重的LIDP模型性能最差。这主要是因为该模型没有考虑到用户的局部兴趣权重,无法准确地表达用户对不同物品的偏好程度。同时,即使在未加局部影响力权重的情况下,LIDP模型仍会进行深层偏好传播。然而,此时的深层偏好传播并未带来更深层次的用户兴趣偏好,反而引入了更多的噪声,进一步降低了模型性能。
另一方面,未加深层偏好传播的LIDP模型性能优于未加局部影响力权重的LIDP模型。这是因为未加深层偏好传播的LIDP模型考虑了局部兴趣权重,但由于缺乏深层偏好传播的机制,无法充分利用那些具有较大影响力的节点的信息。因此,部分用户的偏好信息可能会丢失,从而对推荐性能造成一定影响。
综上所述,局部影响力权重和深层偏好传播是LIDP模型的两个关键组成部分。未加入局部影响力权重或深层偏好传播的模型无法充分利用这两个关键因素,同时还可能引入更多的噪声,从而导致推荐性能下降。通过综合考虑局部影响力权重和深层偏好传播,将它们有机地结合在LIDP模型中,可以获得更强大的推荐效果。
首先,局部影响力权重模块能够准确地建模用户对不同物品的偏好程度,为每个物品赋予适当的权重,从而更准确地反映用户的个性化兴趣。这使得推荐结果更加精准和个性化,能够更好地满足用户的偏好需求。
其次,深层偏好传播模块通过影响力较大的节点进行深度传播,挖掘用户的潜在兴趣关联和演化趋势。这种深层次的传播机制能够捕捉到用户兴趣的更多细节和隐含特征,从而提供更全面、深入的推荐结果。它能够发现用户可能会喜欢的物品,即使这些物品与用户的历史兴趣有一定的距离,也能够推荐给用户。
综合考虑局部影响力权重和深层偏好传播,LIDP模型能够更全面地建模用户的兴趣,捕捉到用户偏好的多个维度和层次,从而提供更准确、个性化且丰富的推荐结果。这种综合应用不仅提升了推荐系统的性能,还增加了推荐结果的解释性,使用户能够理解推荐的原因和依据。
因此,将局部影响力权重和深层偏好传播有机地结合在LIDP模型中,是提高对用户兴趣准确建模和实现个性化推荐的有效策略。这种综合模型能够充分利用关键因素,为用户提供更好的推荐体验,满足其多样化和个性化的需求。
4.6 案例分析
为了进一步验证模型有效性,本文随机抽样一个用户,并从他/她的测试集中选择一个标签为1的候选电影,计算实体与候选电影或其属性之间的相关概率。结果如图4所示,其中较深的蓝色线条代表较大的值,蓝色圆角矩形代表电影名称,绿色圆角矩形代表人名,橘黄色圆角矩形代表电影类型。为了更清晰地呈现,省略了关系的名称,并省略了概率小于0.1的节点。
从图中可以看出,通过将用户不同实体使用代表不同强度的连接线连接起来可以有多条路径到达候选电影,例如“Toy Story-Animated-The Incredibles”“Toy Story-Adventure-The Incredibles”,这些由深层偏好传播自动发现的高亮路径可以用来解释推荐结果。
4.7 参数影响分析
为了评估模型中参数对推荐结果的影响,选择对模型影响较大的几个参数:知识图谱嵌入的维度d、知识图谱扩散最大跳数h、项目邻域数量m以及深层传播额定数量s。参数评估结果如图5所示。
1)知识图谱嵌入的维度d对模型性能的影响。知识图谱嵌入维度主要指知识图谱中实体与关系的嵌入维度。由于AUC的评价指标较为常用且能很好地消除样本类别不平衡对指标结果产生的影响,因此只对模型结果的AUC指标进行对比分析。在LIDP模型中,知识图谱嵌入维度d对稀疏数据集的推荐效果有一定的影响,取d=4、8、16、32进行实验。结果如表5所示,可以发现LIDP模型对知识图谱嵌入的维度d是敏感的,不同的嵌入维度会对稀疏数据集的推荐性能产生影响。在Movielens-1M数据集上,嵌入维度d=16时获得最佳的AUC值,而当嵌入维度增加到d=32时,模型性能开始下降。类似地,对于Book-Crossing数据集,最佳的嵌入维度为d=4,而d=8时模型性能开始下降。这表明在这两个数据集上,过多的嵌入维度可能会导致过拟合的风险同时也会引入更多的噪声信息并降低推荐性能。在实际应用中,选择合适的知识图谱嵌入维度d的值可以考虑数据集的稀疏程度。如果数据集较为稀疏,选择较低的嵌入维度可以减少噪声的影响;而对于相对稠密的数据集,可以尝试增加嵌入维度以获取更好的推荐性能。此外,还可以通过交叉验证等技术在一定范围内进行参数搜索和比较,以找到最优的嵌入维度。
表5 知识图谱嵌入的维度d对模型性能的影响(AUC)Tab.5 Impact of knowledge graph embedding dimension d on model performance (AUC) |
| d | MovieLens-1M | Book-Crossing |
|---|---|---|
| 4 | 0.910 6 | 0.742 7 |
| 8 | 0.911 8 | 0.734 7 |
| 16 | 0.921 8 | 0.730 4 |
| 32 | 0.910 1 | 0.732 2 |
2)知识图谱扩散次数h对模型性能的影响。知识图谱扩散次数h主要指知识图谱进行偏好传播时进行的扩散次数。在LIDP模型中,知识图谱扩散次数h对模型的推荐效果有一定的影响,取h=1、2、3、4、5进行实验。结果如表6所示,可以发现LIDP模型对知识图谱扩散次数h是敏感的。在Movielens-1M数据集和Book-Crossing数据集中,当h=3时,模型性能达到最佳效果。随着扩散次数增加到h=4,模型性能开始下降,可能是由于过多的扩散次数导致训练时间增加和噪声的影响。需要注意的是,传统的偏好传播算法如CN-RippleNet与RippleNet等在h=2时达到最佳效果,而LIDP模型在h=3时效果最好。这可能是因为LIDP模型在进行多层传播时可以获得更多和更有效的信息表示。在实际应用中,选择合适的知识图谱扩散次数h的值可以考虑数据集特征根据具体的数据集特征,例如数据的稀疏性和复杂度,可以尝试不同的扩散次数h,并评估模型在不同参数值下的性能。通过实验或交叉验证来确定最佳的扩散次数。同时需要考虑计算资源和效率,过多的扩散次数会增加计算的时间和资源消耗。因此,在实际应用中需要考虑计算资源的限制和模型的运行效率。选择适当的扩散次数来平衡模型性能和计算效率的要求。
表6 知识图谱扩散次数h对模型性能的影响(AUC)Tab.6 Impact of knowledge graph diffusion steps h on model performance (AUC) |
| h | MovieLens-1M | Book-Crossing |
|---|---|---|
| 1 | 0.907 8 | 0.720 1 |
| 2 | 0.917 4 | 0.737 1 |
| 3 | 0.921 8 | 0.742 7 |
| 4 | 0.921 1 | 0.740 6 |
| 5 | 0.915 1 | 0.721 2 |
3)项目邻域数量m对模型性能的影响。项目邻域数量m主要指知识图谱中每一次扩散偏好集的大小。在LIDP模型中,项目邻域数量m对推荐效果有一定的影响,取m=4、8、16、32、64、128进行实验,由于项目邻域数量m与深层传播额定数量s在取值方面存在影响,为了更好地显示项目邻域数量m对模型性能的影响,本次实验取深层传播额定数量s为256。结果如表7所示,可以发现LIDP模型对项目邻域数量m的取值是敏感的。不同的m值会对模型的性能产生影响。在Movielens-1M数据集,当m=16时取得最佳效果,m=32时,模型性能开始降低,Book-Crossing数据集m=32的时候具有最佳的效果,m=64的时候模型性能开始降低,这是由于当项目邻域数量m值增加时,每次扩散偏好集的大小也增加。这可能会导致模型处理更多的邻域信息,增加了模型的复杂性和训练时间,使模型难以准确地学习到有用的邻域表示,从而降低推荐性能。在实际应用中,选择合适的项目邻域数量m需要考虑数据集的特点,不同的数据集可能具有不同的稀疏性和噪声程度。较大的m值可能会增加噪声对模型性能的影响。因此,需要根据具体数据集的特点选择合适的m值。同时需要考虑计算资源和时间限制,较大的m值会增加计算资源和训练时间。考虑可用的计算资源和对模型训练时间的要求,以确定合适的m值。
表7 项目邻域数量m对模型性能的影响(AUC)Tab.7 Impact of number of item domains m on model performance (AUC) |
| m | MovieLens-1M | Book-Crossing |
|---|---|---|
| 4 | 0.915 0 | 0.684 2 |
| 8 | 0.917 9 | 0.694 9 |
| 16 | 0.919 4 | 0.708 9 |
| 32 | 0.918 2 | 0.721 4 |
| 64 | 0.915 6 | 0.719 0 |
| 128 | 0.907 3 | 0.696 0 |
4)深层传播额定数量s对模型性能的影响。深层传播额定数量s主要指知识图谱进行深层偏好传播时额定进行深层传播的数量额度。在LIDP模型中,深层传播额定数量s主要负责深层传播时节点数量的限制,其大小将决定用户偏好的深度与广度,取s=4、8、16、32、64、128,进行实验,由于传播额定数量s与项目邻域数量m在取值方面存在影响,为了更好地显示深层传播额定数量s对模型性能的影响,本次实验取项目邻域数量m为4。结果如表8所示,可以发现LIDP模型对深层传播额定数量s是敏感的。具体而言,Movielens-1M数据集和Book-Crossing数据集在s=32时表现最佳。然而,当s=64时,模型性能开始下降。这是由于过多的嵌入维度和较多的噪声导致的性能下降。在实际应用中,选择合适的深层传播额定数量s需要考虑用户偏好的深度与广度,较大的s值允许更深和更广的偏好传播,能够捕捉到更多的信息。然而,过大的s值可能会导致过拟合和噪声的引入。因此,需要根据用户偏好的深度与广度以及任务需求来选择合适的s值。同时考虑数据集的特征,不同的数据集可能具有不同的复杂度和规模。较大的数据集可能需要较大的s值来进行充分的深层传播,而较小的数据集可能在较小的s值下就能达到较好的性能。因此,实际应用中需要综合考虑根据用户偏好的深度与广度以及数据集的特征选择合适的s值。
表8 深层传播额定数量s对模型性能的影响(AUC)Tab.8 Impact of deep propagation threshold s on model performance (AUC) |
| s | MovieLens-1M | Book-Crossing |
|---|---|---|
| 4 | 0.901 9 | 0.683 1 |
| 8 | 0.909 7 | 0.690 8 |
| 16 | 0.917 8 | 0.696 2 |
| 32 | 0.918 9 | 0.716 5 |
| 64 | 0.915 0 | 0.699 5 |
| 128 | 0.904 3 | 0.683 7 |
5 结语
本文提出了一种LIDP推荐模型,该模型结合了局部影响力和深层偏好传播的概念。该模型基于知识图谱,是一种端到端的推荐框架。LIDP模型解决了传统偏好传播推荐算法无法考虑节点对推荐结果影响的问题。同时,LIDP模型引入了深层偏好传播思想,在传播过程中建立传播阈值,深化传播深度,有效获取用户深层次的兴趣偏好。LIDP模型分为两层:第一层为知识图谱表示层,通过对知识图谱进行偏好传播以获取用户兴趣表示;第二层为推荐系统层,将获取的用户兴趣表示嵌入推荐系统以提高推荐性能。本文还对比了四个知识图谱嵌入的推荐模型以及一个传统推荐模型,在Movielens-1M和Book-Crossing两个广泛使用的数据集上进行了实验。实验结果表明,LIDP模型优于基线模型。
未来计划从以下几个方面展开进一步研究:首先,可以考虑将LIDP模型应用于其他领域的推荐系统中,如电商、社交网络等,探索其在不同领域中的适用性和推荐效果;而且,可以通过引入更多的知识图谱属性和多模态数据信息来进一步提升LIDP模型的推荐效果;其次,可以探索更加灵活的深层偏好传播机制,例如基于强化学习的深层偏好传播方法,进一步提高LIDP模型的推荐准确性;此外,还可以考虑将LIDP模型与可解释性推荐相结合,进一步提高推荐系统的透明度和用户满意度;同时,可以考虑将LIDP模型应用于冷启动推荐场景中,解决新用户和新物品的冷启动问题,提高推荐系统的覆盖率和效果。