深圳网站制作 优选灵点网络,男女做恩爱视频网站,容桂网站建设,网站与网页的关系[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OpZWgm7T-1634540652258)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018091530075.png)]
创新性
提出了新的GNN聚合方案提出了意图图#xff0c;每个意图图是将每个inte…[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OpZWgm7T-1634540652258)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018091530075.png)]
创新性
提出了新的GNN聚合方案提出了意图图每个意图图是将每个intent建模为KG关系的attentive combination 关系和关系之间也是有关系的他们相互依赖可以同时决定了用户的选择
摘要
差异
知识图在推荐系统中扮演着越来越重要的角色。最近的一个技术趋势是开发基于图形神经网络GNN的**端到端模型。**然而现有的基于GNN的模型在关系建模中是粗粒度的
1无法在细粒度的意图级别识别user-item relation
2无法利用关系依赖性来保留远程连接的语义。
新的模型
基于知识图的意图网络KGIN。从技术上讲我们将each intent建模为KG关系的 attentive combination 鼓励不同意图的独立性以获得更好的建模能力和解释能力。此外我们还设计了一种新的GNN信息聚合方案该方案递归地集成了远程连接的关系序列即关系路径。该方案允许我们提取关于用户意图的有用信息并将其编码为用户和项目的表示。在三个基准数据集上的实验结果表明KGIN比KGAT[41]、KGNN-LS[38]和CKAN[47]等最先进的方法取得了显著的改进。https://github. com/huangtinglin/Knowledge\u Graph\u-based\u-Intent\u-Network。
2 PROBLEM FORMULATION
我们首先介绍用户项交互和知识图
交互数据
这里我们重点关注推荐中的隐性反馈[26]其中用户提供的关于其偏好的信号是隐性的。比如浏览、点击和购买
U\mathcal{U}U是用户的集合I\mathcal{I}I是items的集合 O{(u,i)∣u∈U,i∈I}O^{}\{(u, i) \mid u \in \mathcal{U}, i \in \mathcal{I}\}O{(u,i)∣u∈U,i∈I}是一组观察到的反馈其中每一(u,i)(u,i)(u,i)对表明了用户uuu在之前和物品iii有联系 在以前的一些文献中如KGAT引入了另一个交互的关系以显式表示用户项关系并将ui对转换为uinteractive withi三元组。因此用户项交互可以与KG无缝结合。
Knowledge Graph
KG以异构图形或异构信息网络的形式存储现实世界事实的结构化信息例如项目属性、分类法或外部常识知识。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sdesrfHl-1634540652262)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018094337604.png)][外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GFXCxspe-1634540652265)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018094625309.png)]
使用items和KG实体之间的映射I∈V\mathcal{I}\in\mathcal{V}I∈V KG能够分析项目并为交互数据提供补充信息。
Task Description
给定OO^O和KG G\mathcal{G}G基于知识的推荐的任务就是学习一个函数来预测一个用户怎么采纳一个item
3 METHODOLOGY
我们现在提出了基于知识图的意图网络KGIN。图3显示了KGIN的工作流程。它由两个关键组成部分组成
1用户意图建模它使用多个潜在意图来描述用户-项目关系并将每个意图表述为KG关系的一个精心组合同时鼓励不同的意图相互独立
2关系路径感知聚合突出了远程连接中的关系依赖性从而保留了关系路径的整体语义。KGIN最终生成用户和项目的高质量表示。
3.1 User Intent Modeling
意图图 与先前基于GNN的研究[38,41,47]不同该研究假设没有或只有一个用户与项目之间的交互关系我们旨在捕捉用户行为受多个意图(意图就是用户选择的原因)影响的直觉。在这里我们将意图作为用户选择项目的原因这反映了所有用户行为的共性。
以电影推荐为例意图的意思是是对电影属性的不同考虑如明星和合作伙伴的组合或导演和流派的组合。不同的意图抽象出不同的用户行为模式。
这可以通过更细粒度的假设来强化广泛使用的协同过滤效果——这种相似性意图驱动了用户对项目的偏好相似。这种直觉促使我们在意图的粒度上建模用户项关系。
假设作为所有用户共享的意图集P\mathcal{P}P我们可以将统一的用户项关系切片为∣P∣|\mathcal{P}|∣P∣意图并将每个ui对分解为{uPi| P∈ P\mathcal{P}P} 。因此我们将用户项交互数据重新组织为一个异构图称为意图图(IG)它不同于以前工作中采用的同构协作图[41,47]。
3.1.1Representation Learning of Intents
虽然我们可以用潜在向量来表达这些意图但很难明确地识别每个意图的语义。一个简单的解决方案是将每个意图与KTUP[4]提出的一个KG关系相耦合。
然而该解决方案仅孤立地考虑单个关系而**不考虑关系的交互和组合**因此无法细化用户意图的高级概念。例如关系1和2的组合对意向1有影响而关系3和4对意向2的贡献更大。因此我们会考虑在KG上的分布关系来安排每个意图p∈Pp\in\mathcal{P}p∈P----从技术上讲运用注意力策略创建意图嵌入。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-lzxv2F9g-1634540652269)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018102852357.png)]
其中er\mathrm{e}_rer是关系r的ID嵌入它被分配了一个注意力分数αrp来量化它的重要性正式地
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ySO6Fe9l-1634540652285)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018103027788.png)]
其中wrpw_{rp}wrp是一个特定于特定关系rrr和特定意图ppp的可训练的权重。在这里为了简单起见我们使用权重并在未来的工作中对复杂注意模块进行进一步的探索。
3.1.2 Independence Modeling of Intents
不同的意图不同的信息不同的意图应该包含关于**用户偏好的不同信息[**23,24]。如果一个意图可以被其他意图推断出来那么描述用户项关系可能是多余的信息量也可能较小相反具有独特信息的意图将提供一个有用的角度来描述用户的行为模式。
因此为了更好的模型容量和解释性我们鼓励意图的表达彼此不同。在这里我们引入了一个独立建模模块来指导独立意图的表示学习。
该模块可以通过应用统计度量如互信息[2]、皮尔逊相关[33]和距离相关[32,33,43]作为正则化器来简单实现。这里我们提供两种实现 Mutual information 我们最小化任何两个不同意图表示之间的互信息从而量化它们的独立性。这种想法与对比学习不谋而合[7,12]。更正式地说独立性建模是
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vWpmba8E-1634540652289)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018103906899.png)]
其中**s(⋅)s(·)s(⋅)是测量任意两个意图表示关联的函数**此处设置为余弦相似函数
其中τ\tauτ是softmax功能中温度的超参数 Distance correlation 它测量任意两个变量的线性和非线性关联当且仅当这些变量独立时其系数为零。最小化用户意图的距离相关性使我们能够减少不同意图的依赖性其公式如下
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5wftaqNg-1634540652292)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018104309356.png)]
其中[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-M4wiQUoN-1634540652294)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018104347706.png)]是两个意图ppp和p/p^/p/之间的距离
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X204d8gt-1634540652296)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018104723653.png)]是两个意图表示的方差距离
优化这种损失可以鼓励不同意图之间的分歧使这些意图具有清晰的边界从而赋予用户意图更好的解释性。
3.2 Relational Path-aware Aggregation
在对用户意图进行建模之后我们继续在GNN基础范式下学习用户和项目的表示。
先前基于GNN的推荐模型表明邻域聚合方案是一种很有前途的端到端方法可以将多跳邻居集成到表示中。更具体地说ego节点的表示向量是通过递归聚合和转换其多跳邻居的表示来计算的。
然而我们认为当前的聚合方案大多基于节点这限制了结构知识的好处这是由于两个问题
1聚合器专注于组合邻域信息而不区分它们来自哪些路径。考虑图2中的示例在ego节点1和它的2-hop邻居v2v_2v2之间有三个信息通道[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pgw7x8dQ-1634540652299)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018105742029.png)]在构建由v2v_2v2传递的神经信息时基于节点的聚合器主要通过衰减因子变换和重新缩放v2v_2v2的表示而不考虑不同通道的影响缩放不是不同权重)。因此它们不足以在表示中保留结构信息。
2)当前基于节点的聚合器通常通过注意网络对衰减因子中的KG关系进行建模以控制从邻居传播的信息量。这限制了KG关系对节点表示的贡献。此外没有关系依赖被一个隐藏的方式捕获因此我们的目标是设计一个关系路径感知聚合方案来解决这两个限制。
3.2.1 Aggregation Layer over Intent Graph.
首先我们将个人历史即用户以前采用的物品视为个人用户预先存在的特性。
在我们的IG中我们可以通过假设具有相似意图的用户对item表现出相似的偏好在用户意图的粒度级别捕获更细粒度的模式。
考虑在IG中的一个user uuu我们使用表示意图感知历史和uuu周围的一阶连接。从技术上讲我们可以集成历史item中的意图感知信息以创建用户uuu的表示 其中是用户uuu的表示;是描述每个一阶连接u、p、i的聚合函数。因此我们实现为 而对于不同的意图将会对一个用户的行为不同的重要性因此我们使用一个注意力分数来区分该意图ppp的重要性为 eu(0)\mathrm{e}_u^{(0)}eu(0)是用户u的ID嵌入使得重要性分数个性化。
我们不用衰减因子或者是正则化项我们在聚合中突出了意图关系的重要性。 因此我们通过元素乘积构造item iii的消息 因此我们能够在用户表示中显式表达一阶意图感知信息。
3.2.2 Aggregation Layer over Knowledge Graph.
然后我们重点讨论以KG为单位的聚合方案。由于一个实体可以包含多个KG三元组因此它可以将其他连接的实体作为其属性以反映项目之间的内容相似性。
我们使用表示item iii的属性和一阶连接性然后集成来自连接实体的关系感知信息以生成item iii的表示
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NgHHytxs-1634540652301)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018135743908.png)]
这里我们考虑聚合器中的关系上下文。直观地说每个KG实体在不同的关系上下文中具有不同的语义和含义。
为了控制不同上下文原来的方法是通过注意力机制的衰减因子。 相反我们将聚合器中的关系上下文建模为 对于每个三元组(i,r,v)(i,r,v)(i,r,v)我们设计一个关系信息通过将关系建模为投影或旋转操作符。 因此关系消息能够揭示三元组携带的不同含义即使它们获得相同的实体。
类似的我们可以获得每个KG实体v∈Vv\in\mathcal{V}v∈V的表示。
3.2.3Capturing Relational Paths.
上面是一阶这里是高阶。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KNBN8AaY-1634540652303)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018140728265.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9Dsmm2Hp-1634540652306)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018140900504.png)]关系路径表示为关系序列也就是(r1,r2,...,rl)(r_1,r_2,...,r_l)(r1,r2,...,rl)我们可以重写表示如下
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Qpg85YXy-1634540652308)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141118169.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sx6FXcVp-1634540652310)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141140638.png)]
显然这种表示反映了关系之间的交互并保留了路径的整体语义。这与当前知识感知推荐中采用的聚合机制有很大不同后者忽略了KG关系的重要性因此无法捕获关系路径。
3.3 Model Prediction
经过L 层后我们获得了用户u和item i在不同层上的表示然后将它们汇总为最终表示 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XZ9JUOE4-1634540652312)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141315847.png)]
3.4 Model Optimization
我们选择成对的BPR损失[26]来重建历史数据。具体而言它认为对于给定用户其历史项目的预测分数应高于未观察到的项目
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cxiSdoJk-1634540652314)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141339506.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3iMLS4ga-1634540652316)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141437244.png)]
通过结合独立性损失和BPR损失我们最小化以下目标函数来学习模型参数
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-G1wFlUYK-1634540652319)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141452364.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8GTXdXKw-1634540652322)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018141521294.png)]
4 实验
我们提供了实证结果来证明我们提出的KGIN的有效性。这些实验旨在回答以下研究问题
RQ1与最先进的知识感知推荐模型相比KGIN的表现如何
RQ2设计例如用户意图的数量和独立性关系路径的深度对KGIN关系建模的改进有什么影响
RQ3KGIN能否提供关于用户意图的见解并给出可解释性的直观印象
4.1 实验设置
在实验中我们使用三个基准数据集来推荐书籍、音乐和时装
1 我们使用的是亚马逊图书和KGAT发布的最新FM数据集[41]
2我们进一步引入阿里巴巴iFashion数据集[8]来研究项目知识的有效性。这是从阿里巴巴网上购物系统收集的时尚服装数据集。服装被视为推荐的item每一套服装都由多个时尚物品组成例如上衣、底裤、鞋子、配饰这些物品遵循时尚分类法被分配到不同的时尚类别如牛仔裤、T恤衫。我们提取服装的KG数据等属性比如 丢弃少于十次交互的用户和项目过滤掉少于十个三元组的KG实体。
表1总结了数据集的统计信息其中我们只列出了典型关系的数量并在实验中用反向关系构造了三元组。紧跟之前的研究[41,45]我们使用相同的数据分区。在训练阶段每个观察到的用户项目交互都是一个积极的实例而用户之前没有采用的项目则随机抽样将用户配对为一个消极的实例。
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5iH8InJj-1634540652324)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018142635299.png)]
4.1.2Evaluation Metrics.
在评估阶段我们执行全排名策略[20]而不是抽样指标。更具体地说对于每个用户她以前没有采用过的完整项目被视为负面测试集中的相关项目被视为正面。所有这些item都是根据推荐人模型的预测进行排名的。 为了Top-K推荐我们采用了recallK和ndcgK。 其中K默认是20. 我们报告测试集中所有用户的平均指标。
4.1.3Alternative Baselines.
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-yqQdyqHv-1634540652326)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018143036573.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MyQzTh51-1634540652328)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018143105718.png)]
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-jQx6Z5LB-1634540652330)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018143046996.png)]
4.1.4Parameter Settings.
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-cexhePIe-1634540652332)(C:\Users\小轩\AppData\Roaming\Typora\typora-user-images\image-20211018144109049.png)]
关系可以被分配给意图 意图的意思就是让用户选择这个物品的关键
对于一个意图一个关系的权重表明了它对用户行为的重要性也就是说上图中关系都是从高到低排列后的选择的 学习意图抽象出用户选择的共同原因。
此外由于独立性建模意图往往有明确的边界从而从不同和独立的角度描述用户行为。然而p1和p3是高度敏感的
可以发现一些关系在多个意图中都有很高的权重比如Last-FM的version 那么这就是共同的特征的了这叫做特殊特性。
Related Work
Embedding和path-based 自不用说
policy-based
基于策略的方法[40,45,49,52,53]从强化学习RL最近的成功中得到启发并设计RL代理来学习路径发现策略。例如PGPR[49]利用策略网络来探索目标用户感兴趣的项目。这些基于RL的策略网络可以被视为蛮力搜索的高效且廉价的替代方案蛮力搜索是会话推荐系统的骨干模型[10,21]。然而稀疏的奖励信号、巨大的行动空间和基于策略梯度的优化使得这些网络难以训练并收敛到稳定且令人满意的解[50,52]。
GNN-based Methods基于图形神经网络GNN的信息聚合机制[13,14,19,34,42]。通常它包含从一跳节点更新自我节点的表示信息当递归地执行这种传播时来自多跳节点的信息可以在表示中编码。因此这些方法能够模拟远程连接。例如KGAT[41]将用户项交互和KG组合为一个异构图然后对其应用聚合机制。CKAN[47]使用两种不同的策略分别传播协作信号和知识感知信号。最近NIRec[17]提出将基于路径和GNN的模型结合起来通过元路径引导的邻域在两个节点之间传播交互模式
然而据我们所知当前基于GNN的方法假设用户和项目之间只存在一种关系但未探究隐藏的意图。此外它们中的大多数都无法保持路径中的关系依赖性。我们的工作与他们的不同之处在于这些关系建模——我们专注于在意图的粒度上展示用户项关系并将关系路径编码到表示中以实现更好的性能和可解释性。
