匠王红木在那个网站做众筹,中国住房城乡建设部官方网站,亚马逊建设网站用什么实例,wordpress com login笔记整理 | 刘克欣#xff0c;天津大学硕士链接#xff1a;https://arxiv.org/pdf/1911.11298.pdf动机知识图谱对于许多下游应用#xff08;例如搜索#xff0c;知识问答和语义网#xff09;至关重要。然而#xff0c;现有知识图谱面临不完整的问题。知识图谱补全工作能让… 笔记整理 | 刘克欣天津大学硕士链接https://arxiv.org/pdf/1911.11298.pdf动机知识图谱对于许多下游应用例如搜索知识问答和语义网至关重要。然而现有知识图谱面临不完整的问题。知识图谱补全工作能让知识图谱变得更加完整,是目前人工智能领域的一个研究热点。现有的知识图谱补全工作大多需要大量的实体对来进行关系推断。但是实际数据集中关系的频率分布通常具有长尾问题 关系的很大一部分在知识图谱中只有很少的实体对。处理数量有限数量很少的实体对的关系是非常重要且具有挑战性的。针对上述问题文章提出了一种少样本关系学习模型FewShot Relation Learning modelFSRL其目的是学习一个匹配函数该函数可以在给定每个关系的少量参考实体对的情况下有效地推断出真正的实体对。亮点文章的亮点主要包括1首次提出小样本情景下的知识图谱补全任务更适合实际场景2提出了一种融合了一些可学习神经网络模块的小样本关系学习模型解决小样本知识图谱补全问题。概念及模型针对小样本知识图谱预测FSRL要解决的具体问题是给出少量实体对参考集的情况下根据给定头实体 和查询关系 预测尾实体 。FSRL由三个主要部分组成1为每个实体编码异构邻居 2对每个关系的少量参考实体对进行汇总 3将查询对与参考集进行匹配以进行关系预测。模型整体框架如下编码异构邻居此模块功能为一个关系可感知的异构邻居编码器。基于给定头实体 的关系邻居的集合被表示为其中表示背景知识图谱, , 分别表示第个关系和相应的的尾部实体。文章引入注意力机制计算的异构邻居特征并使用以下公式计算的embedding其中和分别表示预学习的和的embedding。融合小样本参考集此部分的功能是对参考集中的每个关系的embedding进行聚合。其中 是一个聚合函数。基于图的embedding作者设计了一个循环自编码聚合器。更具体来说实体对embeddings 被顺序喂到循环自编码器其中是参考集的大小。编码器和解码器的隐藏状态和通过以下公式计算优化自编码器的重构损失如下为了形成参考集的embedding,作者聚合了所有编码的隐层状态并通过残差连接与注意力权重机制进行拓展。的计算公式如下其中为聚合的embedding的维度。匹配查询集和参考集在前两个模块的基础上现在可以基于参考集有效的对每个查询实体对进行匹配操作。首先通过对查询实体对和参考集分别进行与操作从而分别得到两个embedding向量 和。为了衡量两个向量的相似性作者采用了一个循环处理器 去完成多步匹配。第个过程步的如下其中输入为隐藏状态为细胞状态为。过程步后的隐层状态记为。目标函数和模型训练对于每一个关系,我们随机选择一些正样本实体对并把它们作为参考集。剩余的实体对作为正样本查询对。此外也构建了负样本实体对。排列损失记为其中 为标准的hinge 损失表示安全边界距离(本文取值为5)。最终优化函数如下其中表示参考集聚合的重构损失。表示两者的权衡因子(本文取值为0.0001)。理论分析实验作者采用了2个公开数据集进行实验分别是NELL (Mitchell et al. 2018)和Wikidata (Vrandeˇci´c and Kr¨otzsch 2014)。首先是有效性实验模型的评价指标为Hitsk 和 MRR。图邻居编码器方法GMatching优于关系嵌入方法表明将图局部结构和匹配网络相结合对于学习实体嵌入和预测新关系的事实是有效的。本文提出的FSRL在所有情况下均能达到最佳性能。在NELL和Wiki数据中相对于最佳基准方法的平均相对改进分别高达34和15。它证明了FSRL模型的有效性。异构邻居编码器和递归自动编码器聚合网络有利于知识图谱中的小样本关系预测。除了所有关系预测的整体性能我们还进行实验以评估模型对于NELL测试数据中每个关系的预测性能。在大多数情况下FSRL的性能要优于GMatching。它证明了我们的模型对于不同的关系是鲁棒的并且在大多数关系上都优于GMatching。作者还进行了实验以分析小样本中每类样本数K的影响。随着K的增加两个模型的性能都会提高。这表明较大的参考集可以为该关系产生更好的参考集嵌入。在不同的K中本文的模型始终优于GMatching这证明了所提出的模型对于知识图谱中的小样本关系补全的稳定性。文章还可视化了每个关系的正候选实体对和负候选实体对的2D嵌入。从图中可以看出两种方法都能很好地区分正候选和负候选的嵌入。然而本文的模型取得了更好的性能并且两个类的嵌入明显不同这进一步证明了所提出的模型在可视化方面的优越性能。总结文章提出了一个新的小样本知识图谱补全问题并提出了一种创新的小样本关系学习模型即FSRL以解决该问题。FSRL对关系感知的异构邻居编码器、递归自动编码器聚合网络和匹配网络进行联合优化。在两个公共数据集上的实验表明FSRL方法的性能优于现有的基准方法。此外消融研究验证了每个模型组件的有效性。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
