网站广告设计,东营市东营区建设信息网,wordpress搬家安装教程,fsockopen wordpress笔记整理 | 耿玉霞#xff0c;浙江大学直博生。研究方向#xff1a;知识图谱#xff0c;零样本学习等。论文链接: https://arxiv.org/pdf/2007.06267.pdf本文是发表在NeurIPS 2020上的一篇基于Box的知识图谱表示学习模型的文章。在以往知识图谱表示学习#xff08;KG Embe… 笔记整理 | 耿玉霞浙江大学直博生。研究方向知识图谱零样本学习等。论文链接: https://arxiv.org/pdf/2007.06267.pdf本文是发表在NeurIPS 2020上的一篇基于Box的知识图谱表示学习模型的文章。在以往知识图谱表示学习KG Embedding的相关工作中通常将知识图谱中的实体和关系均映射为n维向量空间中的一个点而这篇文章提出将图谱中的关系表示为n维空间中的一个区域即一个Box基于Box的关系表示使得表示学习模型的表达能力更强、能更好地捕获隐含在图谱中推理规则同时可以兼容外来的推理规则。更重要的是模型支持对图谱中多元关系2的表达对于更复杂的知识库有较强的学习能力。1. 背景知识图谱与知识库通常知识库由一组facts组成每个fact表示为 即m个实体 及其关联关系 。其中关系r依据其关联实体个数的不同称为m元关系。而知识图谱作为一种特殊的知识库其中的关系均为二元关系即图谱中的fact为三元组。一般的表示学习工作主要围绕图谱的表示学习展开而对于带有多元关系的知识库的表示学习工作则较少。2. 模型设计2.1 实体及关系表示本文提出的BoxE模型将实体表示为n维向量空间中的一个点而关系则表示为n维向量空间中的区域即对于m元关系它的表示为n维空间中的m个区域即m个Boxes如二元关系parentOf其表示为n维空间中的两个Boxes。具体地每个实体的表示由两个向量组成一个是基向量base position vector一个是转移向量translational bump vector用于将当前实体的信息转移到位于同一个fact中的其他实体的表示上换言之对于每一个实体其最终的表示为融合了该实体的基向量与位于同一个fact中的其他实体的转移向量的向量表示如对于fact 中的第 个实体其最终表示为其中 为实体 的基向量 为其转移向量。如对于一个fact 其中实体 的表示为 表示为。而关系则由两个Box表示一个代表为头实体范围的Box另一个为代表尾实体范围的Box。基于此作者假设fact 成立的条件为实体和最终的向量表示将出现在其对应位置的关系Box中。如下图所示为其头实体所在的Box为其尾实体代表的Box。1.2 损失函数 基于上述假设作者设计了一个距离函数用于约束向量空间中的实体位置及其对应的Box的位置 其中 表示Box的中心位置表示Box的宽度, 分别表示box 的上界和下界。 此距离函数的设计使得实体位于其所在的Box时函数的值较小而实体在Box外时函数值较大从而产生较大的梯度。 模型最终训练的损失函数定义为3. 模型能力 3.1 对于图谱中推理规则的捕捉 一般地知识库中蕴含了一些诸如层次性、对称性的逻辑规则对于这些逻辑规则的捕捉可以帮助知识库进行更好地推理和泛化。如已知某关系有对称属性时对于fact 可以推理得到新的fact 。 现有知识图谱表示学习的方法如TransE可捕捉Inversion、Composition等推理规则而对于Symmetry等规则则无法捕捉本文提出的BoxE利用关系基于Box的表示通过Box之间的操作实现对图谱中逻辑规则的捕捉如对于对称规则当关系存在对称属性时其头尾实体对应的Box为相同的Box而当关系和为一对反关系时Inversion规则关系头实体对应的Box为关系尾实体对应的Box。 推理规则的释义及现有表示学习模型对于其捕捉能力的说明见下图所示。 其中泛化的推理规则是指表示学习模型可以同时捕捉相同类型的推理规则的多个实例除此之外BoxE还可以同时捕捉不同类型的规则实例这是以往的表示学习模型无法实现的。3.2 对于外部引入的推理规则的融合 一般地对于一些已知的、先验的推理规则以往的模型利用推理机等符号推理的方式将这些规则应用到知识图谱的三元组实例数据上从而推理出更多的图谱实例。现有的表示学习模型由于其向量化的表示方式难以将这些先验规则引入模型。而BoxE中基于Box的关系表示方式使得模型可以利用Box之间的操作将推理规则融入模型。3.3 对于多元关系的表示和学习 如前所述二元关系在BoxE模型中被表示为两个Box而对于包含多元关系的fact 其关系由m个Box表示。这种表示方式相比于其他处理多元关系的模型具有更好的效果。4. 实验结果 作者首先在标准的知识图谱补全KGC的数据集如FB15k-237、WN18RR及YAGO3-10等上进行了实验实验结果如下图所示。BoxE相比于TransE、RotatE等模型达到了SOTA或comparable的结果。随后作者在包含多元关系的JF17K、FB-AUTO等数据集上进行了知识库补全KBC的实验实验结果如下图所示最后为验证模型对于外来推理规则的融合能力作者在NELL数据集的子集Sports NELL上验证了模型的性能实验结果如下所示相比于BoxE模型加入了融合模块BoxERI的模型具有非常好的预测结果。5总结1本文提出了一个基于Box的表示学习模型在提升图谱补全能力的同时对于图谱中推理规则进行了有效的捕捉以及对于外部推理规则进行了有效的融合同时还可泛化至包含多元关系的知识库的表示和推理。2对于知识图谱表示学习等模型来说对于先验推理规则的应用是非常重要的其对于模型推理能力的提升可提供有效的帮助尤其是在图谱样本稀缺、低资源的情况下3而在深度学习的背景下BoxE这类基于区域的表示学习模型对于图谱中实体及关系的表示提供了丰富的表达能力这些表达更丰富的实体及关系对于其相关符号化知识推理规则等的引入提供了方便。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
