网站建设网站建,怎么做一个门户网站,网站制作怎么学,wordpress导航网链接#xff1a;https://arxiv.org/abs/1704.05958Introduction在关系抽取任务中#xff0c;通常采用远程监督的方式自动生成数据集。由于实体对间可能存在多关系#xff0c;生成的数据集往往存在大量噪音。本文对文本中的关系表述#xff08;textual relation#xff09;… 链接https://arxiv.org/abs/1704.05958Introduction在关系抽取任务中通常采用远程监督的方式自动生成数据集。由于实体对间可能存在多关系生成的数据集往往存在大量噪音。本文对文本中的关系表述textual relation和知识库中的关系kb relation进行了共现统计利用全局统计的信息训练 embedding使模型能更加鲁棒地应对训练噪音的问题。 Idea本文的核心思想是全局的统计信息比局部的统计信息更加鲁棒。在传统的关系抽取训练中句子与句子之间是独立的基于单句的局部特征训练模型受到错误标签的影响比较大。本文提出了一种全局统计的思路对每个句子提取它文本中的关系表述textual relation并统计该 textual relation 在训练集中共现的 kb relation 的分布这个分布可以用来作为 textual relation 的embedding 表示。比如对于上述两个textual relation分别统计训练集中包含该textual relation的句子对应的label可以得到texual relation在kbrelation上的分布如下可以看出表述为born的句子可以被映射到place_of_birth上虽然训练集中存在错误标签place_of_death的问题但在全局统计的角度看错误标签占比比较小。因此全局共现信息可以有效地突出正确标签。本文的思路可以类比 GloVE 对 word2vec 的改进。 Methods1、统计首先在语料集上本文用short dependency path来提取每个关系的texual relation得到文本的relational fact以及对应的texualrelation set。其次对于每个texual relation得到共现的实体对每个实体对出现的次数记为。在知识库上relational fact 即为三元组。对于每个三元组统计出共现的实体对记做S(rj)。根据关系标签的映射我们可以得到textual relation和kb relation的共现信息2、Global relation embeddingGloRE本文用GRU处理texual relation的路径并将输出结果映射到上一节统计出的共现分布上这里用『-』来代表依赖路径中的方向。目标函数如下最终得到 textual relation 的embedding。 3、关系抽取增强本文用GloRE计算关系score加到原有关系抽取模型的score中。在实体对的 set level 上关系抽取模型的score记作E(z|C)。用GloRE对单句进行预测得到score再做set内的聚合和关系抽取的set level对齐最终关系抽取的score表示为两个score加权的和Experiments本文首先在多种关系抽取模型上进行了GloRE的加成测试效果均有一定提升其次作者用PCNNATTGloRE和一些经典关系抽取数据集进行最终对比最后本文用同样的PCNNATT作为BASE模型用不同模型作为叠加证明了GloRE的加成效果最好。作者还进行了 case study来分析GloRE的具体效果笔记整理王冠颖浙江大学硕士研究方向关系抽取、知识图谱OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
