建站网址导航hao123,前端如何根据ui设计写页面,有谁做彩票网站,网络的最基本定义论文笔记整理#xff1a;谭亦鸣#xff0c;东南大学博士生#xff0c;研究兴趣#xff1a;知识图谱问答来源#xff1a;NAACL 2019链接#xff1a;https://www.aclweb.org/anthology/N19-1032/实现多跳推理问答需要模型能够充分理解文本和 query 之间的关系#xff0c;本… 论文笔记整理谭亦鸣东南大学博士生研究兴趣知识图谱问答来源NAACL 2019链接https://www.aclweb.org/anthology/N19-1032/ 实现多跳推理问答需要模型能够充分理解文本和 query 之间的关系本文提出了一种双向注意力实体图卷积网络(BAG)该方法利用实体图中的节点及实体图与query之间的attention信息处理上述推理问答任务。其中实体图通过文本的多层特征构建得到图卷积网络用于获取实体图中节点的表示带有关系感知信息双向attention被用到图与query上以生成query感知的节点表示将用于最后的预测中。在QAngaroo WIKIHOP数据集上的实验表明BAG是目前准确度最高的模型。动机 作者发现在 QAngaroo 任务中该数据集含有多个文本目标是对于给定的 query从一系列候选答案中找出正确的那个大多数情况下仅依赖一篇文档无法获得query对应的答案问答过程需要通过文档之间的多跳推理来完成。因此仅理解部分文本段落可能会使多跳推理失去有效性对于过去的模型来说这是一个巨大的挑战。 本文提出基于图的 QA 模型将多个文本转换为图其中的节点是实体边是实体之间的关系多源文本-单个图谱接着使用一个图卷积网络对实体图中带有关系感知的节点做表示学习。而后在图和带有multi-level feature的query之间构建一个双向attention用于最后的预测。贡献作者总结本文贡献如下在query和图之间使用一个双向attention建立基于query感知的表示学习用于阅读理解利用multi-level feature参与理解关系同于图节点的GCN表示学习过程。方法首先作者正式定义多跳QA任务以QAngarooWIKIHOP数据集为例如下给定一个文档集包含N个文档任务目标是对于query包含M个token从候选答案列表C中找出正确答案或列表中的答案索引。多跳推理示例给定一个 triple-style query q(country, kepahiang)表示的是自然语言问题“which country does kepahiang belongs to”候选答案如 C {Indonesia, Malaysia}现有一系列文本但他们的内容并不完全与我们需要的推理相关比如 Kephiang is a regency inBengkulu,Bengkulu is one of province of Indonesia,Jambi is a province of Indonesia 根据上述文本我们可以推理得到答案是 Indonesia且推理仅基于前两句文本。 下图是 BAG 模型框架主要包含五个部分1) 实体图建立2) Multi-level feature层3) GCN层4) 双向attention5) 输出层关于实体图实体图构建基于Entity-GCN (De Cao et.al., 2018)模型实现将所有文本中找到的实体都作为图中节点每个节点对之间根据位置属性定义无向边。图中包含两类边cross-document edge同一实体文本出现在不同文本中within-document edge每个节点对都在同一文本中这样的做法使得实体图中的节点都可以通过字符匹配精确找到而问题的答案也一定在实体图中。关于 Multi-level Features论文使用了GLoVe提供预训练word embedding用于node的节点表示ELMo用于获取涵盖query上下文信息中的词表示对于实体图使用1层线性网络进行特征学习对于query则使用双向LSTM之后与NER及POS特征连接完成整个特征融合步骤。GCN层为了实现多跳推理作者使用了Relational Graph Convolutional Network(R-GCN, Schlichtkrull et al., 2018)该方法实现了图中不同实体节点之间的信息传递并且生成转换后的表示。R-GCN被用于处理高相关数据特征并使用到不同的边类型。在第l层给定节点ij的隐状态以及i所有relation RNi关联到的邻居其下一层的隐状态更新为其中c为标准化因子Wr为relation special权重矩阵W0为普通权重矩阵。在这个基础上与Entity-GCN类似作者也使用了门一个线性转换函数f用于更新当前节点的向量及隐状态在f中u可以通过公式1得到无sigmoid函数之后可以被用来更新不同层中同一节点的隐状态的权重图和query之间的双向Attention双向attention负责生成图和query之间的交互信息在BiDAF(Seo et al., 2016)中attention被用于帮助处理序列数据。作者发现这个方法也可以用于节点和query它能够生成query感知的节点表示能够为推理预测提供信息。不同的是在BAG中attention被应用于图相似矩阵S可以通过以下公式计算其中hn是所有节点的表示由GCN层得到f是编码之后的query特征fa是一个线性转换avg-1表示在最后一维做平均操作表示逐元素相乘。与BiDAF构建context-to-query attention不同本文构建一种node-to-query attention用于强调与query最相关的节点通过以下公式实现其中softmaxcol表示在整列数据上执行softmax·表示矩阵乘法。同时作者也构建了query-to-node attention形如col表示的意义与5一样dup函数的功能则是将其后内容复制T次以控制矩阵维度fn是未经GCN处理过的原始节点特征。通过对node-to-query/query-to-node以及特征表示的整合双向attention的输出被定义为整个框架的输出层由两层全连接前馈网络构成用于生成最终的预测结果。实验实验数据 本文实验基于QAngaroo WIKIHOP数据集(Welbl et al., 2018) 训练集开发集及测试集的规模分别为43,7385,129与2,451 作者罗列了其实验使用的 ELMo/GLoVe 的维度设定其中 ELMo 为 1024维GloVe 为 300 维预训练由840B的Web数据得到NER 和POS特征均表示维8维。 实验结果表1列举了多跳问答的实验结果评价指标维准确度。表2列举了BAG在开发集上的增量模型实验。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
