网站的开发建设要做什么的,徐州工作招聘信息网,移动网站怎么做的,服装网站开发的意义论文笔记整理#xff1a;谭亦鸣#xff0c;东南大学博士。来源#xff1a;WSDM ’20链接#xff1a;https://dl.acm.org/doi/pdf/10.1145/3336191.33718121.介绍知识图谱问答旨在利用知识图谱的结构化信息回答以自然语言提出的问题。当面对多关系问题时#xff0c;现有基于… 论文笔记整理谭亦鸣东南大学博士。来源WSDM ’20链接https://dl.acm.org/doi/pdf/10.1145/3336191.3371812 1.介绍知识图谱问答旨在利用知识图谱的结构化信息回答以自然语言提出的问题。当面对多关系问题时现有基于embedding的方法所采用的构建主题实体子图策略会导致较高的时间复杂同时由于数据标注的高成本精确地给出回答复杂问题得每一步过程是不切实际的并且只有最终的答案被标注的情况是一种弱监督。为了解决上述问题本文提出一种基于强化学习的神经网络模型命名为Stepwise Reason Network该模型将多关系问答视作一个顺序决策问题通过在知识图谱上做有效路径搜索来获取问题的答案并利用柱搜索显著减少候选路径的规模。同时基于注意力机制以及神经网络的策略网络policy network能够增强给定问题的不同局部对于三元组选择的影响。此外为了缓解弱监督导致的延迟以及奖励稀疏问题作者提出了一种potential-based的奖励构成方案用于帮助加快模型训练的收敛速度。三个benchmark上的实验结果显示该模型展现出了目前最好的性能。 2.模型首先对本文使用的强化学习过程进行说明该过程包括四个部分State在每个时间节点tState St (q, es, et, ht)∈S其中es表示给定问题q的topic entityet表示在时间t时通过从es出发的path search访问到的实体visited entity表示到时间t时Agent做出的前置决策集。q以及es可以被看做全局信息 Action在每个时间节点t上的候选action集都基于St得到A(St)由et在图谱G中所有向外的边组成A(St) {(r, e) | (et, r, e)∈G} Transition在Action的设定下状态的转移概率是确定的且转移过程完全基于知识图谱G一旦agent选择了action At (r*,e*)状态将会变为St1 (q, es, e*, ht1) Rewardreward是由environment传递给agent的特殊信号表明了agent的目的。一般而言强化学习的每一步都会得到一个reward而学习的目的是最大化reward的总数。但是在多关系问答的弱监督场景下对于每个问题仅最终答案被标注这使得agent到达正确答案时只能收到一个积极的最终reward接下来前置的所有步骤才会被视作正确并收到积极奖励这种方式拖累了训练的收敛速度本文在这里采用了一个potential function重构了rewards。 为了实现上述强化学习过程本文使用了一个深度神经网络将搜索决策参数化policy network如下图。首先问题被一个双向GRU编码为向量之后这些向量在每个时间点通过对应的单层感知器进行变化使得问题表示具有步骤感知。同时历史决策通过其他的GRU网络被编码这种操作使得问题的不同部分在不同的时间节点被关注通过注意力层每个候选action与question进行相互作用从而得到relation-aware的问题表示最终基于语义打分融合了relationembeddingsrelation-awarequestion以及decision history给出候选action的概率分布。 为了处理弱监督造成的影响作者讨论了两种方案其一是提供额外的奖励以快速的引导模型训练收敛但是这种做法存在的一个主要风险就是无法保证额外奖励的设计目标与agent的原始目标完全一致存在造成获得次优方案的风险其二则是使用potential-based reward shaping参照论文《Policy Invariance Under Reward Transformations: Theory and Application toReward Shaping》的做法作者基于potential function构建了一个reward shaping function。大体的思路可以描述如下该函数的目标是衡量前置决策对于给定问题中的语义信息的覆盖程度在这里作者假设“一个正确的决策应该包含一个KG relation这个relation应该能够对应到给定问题的一部分语义信息上”potential的计算过程如公式7当t1时如果选择了正确的路径action那么所得的前置问题语义表达与前置决策对应的relation embedding应该具备高相关性。以此为基础可以给出potential-based reward shaping functionReward函数则改写为3.实验本文实验使用的benchmark信息如下表Baseline包括IRN, VRN, MemNN, MINERVA实验结果 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 博客。
