网站开发的难点与重点,show t团队网站艰涩,做视频网站的公司,凡科建站登录入口官方正版笔记整理 | 谭亦鸣#xff0c;东南大学博士生来源#xff1a;EMNLP 2020链接#xff1a;https://www.aclweb.org/anthology/2020.emnlp-main.469.pdf本文关注聚合型复杂知识图谱问答任务#xff0c;这类复杂问题的答案通常需要经过一些集合操作得到#xff0c;例如#x… 笔记整理 | 谭亦鸣东南大学博士生来源EMNLP 2020链接https://www.aclweb.org/anthology/2020.emnlp-main.469.pdf本文关注聚合型复杂知识图谱问答任务这类复杂问题的答案通常需要经过一些集合操作得到例如选择Selecting计数Counting比较Comparing交并集InterpUnionBoolean等一个比较经典的问题就是 “有多少条河流同时经过中国和印度”下表描述了其他一些类型的复杂问题该问题答案可以通过”Select(China, flow, river), Interp(India, flow, river), Count”得到。在当前的研究中复杂知识图谱问答任务存在两个主要挑战1.不平衡的数据分布以及不稳定的模型性能基于现有的CQA数据集作者发现不同类别的问题在训练数据中的占比极不平衡例如简单问题占比约48.9%而其他类型诸如比较仅占比4.3%其他类型的占比论文中也已给出这里不再赘述。另一方面不同类型的问题难度差异明显。2.面向全类别问答的单一模型性能不够现有的问答模型难以适用于这类包含固有类型差异的问题。因此这篇论文的主要贡献是1.作者提出了一个Meta Reinforcement Learning方法可以自适应的对于新问题生成新参数2.建立了一个非监督检索器用于找到适用的支撑集3.在仅使用1%训练样本的情况下使模型达到了具有竞争力的结果4.在CQA任务上达到了当前性能最佳(state-of-the-art)方法目标是构建一个端到端模型将复杂的自然语言问题转换为一系列的动作。通过执行这些动作知识库中相关的三元组被取出并用于获取问题的答案。为了解决上述挑战作者采用了few-shot mate reinforcement learning方法用于减少模型对于数据集标注的依赖并提升不同类型问题上的问答准确性。图1是论文方法的主要框架作者将每个新的训练问题视作伪任务上的测试样本目标是学习到一个专门处理这个任务的模型。当模型遇到一个问题qmate首先使用检索器从训练集中找到与之最为相似的N个样本sqmate,并将该问题视作元学习测试数据用于评估模型。因此mate样本与问题构成了上述伪任务。在mate-learning阶段主要包含三个目标1.找到优化初始参数2.使初始参数足够敏感3.对每个任务生成合适的参数集作者通过以下方式完成上述目标1.找到支撑集2.使用支撑集调整programmer3.使用微调后的programmer作用于测试样本4.使用测试样本的损失更新初始参数对应的算法如下所示训练过程在强化学习的设定下完成以batch1为例每个时间阶段tagent根据前置的action(t时刻之前)输入序列从策略π产生一个action at这里指词或者字符θ则表示模型的参数例如带有注意力机制的LSTM模型的参数。关联到知识库上的自然语言问题将会作为LSTM模型编码器的输入一系列action则由解码器输出。每组生成的action序列被作者视为一个轨迹(trajectory)借由它可以执行答案的生成之后即可得到生成答案与事实答案的相似性similarity该相似性被作为强化学习框架中的对应轨迹的reward R并反馈给agent。问题检索器Retriever为了从在训练和测试阶段从训练数据中找到支撑样本作者提出了一个非监督的相关性函数考虑了以下两个方面其一是知识库相关元素的数量包括实体关系和类型其二则是问题的语义相似度前者的计算方式为1.问题结构相似计算公式其中qe代表实体的数量2.类型相似3.以及关系型数据相似性计算语义相似度上作者基于Jaccard相似性建立了一个非监督的语义相似性公式。假设问题q1q2各包含一个词集合对于q1中的每个词基于一个给定的余弦相似性阈值从q2中找到相似性最高的对应词两者构成词对集合接着从两个句子中移除具有高相似关联的词汇余下部分被称为remain代表着两个问题之间的差异基于这些remain可以计算出两个问题之间差异性由此可以给出两个问题语义相似计算公式为通过融合上述两者最终得到相似计算公式为实验本文实验所使用的数据为CQA数据集包含944K/100K/154K的训练集/验证集/测试集每个QA对包含一个复杂自然语言问题以及它的正确答案但是并没有给出问题对应的标准action序列。考虑到这一点作者随机的筛选了1%的训练集数据使用BFS算法构建为其标准了伪标准action序列。在问题的表示学习方面作者使用了带有注意力机制的LSTM。CQA任务的评价指标为F1-值对比的baseline包括1.HREDKvmem记忆网络2.NSM3.CIPITR-All4.CIPITR-Sep实验结果如下表所示纵向为各种问题类型横向对比了不同模型的性能水平。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
