网站商品展示设计,微信公众号开放平台,深圳画册设计推荐,保险官方网站笔记整理#xff1a;谭亦鸣#xff0c;东南大学博士生来源#xff1a;EACL‘21链接#xff1a;https://aclanthology.org/2021.eacl-main.284.pdf概述本文关注将语言模型#xff08;LM#xff09;视作一个知识库#xff0c;然后用于解决例如句子填空这样的NLP任务#… 笔记整理谭亦鸣东南大学博士生来源EACL‘21链接https://aclanthology.org/2021.eacl-main.284.pdf概述本文关注将语言模型LM视作一个知识库然后用于解决例如句子填空这样的NLP任务这个做法在单语言英语取得了不错的效果。因此在这篇论文里作者着重关注了以m-BERT为代表的多语言语言模型是否也能作为多语言KG适用于多语言NLP场景。他将单语LAMA数据集翻译为53种语言并使用m-BERT作为知识库进行了实验评估着重关注了m-BERT的可用性和在不同语言上的性能差异性。从实验效果来看首先m-BERT在部分语言上能够实现和单语LAMA实验类似的效果另一方面m-BERT虽然基于104weikipedia训练得到但是依然存在语言偏置背景与动机单语上使用预训练模型作为知识库不做微调的情况下来完成一些自然语言处理任务例如简单的文本生成模板填空等已经被证明是有效的。既然LAMA在英语但遇上已经取得了许多研究进展作者对多语言预训练模型上是否也同样有效产生好奇论文主要围绕三个问题进行展开1.M-BERT是否也能被当作一个多语言知识库来使用这对于方法发展的多样性和可用性非常重要2.M-BERT作为知识库是否在不同语言上有性能差异或者它不受语言不同的影响3.M-BERT相比单语模型包含了更多语言104种的训练数据这些是否会在性能上带来额外的影响贡献作者总结论文的主要贡献如下1.论文建立了一个多语言版本覆盖53种语言的TREx以及GooleRE2.提出了一种“实体类型模板”的模式替换传统“挖空查询”并证明它具有更好的效果3.实验论证了M-BERT在不同语言上回答查询的性能差别明显4.论文论证了M-BERT作为知识库应用时存在语言偏向例如当查询由意大利语构成那么查询得到的实体往往也是意大利语的5.跨语言池化预测能够大幅提升实验性能甚至优于英语单语BERT数据作者沿用了LAMA的做法也使用了TREx以及GoogleRE这两个数据集两者都是由三元组构成。LAMA的思路是使用模板直接在预训练模型种查询三元组的内容例如对于三元组(巴黎首都法国)查询模板为巴黎是___的首都。TREx涵盖34,039个三元组涉及41种关系类型GoogleRE则包含5528三元组以及3种关系每个关系对应的模板都是由人工制作的。在LAMA的基础上作者使用谷歌翻译将其模板翻译为其他语言通过确定模板插槽是否被准确保留来验证翻译的准确性并在必要的部分进行后处理修正。M-BERT支持104种语言谷歌翻译覆盖了其中的77种维基百科和谷歌知识图谱都没有支持所有语言的实体翻译并且也不是所有实体都被包含在知识图谱中。对于英语作者找到共计37,498个三元组。平均下来34%的三元组可以被翻译。最终构建得到mLAMA其统计信息如图1。实验作者在实验中验证了两种查询构建模式1.沿用Petroni等人的做法使用带有插槽的模板例如巴黎是___的首都2.增加对于插槽实体的类型约束从而解决部分歧义问题例如汤姆出生在_____插槽处即可能是地点也可能是年份添加类型约束解决了这个问题。对于插槽本身作者分析了两种情况1.限定插槽为单个token反应在模板上就是 “汤姆出生在[_____]”2.设置插槽为多个token即 “汤姆出生在[__][_]” 多个插槽的情况下生成过程可以描述为连续的条件概率如下其中e是实体t是构成e的token序列主要实验结果OpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。
