wap网站前景,网站开发需求方案,wordpress 发布时,创建企业网站经过哪些步骤笔记整理 | 黄一凡#xff0c;东南大学本科生来源#xff1a;AAAI2020链接#xff1a;https://arxiv.org/pdf/2001.01447v1.pdf一、简介作者意识到在利用预训练模型进行实体链接时#xff0c;往往会将类别信息忽略#xff0c;因此会导致模型将指称链接到拥有错误类别的错误… 笔记整理 | 黄一凡东南大学本科生来源AAAI2020链接https://arxiv.org/pdf/2001.01447v1.pdf一、简介作者意识到在利用预训练模型进行实体链接时往往会将类别信息忽略因此会导致模型将指称链接到拥有错误类别的错误实体。为了验证这一发现作者对DeepEDGanea and Hofmann 2017在AIDA-CoNLL的验证集上的结果进行分析发现超过一半的错误中类别信息都不匹配。原因有二一是词袋模型忽视了位置信息二是DeepED采取的预训练模型编码方式对实体的类别信息不敏感。为了解决上述问题本文提出将待链接指称的前后相邻词建模从而考虑潜在的类别信息。另外本文还将一个基于BERT的实体相似度特征纳入原始模型使其可以更好地注意类别信息。二、贡献a)指出当前基于注意力机制的模型常常会将某一指称链接到不属于同一类别的实体并分析其可能成因。b)提出一个全新的基于BERT的实体表示方法可以更好地注意到潜在类别信息。c)将基于BERT的实体相似度特征纳入DeepED。d)在标准benchmark数据集上验证了该模型的有效性并有显著提高。此外该模型可以更正大部分类别错误。三、模型该模型包含两个阶段1基于BERT构造实体表示 2在模型中加入实体相似度特征3.1、基于BERT的实体表示3.1.1、上下文表示一个指称的相邻文本可以代表其类别信息。因此我们通过提取预训练BERT模型的最顶层表示来表示上下文3.1.2、实体表示对于每一个实体随机从维基百科采样N个上下文信息接着用平均池化表示该实体3.2、基于BERT的实体相似度使用上下文表示和实体表示间的cosine相似度定义实体相似度最终采用两个拥有100个隐藏单元和ReLU激活函数的全连接层将计算得到的实体相似度与原模型结合四、实验4.1、数据集为了全面的评估该模型的效果作者分别测试了该模型的in-domain和out-domain效果。对于in-domain使用AIDA-CoNLL数据集进行训练、验证以及测试对于out-domain使用AIDA-CoNLL训练集上训练的模型在五个流行的数据集上进行测试MSNBCAQUAINTACE 2004WNED-CWEBWNED-WIKI。4.2、设置为了与DeepED模型进行对比候选指称生成采用了与其相同的方法同时只考虑在知识库中存在的指称。4.3、结果该表展示了在in-domain设置下本文提出的模型与其他SOTA模型在AIDA-B数据集上的F1得分对比。可以发现不论是在local模型还是global模型该模型均取得了显著的提高。另外在out-domain中平均来看本文提出的模型相对原有模型也有着一定的模型。由此可见该模型的鲁棒性较好。4.4、分析a)为了验证该模型可以更好地获取类别信息作者进行了一个基于该模型的类别预测实验。实验从维基百科中随机采样了10万个实体并预测它们的类别。最终结果验证了作者的猜想。b)该模型可以大大减少类别错误。作者还更进一步分析了依然存在的类别错误并将其成因分为三类先验知识、全局信息和上下文信息并会在今后根据此进一步对模型进行改进。c)经过实验进一步发现如果使用表现更好的全局模型该模型的效果还会进一步提高。五、总结本文提出提取潜在的类别信息来提高实体链接的表现实验表明该模型无论在in-domain还是out-domain都可以提高表现。在未来作者还将进一步研究全局模型处理方法来进一步提高实体链接的准确率。 OpenKG开放知识图谱简称 OpenKG旨在促进中文知识图谱数据的开放与互联促进知识图谱和语义技术的普及和广泛应用。点击阅读原文进入 OpenKG 网站。
