天津网站制作机玩法部,做星座网站,惠州市做网站,手机商城设计转载公众号 | 南大Websoft AI能否像人类一样学习掌握科学知识#xff0c;理解运用常识知识#xff0c;最终像人类一样参加并通过学科考试#xff1f;近日#xff0c;南京大学万维网软件研究组#xff08;Websoft#xff09;在人工智能评测集OpenBookQA上实现了突破#… 转载公众号 | 南大Websoft AI能否像人类一样学习掌握科学知识理解运用常识知识最终像人类一样参加并通过学科考试近日南京大学万维网软件研究组Websoft在人工智能评测集OpenBookQA上实现了突破研发的GenMC模型取得了92%的正确率首次达到了人类水平。 OpenBookQA是美国艾伦人工智能研究院Allen Institute for AI发布的问答技术评测集由小学科学选择题组成并提供了与之相关的核心科学事实作为课本。该评测集的目的是通过选择题考试探究AI学习课本知识以及在新的场景下利用知识的能力。除了课本知识以外回答OpenBookQA中的问题还需要具备广泛的常识这对AI带来了比较大的挑战。OpenBookQA近年来吸引了包括谷歌、斯坦福等国际顶尖研究机构参与。在目前的排行榜上由南京大学团队提出的GenMC模型以较显著的优势取得领先其集成版本更是首次达到了人类在该评测集上的水平。在OpenBookQA等选择题问答任务中以往研究可分为两类范式——Text-to-Text范式与Encoder-Only范式。其中以T5、UnifiedQA为代表的Text-to-Text范式基于encoder-decoder模型它将问题和所有选项拼接作为输入以正确选项文本作为生成目标。这类模型的优势是将不同格式的自然语言处理任务都统一构建为文本到文本Text-to-Text格式进行联合训练有利于学习到更多知识。但对于选择题这种分类任务encoder-decoder模型所学习的生成目标仅是对于输入的拷贝这导致预训练模型的自然语言生成能力未被充分利用。而以BERT、RoBERTa为代表的Encoder-Only范式则不考虑decoder部分的使用将问题与每个选项拼接并独立输入encoder仅依赖于encoder的自然语言理解能力学习和预测。这两种范式均无法充分挖掘预训练模型decoder中蕴含的丰富知识对于选择题这种分类任务如何更自然地用好encoder-decoder模型是一项技术挑战。为此南京大学团队提出了一种生成增强的选择题问答模型GenMC更好地结合了encoder的自然语言理解与decoder的自然语言生成能力在OpenBookQA等选择题问答任务上取得了不错的效果。GenMC受人类答题行为的启发而设计——先阅读题干从自己脑海的背景知识中联想可能的解题线索再带着线索理解和对比选项得出答案。例如问题“生产笔记本的公司所需的主要原料是什么”在选出正确答案“树”之前GenMC能够通过题干生成常识线索 “纸”作为关联题干中的“笔记本”和正确答案“树”的中间概念从而帮助模型更好理解题目并作答。具体模型设计上GenMC由“线索生成器”和“增强阅读器”两部分组成。模型结构如下图所示1、线索生成器模块以问题Q作为输入得到线索的表示HQC。该模块使用完整的encoder-decoder模型对问题Q编码取encoder最后一层作为问题的表示HQ并以自回归的方式由decoder生成线索并取其稠密表示HC。为了增强对线索的理解与表示使用Transformer对HQ和HC做交互得到最终的线索表示HQC。2、增强阅读器模块以问题Q和第i个选项Oi作为输入在开卷设置中检索文本也作为输入对选项Oi用线索增强理解后选择出正确答案。该模块仅用共享参数的encoder部分对问题Q和选项Oi编码取encoder最后一层输出得到选项的上下文表示HiQO。接着采用dual-attention对HQC和HiQO做信息融合并经Pooling和MLP层得到选项Oi的得分。得分最高的选项被选为答案。3、训练目标由生成器loss和阅读器loss两部分相加而成。其中生成器loss以正确答案的文本作为目标以teacher forcing的方式训练阅读器loss则通过交叉熵极大化正确选项的概率。GenMC基于四种不同的基础模型在五个数据集上进行了实验其答题正确率均显著超越了相同配置的Text-to-Text基线模型。这项研究成果已被自然语言处理领域的重要国际会议NAACL 2022录用更多细节可查阅论文及获取源代码论文标题Clues Before Answers: Generation-Enhanced Multiple-Choice QA论文链接https://arxiv.org/pdf/2205.00274.pdf源码链接https://github.com/nju-websoft/GenMCOpenKGOpenKG中文开放知识图谱旨在推动以中文为核心的知识图谱数据的开放、互联及众包并促进知识图谱算法、工具及平台的开源开放。点击阅读原文进入 OpenKG 网站。
