唐山网站建设400多少钱,什么地方可以做网站,易语言做自动登陆网站,上海做淘宝网站编 | 小舟、陈萍源 | 机器之心Meta AI 提出了一个可以总结学术文献#xff0c;解决数学问题的新模型#xff0c;该模型还能生成百科文章#xff0c;编写科学代码#xff0c;注释分子和蛋白质等等。近年来#xff0c;随着各学科领域研究的进步#xff0c;科学文献和数据呈…编 | 小舟、陈萍源 | 机器之心Meta AI 提出了一个可以总结学术文献解决数学问题的新模型该模型还能生成百科文章编写科学代码注释分子和蛋白质等等。近年来随着各学科领域研究的进步科学文献和数据呈爆炸式增长使学术研究者从大量信息中发现有用的见解变得越来越困难。通常人们借助搜索引擎来获取科学知识但搜索引擎不能自主组织科学知识。现在来自 Meta AI 的研究团队提出了一种新的大型语言模型 Galactica可以存储、组合和推理科学知识。论文地址https://galactica.org/static/paper.pdf试用地址https://galactica.org/Galactica 模型有多强大呢它可以自己总结归纳出一篇综述论文也可以生成词条的百科查询对所提问题作出知识性的回答这些任务对于人类学者来说尚且是具有挑战性的任务但 Galactica 却很好地完成了。图灵奖得主 Yann LeCun 也在推特上发文称赞我们来看一下 Galactica 模型的具体细节。模型概述Galactica 模型是在大量的论文、参考资料、知识库和许多其他来源的科学语料库上进行训练的包括超过 4800 万篇论文、教科书和讲义、数百万种化合物和蛋白质知识、科学网站、百科全书等。与依赖于未经整理的、基于网络爬虫文本的现有语言模型不同Galactica 训练所用的语料库是高质量且经过高度整理的。该研究在不过拟合的前提下对模型进行多个 epoch 的训练其中在上游和下游任务上的性能通过使用重复的 token 得到改善。Galactica 的性能在一系列科学任务上优于现有模型。在 LaTeX 方程式等技术知识的探索任务上Galactica 与 GPT-3 的性能是 68.2% VS 49.0%。Galactica 在推理方面也表现出色在数学 MMLU 基准上的表现显著优于 Chinchilla。尽管没有接受过通用语料库的训练Galactica 在 BIG-bench 上的性能也优于 BLOOM 和 OPT-175B。此外它还在 PubMedQA 和 MedMCQA 开发等下游任务上创下了 77.6% 和 52.9% 的性能新高。简单来说该研究将逐步推理封装在特殊的 token 中以模仿内部工作原理。这允许研究人员使用自然语言与模型进行交互下图是 Galactica 的试用界面。值得一提的是除了文本生成Galactica 还可以执行涉及化学公式和蛋白质序列的多模态任务。这将为药物发现领域做出贡献。实现细节本文的语料库包含 1060 亿个 token这些 token 来自论文、参考文献、百科全书以及其他科学资料。可以说该研究将自然语言资源论文、参考书与自然界中的序列蛋白质序列、化学形式都囊括了。表 1 和表 2 中显示了语料库的细节。语料库有了接下来是对数据怎么操作。一般来讲对 tokenization 的设计是非常重要的。例如蛋白质序列是根据氨基酸残基来编写的那么基于字符的 tokenization 是合适的。为了实现 tokenization该研究对不同的模态进行了专门的 token 化。具体表现在包括但不仅限于引用用特殊的参考 token[START_REF]和 [END_REF] 来包装引用逐步推理用 working memory token 来封装逐步推理模拟内部 working memory 上下文数字把数字分成单独的 token。例如 737612.62 → 7,3,7,6,1,2,.,6,2SMILES 公式用 [START_SMILES] 和[END_SMILES]包装序列并应用基于字符的 tokenization。同样该研究使用 [START_I_SMILES] 和[END_I_SMILES]来表示异构体 SMILES。例如C(C(O)O)N→C(C(O)O)NDNA 序列应用一种基于字符的 tokenization将每个核苷酸碱基视为一个 token其中起始 token 为 [START_DNA] 和[END_DNA]。例如CGGTACCCTC→C, G, G, T, A, C, C, C, T, C。如下图 4 显示了对一篇论文的引用进行处理的示例。在处理引用时使用全局标识符和特殊 token[START_REF]和 [END_REF] 来表示引用的地方。数据集处理好之后接下来就是怎么实现。Galactica 在 Transformer 架构的基础上进行了以下修改GeLU 激活将 GeLU 激活用于各种大小的模型上下文窗口对于不同大小的模型使用 2048 长度的上下文窗口无偏置遵循 PaLM在密集内核或层规范中不使用偏置学习位置嵌入学习位置嵌入用于模型词汇表使用 BPE 构建一个包含 50k token 的词汇表。表 5 列出了不同大小模型以及训练超参数。实验重复的 token 被认为是无害的从图 6 可以看出在经过四个 epoch 的训练之后验证损失继续下降。拥有 120B 参数的模型在第五个 epoch 开始时才开始过拟合。这是出乎意料的因为现有的研究表明重复的 token 可能对性能有害。该研究还发现30B 和 120B 的模型在 epoch-wise 后表现出双下降效应即验证损失达到平稳(或上升)然后是下降。这种效果在每个 epoch 后都变得更强最明显的是 120B 模型在训练结束时。图 8 结果显示实验没有出现过拟合迹象这表明重复 token 能够提高下游和上游任务性能。其他结果键入公式太慢了现在用提示就能生成 LaTeX在化学反应中要求 Galactica 在化学方程 LaTeX 中预测反应的产物模型仅根据反应物就能进行推理结果如下表 7 中报告了一些其他结果Galactica 的推理能力。该研究首先在 MMLU mathematics 基准上进行评估并在表 8 中报告了评估结果。Galactica 与较大的基础模型相比表现强劲并且使用 token 似乎可以提高 Chinchilla 的性能即使对于较小的 30B Galactica 模型也是如此。该研究还对 MATH 数据集进行了评估以进一步探索 Galactica 的推理能力从实验结果可以得出Galactica 在思维链和提示方面都大大优于基础 PaLM 模型。这表明 Galactica 在处理数学任务上是个更好的选择。在下游任务的评估结果如表 10 所示。Galactica 显着优于其他语言模型并且在大多数任务中优于更大的模型Gopher 280B。与 Chinchilla 相比性能表现差异更大Chinchilla 在子集任务上似乎更强特别是高中科目以及数学较少、记忆密集型任务。相比之下Galactica 往往在数学和研究生水平的任务中表现更好。该研究还评估了 Chinchilla 在给定输入上下文的情况下预测引用的能力这是对 Chinchilla 组织科学文献能力的一个重要测试。结果如下更多实验内容请参考原论文。后台回复关键词【入群】加入卖萌屋NLP、CV、搜推广与求职讨论群
