给别人做网站的销售叫什么软件,项目外包流程,建站总结报告,玉山网站制作本文是LLM系列的文章之一#xff0c;针对《TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000 REAL-WORLD APIS》的翻译。 TOOLLLMs#xff1a;让大模型掌握16000的真实世界APIs 摘要1 引言2 数据集构建3 实验4 相关工作5 结论 摘要
尽管开源大型语言模型…本文是LLM系列的文章之一针对《TOOLLLM: FACILITATING LARGE LANGUAGE MODELS TO MASTER 16000 REAL-WORLD APIS》的翻译。 TOOLLLMs让大模型掌握16000的真实世界APIs 摘要1 引言2 数据集构建3 实验4 相关工作5 结论 摘要
尽管开源大型语言模型LLM及其变体如LLaMA和Vicuna取得了进步但它们在执行更高级别的任务方面仍然受到很大限制例如遵循人类指令使用外部工具API。这是因为当前的指令调优主要集中在基本的语言任务上而不是工具使用领域。这与最先进的SOTALLM例如ChatGPT形成了鲜明对比后者展示了出色的工具使用能力但不幸的是它们是封闭源代码的。为了促进开源LLM中的工具使用能力我们引入了ToolLLM这是一个数据构建、模型训练和评估的通用工具使用框架。我们首先介绍了ToolBench这是一个用于工具使用的指令调优数据集它是使用ChatGPT自动创建的。具体来说我们从RapidAPI Hub收集了16464个真实世界的RESTful API涵盖49个类别然后提示ChatGPT生成涉及这些API的各种人工指令涵盖单工具和多工具场景。最后我们使用ChatGPT为每条指令搜索有效的解决方案路径API调用链。为了提高搜索过程的效率我们开发了一种新的基于深度优先搜索的决策树DFSDT使LLM能够评估多个推理轨迹并扩展搜索空间。我们表明DFSDT显著增强了LLM的规划和推理能力。为了进行有效的工具使用评估我们开发了一个自动评估器ToolEval。我们在ToolBench上微调LLaMA并获得ToolLLaMA。我们的ToolEval表明ToolLLaMA表现出执行复杂指令和泛化到看不见的API的非凡能力并表现出与ChatGPT相当的性能。为了使管道更实用我们设计了一个神经API检索器为每条指令推荐合适的API从而消除了手动选择API的需要。代码、经过训练的模型和演示可在https://github.com/OpenBMB/ToolBench.
1 引言
2 数据集构建
3 实验
4 相关工作
5 结论
这项工作介绍了如何在LLM中获得工具使用能力。我们提供了一个指令调优数据集ToolBench它涵盖了16k以上的真实世界API和各种实际用例场景包括单工具和多工具任务。ToolBench的构建完全使用ChatGPT并且需要最少的人工监督。此外我们提出了DFSDT来增强LLM的规划和推理能力使其能够战略性地在推理路径中导航。为了有效评估工具学习我们设计了一个自动评估器ToolEval。通过在ToolBench上对LLaMA进行微调获得的模型ToolLLaMA与ChatGPT的性能相匹配并对看不见的API表现出显著的泛化能力。此外我们还开发了一个神经API检索器为每条指令推荐相关的API。检索器可以与ToolLLaMA集成作为一个更自动化的工具使用管道。总的来说这项工作为LLM的指令调整和工具使用的交叉研究铺平了道路。
