怎样创作一个网站,北京装修公司报价,91永久免费海外地域网名,备案 网站负责人《LangChain入门指南》
LangChain作为大模型集成框架鼎鼎大名#xff0c;这本《LangChain入门指南》是一本很及时的书#xff0c;值得推荐#xff5e; 01
为什么需要LangChain
首先想象一个开发者在构建一个LLM应用时的常见场景。
当你开始构建一个新项目时#xff0c;…《LangChain入门指南》
LangChain作为大模型集成框架鼎鼎大名这本《LangChain入门指南》是一本很及时的书值得推荐 01
为什么需要LangChain
首先想象一个开发者在构建一个LLM应用时的常见场景。
当你开始构建一个新项目时你可能会遇到许多API接口、数据格式和工具。对于一个非AI领域的开发者来说要去研究每一个工具、接口都有着巨大的负担。
现在假设你要构建一个涉及语言处理的应用比如一个智能聊天机器人你可能会想我难道要一步步去学习如何训练一个语言模型如何处理各种数据还要解决所有的兼容性问题吗
这就是LangChain的价值所在。
LangChain是一个集成框架它为开发者提供了一系列的工具和组件使得与语言模型中各种数据如Google Analytics、Stripe、SQL、PDF、CSV等的连接、语言模型的应用和优化变得简单直接。
其实LangChain就好比一把“瑞士军刀”你不再需要为每一个任务找一个新工具它提供了一站式的解决方案。正如你要修理一个小小的家用电器而你已经拥有了一个完整的工具箱。不管你遇到什么问题打钉子、拧螺丝、剪线工具箱里总有一个合适的工具等着你。LangChain为你提供了这样的工具箱不仅涵盖了基础工具还为个性化需求提供了自定义组件解决方案。
现在随着LangChain在开发者社区中的受欢迎程度逐渐上升可以明显地看到使用LangChain的开发者数量呈现激增的趋势。
2023年8月LangChain开源框架已经收获了惊人的数据5.82万个星标、557位专注开发者以及7800位积极的分支开发者。这些数字从深层次上代表了众多开发者对LangChain实用性和未来潜力的坚定认可。
正是因为LangChain连接了开发者和复杂的LLM应用因此开发变得更为简单、高效。也因为这种受欢迎程度和媒体报道的广泛传播越来越多的开发者不论是LLM领域的还是非LLM领域的都选择使用LangChain。
02
LLM应用开发的最后1公里
想象一下一个对编程完全陌生的初学者正面临着如何与模型进行交互的诸多问题哪怕是简单的GET或POST请求都可能成为其开发路上的第一道门槛。而LangChain的存在恰恰能跨越这道门槛使得LLM应用开发变得触手可及。
首先LangChain的简洁性让它脱颖而出。 开发者只需要写几行代码就能运行一个大型LLM程序甚至快速构建一个响应式的机器人。这种简洁性意味着无论是对于有经验的开发者还是初入此领域的新手LangChain都能为他们进入LLM应用开发的世界铺平道路。
LangChain还为开发者集成了丰富的内置链组件为开发者解决了重复编写代码的问题。面对特定的任务如摘要或问答LangChain提供了专门的摘要链和问答链简化了开发流程。Agent的引入将工具和数据库的整合提升到了一个新的层次使得开发者可以全心投入任务。
借助LangChain开发者除了可以实现LLM与真实世界的在线数据增强即RAG检索增强生成还能在私有环境中部署模型或是针对特定任务选择更精确的模型平台及型号甚至随时切换各大平台推出的新模型。
而对于那些未选择使用LangChain的开发者来说他们很可能会被各模型平台的接口选择、提示词的编写以及输出格式的处理等问题所困扰这些复杂的问题会成为开发过程中的巨大障碍甚至导致开发者“从入门到放弃”。
在LLM应用开发中一个经常被遗漏但至关重要的环节是如何为LLM编写合适的提示词确保LLM能够准确理解开发者的意图。对于许多开发者特别是初学者来说这可能是一个具有挑战性的任务。然而LangChain为这一问题提供了有力的解决方案。
对于那些在模型提示词编写上感到困惑的开发者来说LangChain提供了多种模板供选择。这并不仅仅是一些随意整合的模板而是与各种应用、工具紧密集成的组件其中包含了大量已经经过实际验证的提示词模板。这意味着开发者无须从零开始编写程序只需要在LangChain提供的模板中找到与任务相匹配的部分并进行相应的调整即可。
以SQL查询为例这是一个对许多开发者来说相对熟悉但在与LLM结合时可能存在困惑的领域。如果一个开发者刚开始接触如何为SQL编写提示词他可以轻松地在LangChain中找到SQL组件的提示词模板。这些模板中包括如何编写语法正确的PostgreSQL查询、如何查看查询结果以及如何返回针对输入问题的答案。更进一步LangChain提供的提示词模板也包括各种查询的最佳实践如限制PostgreSQL查询结果、正确使用列名、注意使用当前日期的函数等。
例如LangChain提供了以下格式化SQL提示词模板翻译 1 你是一个PostgreSQL专家。给定一个输入问题首先创建一个语法正确的PostgreSQL查询来运行然后查看查询结果并返回针对输入问题的答案。 2 除非用户明确指定了要返回的结果数量否则应使用PostgreSQL的LIMIT子句来限制查询结果最多返回top_k条记录。你可以对结果进行排序以返回数据库中最有信息价值的数据。 3 绝对不要查询表中的所有列。你只能查询回答问题所需的列。用双引号将每个列名包裹起来表示它们是界定的标识符。 4 注意只使用你在表中可以看到的列名不要查询不存在的列。此外要注意哪一列在哪个表中。 5 如果问题涉及“今天”请注意使用CURRENT_DATE函数获取当前日期。 6 7 使用以下格式 8 9 问题这里的问题 10 SQL查询要运行的SQL查询 11 SQL结果SQL查询的结果 12 答案这里的最终答案 13 14 只使用以下表 15 16 {table_info} 17 18 问题{input} 想象一下如果没有LangChain提供的这个提示词模板当你要开始编写一段SQL查询代码时会走多少弯路
LLM应用开发的最后1公里其意义是确保开发者无须为了一个小细节而多走弯路正如居民无须跑很远坐公交车一样 每一个关键的细节都能得到及时而准确的处理使得整个开发过程更为高效。
03
LangChain的2个关键词
在现代软件工程中如何将庞大复杂的系统划分为更小、更易于管理和使用的部分已经成了设计和开发的核心考量。在这个背景下LangChain以“组件”和“链”作为2个关键概念为LLM应用开发者提供了便利。
首先来谈谈“组件”。
在LangChain中组件不是代码的拼凑而是一个具有明确功能和用途的单元。组件包括LLM模型包装器、聊天模型包装器及与数据增强相关的一系列工具和接口。这些组件就是LangChain中的核心你可以把它们看作数据处理流水线上的各个工作站。每个组件都有其特定的职责如处理数据的输入输出、转化数据格式。
然而单纯的组件还不足以满足复杂应用的需求这时“链”便显得尤为关键。 在LangChain的体系中链是将各种组件连接在一起的纽带它能够确保组件之间的无缝集成和在程序运行环境中的高效调用。无论是对于LLM还是其他工具链都扮演着至关重要的角色。举个例子LLMChain这是LangChain中最常用的链它可以整合LLM模型包装器和记忆组件让聊天机器人拥有“记忆”。
值得一提的是LangChain并没有止步于提供基础的组件和链。反之它进一步为这些核心部分提供了标准的接口并与数据处理平台及实际应用工具紧密集成。这样的设计不仅强化了LangChain与其他数据平台和实际工具的连接也确保了开发者能在一个开放且友好的环境中轻松地进行LLM应用开发。
以最常见的聊天机器人为例为了在各种场景中为用户提供自然、流畅的对话体验聊天机器人需要具备多种功能包括与用户进行日常交流、获取天气信息及实时搜索。这一设计目标意味着要处理的任务范围覆盖了从简单的日常对话到复杂的信息查询因此一个结构化、模块化的设计方案是必要的。
在此背景下LangChain 的“组件”和“链”提供了极大的帮助。利用LangChain的组件开发者可以为聊天机器人设计不同的模块如与用户进行日常交流的模块、获取天气信息的模块及进行实时搜索的模块。每个模块中的组件都具备特定的功能并专门处理与之相关的任务。例如当需要回答关于天气的问题时机器人可以调用“搜索工具组件”来获取天气信息数据。
但是单纯的组件无法满足机器人的整体运作。为了确保组件之间可以协同工作并为用户提供顺畅的体验需要用到LangChain的“链”来整合这些组件。例如当用户询问一个涉及多个组件的问题时如“今天天气怎么样同时告诉我量子力学是什么”LangChain的链就可以确保“搜索工具组件”和“维基百科查询组件”协同工作为用户提供完整的回答。
具体来说当用户提出问题时LangChain提供的API允许机器人执行以下操作
1请求LLM解释用户的输入并根据输入内容生成对应的查询请求这可能涉及一个或多个组件
2根据生成的查询请求激活对应的组件以获取必要的数据或信息
3利用LLM生成基于自然语言的回答将各组件的返回结果整合为用户可以理解的回答。
通过这种方式开发者无须深入每一个复杂的处理细节只需要利用LangChain的API输入用户的问题并将得到的答案呈现给用户即可。这不仅使聊天机器人能够提供丰富的信息服务还能确保LLM应用自然而然地融入人们的日常生活达到设计初衷。
04
LangChain的3个场景
LangChain正在重新定义LLM应用的开发方式尤其是在问答系统、数据处理与管理、自动问答与客服机器人这3个场景下。以下是对LangChain在这3个场景下作用的分析。
第1个场景是问答系统。 问答系统已经成为许多LLM应用的重要组成部分从简单的搜索工具到复杂的知识库查询工具。LangChain在这方面展现了其出色的能力。当开发者面临需要从长篇文章或特定数据源中提取信息的挑战时LangChain 可以轻松地与这些外部数据源交互迅速提取关键信息然后执行生成操作以生成准确的回答。
第2个场景是数据处理与管理如RAG。 在数据驱动的当下RAG成了一个非常热门的LLM应用落地方向。RAG结合了检索和生成两个阶段为用户提供了更为精准和富有深度的回答。LangChain采用了LEDVR工作流实现了RAG的功能。
LEDVR工作流将数据处理的每一个步骤标准化确保了数据从输入到输出的完整性和准确性。首先开发者会使用文档加载器如WebBaseLoader从外部数据源导入所需的数据。这一步确保了数据的完整性和原始性。
接着数据会被传输到嵌入包装器如OpenAIEmbeddings中。这一步的主要目的是将每一份文档转化为一个能够在机器学习模型中使用的向量。这个向量能够捕获文档的主要特征使得后续的处理更为高效。
为了更好地处理大量的数据LangChain中引入了分块转化步骤。通过使用如RecursiveCharacterTextSplitter这样的工具文档被切割成更小的数据块。这不仅提高了处理速度还使得每一个数据块都能得到更为精准的处理。
当所有的数据块都被处理完毕它们会被存储到向量存储系统如FAISS中。这个存储系统能够确保数据的安全同时也能提供一个高效的查询接口。
最后检索器如ConversationalRetrievalChain被用来从向量存储系统中检索相关的文档。这一步结合了用户查询和向量存储系统中的数据为用户提供了最为相关的回答。
第3个场景是自动问答与客服机器人。 在许多在线平台上客服机器人已经成为用户与公司之间的首要交互点。利用LangChain开发者成功构建了能够实时响应用户查询的客服机器人。这种实时响应得益于LangChain的Agent功能其中涉及LLM决策并根据反馈不断优化交互的过程。这样的设计使客服机器人不仅能够及时响应还能提供更加精确的信息或解决方案。
LangChain已经在这3个关键场景中展现了强大的潜力为开发者提供了实用且强大的工具使开发者可以更加高效地实现各种开发需求。
05
LangChain的6大模块
针对LLM应用开发者的需求LangChain推出了6大核心模块。
这些模块覆盖了从模型I/O到数据增强从链到记忆以及从Agent到回调处理器的全方位功能。
借助这些模块中的包装器和组件开发者能够更为方便地搭建LLM应用。
1. 模型I/OModel IO 对于任何大语言模型应用来说其核心无疑都是模型自身。LangChain提供了与任何大语言模型均适配的模型包装器模型I/O的功能分为LLM和聊天模型包装器Chat Model。模型包装器的提示词模板功能使得开发者可以模板化、动态选择和管理模型输入。LangChain自身并不提供大语言模型而是提供统一的模型接口。模型包装器这种包装方式允许开发者与不同模型平台底层的API进行交互从而简化了大语言模型的调用降低了开发者的学习成本。此外其输出解析器也能帮助开发者从模型输出中提取所需的信息。
2. 数据增强Data Connection 许多LLM应用需要的用户特定数据并不在模型的训练集中。LangChain提供了加载、转换、存储和查询数据的构建块。开发者可以利用文档加载器从多个来源加载文档通过文档转换器进行文档切割、转换等操作。矢量存储和数据检索工具则提供了对嵌入数据的存储和查询功能。
3. 链Chain 单独使用LLM对于简单应用可能是足够的但面对复杂的应用往往需要将多个LLM模型包装器或其他组件进行链式连接。LangChain为此类“链式”应用提供了接口。
4. 记忆Memory 大部分的LLM应用都有一个对话式的界面能够引用之前对话中的信息是至关重要的。LangChain提供了多种工具帮助开发者为系统添加记忆功能。记忆功能可以独立使用也可以无缝集成到链中。记忆模块需要支持两个基本操作即读取和写入。在每次运行中链首先从记忆模块中读取数据然后在执行核心逻辑后将当前运行的输入和输出写入记忆模块以供未来引用。
5. Agent 核心思想是利用LLM选择操作序列。在链中操作序列是硬编码的而在Agent代理中大语言模型被用作推理引擎确定执行哪些操作以及它们的执行顺序。
6. 回调处理器Callback LangChain提供了一个回调系统允许开发者在LLM应用的各个阶段对状态进行干预。这对于日志记录、监视、流处理等任务非常有用。通过API提供的callbacks参数开发者可以订阅这些事件。
如果你想更多了解这门迅速发展的大模型技术框架这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】 本书由LangChain中文网联合创始人李特丽与创始人康轶文共同编著
本书专门为那些对自然语言处理技术感兴趣的读者提供了系统的LLM应用开发指南。
全书分为11章从LLM基础知识开始通过LangChain这个开源框架为读者解读整个LLM应用开发流程。
第1~2章概述LLM技术的发展背景和LangChain框架的设计理念。从第3章开始分章深入介绍LangChain的6大模块包括模型I/O、数据增强、链、记忆等通过大量代码示例让读者了解其原理和用法。第9章通过构建PDF问答程序帮助读者将之前学习的知识应用于实践。第10章则介绍集成可拓宽LangChain的用途。第11章为初学者简要解析LLM的基础理论如Transformer模型等。
本书以LangChain这个让人熟悉的框架为主线引导读者一步一步掌握LLM应用开发流程适合对大语言模型感兴趣的开发者、AI应用程序开发者阅读。 这本书籍以及完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
