网站导航,qq业务代理网站建设,phpmysql网站开发技术,施工企业市场经营工作思路及措施其实这个文章想写很久了#xff0c;最近一直在做大模型相关的产品#xff0c;经过和团队成员一段时间的摸索#xff0c;对大模型知识库做一下相关的认知和总结。希望最终形成一个系列。
对于知识库问答#xff0c;现在有两种方案#xff0c;一种基于llamaindex#xff0…其实这个文章想写很久了最近一直在做大模型相关的产品经过和团队成员一段时间的摸索对大模型知识库做一下相关的认知和总结。希望最终形成一个系列。
对于知识库问答现在有两种方案一种基于llamaindex一种基于langchain LLM,我们目前采用的就是后者先来看一下这个方式的技术架构图 如下图所示整个系统流程是很清晰的但涉及的点颇多所以决定最终效果的关键点包括且不限于文本分割算法、embedding、向量的存储 搜索 匹配 召回 排序、大模型本身的生成能力
使用 LangChain 或 LlamaIndex 等框架可以使用少量代码就构建一个简单的大模型问答系统例如文档的聊天机器人。
但是用这五行代码构建的机器人效果就可能差强人意了。按照教程构建的系统可能仅仅是演示的demo距离实际生产环境的落地应用之间还是存在一定的差异。
接下来我们说一下如何从理论上来提高LLM的问答效果
一、提示词工程 这是改进大型语言模型性能的起点也是最容易上手的方法之一。通过巧妙构建提示可以引导LLM生成与需求一致的内容。这是一种像对话一样与LLM进行交流的方式通过清晰的问题或指令来获取所需答案。从最简单的方法出发提示工程是一种改进LLM性能的明智之举。
例如要提高LLM效果可以使用提示如“解释合同法的主要原则”或“分析最新的知识产权案例”。简单明了的提示将帮助LLM更好地理解您的需求。通过这些明确的提示LLM将更容易理解需求并生成更有针对性的答案。这是一个简单而强大的方法适用于各种领域和任务。
提示工程是提高LLM性能的起点但只是改进LLM的众多方法之一。根据需求还可以使用其他高级方法如检索增强生成和参数高效微调以进一步提升LLM的水平。
二、检索增强生成RAG 这是一种更高级的方法可以让LLM更智能地生成内容。RAG结合了信息检索和生成模型使LLM能够从大量文本中提取知识并将其整合到生成的答案中。这对于LLM来说非常有用因为可以要求LLM在生成答案之前检索相关的内容从而提供更深入和准确的回答。
RAG的核心概念是联合使用两个关键组件检索器和生成器。
检索器Retriever这是RAG的第一部分它负责从大量的文本数据中检索相关信息。检索器可以利用数据库、文本、网页等来搜索相关信息。这通常涉及到使用自然语言处理技术如词向量模型和倒排索引以快速而准确地找到与给定主题或问题相关的文本片段。
生成器Generator这是RAG的第二部分它基于检索器提供的信息生成答案。生成器是一个大型语言模型。它接收来自检索器的信息将其整合到生成的答案中以提供深入和有洞察力的回答。
RAG的优势在于它允许LLM从广泛的资源中汲取知识以更准确、全面和信息丰富的方式回答问题。例如如果要求LLM解释特定的法律条款检索器可以搜索法律文本以找到相关信息然后生成器可以将这些信息转化为易于理解的解释。
此外RAG还具备自动验证和校对答案的能力因为检索器提供的信息可以用来验证生成的答案是否与检索内容一致。
1. 数据清理
RAG 将LLM的能力与特定数据联系起来。如果数据质量不高那么整个系统将会受到影响。例如使用的数据包含冲突或冗余信息那么检索的过程将很难找到正确的上下文。当这种情况发生时LLM执行的生成步骤可能不是最佳的。
假设基于某个产品的帮助文档构建一个聊天机器人发现它运行不佳。那应该查看的第一件事就是输入系统的数据是否存在明显的不合理包括文档切分是否合理文档是否存在矛盾或冲突地方文档是否过长或过短文档是否存在多模态数据如果作为人类无法轻松判断需要查看哪个文档来回答常见查询那么检索系统也将无法做到这一点。
针对长文档、多文档的情况常见的方法之一是使用LLM来创建所有文档的摘要。然后检索步骤首先对这些摘要进行搜索然后仅针对相关摘要进一步检索更详细的信息这种二阶检索的方式有点参考搜索引擎检索思路。
2. 索引类型
索引是LlamaIndex和LangChain的核心概念。它是保存检索系统的对象。RAG 的标准方法涉及embedding和相似性搜索。将上下文数据分块做文本向量化需要查询时从上下文中找到向量相似的部分。
这种方法效果很好但并不是适合所有的场景。例如查询是包含特定名称的商品就是基于关键字的搜索。词向量、关键词甚至传统机器学习指标都是可以参考的。
从领域数据中如何获取相关信息是决定RAG系统的上限设计合理的、适配场景的索引值得花费一定的时间和精力。
3. 分块方法
将上下文数据分块chunk是构建 RAG 系统的核心部分。框架抽象了分块过程但实际场景下应该考虑块的大小。块大小很重要。一般来说较小的块通常可以改善检索但可能会导致生成过程缺乏周围的上下文。有很多方法可以实现分块。这篇文章列出了一些需要考虑的策略。
4. 提示工程
常见的一个提示词是 根据给定的上下文信息回答问题 在实际项目中提示词是非常脆弱和敏感的当前的大模型对提示具有非常高的依赖性这种依赖性与模型的能力成反比也就是模型的能力越弱对提示的依赖越强。选择不同的模型、不同的数据甚至不同的索引都需要调整提示来得到一个比较优秀的结果。
在实际项目中提示词是非常脆弱和敏感的当前的大模型对提示具有非常高的依赖性这种依赖性与模型的能力成反比也就是模型的能力越弱对提示的依赖越强。选择不同的模型、不同的数据甚至不同的索引都需要调整提示来得到一个比较优秀的结果。
5. 元数据过滤
改进检索的一个非常有效的策略是将元数据添加到块中然后使用它来帮助处理结果。日期是要添加的常见元数据标记因为它允许按时间进行过滤。想象一下在构建一个允许用户查询其电子邮件历史记录的应用程序。最近的电子邮件可能会更相关。但从词向量的角度来看我们不知道它们是否与用户的查询最相似。这提出了构建 RAG 时要记住的一般概念相似≠相关。可以将每封电子邮件的日期附加到其元数据中然后在检索期间优先考虑最近的上下文。
6. 使用查询路由
对内容构建多个分支将查询内容分门别类查询经过判断逻辑后执行特定分支而不是全部内容混为一谈。
拥有多个索引通常很有用。然后当查询进入时可以将查询路由到适当的索引。例如可能有一个处理摘要问题的索引另一个处理尖锐问题的索引以及另一个适合日期敏感问题的索引。如果尝试将所有问题建模到一个索引上可能在最终效果上反而有下降。相反可以将查询路由到正确的索引。另一个用例是将一些查询定向到基于关键字的索引如第 2 节中所述。
一旦构建了索引只需在文本中定义每个索引的用途即可。然后在查询时LLM将选择适当的选项。LlamaIndex 和 LangChain 都有这方面的工具。
7.重新排名
对结果进行重新排序是解决相似性和相关性之间差异问题的一种解决方案。类似检索系统的精排和粗排逻辑通过不同的排序方法进一步缩小范围获取更加相关的上下文信息。
8. 多次查询
思维链在一定程度上能够提升模型的效果但对于比较复杂或者需要多次判断的任务将步骤进行人为的拆解为多次执行效果上比一次执行多个步骤要好一些。每个步骤都是简单的任务模型能够更加理解输入且对上下文长度的依赖有所降低。
9. 微调模型
基于向量化的相似性是 RAG 的标准检索机制。数据被分块并向量化到索引中。当查询进入时它也会被嵌入以与
问题是预训练模型关于嵌入空间中相似内容的概念可能与您的上下文中相似内容不太一致。想象一下正在处理法律文件。希望嵌入更多地基于您的领域特定术语例如“知识产权”或“违反合同”对相似性的判断而不是基于“特此”和“协议”等一般术语。
可以通过微调嵌入模型来解决此问题。这样做可以将检索指标提高 5-10%。但这需要更多的时间和精力但可以对检索性能产生显著的影响。这个过程比您想象的要容易因为 LlamaIndex 可以帮助您生成训练集。
10.重新思考任务
如果通过上述的步骤整个RAG系统距离目标还是有一定的差距那么需要重新对任务进行思考和定义包括数据是否被正确使用、上述方法是否可以进行组合以进一步提升效果等。
小结
使用 RAG 进行构建可能会让人非常折磨因为它很容易工作但很难很好地工作。希望上述策略能为你如何弥合能用和可用之间的差距提供一些启发。这些想法中没有一种是永远有效的而且这个过程就是实验、尝试和错误的过程。在这篇文章中没有深入探讨如何评估系统的性能。目前评估更像是一门艺术而不是一门科学但重要的是建立某种类型的系统可以持续检查。这是判断更改是否产生影响的唯一方法。
三、参数高效微调PEFT
对于那些想要进一步优化LLM性能的人来说PEFT是一个不错的选择。通过微调模型的参数可以使LLM更适应特定领域或任务。
PEFT的核心思想是微调LLM的参数以使其更好地适应特定领域、任务或需求。微调常见的步骤如下
1. 数据收集和标注
首先需要收集与研究相关的大量数据。然后需要标注这些数据以确保LLM能够理解其中的关键信息。
2. 微调LLM
接下来选择合适的方法利用上述标注的监督数据进行微调包括Lora、P-Tuning等方式。微调的目标是让LLM更好地理解特定领域的语言和概念以便生成更准确和相关的答案。
3. 评估和优化
微调后需要进行评估以确保LLM在任务上表现出色。这可以通过与专家合作进行评估、或者使用常见指标来完成。根据评估结果可以进一步优化LLM的参数以获得更高的性能。
PEFT的优势在于它可以让LLM变得更加专业化和高度定制化以满足特定任务的需求。例如如果在研究税法可以微调LLM的参数以便其更好地理解税法法规和税务原则从而提供更详细和准确的答案。
当然这些只是提高LLM性能的几种方法之一还有很多其他技巧和策略可供探索。最好的方法是根据需求和目标结合这些方法以充分发挥LLM的潜力。 https://mp.weixin.qq.com/s?__bizMzIxMjY3NzMwNwmid2247484087idx1snbbb5d4ae74a19bab8e51c83271c95cc9
https://blog.csdn.net/2301_78285120/article/details/135771092
https://www.wehelpwin.com/article/4665
