做外贸开店用哪个网站,wordpress注册修改,营销型网站建设网站建设资讯,做网站用asp还是php好继上一篇文章我们探讨了如何使用HuggingFists实现文本的Embedding后。这一次我们将介绍如何使用HuggingFists实现LLM RAG的查询部分。 首先我们回顾一下RAG的结构#xff0c;如下图#xff1a; 基于向量数据库的RAG结构图 我们在上篇文章中介绍了如何使用HuggingFists实现结构… 继上一篇文章我们探讨了如何使用HuggingFists实现文本的Embedding后。这一次我们将介绍如何使用HuggingFists实现LLM RAG的查询部分。 首先我们回顾一下RAG的结构如下图 基于向量数据库的RAG结构图 我们在上篇文章中介绍了如何使用HuggingFists实现结构图右半部分的文档向量化入库的过程。本文我们将着重介绍如何使用HuggingFists从向量库检索数据并交由大模型根据跟定数据回答问题的过程。由图可知实现用户的检索过程主要由以下几步组成
获取用户输入检索条件对检索条件进行向量化用向量化条件查询向量库将用户问题、检索结果合并构成Prompt将Prompt输入LLM等待LLM返回结果向用户返回结果
基于以上过程我们使用HuggingFists构建了如下流程 问题检索流程图 这个流程由8个算子组成下面我们详细阐述一下各算子的用途及我们在落地实现时的思考。
1.交互式数据输入:该算子用于模拟用户的输入如上图我们设定用户输入的问题为“数据安全治理有哪些框架特点是什么”。由于真实情况下用户提出的问题是变化的所以我们可以在这里将问题写成变量的形式。HuggingFists支持的变量格式为”${varName}”。在驱动流程运行时HuggingFists会将变量替换为运行时指定的具体值从而可以将不同的问题带入流程。配置如下图 交互式数据输入 阿里文本Embedding
2.阿里文本Embedding选取向量类型为“查询向量”将输入的问题按查询向量进行向量化。需要特别注意的是这里的向量类型必须为“查询向量”在进行文本向量入库时选择的类型为“底库向量”。 Milvus读取
3.Milvus读取根据输入的向量从Milvus向量库中查询匹配的数据。这里使用SQL语句方式访问。由于Milvus本身不支持SQL的访问方式所以这里使用的是基于开源项目MOQL对Milvus支持的语法格式。在SQL语句中我们使用了{embeddings}变量该变量表示上下文变量上下文变量可以与算子的输入列做绑定映射。该算子有一个名为embeddings的输入列所以从配置中可以看到变量embeddings与embeddings列做了映射绑定。运行时变量会被输入列的值替换掉从而生成可运行的SQL语句。当输入为多条记录时每条记录都会驱动一次SQL的生成与检索。 过滤
4.过滤通过过滤获得与问题相关度较高的数据。流程里过滤条件设定为只保留相关度值5000的数据。为什么将值设置为5000主要是因为在这个示例中我们发现打分在5000以下的内容跟问题的相关度最高。另外需要注意的是问题的长短陈述方式会对检索出的结果有一定的影响。如果需要更精准的检索问题相关内容此时可以加入一个步骤让大语言模型帮忙聚焦问题然后再对问题进行检索。 列添加
5.列添加列添加在这里是一个技巧型的应用。主要是因为流程后面的“大语言模型提示”算子使用的提示模板中需要将内容和问题一起组合成为一个提示。而在上一步通过过滤获得的输出信息中只有数据信息没有问题信息。所以在这里为数据添加一个问题列。问题列的值使用${question}变量描述该值与算子1中的变量值一致会一同被替换。 聚合
6.聚合将过滤后符合条件的文本数据合并在一起形成一个大的文本。关于如何构造Prompt有两种不同的实现策略。一是合并所有文本然后构造一个完整的Prompt一次性提交给大语言模型处理这种方式相对更节省tokens但很容易超出大语言模型的tokens限制二是以会话方式将数据一点、一点输送给大语言模型。该方式由于需要多次提交且每次提交都保持会话历史所以消耗的tokens数量比较大。但该方式可以采用些技巧比如定期总结之前的历史输入从而降低历史会话总量实现较大信息的输入。由于HuggingFists目前还不支持会话模式的大语言模型访问故此我们采用了第一条技术路线向大模型发一个完整的Prompt。 大语言模型提示
7.大语言模型提示从提示库中选择合适的提示模板。HuggingFists内置了提示模板库方便使用者积累提示模板。提示模板库的功能在“资源”菜单下。它支持对提示模板增、删、改、查以及分组管理。以下是我们在本流程中使用的提示模板的截图 提示模板 模板内容为“请根据以下内容回答问题\n {text} \n问题: {question} “。需要为模板中的变量设定列映射。运行时HuggingFists用列值替换模板中的变量从而生成最终输入到大语言模型的提示。 阿里大语言模型
8.阿里大语言模型根据提示信息回答问题。
最终的运行效果如下图 运行结果 Prompt列输出的是输入到大模型的提示信息mooOutput列输出的是大模型回答的答案。经确认答案无误是基于输入的提示信息生成的不含模型学到的通用知识。
结语 以上展示了如何使用HuggingFist实现RAG的查询。与上一篇文章一起全面介绍了RAG的低代码实现。但作为一个完整的项目落地实践目前还没有结束。因为尚缺用户的问答系统界面与HuggingFists整合没有介绍。目前HuggingFists正在研发对外的API访问接口。当该接口部分开发完成使用者就可以通过这些接口驱动流程的执行实现查询界面与HuggingFists的整合了。下一篇文章我们就将介绍如何使用开源的聊天界面与HuggingFists整合实现完整的RAG落地实现。
