小企业做网站多少钱,网站建设 需求调研,您的php似乎没有安装运行wordpress所必需的mysql扩展,wordpress 4.9 安装网易RAG问答知识库开源了#xff0c;Star 6K#xff01;#xff01; RAG 问答知识库 QAnything 开源了QAnything 架构设计剖析整个架构的工作流程主要包含三个环节为什么需要两阶段检索#xff1f;使用的基座大模型相关技术组件 QAnything 本地部署一键部署安装#xff0c… 网易RAG问答知识库开源了Star 6K RAG 问答知识库 QAnything 开源了QAnything 架构设计剖析整个架构的工作流程主要包含三个环节为什么需要两阶段检索使用的基座大模型相关技术组件 QAnything 本地部署一键部署安装特别简单部署安装 FAQ RAG 问答知识库 QAnything 开源了
网易开源了自研的 RAG 引擎 QAnything。该引擎允许用户上传 PDF、图片、Word、Excel、PowerPoint 等多种格式的文档并实现类似于 ChatGPT 的互动问答功能其中每个答案都能精确追溯到相应的文档段落来源。QAnything 支持纯本地部署上传文档数量无上限问答准确率高。正如它的名字一样Q 是 QuestionA 是 AnswerQAnything 的目标就是万物皆可问 总之QAnything 是一个支持多种格式文件和数据库的本地知识库问答系统可离线安装
简单上传本地文件即可获得准确、快速、靠谱的问答体验。
目前已支持格式: PDF(pdf)Word(docx)PPT(pptx)XLS(xlsx)Markdown(md)电子邮件(eml)TXT(txt)图片(jpgjpegpng)CSV(csv)网页链接(html)等。
开源 Github 地址https://github.com/netease-youdao/QAnything
QAnything 架构设计剖析
整个架构如下图所示包括了模型和系统等所有必要的模块。模型方面包括 OCR 解析、Embedding/rerank以及大模型。系统方面包括向量数据库、MySQL 数据库、前端、后端等必要的模块。整个引擎的功能完整用户可以直接下载不需要再搭配其他的模块即可使用。系统可扩展性也非常好只要硬盘内存足够就可以一直建库支持无上限的文档。 整个架构的工作流程主要包含三个环节 索引Indexing文本索引的构建包括以下步骤文档解析、文本分块、Embedding 向量化和创建索引。先将不同格式的原始文件解析转换为纯文本再把文本切分成较小的文本块。通过 Embedding 为每一个文本块生成一个向量表示用于计算文本向量和问题向量之间的相似度。创建索引将原始文本块和 Embedding 向量以键值对的形式存储以便将来进行快速和频繁的搜索。 检索Retrieval使用 Embedding 模型将用户输入问题转换为向量计算问题的 Embedding 向量和语料库中文本块 Embedding 向量之间的相似度选择相似度最高的前 K 个文档块作为当前问题的增强上下文信息。 生成Generation将检索得到的前 K 个文本块和用户问题一起送进大模型让大模型基于给定的文本块来回答用户的问题
为什么需要两阶段检索
知识库数据量大的场景下两阶段优势非常明显如果只用一阶段Embedding检索随着数据量增大会出现检索降级的问题。二阶段 rerank重排后能实现准确率稳定增长即数据越多效果越好。QAnything 使用的检索组件 BCEmbedding 有非常强悍的双语和跨语种能力能消除语义检索里面的中英语言之间的差异。
使用的基座大模型
开源版本 QAnything 的大模型基于阿里通义千问并在大量专业问答数据集上进行微调在阿里千问的基础上大大加强了问答的能力。选择一个性价比高的大模型也是很重要的。
相关技术组件
BCEmbedding 文本嵌入模型Triton Inference Server 推理服务vLLM 在线推理服务加速器FastChat 即时通讯平台FasterTransformer 在线推理加速库LangChain 应用开发框架LangChain-Chatchat 聊天机器人应用Milvus 向量数据库PaddleOCR 图片识别组件Sanic Python 3.6 Web 框架
QAnything 本地部署
一键部署安装特别简单
1:下载项目
git clone https://github.com/netease-youdao/QAnything.git2:进入项目根目录执行启动脚本cd QAnythingbash ./run.sh-h获取详细的LLM服务配置方法bash run.sh #默认在0号GPU上启动bash close.sh #关闭服务部署安装 FAQ
https://github.com/netease-youdao/QAnything/blob/master/FAQ_zh.md
