咸阳学校网站建设公司,佛山建站,成都网站建设小公司,廊坊网站建设推广经验还在寻找基于文心一言搭建本地知识库问答的方案吗#xff1f;AI Studio星河社区带你实战演练#xff08;支持私有化部署#xff09;#xff01;
相信对于大语言模型#xff08;LLM#xff09;有所涉猎的朋友#xff0c;对于“老网红”知识库问答不会陌生。自从大模型爆…还在寻找基于文心一言搭建本地知识库问答的方案吗AI Studio星河社区带你实战演练支持私有化部署
相信对于大语言模型LLM有所涉猎的朋友对于“老网红”知识库问答不会陌生。自从大模型爆火后开发者都希望尽快进行开发实战企业都希望尽快在产品中集成LLM的能力结合业务快速落地那最直接的方式就是构建知识库问答。本项目由AI Studio星河社区开发者「SWHL」创作并发布体验应用应用中使用AI Studio SDK文末获取文档提供的能力完成文心一言与向量检索增强的结合与此同时开发者「SWHL」提供的开源项目还支持本地私有化部署的版本助力个人和企业完成知识问答系统搭建。
项目亮点
1、除大语言模型接口需要单独部署外其他部分均可使用CPU
2、整个项目模块化不依赖lanchain库各个部分都可以轻松替换代码简单易懂
3、WebUI向量检索Log可视化
4、支持接入多个LLM模型
5、支持本地私有化部署
应用体验 应用参数解读
max_length生成结果时的最大token数top_p用于控制模型生成文本时选择下一个单词的概率分布的范围。具体来说当使用top_p参数时模型将考虑累积概率分布中概率之和最大的最小集合中的所有单词并在其中选择下一个单词temperature用于调整模型生成文本时的创造性程度较高的temperature将使模型更有可能生成新颖、独特的文本而较低的温度则更有可能生成常见或常规的文本Search Top_K从文档向量数据库中召回的前K个相关内容用于和问题拼接为完整内容送到大模型中可选值有510 15
工作流程
1、解析文档并存入数据库 2、检索并回答问题 搭建知识库问答应用
Fork该项目 启动进入线上开发环境
选择CPU环境即可
AI Studio星河社区每周均可免费获得一定数量算力
查看文件进行开发 本地私有化部署
创作者已将该项目进行开源有私有化部署需求的可移步至该项目Github获取代码文件进行部署。项目作者SWHLRapidAI开源组织成员日常研究方向为大模型落地和CV相关包括OCR和目标检测等方向。
作者主页
https://github.com/SWHL
RapidAI开源组织主页
https://github.com/RapidAI
该项目Github
https://github.com/RapidAI/Knowledge-QA-LLM
AI Studio星河社区已上线SDK开发工具支持文心一言、Embedding等能力的高效使用搜索飞桨AI Studio小程序查看SDK开发工具使用文档。
