做公司网站的必要性,青岛网站专业制作,哪个做h5的网站好用,营销策略分析论文介于本人一直想将现有的智慧城市的文档结合大模型RAG实现知识库问答助手#xff0c;借着Chat With RTX的风潮正好将机器人和知识库合二为一#xff0c;方便以后对众多文件进行查阅。
一、概要
Chat With RTX 是一个 Demo#xff0c;用来将您自己的资料#xff08;文档、笔…介于本人一直想将现有的智慧城市的文档结合大模型RAG实现知识库问答助手借着Chat With RTX的风潮正好将机器人和知识库合二为一方便以后对众多文件进行查阅。
一、概要
Chat With RTX 是一个 Demo用来将您自己的资料文档、笔记、视频或其他数据与大语言模型建立连接从而令 LLM 更具个性化。利用检索增强生成 (RAG)、TensorRT-LLM 和 RTX 加速您可以与自定义聊天机器人对话快速灵活地获得聊天机器人根据您的内容给出的见解。此外由于 Chat with RTX 完全在 Windows RTX PC 或工作站本地以安全的方式运行因此您可以更快获得更满意的结果。
二、安装教程
从官网下载demo
https://us.download.nvidia.com/RTX/NVIDIA_ChatWithRTX_Demo.zip 系统要求
平台WindowsGPUNVIDIA GeForce® RTX 30 或 40 系列 GPU 或配备至少 8GB VRAM 的 NVIDIA RTX™ Ampere 或 Ada Generation GPURAM16GB 或更高操作系统Windows 11驱动535.11 或更新版本驱动文件大小35 GB
解压缩安装包 开始安装 注意事项
这个时候打开VPN不然会安装报错。
只能安装在默认路径路径不能包含中文。
如果安装路径用户名包含中文则无法继续安装需要新建一个用户。
安装完成后桌面会显示图标 首次运行需要打开VPN下载模型 等到出现这个界面代表运行完毕 安装完后可以选择不包含中文的文件夹作为知识库然后就可以通过大模型轻松在几百篇文档中找到你想要的知识了虽然回答正确率有待考量但是能快速的定位到知识所在文件。目前仅支持英文回答
