动易网站论坛,中企动力值不值得入职,为什么要做企业官网,wordpress自动转换地区英伟达推出了自家版本的ChatGPT Chat With RTX 是一款演示应用程序#xff0c;可让您个性化连接到您自己的内容#xff08;文档、笔记、视频或其他数据#xff09;的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM和 RTX 加速#xff0c;您可以查询自定义聊…英伟达推出了自家版本的ChatGPT Chat With RTX 是一款演示应用程序可让您个性化连接到您自己的内容文档、笔记、视频或其他数据的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM和 RTX 加速您可以查询自定义聊天机器人以快速获得上下文相关的答案。由于它全部在您的 Windows RTX PC 或工作站上本地运行因此您将获得快速、安全的结果 Chat with RTX是一个技术演示现已免费下载可让用户使用自己的内容个性化聊天机器人并由本地NVIDIA GeForce RTX 30 系列 GPU或更高版本具有至少 8GB 视频随机存取存储器或 VRAM加速 Chat with RTX 使用检索增强生成(RAG)、NVIDIA TensorRT-LLM软件和 NVIDIA RTX 加速为本地 GeForce 支持的 Windows PC 带来生成式 AI 功能。用户可以快速、轻松地将 PC 上的本地文件作为数据集连接到 Mistral 或 Llama 2 等开源大型语言模型从而能够快速查询上下文相关的答案。 用户只需键入查询即可而无需搜索笔记或保存的内容。例如人们可以问“我的伴侣在拉斯维加斯时推荐的餐厅是什么” Chat with RTX 将扫描用户指向的本地文件并提供带有上下文的答案。 该工具支持各种文件格式包括.txt、.pdf、.doc/.docx 和.xml。将应用程序指向包含这些文件的文件夹该工具将在几秒钟内将它们加载到其库中。 用户还可以包含来自 YouTube 视频和播放列表的信息。将视频 URL 添加到 Chat with RTX 允许用户将这些知识集成到他们的聊天机器人中以进行上下文查询。例如根据最喜欢的影响者视频的内容询问旅行建议或根据顶级教育资源获取快速教程和操作方法。 系统要求 平台 视窗 图形处理器 NVIDIA GeForce™ RTX 30 或 40 系列 GPU 或 NVIDIA RTX™ Ampere 或 Ada Generation GPU具有至少 8GB VRAM 内存 16GB 或更大 操作系统 视窗11 司机 535.11 或更高版本 下载解压文件 运行setup.exe 默认选择主程序chat with RTX 和 mistral 7B INT4,点击下一步需要科学上网 安装完成 启动 启动成功 会自动打开网页http://127.0.0.1:28781/?__themedark 不愧是英伟达的产品显卡的性能发挥得比较充分8G显存用了6G多CPU的内存的负担不重。 后面将对他进行更详细的测试关注我
