四川外国语大学网站建设系,国内好的crm系统,最新消息新闻,网站常用的中文字体NVIDIA在2月13日发布了Chat With RTX#xff0c;这是一款类似于ChatGPT的免费个性化 AI 聊天机器人#xff0c;可以在配备 Nvidia RTX 显卡的 PC 上本地运行。它使用Mistral或Llama开放权重LLM#xff0c;可以搜索本地文件并回答有关它们的问题。本文中我们一起来了解一下Ch…
NVIDIA在2月13日发布了Chat With RTX这是一款类似于ChatGPT的免费个性化 AI 聊天机器人可以在配备 Nvidia RTX 显卡的 PC 上本地运行。它使用Mistral或Llama开放权重LLM可以搜索本地文件并回答有关它们的问题。本文中我们一起来了解一下Chat with RTX并搭建demo实际体验一下它的能力。
什么是Chat with RTX
Chat With RTX 是一款演示应用程序可让您个性化连接到自己的内容文档、笔记、视频或其他数据的 GPT 大语言模型 (LLM)。利用检索增强生成 (RAG)、TensorRT-LLM和 RTX 加速您可以查询自定义聊天机器人以快速获得上下文相关的答案。由于它全部在自己本地的 Windows RTX PC 或工作站上本地运行因此您将获得快速、安全的结果。 系统要求
正常运行Chat with RTX需要满足如下的系统要求
平台Windows图形处理器NVIDIA GeForce™ RTX 30 或 40 系列 GPU 或 NVIDIA RTX™ Ampere 或 Ada Generation GPU具有至少 8GB VRAM内存16GB 或更大操作系统Windows 11驱动535.11 或更高版本
安装与设置
Chat with RTX测试版 0.2 于2 月 13 日发布。目前它仅提供对 NVIDIA GeForce RTX 30 系列和 RTX 40 系列显卡的支持。可以通过NVIDIA官方链接直接下载。
Chat with RTX的安装过程很简单但需要一些时间安装程序很大。安装过程看起来与安装 NVIDIA 显卡驱动程序时看到的相同并包含执行全新安装的选项。安装文件压缩包大小约为35GB解压缩后在38G左右。 安装两种语言模型Mistral 7B 和 LLaMA 2需要一个小时而且它们占用的空间不到 70GB。安装后命令提示符窗口将启动并带有活动会话您可以通过基于浏览器的界面提出查询。 实操体验Chat with RTX
NVIDIA 提供了一个默认数据集来测试 Chat with RTX但我将该实用程序指向了我的“下载”文件夹其中包含数百篇新闻稿、审阅指南以及我的所有文本 (.txt) 格式的文章。该聊天机器人能够解析 PDF、Word 文档和纯文本并且如前所述您可以链接 YouTube 视频并提出疑问。 Chat with RTX 在总结细节方面做得很好而且它对于有针对性的问题例如手机的发布日期非常有效。目前没有提出后续问题的规定但这可能会在后续版本中发生变化。 虽然它在显示相关信息方面做得很好但也存在一些问题。我询问聊天机器人我在 Android Central 上查看过的Fiio FX15 IEM使用了哪些驱动程序。FX15 使用三种不同驱动程序的组合虽然聊天机器人正确回答了查询但它链接到英特尔管理引擎安装文档而不是包含该信息的 Fiio驱动程序。 同样我询问聊天机器人 Corsair 的 MP600 mini 是否使用 TLC 存储它第一次的回答错误在第二次提供正确答案。 Chat with RTX目前仍处于测试阶段但显然有很大的潜力。在本地运行人工智能聊天机器人的能力非常重要并且它可以很好地从您提供的数据中显示信息。就我自己的用例而言拥有一个可以总结文档内容并突出显示有用细节的本地聊天机器人非常酷这就是我今后将使用 Chat with RTX 实现的目的。
如果对 NVIDIA 提供的功能感兴趣您可以轻松地在自己的计算机上安装 Chat with RTX 并尝试一下 — 它可能不如 ChatGPT 强大但使用您自己的数据的能力是一个很好的差异化因素。
