网站首页一般做多大,廊坊网络公司网站,汕头生态建设典型案例,杭州建网站企业目前NV和github都托管了DeepSeek#xff0c;生成Key后可以很方便的用CodeGPT接入。CodeGPT有三种方式使用AI#xff0c;分别时Agents#xff0c;Local LLMs#xff08;本地部署AI大模型#xff09;#xff0c;LLMs Cloud Model#xff08;云端大模型#xff0c;从你自己… 目前NV和github都托管了DeepSeek生成Key后可以很方便的用CodeGPT接入。CodeGPT有三种方式使用AI分别时AgentsLocal LLMs本地部署AI大模型LLMs Cloud Model云端大模型从你自己账号设置中把key拷贝过来就行 我们使用Ollama管理本地部署的大模型到 Ollama 官方网站下载Ollama。在Ollama网站山更可以搜索它支持的模型 点击我们要部署的deepseek-coder-v2, 根据你的需要选择适当参数的ds模型在右边就有生成对应的ollama安装命令复制后到本地命令行运行即可安装。例如
ollama run deepseek-coder-v2:16b ollama run deepseek-coder-v2:236b 也可以在VSCode的CodeGPT插件中安装对应模型更加的省事直接选择点击下载即可。 下载完成后在命令用命令启动你的本地大模型启动时间需要一点直到按回车出现 大模型就启动成功了。这时候你可以敲个问题给大模型能回到就说明部署成功。 也可以用OpenWebUI这个python插件来通过web使用。
安装 pip install open-webui -i https://pypi.tuna.tsinghua.edu.cn/simple
(有人反馈没有安装msbuil的话安装 open webui可能会报错可以先安装 Microsoft C 生成工具 - Visual Studio 如果你是开发者就没这个问题
安装完成后启动 openwebui服务open-webui serve
之后就用浏览器链接 http://localhost:8080/
如果连接有问题那么注意一下防火墙开放一下8080端口即可。 接下来配置CodeGPT的 Local LLMS如果你没有安装它会推荐一些本地大模型给你Recommend Models 见上图如果你已经有安装了那么显示的时Installed Models见下图
选择已经本地部署的大模型后无需在Connect to Ollama里填入Ollama的地址也不用去点击 Connect. 否则CodeGTP会报 Error Model Not found。 Status 404。没仔细研究
