网站优化代码,短网址生成设计,这么做输入文字的网站,电脑上如何做网站宣传#x1f3bc;个人主页#xff1a;【Y小夜】
#x1f60e;作者简介#xff1a;一位双非学校的大三学生#xff0c;编程爱好者#xff0c;
专注于基础和实战分享#xff0c;欢迎私信咨询#xff01;
#x1f386;入门专栏#xff1a;#x1f387;【MySQL#xff0…
个人主页【Y小夜】
作者简介一位双非学校的大三学生编程爱好者
专注于基础和实战分享欢迎私信咨询
入门专栏【MySQLJavawebRustpython】
热门专栏【SpringbootRedisSpringsecurityDockerAI】
感谢您的点赞、关注、评论、收藏、是对我最大的认可和支持❤️ 目录
本地部署模型
安装Ollama
安装 Open WebUI
安装Docker
启动 Hyper-v 安装 WSL适用于Linux的Windows的子系统
安装Docker Docker 部署 Open WebUI 本地部署模型
安装Ollama
官网Ollama 然后进行一下下载 安装完成之后是没有提示的然后我们需要去测试一下。这里我是以QWen为例子大家可以尝试其他的模型
打开一个终端然后输入一个命令进行测试
ollama run qwen现在是正在进行下载默认是保存在C 盘C:\Usersusername.ollama\models 如果想更改默认路径可以通过设置OLLAMA_MODELS进行修改然后重启终端重启 ollama 服务。或者在环境变量中修改OLLAMA_MODELS的位置
setx OLLAMA_MODELS D:下载完成后可以进行测试 查看都安装了什么模型 ollma list命令显示所有安装模型ollama rm 模型名称 删除指定模型
但这个现在就只可以在终端中使用 那么我问现在就搞一个web页面进行交互增加体验。
安装 Open WebUI
安装Docker
如果你本地已经有了Docker了那就可以直接看下面的内容。
启动 Hyper-v 但是如果你这里没有Hyper-V那么恭喜你博主也没有博主已经踩过这个坑了。
我们首先在桌面上建立一个文件命名为Hyper.cmd然后填入内容
pushd %~dp0
dir /b %SystemRoot%\servicing\Packages\*Hyper-V*.mum hyper-v.txt
for /f %%i in (findstr /i . hyper-v.txt 2^nul) do dism /online /norestart /add-package:%SystemRoot%\servicing\Packages\%%i
del hyper-v.txt
Dism /online /enable-feature /featurename:Microsoft-Hyper-V-All /LimitAccess /ALL
然后使用管理员身份运行这个文件运行完毕后重启电脑再打开就可以找到Hyper-V了。 安装 WSL适用于Linux的Windows的子系统
wsl --update然后进行安装
wsl --install安装Docker
官网 Windows | Docker Docs
然后进行下载 然后双击进行安装 这里咱们先不注册直接进行登录即可 左下角是绿色就代表运行成功了 Docker 部署 Open WebUI
打开命令行然后输入docker
展示内容说明我们的docker安装成功了 然后开始用docker安装open webUI 然后安装完成够就可以打开Docker Desktop访问http://localhost:3000端口了 然后点击登录网址 就是你会发现点击上方选择一个模型旁边的加号可以增加大模型点击下拉按钮可以选择当前使用哪一个已安装的模型但是你可能会出现一个错误,就是找不到你自己安装的模型这个原因是因为你的ollama没有启动我们启动一下ollama 然后再重新加载一下网页再选择一下模型 提问一下问题模型进行回答。这样我们本地的模型就部署好了
