网站设计网络推广关键词,上传文章网站,单页面seo优化,南宁网站建设及推广一、最终效果
中英文对话 生成代码 二、资源配置
本文选择的模型运行内存需要 4G#xff0c;因此宿主机建议内存大于8G#xff0c;CPU建议 6 核以上#xff1b; 参考博主该mac配置可以相对流畅运行。只需要 CPU资源#xff0c;不需要 GPU。
三、搭建步骤
启动docker容…一、最终效果
中英文对话 生成代码 二、资源配置
本文选择的模型运行内存需要 4G因此宿主机建议内存大于8GCPU建议 6 核以上 参考博主该mac配置可以相对流畅运行。只需要 CPU资源不需要 GPU。
三、搭建步骤
启动docker容器
采用open-webui启动一个大模型的交互页面
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama由于ghcr.io/open-webui/open-webui:ollama是托管在境外速度较慢因此博主把该镜像搬迁到了阿里云。
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always registry.cn-beijing.aliyuncs.com/xihuanyuyee/xihuanyuye:open-webui-ollama登录页面
输入地址
http://localhost:3000首次登录请注册 登录后的效果 是不是非常酷炫一个私有的大模型平台就似乎ok了。
配置模型
尝试使用
但是其实这时候系统还不能使用例如我们尝试输入问题。 are u ok? 系统报错未选定模型。
选择模型选项
左上角选定模型的下拉菜单发现为空。
下载模型 操作步骤
step1 点击用户名处打开配置菜单
step2 点击admin panel打开配置面板
step3 点击setting打开配置页面tab
step4 点击 modle选项打开模块下载页面
step5 输入模型参数版本
step6 点击下载按钮开始下载选择适合的模型开始下载
根据你的机器资源情况你可以选择运行基础版的Meta Llama 3 8B或更大型的Meta Llama 3 70B但请注意你需要有足够的内存来在本地运行这些大语言模型。我在一台配备64 GB RAM的M1 Max上测试了Meta Llama 3 70B性能表现非常好。
模型名称下载版本号需要内存Meta Llama 3 8Bllama3:8b4.7 GBMeta Llama 3 70Bllama3:70b40 GB
下载过程可能会根据你的网络速度耗时一些。 操作步骤
step1 输入模型版本参数llama3:8b
step2 点击下载按钮
step3 查看下载进度亲测当前国内网络可以直接下载如果下载失败可以重试一下试试。
试用效果
返回首页选择模型 中英文对话 生成代码 是不是非常有成就感大模型之路从此开启
附录
资源监控 在输入交互信息hello后监控后台资源。本机是采用了虚拟机启动因此可以看到cpu已经满载了。响应也特别慢。
参考网站
苹果Mac用户的福音本地运行Meta Llama 3的终极指南
open-webui
