宁波模板建站定制网站,wordpress新建网站后台无法登陆,用Html5做网站,网站关键词之间环境准备
在autodl平台中租一个4090等24G显存的显卡机器#xff0c;如下图所示镜像选择PyTorch–2.1.0–3.10(ubuntu22.04)–12.1 接下来打开刚刚租用服务器的JupyterLab#xff0c; 图像 并且打开其中的终端开始环境配置、模型下载和运行演示。
pip换源和安装…环境准备
在autodl平台中租一个4090等24G显存的显卡机器如下图所示镜像选择PyTorch–2.1.0–3.10(ubuntu22.04)–12.1 接下来打开刚刚租用服务器的JupyterLab 图像 并且打开其中的终端开始环境配置、模型下载和运行演示。
pip换源和安装依赖包
# 升级pip
python -m pip install --upgrade pip
# 更换 pypi 源加速库的安装
pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simplepip install modelscope1.9.5
pip install transformers4.37.0
pip install streamlit1.24.0
pip install sentencepiece0.1.99
pip install accelerate0.24.1
pip install transformers_stream_generator0.0.4
pip install tiktoken考虑到部分同学配置环境可能会遇到一些问题我们在 AutoDL 平台准备了 GLM-4 的环境镜像该镜像适用于本教程需要 GLM-4 的部署环境。点击下方链接并直接创建 AutoDL 示例即可。vLLM 对 torch 版本要求较高且越高的版本对模型的支持更全效果更好所以新建一个全新的镜像。 https://www.codewithgpu.com/i/datawhalechina/self-llm/GLM-4 模型下载
使用 modelscope 中的snapshot_download函数下载模型第一个参数为模型名称参数cache_dir为模型的下载路径。
在 /root/autodl-tmp 路径下新建 download.py 文件并在其中输入以下内容粘贴代码后记得保存文件如下图所示。并运行 python /root/autodl-tmp/download.py 执行下载下载模型大概需要 2 分钟。
mport torch
from modelscope import snapshot_download, AutoModel, AutoTokenizer
import os
model_dir snapshot_download(ZhipuAI/glm-4-9b-chat, cache_dir/root/autodl-tmp, revisionmaster)代码准备
在/root/autodl-tmp路径下新建 ChatBot.py 文件并在其中输入以下内容粘贴代码后记得保存文件。下面的代码有很详细的注释大家如有不理解的地方欢迎提出issue。
# 导入所需的库
from transformers import AutoTokenizer, AutoModelForCausalLM, GenerationConfig
import torch
import streamlit as st# 在侧边栏中创建一个标题和一个链接
with st.sidebar:st.markdown(## ChatGLM4)[开源大模型食用指南 self-llm](https://github.com/datawhalechina/self-llm.git)# 创建一个滑块用于选择最大长度范围在0到1024之间默认值为512max_length st.slider(max_length, 0, 1024, 512, step1)# 创建一个标题和一个副标题
st.title( ChatGLM4 Chatbot)
st.caption( A streamlit chatbot powered by Self-LLM)# 定义模型路径
mode_name_or_path autodl-tmp/ZhipuAI/glm-4-9b-chat# 定义一个函数用于获取模型和tokenizer
st.cache_resource
def get_model():# 从预训练的模型中获取tokenizertokenizer AutoTokenizer.from_pretrained(mode_name_or_path, use_fastFalse, trust_remote_codeTrue)# 从预训练的模型中获取模型并设置模型参数model AutoModelForCausalLM.from_pretrained(mode_name_or_path, torch_dtypetorch.bfloat16, device_mapauto, trust_remote_codeTrue)return tokenizer, model# 加载Qwen1.5-4B-Chat的model和tokenizer
tokenizer, model get_model()# 如果session_state中没有messages则创建一个包含默认消息的列表
if messages not in st.session_state:st.session_state[messages] [{role: assistant, content: 有什么可以帮您的}]# 遍历session_state中的所有消息并显示在聊天界面上
for msg in st.session_state.messages:st.chat_message(msg[role]).write(msg[content])# 如果用户在聊天输入框中输入了内容则执行以下操作
if prompt : st.chat_input():# 将用户的输入添加到session_state中的messages列表中st.session_state.messages.append({role: user, content: prompt})# 在聊天界面上显示用户的输入st.chat_message(user).write(prompt)# 构建输入 input_ids tokenizer.apply_chat_template(st.session_state.messages,tokenizeFalse,add_generation_promptTrue)model_inputs tokenizer([input_ids], return_tensorspt).to(cuda)generated_ids model.generate(model_inputs.input_ids, max_new_tokens512)generated_ids [output_ids[len(input_ids):] for input_ids, output_ids in zip(model_inputs.input_ids, generated_ids)]response tokenizer.batch_decode(generated_ids, skip_special_tokensTrue)[0]# 将模型的输出添加到session_state中的messages列表中st.session_state.messages.append({role: assistant, content: response})# 在聊天界面上显示模型的输出st.chat_message(assistant).write(response)# print(st.session_state)运行 demo
在终端中运行以下命令启动streamlit服务并按照 autodl 的指示将端口映射到本地然后在浏览器中打开链接 http://localhost:6006/ 即可看到聊天界面。
streamlit run /root/autodl-tmp/ChatBot.py --server.address 127.0.0.1 --server.port 6006如下所示
