网站建设对数据库有何要求,沈阳网站建设制作,企业营销型网站建设厂家,网站开发网站建设大模型ChatGLM-6B实现本地部署 一、写在前面#xff1a;二、ChatGLM-6B下载#xff1a;三、项目所需要的环境配置#xff1a;四、项目运行#xff1a;五、遇到的主要问题及解决 一、写在前面#xff1a;
1、 确保你的电脑中已安装git#xff0c;git lfs。 2、确保你的电… 大模型ChatGLM-6B实现本地部署 一、写在前面二、ChatGLM-6B下载三、项目所需要的环境配置四、项目运行五、遇到的主要问题及解决 一、写在前面
1、 确保你的电脑中已安装gitgit lfs。 2、确保你的电脑满足以下任一一种配置 1内存不低于32G大显存显卡无要求。 2内存不低于16G显存不低于8G。 3、若满足2(2)则请确保你的显卡驱动和cuda、cudnn已经安装并且相互之间版本对应。若满足2(1)则跳过3往下看。
二、ChatGLM-6B下载
下载主要下载两部分项目代码下载和模型权重下载。
1、项目代码下载地址https://github.com/THUDM/ChatGLM-6B/ 2、模型权重下载本次下载的时INT4量化的模型方法如下按照以下三个步骤完成下载 1第一步模型依赖文件下载 进出ChatGLM-6B目录下运行以下命令官方提供的命令中镜像地址是https://huggingface.co而这个地址我们很难访问所以把这个镜像地址换成https://hf-mirror.com就变成了下面这条命令
GIT_LFS_SKIP_SMUDGE1 git clone https://hf-mirror.com/THUDM/chatglm-6b-int4执行完成后在你当前目录下会产生如下图所示的文件夹文件夹中是加载模型的依赖文件。
2第二步模型权重下载 模型参数下载地址https://cloud.tsinghua.edu.cn/d/674208019e314311ab5c/进去之后页面如下图所示将蓝色框里面的文件全部下载下来。 3第三步将第二步下载的所有文件复制到第一步中所产生的文件夹chatglm-6b-int4中就变成了如下这样 三、项目所需要的环境配置
常规操作安装requirements.txt文件即可命令如下
pip install -r requirements.txt四、项目运行
在主项目目录下新建一个py文件写入代码如下
from transformers import AutoTokenizer, AutoModel
tokenizer AutoTokenizer.from_pretrained(chatglm-6b-int4, trust_remote_codeTrue)
model AutoModel.from_pretrained(chatglm-6b-int4, trust_remote_codeTrue).half().cuda()
model model.eval()
response, history model.chat(tokenizer, 你是谁, history[])
print(response)五、遇到的主要问题及解决
问题1下载模型、模型配置文件时官方提供的很多命令无法下载愿意是官方提供的镜像地址是https://huggingface.co我们无法访问。 解决我找到了新的镜像地址https://hf-mirror.com。将下载时链接地址里面有https://huggingface.co的全部换成https://hf-mirror.com。
问题2启动项目时有时会直接退出这是因为你上次执行时系统还没有释放资源虽然你自己去看的时候已经释放资源了其实没有释放完全。这种情况在windows中比较常见Linux中从未遇到过。 解决重新释放资源或着重启。
