西海岸新区城市建设局网站,柳州学校网站建设,网站开发英语翻译,哪个网站可以做分期参考了CDSN上的文章#xff0c;但发现不work#xff0c; 不是这里有问题#xff0c;就是那里有问题#xff0c;查阅了大量的资料#xff0c;做了无数次试验#xff0c;终于整理出来了一个完整的教程#xff0c;保可用#xff0c;保真~~~~~如果各位遇到什么问题#xf…参考了CDSN上的文章但发现不work 不是这里有问题就是那里有问题查阅了大量的资料做了无数次试验终于整理出来了一个完整的教程保可用保真~~~~~如果各位遇到什么问题也可以私信我
我把每个环节遇到的坑都填平了如果按我的操作免去了大家查各种问题的富贵时间。祝你也能一次性来到人机对话的界面 不多废话了直接说如何使用腾讯云上的机器自建一个简单的类似ChatGPT、Kimi的会话机器人没有他们的强大
一、选择云服务器 1.申请云服务器
建议使用按量付费按小时算还是非常便宜的。 硬件配置 系统ubuntu20.04 系统盘150G GPU12核44G1 * NVIDIA A10(32G)硬盘150G1*NVIDIA A10(24G) 软件版本
由于A10的驱动cuda均未安装为了省事直接申请了另一台初始化完成后打成镜像然后再为A10重装就可以了这样最省事。当然也可以手动安装。
使用的V100的镜像初始化条件选择如下
配置安全组出全放开入至少放开22和8760。 后付费要注意要满足余额不低于要冻结金额。
2.GPU确认 登录服务器后在安装V100的镜像时可以看到显卡驱动在安装。早了晚了可能都会错过这个页面 等待显卡驱动安装完成后(会有一段时间)做下显卡确认 nvidia-smi 用于确认cuda版本。
安装cuda toolkit sudo apt install nvidia-cuda-toolkit #时间有点久 如上面所述然后制作为镜像再导入到我们的A10当中。重装系统
二、安装并配置Python环境
1.安装python3.10 sudo apt-get update sudo apt-get upgrade #需等待 sudo apt install -y software-properties-common sudo add-apt-repository ppa:deadsnakes/ppa sudo apt -y install python3.10 sudo update-alternatives --install /usr/bin/python3 python3 /usr/bin/python3.10 1
#验证安装成功均返回Python 3.10.13 python3.10 --version python3 --version
#升级pip wget https://bootstrap.pypa.io/get-pip.py python3.10 get-pip.py
2.安装Git和Git LFS软件 sudo apt install -y git git-lfs python3.10-distutils
3.安装模型所需要的Python包
在此之前先把pip工具设置好。 看两处pip的版本是否一致 第一种方式pip show pip 第二种方式python3.10 -m pip --version 若不一样则 然后修改两个文件sudo vim /usr/bin/pip 以及sudo vim /usr/bin/pip3将每个文件里面的两个版本号位置修改为新的最后再用pip show pip验证下。
#需等待可能要不停地试直到成功 pip install githttps://github.com/huggingface/transformers
#1.如果上面pip工具没设置好可能会有如下报错: 回到上面处理吧也可以参考https://zhuanlan.zhihu.com/p/664770225 #2.如果报128则看 https://zhuanlan.zhihu.com/p/648289974 下载到本地再上传 或者等网络环境好的时候下载。
继续执行 pip install sentencepiece0.1.97 -i https://pypi.tuna.tsinghua.edu.cn/simple
#需等待非常漫长 pip install peft0.2.0 -i https://pypi.tuna.tsinghua.edu.cn/simple
4.验证在PyTorch环境下验证GPU是否正常工作 python3.10 import torch #返回值为true表示正常工作 torch.cuda.is_available() quit() 有可能会报cuda与python版本不匹配的问题需要选择正确版本的CUDA和PyTorch安装(windows) 参考https://zhuanlan.zhihu.com/p/672526561
三、下载与配置模型
1.下载Chinese-LLaMA-Alpaca模型。 git clone https://github.com/ymcui/Chinese-LLaMA-Alpaca.git 本地已下载Chinese-LLaMA-Alpaca-main.zip
修改代码Chinese-LLaMA-Alpaca/scripts/merge_llama_with_chinese_lora.py文件dType类型 由float16全部换为bfloat16 全部修改为 torch_dtypetorch.bfloat16
否则在最终运行时会报错RuntimeError: probability tensor contains either inf, nan or element 0 2.下载chinese-alpaca-lora-13b模型 git-lfs clone https://huggingface.co/ziqingyang/chinese-alpaca-lora-13b 大概率会失败解决办法是把该文件夹下载到本地然后再上传到服务上
//如果需要文件进行下载可以联系我:lucky_shisheng scp -r chinese-alpaca-lora-13b ubuntu106.52.198.183:~ 修改代码chinese-alpaca-lora-13b中的adapter_config.json 去掉两行 “enable_lora”: null, “merge_weights”: false,
否则在最终运行时会报错TypeError: init() got an unexpected keyword argument ‘enable_lora’
3.下载 llama-13b-hf模型 git-lfs clone https://huggingface.co/decapoda-research/llama-13b-hf 大概也会失败解决办法是用wget直接下载或者是像上面一样下载到本地后再上传上去。
//如果需要文件进行下载可以联系我:lucky_shisheng scp -r llama-13b-hf ubuntu106.52.198.183:~
4.合并代码 合并代码生成新模型 cd Chinese-LLaMA-Alpaca/ python3.10 scripts/merge_llama_with_chinese_lora.py --base_model ~/llama-13b-hf/ --lora_model ~/chinese-alpaca-lora-13b/ --output_type huggingface --output_dir ./llama_with_lora_hf
在这里指定了base model和lora_model输出路径为./llama_with_lora_hf 如果出现被kill则是资源内存不足需要换台机器来做。
合并完成后可以确认一下转换完成后的文件内容大概25G ls -lh llama_with_lora_hf
四、部署WebUI
1.下载WebUI #需要多试几次 cd~ git clone https://github.com/oobabooga/text-generation-webui.git 备份text-generation-webui-main.zip
2.安装代码及依赖库 cd text-generation-webui/
#非常耗时 pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple 3.模型软链接生成到models下面 ln -s /home/ubuntu/Chinese-LLaMA-Alpaca/llama_with_lora_hf/ models/llama_with_lora_hf
五、最终对话界面生成 验证结果 python3.10 server.py --model llama_with_lora_hf --listen --chat --load-in-8bit
人机界面 控制台 若提示GPU内存不足可以换个命令试一下 python3.10 server.py --model llama_with_lora_hf --listen --chat --load-in-4bit
