深圳做物流网站,网站开发基本要求,做背景图获取网站,虚拟主机便宜不推荐小白#xff0c;环境配置比较复杂 全部流程
下载原始模型#xff1a;Chinese-LLaMA-Alpaca-2linux部署llamacpp环境使用llamacpp将Chinese-LLaMA-Alpaca-2模型转换为gguf模型windows部署Text generation web UI 环境使用Text generation web UI 加载模型并进行对话 准… 不推荐小白环境配置比较复杂 全部流程
下载原始模型Chinese-LLaMA-Alpaca-2linux部署llamacpp环境使用llamacpp将Chinese-LLaMA-Alpaca-2模型转换为gguf模型windows部署Text generation web UI 环境使用Text generation web UI 加载模型并进行对话 准备工作 笔记本环境 操作系统win11CPUAMD R7535HSGPU笔记本4060显卡CUDA版本11.8VM虚拟机Ubuntu16 下载模型和部署环境全程需要挂梯子 下载原始模型 原项目链接https://github.com/ymcui/Chinese-LLaMA-Alpaca-2 模型名称类型大小下载地址Chinese-LLaMA-2-13B基座模型24.7 GB[百度] [Google] [HF]Chinese-LLaMA-2-7B基座模型12.9 GB[百度] [Google] [HF]Chinese-Alpaca-2-13B指令模型24.7 GB[百度] [Google] [HF]Chinese-Alpaca-2-7B指令模型12.9 GB[百度] [Google] [HF]
下载Chinese-Alpaca-2-7B模型即可百度网盘不需要挂梯子其他都需要梯子 linux部署llamacpp环境 原项目链接https://github.com/ggerganov/llama.cpp 原文档链接https://github.com/ymcui/Chinese-LLaMA-Alpaca-2/wiki/llamacpp_zh Step 1: 安装python3.10
sudo apt update
sudo apt install python3.10Step 2: 克隆和编译llama.cpp 拉取最新版llama.cpp仓库代码 # 要安装git梯子
git clone https://github.com/ggerganov/llama.cpp或者 #浏览器挂梯子打开https://github.com/ggerganov/llama.cpp
#下载项目
#解压缩项目到本地对llama.cpp项目进行编译生成./main用于推理和./quantize用于量化二进制文件 cd 解压缩项目路径
makeStep 3: 生成量化版本模型 创建目录并拷贝模型到项目目录zh-models/7B/ 将Chinese-LLaMA-Alpaca-2模型转换为gguf模型 #根目录
python convert.py zh-models/7B/将生成的fp16格式的gguf模型进行4-bit量化 ./quantize ./zh-models/7B/ggml-model-f16.gguf ./zh-models/7B/ggml-model-q4_0.gguf q4_0Step 4: 加载并启动模型
到这一步其实可以用llama.cpp的加载模型方式对话了 但我用的虚拟机性能有限故而使用Text generation web UI 加载模型具体如何加载建议看原文档和项目说明 windows部署Text generation web UI 环境 原项目https://github.com/oobabooga/text-generation-webui Step 1: 下载安装Miniconda3_py310 链接https://repo.anaconda.com/miniconda/Miniconda3-py310_23.3.1-0-Windows-x86_64.exe Step 2: 克隆项目到本地
git clone https://github.com/oobabooga/text-generation-webuiStep 3: 打开Miniconda3命令行建立新conda环境
conda create -n textgenStep 4: 下载安装相关的python各类环境库 有github链接的必须手动下载whl,再pip安装whl的绝对位置 conda activate textgen
cd 项目位置
pip install env/bitsandbytes-0.41.1-py3-none-win_amd64.whl
pip install E:\AI\环境第三方库\auto_gptq-0.4.2cu117-cp310-cp310-win_amd64.whlhttps://github.com/jllllll/exllama/releases/download/0.0.17/exllama-0.0.17cu117-cp310-cp310-win_amd64.whl
pip install E:\AI\环境第三方库\exllama-0.0.17cu117-cp310-cp310-win_amd64.whlpip install llama-cpp-python0.1.84https://github.com/jllllll/llama-cpp-python-cuBLAS-wheels/releases/download/textgen-webui/llama_cpp_python_cuda-0.1.84cu117-cp310-cp310-win_amd64.whl
pip install E:\AI\环境第三方库\llama_cpp_python_cuda-0.1.84cu117-cp310-cp310-win_amd64.whlhttps://github.com/jllllll/GPTQ-for-LLaMa-CUDA/releases/download/0.1.0/gptq_for_llama-0.1.0cu117-cp310-cp310-win_amd64.whl
pip install E:\AI\环境第三方库\gptq_for_llama-0.1.0cu117-cp310-cp310-win_amd64.whlhttps://github.com/jllllll/ctransformers-cuBLAS-wheels/releases/download/AVX2/ctransformers-0.2.25cu117-py3-none-any.whl
pip install E:\AI\环境第三方库\ctransformers-0.2.25cu117-py3-none-any.whlpip install -r requirements.txt -i 换源Step 5: 启动web服务
conda activate textgen
cd E:/AI/项目/text-generation-webui-main
python server.py使用Text generation web UI 加载模型并进行对话
打开生成的url网址加载本地模型对话即可
