汝州市住房和城乡建设局网站,揭阳网站免费建站,宜宾网络推广,网站建设优化服务好么MiniGPT4系列之一部署篇#xff1a;在RTX-3090 Ubuntu服务器部署步骤详解_seaside2003的博客-CSDN博客
MiniGPT4系列之二推理篇命令行方式#xff1a;在RTX-3090 Ubuntu服务器推理详解_seaside2003的博客-CSDN博客
MiniGPT4系列之三模型推理 (Web UI)#xff1a;在RTX-309…MiniGPT4系列之一部署篇在RTX-3090 Ubuntu服务器部署步骤详解_seaside2003的博客-CSDN博客
MiniGPT4系列之二推理篇命令行方式在RTX-3090 Ubuntu服务器推理详解_seaside2003的博客-CSDN博客
MiniGPT4系列之三模型推理 (Web UI)在RTX-3090 Ubuntu服务器推理_seaside2003的博客-CSDN博客
本文参考以下知乎帖子后半部分
手搓具有GPT-4 90%能力的开源大语言模型FastChat - 知乎
FastChat安装
有两种方法
pip方式安装
pip3 install fschat
源码安装
git clone https://github.com/lm-sys/FastChat.git
cd FastChat
pip3 install --upgrade pip # enable PEP 660 support
pip3 install -e .开启服务
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna
此时可能会出现报错ModuleNotFoundError: No module named rich因为上面都没有安装rich这个包 但直接pip install rich我试了不行执行以下命令成功
python -m pip install rich 这个命令参照ModuleNotFoundError: No module named rich’
\ModuleNotFoundError: No module named \rich\\ 即使我使用 pip 安装答案 - 爱码网
再次执行以下命令可以看出执行成功
python -m fastchat.serve.cli --model-path /home/train/mycharm/new/vicuna
