商务网站内容建设包括,wordpress如何设置导航栏,象山建设局网站,优惠劵网站怎么做目录
一、SWIFT 介绍
二、SWIFT 安装
2.0 配置环境(可选)
2.1 使用pip进行安装
2.2 源代码安装
2.3 启动 WEB-UI
三、部署模型
3.0 deploy命令参数
3.1 原始模型
3.2 微调后模型 一、SWIFT 介绍 SWIFT#xff08;Scalable lightWeight Infrastructure for Fine-Tuni…目录
一、SWIFT 介绍
二、SWIFT 安装
2.0 配置环境(可选)
2.1 使用pip进行安装
2.2 源代码安装
2.3 启动 WEB-UI
三、部署模型
3.0 deploy命令参数
3.1 原始模型
3.2 微调后模型 一、SWIFT 介绍 SWIFTScalable lightWeight Infrastructure for Fine-Tuning是魔搭ModelScope开源社区推出的一套完整的轻量级训练、推理、评估和部署工具支持200大模型、15多模态大模型以及10轻量化Tuners让AI爱好者能够使用自己的消费级显卡玩转大模型和AIGC。 SWIFT 框架主要特征特性
具备SOTA特性的Efficient Tuners用于结合大模型实现轻量级在商业级显卡上如RTX3080、RTX3090、RTX4090等训练和推理并取得较好效果使用ModelScope Hub的Trainer基于transformers trainer提供支持LLM模型的训练并支持将训练后的模型上传到ModelScope Hub中可运行的模型Examples针对热门大模型提供的训练脚本和推理脚本并针对热门开源数据集提供了预处理逻辑可直接运行使用支持界面化训练和推理
二、SWIFT 安装 SWIFT在Python环境中运行。请确保您的Python版本高于3.8。
2.0 配置环境(可选) # 创建新的conda虚拟环境 conda create -n swift python3.1 -y conda activate swift # 设置pip全局镜像 pip config set global.index-url https://mirrors.aliyun.com/pypi/simple/ 2.1 使用pip进行安装 # 全量能力 pip install ms-swift[all] -U # 仅使用LLM pip install ms-swift[llm] -U # 仅使用AIGC pip install ms-swift[aigc] -U # 仅使用adapters pip install ms-swift -U 2.2 源代码安装 git clone https://github.com/modelscope/swift.git cd swift pip install -e .[llm] 2.3 启动 WEB-UI export WEBUI_SHARE1 export WEBUI_SERVER0.0.0.0 swift web-ui web-ui没有传入参数所有可控部分都在界面中。但是有几个环境变量可以使用
WEBUI_SHARE1控制gradio是否是share状态SWIFT_UI_LANGen/zh控制web-ui界面语言WEBUI_SERVERserver_name参数 web-ui host ip0.0.0.0代表所有ip均可访问127.0.0.1代表只允许本机访问WEBUI_PORTweb-ui的端口号 三、部署模型 swift使用VLLM作为推理后端, 并兼容openai的API样式。
3.0 deploy命令参数 deploy参数继承了infer参数, 除此之外增加了以下参数:
--host: 默认为127.0.0.1.--port: 默认为8000.--ssl_keyfile: 默认为None.--ssl_certfile: 默认为None.
3.1 原始模型 服务端 CUDA_VISIBLE_DEVICES0 swift deploy --model_type qwen-7b-chat # 使用VLLM加速 CUDA_VISIBLE_DEVICES0 swift deploy --model_type qwen-7b-chat \ --infer_backend vllm --max_model_len 8192 # 多卡部署 RAY_memory_monitor_refresh_ms0 CUDA_VISIBLE_DEVICES0,1,2,3 swift deploy --model_type qwen-7b-chat --tensor_parallel_size 4 客户端 curl http://localhost:8000/v1/chat/completions \ -H Content-Type: application/json \ -d { model: qwen-7b-chat, messages: [{role: user, content: 晚上睡不着觉怎么办}], max_tokens: 256, temperature: 0 } 3.2 微调后模型 服务端 CUDA_VISIBLE_DEVICES0 swift deploy --ckpt_dir xxx/checkpoint-xxx # 使用VLLM加速 CUDA_VISIBLE_DEVICES0 swift deploy \ --ckpt_dir xxx/checkpoint-xxx --merge_lora true \ --infer_backend vllm --max_model_len 8192 客户端 #客户端示例代码同原始模型openai的API参数可以参考官方文档
