校园网站建设的意见与建议,广州市建设工程信息管理平台,品牌注册和商标注册有什么区别,做企业网站的公司有哪些在大型语言模型#xff08;LLM#xff09;的世界中#xff0c;有两个强大的框架用于部署和服务LLM#xff1a;vLLM 和 Text Generation Interface (TGI)。这两个框架都有各自的优势#xff0c;适用于不同的使用场景。在这篇博客中#xff0c;我们将对这两个框架进行详细的…
在大型语言模型LLM的世界中有两个强大的框架用于部署和服务LLMvLLM 和 Text Generation Interface (TGI)。这两个框架都有各自的优势适用于不同的使用场景。在这篇博客中我们将对这两个框架进行详细的比较。
vLLM
vLLM 是一个用于 LLM 推理和服务的高吞吐量和内存高效的库。它具有以下特点
具有最先进的服务吞吐量。通过 PagedAttention 高效管理注意力键和值内存。对传入请求进行连续批处理。支持 CUDA/HIP 图形的快速模型执行。量化GPTQAWQSqueezeLLMFP8 KV 缓存。优化的 CUDA 内核。
vLLM 也具有灵活性和易用性
与流行的 Hugging Face 模型无缝集成。使用各种解码算法进行高吞吐量服务包括并行采样波束搜索等。支持分布式推理的张量并行性。流式输出。支持 OpenAI 兼容的 API 服务器。支持 NVIDIA GPU 和 AMD GPU实验性。支持前缀缓存实验性。支持多 lora。
vLLM 无缝支持许多 Hugging Face 模型包括以下架构Aquila Aquila2。
Text Generation Interface (TGI)
Text Generation Interface (TGI) 是一个多功能的选项支持各种 LLMs包括量化和微调。它适用于需要为核心模型增加多个 adapter 的场景。
比较
在选择使用哪个框架时需要根据你的具体需求和应用场景来决定。如果你需要处理大量的 Prompt 输入并且对推理速度有较高的要求那么 vLLM 可能是一个更好的选择。如果你需要支持各种 LLMs并且需要进行量化和微调那么 TGI 可能更适合你。
在大型语言模型LLM的部署和服务框架方面vLLM 和 Text Generation Interface (TGI) 是两个主流的选择。然而是否有更好的框架取决于你的具体需求和应用场景。
根据网络上的一些讨论123以下是一些可能的选择
CTranslate22如果你计划在 CPU 上运行推理CTranslate2 可能是一个好选择
OpenLLM2如果你打算为核心模型添加适配器并使用 HuggingFace Agents尤其是不完全依赖 PyTorch那么 OpenLLM 可能是一个好选择。
Ray Serve2如果你需要稳定的 Pipeline 和灵活的部署那么 Ray Serve 可能是一个好选择它最适合更成熟的项目。
MLC LLM2如果你打算在客户端例如在 Android 或 iPhone 平台上本地部署 LLM那么 MLC LLM 可能是一个好选择。
源码
vllm:
:GitHub - vllm-project/vllm: A high-throughput and memory-efficient inference and serving engine for LLMs
text-generation-webui :
GitHub - oobabooga/text-generation-webui: A Gradio web UI for Large Language Models. Supports transformers, GPTQ, AWQ, EXL2, llama.cpp (GGUF), Llama models.
