wordpress5.21开启多站点,企业seo排名优化,石家庄网页制作,企业云平台vLLM简介
vLLM 是一个快速且易于使用的 LLM#xff08;大型语言模型#xff09;推理和服务库。
vLLM 之所以快速#xff0c;是因为#xff1a; 最先进的服务吞吐量 通过 PagedAttention 高效管理注意力键和值内存 连续批处理传入请求 使用 CUDA/HIP 图快速模型执行 量…
vLLM简介
vLLM 是一个快速且易于使用的 LLM大型语言模型推理和服务库。
vLLM 之所以快速是因为 最先进的服务吞吐量 通过 PagedAttention 高效管理注意力键和值内存 连续批处理传入请求 使用 CUDA/HIP 图快速模型执行 量化GPTQ[1]、AWQ[2]、SqueezeLLM[3]、FP8 KV 缓存 优化的 CUDA 内核
vLLM 灵活且易于使用因为它 与流行的 HuggingFace 模型无缝集成 通过各种解码算法提供高吞吐量服务包括并行采样、波束搜索等 支持分布式推理的张量并行性 支持流式输出 OpenAI 兼容的 API 服务器 支持 NVIDIA GPU 和 AMD GPU (实验性) 前缀缓存支持 (实验性) 多洛拉支持
技术交流群
前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~
我们建了大模型算法岗技术与面试交流群 想要进交流群、需要源码资料、提升技术的同学可以直接加微信号mlc2060。加的时候备注一下研究方向 学校/公司CSDN即可。然后就可以拉你进群了。 方式①、微信搜索公众号机器学习社区后台回复加群 方式②、添加微信号mlc2060备注技术交流 实践案例合集《大模型实战宝典》2024版正式发布
用通俗易懂方式讲解系列
用通俗易懂的方式讲解自然语言处理初学者指南附1000页的PPT讲解用通俗易懂的方式讲解1.6万字全面掌握 BERT用通俗易懂的方式讲解NLP 这样学习才是正确路线用通俗易懂的方式讲解28张图全解深度学习知识用通俗易懂的方式讲解不用再找了这就是 NLP 方向最全面试题库用通俗易懂的方式讲解实体关系抽取入门教程用通俗易懂的方式讲解灵魂 20 问帮你彻底搞定Transformer用通俗易懂的方式讲解图解 Transformer 架构用通俗易懂的方式讲解大模型算法面经指南附答案用通俗易懂的方式讲解十分钟部署清华 ChatGLM-6B实测效果超预期用通俗易懂的方式讲解内容讲解代码案例轻松掌握大模型应用框架 LangChain用通俗易懂的方式讲解如何用大语言模型构建一个知识问答系统用通俗易懂的方式讲解最全的大模型 RAG 技术概览用通俗易懂的方式讲解利用 LangChain 和 Neo4j 向量索引构建一个RAG应用程序用通俗易懂的方式讲解使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA用通俗易懂的方式讲解面了 5 家知名企业的NLP算法岗(大模型方向)被考倒了。。。。。用通俗易懂的方式讲解NLP 算法实习岗对我后续找工作太重要了。用通俗易懂的方式讲解理想汽车大模型算法工程师面试被问的瑟瑟发抖。。。。用通俗易懂的方式讲解基于 Langchain-Chatchat我搭建了一个本地知识库问答系统用通俗易懂的方式讲解面试字节大模型算法岗(实习)用通俗易懂的方式讲解大模型算法岗(含实习)最走心的总结用通俗易懂的方式讲解大模型微调方法汇总
免费的Google Colab T4 GPU
Google Colab 的 T4 GPU 是一种高性能的计算资源由 Google 提供用于加速机器学习和深度学习任务。T4 GPU 是由 NVIDIA 生产的 Tensor Core GPU专为提供高效的深度学习推理和训练性能而设计。
以下是关于 Google Colab 的 T4 GPU 的一些关键特性 GPU 架构T4 基于 NVIDIA 的 Ampere 架构这是继 Turing 架构之后的新一代 GPU 架构专为 AI 和机器学习工作负载优化。 Tensor CoresT4 包含 Tensor Cores这些是专门为深度学习矩阵运算设计的处理单元能够提供更高的计算效率和性能。 内存T4 GPU 拥有 16 GB 的 GDDR6 显存这对于处理大型模型和数据集来说是非常充足的。 计算能力T4 GPU 提供高达 318 GFLOPS 的单精度浮点运算能力以及 60 GFLOPS 的半精度FP16运算能力这使得它能够快速执行复杂的数学运算。 多精度计算除了 FP32 和 FP16T4 还支持 INT8 和 INT4 精度计算这有助于在保持性能的同时减少模型的内存占用和提高推理速度。 软件兼容性T4 GPU 支持广泛的深度学习框架和库如 TensorFlow、PyTorch、Keras 等这意味着用户可以在他们选择的工具上无缝地使用 T4 GPU。 易于访问在 Google Colab 中用户可以通过简单的配置更改来访问 T4 GPU无需复杂的设置或额外的硬件投资。 成本效益虽然 T4 GPU 是一种高端计算资源但 Google Colab 提供的免费和付费版本都允许用户以合理的成本使用这些 GPU这对于学生、研究人员和开发者来说是一个很大的优势。
选择免费的T4 GPU 免费的T4 GPU
查看GPU信息
NVIDIA GPU 的详细信息
!nvidia-smiGPU详细信息
nvidia-smi 是 NVIDIA 提供的一个命令行工具用于监控和管理 NVIDIA GPU 设备。当你运行 nvidia-smi 命令时它会返回一系列关于系统中所有 NVIDIA GPU 的详细信息 CUDA 版本系统中安装的 CUDA 版本。 驱动版本GPU 驱动的版本。 总显存系统中所有 GPU 的总显存。 其他系统级别的信息如 CPU 使用率、内存使用情况等。 显示每个进程对 GPU 显存的使用情况包括进程 ID、已使用的显存量等。 GPU 编号标识每个 GPU 的序号。 Name显示 GPU 的型号。 Persistence-M持续模式状态显示是否开启开启时 GPU 会保持唤醒状态以快速响应新任务。 Fan风扇转速显示为百分比范围从 0 到 100%。 TempGPU 温度单位是摄氏度。 Perf性能状态从 P0 到 P12P0 表示最大性能P12 表示最小性能。 Pwr功耗显示当前功耗和最大功耗。 Memory Usage显存使用情况包括总显存、已使用显存和剩余显存。 Bus-IdGPU 总线的标识格式为 domaindevice.function。 Disp.A显示 GPU 的显示输出是否激活。 Volatile GPU-UtilGPU 利用率表示 GPU 正在执行的任务的负载百分比。 Uncorr. ECC错误检查与纠正状态与 GPU 的 ECC 内存相关。 Compute M计算模式显示 GPU 是处于默认模式还是特定计算模式。
# memory footprint support libraries/code
!ln -sf /opt/bin/nvidia-smi /usr/bin/nvidia-smi
!pip install -q gputilimport psutil
import humanize
import os
import GPUtil as GPUGPUs GPU.getGPUs()
# XXX: only one GPU on Colab and isn’t guaranteed
gpu GPUs[0]
def printm():process psutil.Process(os.getpid())virtual_memory humanize.naturalsize( psutil.virtual_memory().available )memory_info humanize.naturalsize( process.memory_info().rss)memoryFree gpu.memoryFreememoryUsed gpu.memoryUsedmemoryUtil gpu.memoryUtil*100memoryTotal gpu.memoryTotalprint(fGen RAM Free: {virtual_memory} | Proc size: {memory_info} )print(GPU RAM Free: {0:.0f}MB | Used: {1:.0f}MB | Util {2:3.0f}% | Total {3:.0f}MB.\format(memoryFree, memoryUsed, memoryUtil*100, memoryTotal))
printm() 返回 Preparing metadata (setup.py) ... doneBuilding wheel for gputil (setup.py) ... done
Gen RAM Free: 12.4 GB | Proc size: 98.9 MB
GPU RAM Free: 15101MB | Used: 0MB | Util 0% | Total 15360MB查看cuda版本信息
!nvcc -V返回
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Tue_Aug_15_22:02:13_PDT_2023
Cuda compilation tools, release 12.2, V12.2.140
Build cuda_12.2.r12.2/compiler.33191640_0根据版本信息需要从源码安装
安装vLLM
%%bash
git clone https://github.com/vllm-project/vllm src
cd /content/src
pip install -e . # This may take 5-10 minutes.检查torch版本
import torch
print(torch.version.cuda)使用MODELSCOPE 镜像
%%bash
export VLLM_USE_MODELSCOPETrue测试
from vllm import LLM, SamplingParams
prompts [Hello, my name is,The president of the United States is,The capital of France is,The future of AI is,
]
sampling_params SamplingParams(temperature0.8, top_p0.95)
llm LLM(modelQwen/Qwen1.5-1.8B-Chat,dtypehalf) 加载千问1.5-1.8B-Chat
outputs llm.generate(prompts, sampling_params)# Print the outputs.
for output in outputs:prompt output.promptgenerated_text output.outputs[0].textprint(fPrompt: {prompt!r}, Generated text: {generated_text!r})引用链接
[1] GPTQ: https://arxiv.org/abs/2210.17323 [2] AWQ: https://arxiv.org/abs/2306.00978 [3] SqueezeLLM: https://arxiv.org/abs/2306.07629
