利用免费 GPU 部署体验大型语言模型推理框架 vLLM

在这里插入图片描述

vLLM简介

vLLM 是一个快速且易于使用的 LLM（大型语言模型）推理和服务库。

vLLM 之所以快速，是因为：

  • 最先进的服务吞吐量

  • 通过 PagedAttention 高效管理注意力键和值内存

  • 连续批处理传入请求

  • 使用 CUDA/HIP 图快速模型执行

  • 量化：GPTQ[1]、AWQ[2]、SqueezeLLM[3]、FP8 KV 缓存

  • 优化的 CUDA 内核

vLLM 灵活且易于使用，因为它：

  • 与流行的 HuggingFace 模型无缝集成

  • 通过各种解码算法提供高吞吐量服务，包括并行采样、波束搜索等

  • 支持分布式推理的张量并行性

  • 支持流式输出

  • OpenAI 兼容的 API 服务器

  • 支持 NVIDIA GPU 和 AMD GPU

  • (实验性) 前缀缓存支持

  • (实验性) 多洛拉支持

技术交流群

前沿技术资讯、算法交流、求职内推、算法竞赛、面试交流(校招、社招、实习)等、与 10000+来自港科大、北大、清华、中科院、CMU、腾讯、百度等名校名企开发者互动交流~

我们建了大模型算法岗技术与面试交流群， 想要进交流群、需要源码&资料、提升技术的同学，可以直接加微信号：mlc2060。加的时候备注一下：研究方向 +学校/公司+CSDN，即可。然后就可以拉你进群了。

方式①、微信搜索公众号：机器学习社区，后台回复：加群
方式②、添加微信号：mlc2060，备注：技术交流

实践案例合集：《大模型实战宝典》（2024版）正式发布！

用通俗易懂方式讲解系列

  • 用通俗易懂的方式讲解：自然语言处理初学者指南（附1000页的PPT讲解）
  • 用通俗易懂的方式讲解：1.6万字全面掌握 BERT
  • 用通俗易懂的方式讲解：NLP 这样学习才是正确路线
  • 用通俗易懂的方式讲解：28张图全解深度学习知识！
  • 用通俗易懂的方式讲解：不用再找了，这就是 NLP 方向最全面试题库
  • 用通俗易懂的方式讲解：实体关系抽取入门教程
  • 用通俗易懂的方式讲解：灵魂 20 问帮你彻底搞定Transformer
  • 用通俗易懂的方式讲解：图解 Transformer 架构
  • 用通俗易懂的方式讲解：大模型算法面经指南（附答案）
  • 用通俗易懂的方式讲解：十分钟部署清华 ChatGLM-6B，实测效果超预期
  • 用通俗易懂的方式讲解：内容讲解+代码案例，轻松掌握大模型应用框架 LangChain
  • 用通俗易懂的方式讲解：如何用大语言模型构建一个知识问答系统
  • 用通俗易懂的方式讲解：最全的大模型 RAG 技术概览
  • 用通俗易懂的方式讲解：利用 LangChain 和 Neo4j 向量索引，构建一个RAG应用程序
  • 用通俗易懂的方式讲解：使用 Neo4j 和 LangChain 集成非结构化知识图增强 QA
  • 用通俗易懂的方式讲解：面了 5 家知名企业的NLP算法岗(大模型方向)，被考倒了。。。。。
  • 用通俗易懂的方式讲解：NLP 算法实习岗，对我后续找工作太重要了！。
  • 用通俗易懂的方式讲解：理想汽车大模型算法工程师面试，被问的瑟瑟发抖。。。。
  • 用通俗易懂的方式讲解：基于 Langchain-Chatchat，我搭建了一个本地知识库问答系统
  • 用通俗易懂的方式讲解：面试字节大模型算法岗(实习)
  • 用通俗易懂的方式讲解：大模型算法岗(含实习)最走心的总结
  • 用通俗易懂的方式讲解：大模型微调方法汇总

免费的Google Colab T4 GPU

Google Colab 的 T4 GPU 是一种高性能的计算资源，由 Google 提供，用于加速机器学习和深度学习任务。T4 GPU 是由 NVIDIA 生产的 Tensor Core GPU，专为提供高效的深度学习推理和训练性能而设计。

以下是关于 Google Colab 的 T4 GPU 的一些关键特性：

  1. GPU 架构：T4 基于 NVIDIA 的 Ampere 架构，这是继 Turing 架构之后的新一代 GPU 架构，专为 AI 和机器学习工作负载优化。

  2. Tensor Cores：T4 包含 Tensor Cores，这些是专门为深度学习矩阵运算设计的处理单元，能够提供更高的计算效率和性能。

  3. 内存：T4 GPU 拥有 16 GB 的 GDDR6 显存，这对于处理大型模型和数据集来说是非常充足的。

  4. 计算能力：T4 GPU 提供高达 318 GFLOPS 的单精度浮点运算能力，以及 60 GFLOPS 的半精度（FP16）运算能力，这使得它能够快速执行复杂的数学运算。

  5. 多精度计算：除了 FP32 和 FP16，T4 还支持 INT8 和 INT4 精度计算，这有助于在保持性能的同时减少模型的内存占用和提高推理速度。

  6. 软件兼容性：T4 GPU 支持广泛的深度学习框架和库，如 TensorFlow、PyTorch、Keras 等，这意味着用户可以在他们选择的工具上无缝地使用 T4 GPU。

  7. 易于访问：在 Google Colab 中，用户可以通过简单的配置更改来访问 T4 GPU，无需复杂的设置或额外的硬件投资。

  8. 成本效益：虽然 T4 GPU 是一种高端计算资源，但 Google Colab 提供的免费和付费版本都允许用户以合理的成本使用这些 GPU，这对于学生、研究人员和开发者来说是一个很大的优势。

选择免费的T4 GPU

在这里插入图片描述

免费的T4 GPU

查看GPU信息

  • NVIDIA GPU 的详细信息
!nvidia-smi

在这里插入图片描述

GPU详细信息

nvidia-smi 是 NVIDIA 提供的一个命令行工具，用于监控和管理 NVIDIA GPU 设备。当你运行 nvidia-smi 命令时，它会返回一系列关于系统中所有 NVIDIA GPU 的详细信息

  • CUDA 版本：系统中安装的 CUDA 版本。

  • 驱动版本：GPU 驱动的版本。

  • 总显存：系统中所有 GPU 的总显存。

  • 其他系统级别的信息，如 CPU 使用率、内存使用情况等。

  • 显示每个进程对 GPU 显存的使用情况，包括进程 ID、已使用的显存量等。

  • GPU 编号：标识每个 GPU 的序号。

  • Name：显示 GPU 的型号。

  • Persistence-M：持续模式状态，显示是否开启，开启时 GPU 会保持唤醒状态以快速响应新任务。

  • Fan：风扇转速，显示为百分比，范围从 0 到 100%。

  • Temp：GPU 温度，单位是摄氏度。

  • Perf：性能状态，从 P0 到 P12，P0 表示最大性能，P12 表示最小性能。

  • Pwr：功耗，显示当前功耗和最大功耗。

  • Memory Usage：显存使用情况，包括总显存、已使用显存和剩余显存。

  • Bus-Id：GPU 总线的标识，格式为 domain🚌device.function。

  • Disp.A：显示 GPU 的显示输出是否激活。

  • Volatile GPU-Util：GPU 利用率，表示 GPU 正在执行的任务的负载百分比。

  • Uncorr. ECC：错误检查与纠正状态，与 GPU 的 ECC 内存相关。

  • Compute M：计算模式，显示 GPU 是处于默认模式还是特定计算模式。

# memory footprint support libraries/code
!ln -sf /opt/bin/nvidia-smi /usr/bin/nvidia-smi
!pip install -q gputil

import psutil
import humanize
import os
import GPUtil as GPU

GPUs = GPU.getGPUs()
# XXX: only one GPU on Colab and isn’t guaranteed
gpu = GPUs[0]
def printm():
    process = psutil.Process(os.getpid())
    virtual_memory = humanize.naturalsize( psutil.virtual_memory().available )
    memory_info = humanize.naturalsize( process.memory_info().rss)
    memoryFree =gpu.memoryFree
    memoryUsed = gpu.memoryUsed
    memoryUtil = gpu.memoryUtil*100
    memoryTotal = gpu.memoryTotal

    print(f"Gen RAM Free: {virtual_memory} | Proc size: {memory_info}" )

    print("GPU RAM Free: {0:.0f}MB | Used: {1:.0f}MB | Util {2:3.0f}% | Total {3:.0f}MB".\
          format(memoryFree, memoryUsed, memoryUtil*100, memoryTotal))
printm()

返回

 Preparing metadata (setup.py) ... done
  Building wheel for gputil (setup.py) ... done
Gen RAM Free: 12.4 GB  | Proc size: 98.9 MB
GPU RAM Free: 15101MB | Used: 0MB | Util   0% | Total 15360MB
  • 查看cuda版本信息
!nvcc -V

返回

nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Tue_Aug_15_22:02:13_PDT_2023
Cuda compilation tools, release 12.2, V12.2.140
Build cuda_12.2.r12.2/compiler.33191640_0

根据版本信息，需要从源码安装

安装vLLM

%%bash
git clone https://github.com/vllm-project/vllm src
cd /content/src
pip install -e .  # This may take 5-10 minutes.

检查torch版本

import torch
print(torch.version.cuda)

使用MODELSCOPE 镜像

%%bash
export VLLM_USE_MODELSCOPE=True

测试

from vllm import LLM, SamplingParams
prompts = [
    "Hello, my name is",
    "The president of the United States is",
    "The capital of France is",
    "The future of AI is",
]
sampling_params = SamplingParams(temperature=0.8, top_p=0.95)
llm = LLM(model="Qwen/Qwen1.5-1.8B-Chat",dtype='half')

在这里插入图片描述

加载千问1.5-1.8B-Chat

outputs = llm.generate(prompts, sampling_params)

# Print the outputs.
for output in outputs:
    prompt = output.prompt
    generated_text = output.outputs[0].text
    print(f"Prompt: {prompt!r}, Generated text: {generated_text!r}")

在这里插入图片描述

引用链接

[1] GPTQ: https://arxiv.org/abs/2210.17323
[2] AWQ: https://arxiv.org/abs/2306.00978
[3] SqueezeLLM: https://arxiv.org/abs/2306.07629

本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如若转载，请注明出处：/a/483616.html

如若内容造成侵权/违法违规/事实不符，请联系我们进行投诉反馈qq邮箱809451989@qq.com，一经查实，立即删除！

相关文章

瑞芯微RK3576|触觉智能：开启科技新篇章

瑞芯微RK3576|触觉智能：开启科技新篇章

更多产品详情可关注深圳触觉智能官网！ “瑞芯微，创新不止步！”——全新芯片RK3576即将震撼登场。指引科技风潮，创造未来无限可能！这款芯片在瑞芯微不断创新和突破的道路上，不仅是对过往成就的完美延续&…
阅读更多...
Python爬虫-批量爬取星巴克全国门店

Python爬虫-批量爬取星巴克全国门店

前言 本文是该专栏的第22篇，后面会持续分享python爬虫干货知识，记得关注。 本文笔者以星巴克为例，通过Python实现批量爬取目标城市的门店数据以及全国的门店数据。 具体的详细思路以及代码实现逻辑，跟着笔者直接往下看正文详细内容。（附带完整代码） 正文 地址：aHR0cHM…
阅读更多...
基于python+vue电影院订票信息管理系统flask-django-php-nodejs

基于python+vue电影院订票信息管理系统flask-django-php-nodejs

根据此问题，研发一套电影院订票信息管理系统，既能够大大提高信息的检索、变更与维护的工作效率，也能够方便信息系统的管理运用，从而减少信息管理成本，提高效率。 该电影院订票信息管理系统采用B/S架构、前后端分离以及…
阅读更多...
Nacos部署（二）Linux部署Nacos2.3.x集群环境

Nacos部署（二）Linux部署Nacos2.3.x集群环境

😊 作者： 一恍过去 💖 主页： https://blog.csdn.net/zhuocailing3390 🎊 社区： Java技术栈交流 🎉 主题： Nacos部署（二）Linux部署Nacos2.3.x集群环境 ⏱️…
阅读更多...
隐私计算实训营第四讲-SecretFlow 环境安装与部署

隐私计算实训营第四讲-SecretFlow 环境安装与部署

SecretFlow 环境安装与部署 SecretFlow环境的安装和部署指南，包括仿真模式和生产模式的配置方法。 1. 环境安装 要安装SecretFlow环境，请按照以下步骤操作： 1.1 创建并激活Conda环境 创建名为 sf 的新Conda环境，并指定Python版…
阅读更多...
#Linux（SSH软件安装及简单使用）

#Linux（SSH软件安装及简单使用）

（一）发行版：Ubuntu16.04.7 （二）记录： （1）终端键入（root权限）安装 apt-get install openssh-server 安装时遇到报错 E: Could not get lock /var/lib/dpkg/…
阅读更多...
LeetCode---389周赛

LeetCode---389周赛

题目列表 3083. 字符串及其反转中是否存在同一子字符串 3084. 统计以给定字符开头和结尾的子字符串总数 3085. 成为 K 特殊字符串需要删除的最少字符数 3086. 拾起 K 个 1 需要的最少行动次数 一、字符串及其反转中是否存在同一子字符串 直接暴力枚举即可，代码…
阅读更多...
网络行为管理系统招标模板

网络行为管理系统招标模板

项目名称：网络行为管理系统招标 一、项目背景 随着信息技术的迅猛发展，网络安全和数据保护已成为企业和组织面临的关键挑战。为了确保网络环境的安全、合规，并实现对网络行为的有效管理和审计，我们特此启动网络行为管理系统的招…
阅读更多...
maya打开bvh脚本

maya打开bvh脚本

目录 maya打开脚本编辑器 运行打开bvh脚本 maya导出bvh脚本 maya打开脚本编辑器 打开Maya软件，点击右下角 “脚本编辑器” 运行打开bvh脚本 https://github.com/jhoolmans/mayaImporterBVH/blob/master/bvh_importer.py import os import re from typing impo…
阅读更多...
OD C卷 - 反射计数

OD C卷 - 反射计数

反射计数（200） 给定一个包含0 、1的二维矩阵；一个物体从给定的初始位置出发，在给定的速度下移动，遇到矩阵的边缘则发生镜面反射，无论物体经过0还是1，都不影响其速度；经过t时间单位后…
阅读更多...
学习次模函数-第2章 定义

学习次模函数-第2章 定义

纵观本专著，我们认为及其幂集（即， 所有子集的集合），其基数为。我们也考虑一个实值集函数，使得。 与凸函数的一般约定相反（见附录A），我们不允许函数有无穷大的值。 次模分…
阅读更多...
文件包含一-WEB攻防-PHP应用文件包含LFIRFI伪协议编码算法无文件利用黑白盒

文件包含一-WEB攻防-PHP应用文件包含LFIRFI伪协议编码算法无文件利用黑白盒

演示案例： 文件包含-原理&分类&利用&修复黑盒利用-VULWEB-有无包含文件白盒利用-CTFSHOW-伪协议玩法 #文件包含-原理&分类&利用&修复 1、原理 程序开发人员通常会把可重复使用的函数写到单个文件中，在使用某些函数时&#xff0c…
阅读更多...
基于物理的实时渲染 -- PBR

基于物理的实时渲染 -- PBR

简介 PBR，或者用更通俗一些的称呼是指基于物理的渲染(Physically Based Rendering)，它指的是一些在不同程度上都基于与现实世界的物理原理更相符的基本理论所构成的渲染技术的集合。正因为基于物理的渲染目的便是为了使用一种更符合物理学规律的方式来模…
阅读更多...
面试题(二)

面试题(二)

目录 21.JVM中哪些是线程共享区 22.你们项⽬如何排查JVM问题 23.⼀个对象从加载到JVM，再到被GC清除，都经历了什么过程？ 24.怎么确定⼀个对象到底是不是垃圾？ 25.GC Root 是什么? 26.JVM有哪些垃圾回收算法？ 27.…
阅读更多...
RabbitMQ 01

RabbitMQ 01

01.定义 02.功能
阅读更多...
18个西语常用前置词用法大全,柯桥西班牙语培训

18个西语常用前置词用法大全,柯桥西班牙语培训

西语词类有九种：名词、冠词、形容词、代词、动词、副词、感叹词、前置词和连接词。 其中，“前置词”也就是我们俗称的“介词”，它是一种不变词类，本身没有独立的词汇意义，在句中与名词、形容词、动词等连用&#xff0…
阅读更多...
BM43 包含min函数的栈（Stack）

BM43 包含min函数的栈（Stack）

import java.util.*; import java.util.Stack;public class Solution {Stack<Integer> s1 new Stack<Integer>();//存最小的元素Stack<Integer> s2 new Stack<Integer>();public void push(int node) {s1.push(node);if(s2.isEmpty() || s2.peek() &…
阅读更多...
2024-03-23 问AI: 介绍一下深度学习中的ReLU函数

2024-03-23 问AI: 介绍一下深度学习中的ReLU函数

文心一言 ReLU&#xff08;Rectified Linear Unit&#xff09;函数是深度学习领域中常用的一种激活函数。它具有简单、计算高效且在某些情况下能有效缓解梯度消失问题等优点&#xff0c;因此在神经网络中得到了广泛的应用。 ReLU函数的定义非常简单&#xff0c;其数学表达式为…
阅读更多...
Element Plus 基本使用

Element Plus 基本使用

一、概述 1.1介绍 Element Plus 基本使用 element-ui 是基于vue 开发的一套ui组件库&#xff0c;提供丰富的网页开发组件&#xff0c;可用快速开发网站&#xff0c;降低前端开发成本版本 element目前有两个版本 element-ui&#xff1a;基于vue2element-plus: 基于vue3 官网地址…
阅读更多...
2-dubbo源码 : 源码环境搭建

2-dubbo源码 : 源码环境搭建

好的开始是成功的一半&#xff0c;阅读源码也是一样。 很多同学在下定决心阅读一个开源框架之后&#xff0c;就一头扎进去&#xff0c;迷失在代码“迷宫”中。此时&#xff0c;有同学意识到&#xff0c;需要一边 Debug 一边看&#xff1b;然后又有一批同学在搭建源码环境的时候…
阅读更多...
最新文章

Copyright @ 2022~2023