在 H100 上用 vLLM 部署开放权重的大语言模型

从一台干净的 Ubuntu 镜像出发,搭建兼容 OpenAI 的 Llama 3.1 70B(FP8)接口,附上关键启动参数,以及自行测量吞吐量的方法。

C团CheapServ 团队作者 更新于 9 分钟阅读
一块 GPU 显卡悬浮在基座上方,光束从中向外流出
本页目录8
  1. 一张 H100 能装下什么
  2. 基础系统
  3. 真正重要的参数
  4. 重启后依然能自动运行的 systemd 单元
  5. 带 API 密钥的反向代理
  6. 如何自行测量
  7. 监控
  8. 何时该升级

本指南按步骤搭建一台 vLLM 服务器,方便您在干净的 Ubuntu 镜像上复现,或据此按自己的需要改造 H100 套餐上的 vLLM 模板。目标是一个接近生产环境的接口:在单张 80 GB 的 H100 上以 FP8 精度运行 Llama 3.1 70B Instruct,通过带 API 密钥的反向代理提供兼容 OpenAI 的 API,并做足够的测量,以便判断何时该加第二张卡。

一张 H100 能装下什么

80 GB 的显卡只有在权重经过量化的前提下,才装得下 70B 模型。以 FP8 计,Llama 3.1 70B 的权重约为 70 GB,扣除 CUDA 和 vLLM 的开销后,留给 KV 缓存的只有大约 8 GB。按 BF16 缓存每个 token 约占 320 KB 计算,这些空间一共只能容纳约 25,000 个 token,由所有正在运行的请求共享:够一个 16k 的对话使用,或同时处理二十来个简短的聊天请求,但连一个 32k 的上下文都装不下。如果您在 70B 上既需要长上下文又需要高并发,就要用两张 H100 做张量并行;如果两者都不需要,那么在 RTX 5090 上运行 8B 或 14B 模型,成本只是零头,响应还更快。

模型精度权重剩余 KV 缓存(80 GB)可同时容纳的完整 8k 上下文
Llama 3.1 8BBF1616 GB~58 GB~50
Qwen2.5 32BFP833 GB~41 GB~20
Llama 3.1 70BFP870 GB~8 GB~3
Llama 3.1 70BBF16140 GB装不下至少 2× H100

基础系统

从 Ubuntu 24.04 · CUDA 12.8 · driver 570 基础镜像开始。先确认显卡和驱动正常,再安装 Python 环境。我们使用 uv,因为它解析 CUDA wheel 包只需要几秒钟。

nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv /opt/vllm && source /opt/vllm/bin/activate
uv pip install vllm==0.6.6 huggingface_hub[cli]

使用已接受 Llama 许可协议的令牌登录 Hugging Face,并把权重预先下载到 /data,这样服务启动时直接加载本地副本,不必在首次启动时再去下载 70 GB 数据:

huggingface-cli login
huggingface-cli download neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8 --local-dir /data/models/llama-70b-fp8

真正重要的参数

vLLM 有上百个参数,其中五个决定了这台服务的好坏。

vllm serve /data/models/llama-70b-fp8 \
  --served-model-name llama-3.1-70b \
  --max-model-len 16384 \
  --gpu-memory-utilization 0.95 \
  --max-num-seqs 48 \
  --enable-prefix-caching \
  --host 127.0.0.1 --port 8000
  • --max-model-len 决定为每个序列预留多少 KV 缓存。请把它设为您实际要处理的最长提示词长度,而不是模型支持的最大值;与 32k 相比,16k 能让每个序列槽位的内存占用减半。
  • --gpu-memory-utilization 0.95 在没有其他任务占用的显卡上是安全的。如果您还要让第二个进程共用这块 GPU,请保持默认值 0.9。
  • --max-num-seqs 限制并发序列数。设得太高,请求会在调度器内部排队,并出现很长的尾延迟;设得太低,显卡又会闲置。对于 16k 上下文的 70B FP8,建议从 48 起步,再根据监控指标调整。
  • --enable-prefix-caching 会为相同的提示词前缀复用 KV 块,而聊天请求中的系统提示词大多就属于这类前缀。它几乎没有额外开销,在聊天流量上可以明显提升吞吐量。
  • --host 127.0.0.1:vLLM 自带的认证只有一个可选的静态密钥(--api-key),而且只保护 /v1 路由,因此绝不能让它监听公网接口。

重启后依然能自动运行的 systemd 单元

cat > /etc/systemd/system/vllm.service <<'EOF'
[Unit]
Description=vLLM OpenAI-compatible server
After=network-online.target
[Service]
User=vllm
Environment=HF_HOME=/data/hf
ExecStart=/opt/vllm/bin/vllm serve /data/models/llama-70b-fp8 --served-model-name llama-3.1-70b --max-model-len 16384 --gpu-memory-utilization 0.95 --max-num-seqs 48 --enable-prefix-caching --host 127.0.0.1 --port 8000
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
EOF
useradd -r -d /data -s /usr/sbin/nologin vllm && chown -R vllm /data
systemctl daemon-reload && systemctl enable --now vllm
journalctl -fu vllm

加载 70 GB 权重需要一些时间;日志里出现 Uvicorn running on http://127.0.0.1:8000 这一行,就说明服务已经就绪。

带 API 密钥的反向代理

Caddy 会自动申请证书,并且只需三行配置就能校验 Bearer 令牌。请先把一条 DNS 记录指向这台服务器。

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
llm.example.com {
  @noauth not header Authorization "Bearer CHANGE-ME-32-RANDOM-CHARS"
  respond @noauth 401
  reverse_proxy 127.0.0.1:8000 {
    flush_interval -1
  }
}
EOF
systemctl reload caddy

flush_interval -1 是让流式响应保持流式输出、而不被缓冲的关键。测试时使用 OpenAI SDK,把 base_url 设为 https://llm.example.com/v1,把 api_key 设为该令牌即可;客户端的其他部分都不需要改动。

如何自行测量

吞吐量取决于提示词长度、生成长度以及同时到达的请求数量,所以请用您自己的流量来测量。用压测工具或一段简短的脚本,以固定的并发数回放一批真实请求:从 1 个并发开始,每一轮翻一倍,并在每轮运行期间读取以下数据:

指标在哪里查看说明什么
生成吞吐量vLLM 日志中的 Avg generation throughput所有请求合计每秒输出的 token 数
运行中与排队中的请求同一行日志中的 Running 和 Pending请求是否已经开始排队
KV 缓存占用同一行日志中的 GPU KV cache usage序列离被抢占还有多远
首 token 延迟/metrics 中的 vllm:time_to_first_token_seconds用户要等多久,回答才开始输出

随着并发增加,总吞吐量会上升,单个请求则会变慢,直到 KV 缓存被占满或显卡算力耗尽;再往上,排队只会增加延迟。如果您的流量经常顶在这个上限,下一步就是增加显存:显存更大的显卡能给 KV 缓存留出更多空间,多张显卡配合 --tensor-parallel-size 还能增加算力,同时也能运行 BF16 精度。

监控

vLLM 在 /metrics 上暴露 Prometheus 指标。值得设置告警的有三项:vllm:num_requests_waiting(等待请求数持续一分钟以上超过少数几个,就说明已经饱和)、vllm:gpu_cache_usage_perc(超过 90% 意味着序列正在被抢占)以及 p95 的 vllm:e2e_request_latency_seconds。如需监控显卡本身,可再加上 nvidia-smi dmon -s um 或 netdata 附加组件。

何时该升级

有三个信号说明这套配置已经超出了一张显卡的承载能力:等待请求数这项指标很少归零;产品需要在真实并发下支持 32k 上下文;或者您想同时提供两个模型的服务。这三种情况都可以靠更多显存来解决:换一张显存更大的显卡,或者用多张显卡做张量并行;使用多张显卡时,同一个单元文件只需加上张量并行参数即可沿用。在那之前,这一张显卡以固定的月费,就能承载出乎意料多的流量。

C团
CheapServ 团队

文章由 CheapServ 团队撰写并持续更新。每篇文章都会标明发布日期和最后修改日期。

一分钟内部署您的第一台服务器。

以 BTC、ETH、XMR 或 USDT 充值,$25 起。余额永不过期,未使用的部分可退款。

立即注册