本指南按步骤搭建一台 vLLM 服务器,方便您在干净的 Ubuntu 镜像上复现,或据此按自己的需要改造 H100 套餐上的 vLLM 模板。目标是一个接近生产环境的接口:在单张 80 GB 的 H100 上以 FP8 精度运行 Llama 3.1 70B Instruct,通过带 API 密钥的反向代理提供兼容 OpenAI 的 API,并做足够的测量,以便判断何时该加第二张卡。
一张 H100 能装下什么
80 GB 的显卡只有在权重经过量化的前提下,才装得下 70B 模型。以 FP8 计,Llama 3.1 70B 的权重约为 70 GB,扣除 CUDA 和 vLLM 的开销后,留给 KV 缓存的只有大约 8 GB。按 BF16 缓存每个 token 约占 320 KB 计算,这些空间一共只能容纳约 25,000 个 token,由所有正在运行的请求共享:够一个 16k 的对话使用,或同时处理二十来个简短的聊天请求,但连一个 32k 的上下文都装不下。如果您在 70B 上既需要长上下文又需要高并发,就要用两张 H100 做张量并行;如果两者都不需要,那么在 RTX 5090 上运行 8B 或 14B 模型,成本只是零头,响应还更快。
| 模型 | 精度 | 权重 | 剩余 KV 缓存(80 GB) | 可同时容纳的完整 8k 上下文 |
|---|---|---|---|---|
| Llama 3.1 8B | BF16 | 16 GB | ~58 GB | ~50 |
| Qwen2.5 32B | FP8 | 33 GB | ~41 GB | ~20 |
| Llama 3.1 70B | FP8 | 70 GB | ~8 GB | ~3 |
| Llama 3.1 70B | BF16 | 140 GB | 装不下 | 至少 2× H100 |
基础系统
从 Ubuntu 24.04 · CUDA 12.8 · driver 570 基础镜像开始。先确认显卡和驱动正常,再安装 Python 环境。我们使用 uv,因为它解析 CUDA wheel 包只需要几秒钟。
nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv /opt/vllm && source /opt/vllm/bin/activate
uv pip install vllm==0.6.6 huggingface_hub[cli]
使用已接受 Llama 许可协议的令牌登录 Hugging Face,并把权重预先下载到 /data,这样服务启动时直接加载本地副本,不必在首次启动时再去下载 70 GB 数据:
huggingface-cli login
huggingface-cli download neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8 --local-dir /data/models/llama-70b-fp8
真正重要的参数
vLLM 有上百个参数,其中五个决定了这台服务的好坏。
vllm serve /data/models/llama-70b-fp8 \
--served-model-name llama-3.1-70b \
--max-model-len 16384 \
--gpu-memory-utilization 0.95 \
--max-num-seqs 48 \
--enable-prefix-caching \
--host 127.0.0.1 --port 8000
--max-model-len决定为每个序列预留多少 KV 缓存。请把它设为您实际要处理的最长提示词长度,而不是模型支持的最大值;与 32k 相比,16k 能让每个序列槽位的内存占用减半。--gpu-memory-utilization 0.95在没有其他任务占用的显卡上是安全的。如果您还要让第二个进程共用这块 GPU,请保持默认值 0.9。--max-num-seqs限制并发序列数。设得太高,请求会在调度器内部排队,并出现很长的尾延迟;设得太低,显卡又会闲置。对于 16k 上下文的 70B FP8,建议从 48 起步,再根据监控指标调整。--enable-prefix-caching会为相同的提示词前缀复用 KV 块,而聊天请求中的系统提示词大多就属于这类前缀。它几乎没有额外开销,在聊天流量上可以明显提升吞吐量。--host 127.0.0.1:vLLM 自带的认证只有一个可选的静态密钥(--api-key),而且只保护/v1路由,因此绝不能让它监听公网接口。
重启后依然能自动运行的 systemd 单元
cat > /etc/systemd/system/vllm.service <<'EOF'
[Unit]
Description=vLLM OpenAI-compatible server
After=network-online.target
[Service]
User=vllm
Environment=HF_HOME=/data/hf
ExecStart=/opt/vllm/bin/vllm serve /data/models/llama-70b-fp8 --served-model-name llama-3.1-70b --max-model-len 16384 --gpu-memory-utilization 0.95 --max-num-seqs 48 --enable-prefix-caching --host 127.0.0.1 --port 8000
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
EOF
useradd -r -d /data -s /usr/sbin/nologin vllm && chown -R vllm /data
systemctl daemon-reload && systemctl enable --now vllm
journalctl -fu vllm
加载 70 GB 权重需要一些时间;日志里出现 Uvicorn running on http://127.0.0.1:8000 这一行,就说明服务已经就绪。
带 API 密钥的反向代理
Caddy 会自动申请证书,并且只需三行配置就能校验 Bearer 令牌。请先把一条 DNS 记录指向这台服务器。
apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
llm.example.com {
@noauth not header Authorization "Bearer CHANGE-ME-32-RANDOM-CHARS"
respond @noauth 401
reverse_proxy 127.0.0.1:8000 {
flush_interval -1
}
}
EOF
systemctl reload caddy
flush_interval -1 是让流式响应保持流式输出、而不被缓冲的关键。测试时使用 OpenAI SDK,把 base_url 设为 https://llm.example.com/v1,把 api_key 设为该令牌即可;客户端的其他部分都不需要改动。
如何自行测量
吞吐量取决于提示词长度、生成长度以及同时到达的请求数量,所以请用您自己的流量来测量。用压测工具或一段简短的脚本,以固定的并发数回放一批真实请求:从 1 个并发开始,每一轮翻一倍,并在每轮运行期间读取以下数据:
| 指标 | 在哪里查看 | 说明什么 |
|---|---|---|
| 生成吞吐量 | vLLM 日志中的 Avg generation throughput | 所有请求合计每秒输出的 token 数 |
| 运行中与排队中的请求 | 同一行日志中的 Running 和 Pending | 请求是否已经开始排队 |
| KV 缓存占用 | 同一行日志中的 GPU KV cache usage | 序列离被抢占还有多远 |
| 首 token 延迟 | /metrics 中的 vllm:time_to_first_token_seconds | 用户要等多久,回答才开始输出 |
随着并发增加,总吞吐量会上升,单个请求则会变慢,直到 KV 缓存被占满或显卡算力耗尽;再往上,排队只会增加延迟。如果您的流量经常顶在这个上限,下一步就是增加显存:显存更大的显卡能给 KV 缓存留出更多空间,多张显卡配合 --tensor-parallel-size 还能增加算力,同时也能运行 BF16 精度。
监控
vLLM 在 /metrics 上暴露 Prometheus 指标。值得设置告警的有三项:vllm:num_requests_waiting(等待请求数持续一分钟以上超过少数几个,就说明已经饱和)、vllm:gpu_cache_usage_perc(超过 90% 意味着序列正在被抢占)以及 p95 的 vllm:e2e_request_latency_seconds。如需监控显卡本身,可再加上 nvidia-smi dmon -s um 或 netdata 附加组件。
何时该升级
有三个信号说明这套配置已经超出了一张显卡的承载能力:等待请求数这项指标很少归零;产品需要在真实并发下支持 32k 上下文;或者您想同时提供两个模型的服务。这三种情况都可以靠更多显存来解决:换一张显存更大的显卡,或者用多张显卡做张量并行;使用多张显卡时,同一个单元文件只需加上张量并行参数即可沿用。在那之前,这一张显卡以固定的月费,就能承载出乎意料多的流量。
