Поднимаем LLM с открытыми весами на H100 через vLLM

От чистого образа Ubuntu до OpenAI-совместимого эндпоинта для Llama 3.1 70B в FP8: важные флаги и как самостоятельно измерить пропускную способность.

КCКоманда CheapServАвтор Обновлено 9 мин чтения
Видеокарта парит над пьедесталом, от неё расходятся лучи света
На этой странице8
  1. Что поместится на одну H100
  2. Базовая система
  3. Флаги, которые действительно важны
  4. Юнит systemd, который переживает перезагрузки
  5. Обратный прокси с API-ключом
  6. Как это измерить
  7. Мониторинг
  8. Когда пора идти дальше

В этом руководстве сервер vLLM собирается по шагам, чтобы вы могли воспроизвести его на чистом образе Ubuntu или адаптировать под себя шаблон vLLM на тарифах с H100. Цель — эндпоинт, устроенный как в продакшене: Llama 3.1 70B Instruct в FP8 на одной H100 с 80 GB, OpenAI-совместимый API за обратным прокси с API-ключом и достаточно замеров, чтобы понять, когда пора добавлять вторую карту.

Что поместится на одну H100

Модель на 70B помещается на карту с 80 GB только при условии, что веса квантизованы. В FP8 веса Llama 3.1 70B занимают около 70 GB, и после накладных расходов CUDA и vLLM под KV-кэш остаётся примерно 8 GB. При расходе около 320 KB кэша в BF16 на токен это примерно 25 000 токенов на все выполняющиеся запросы: один диалог на 16k или пара десятков коротких чатов одновременно, а вот даже один контекст на 32k уже не поместится. Если вам нужны длинные контексты и высокая параллельность на 70B, берите две H100 с тензорным параллелизмом; если не нужно ни то ни другое, модель 8B или 14B на RTX 5090 обойдётся в разы дешевле и будет отвечать быстрее.

МодельТочностьВесаОстаётся под KV-кэш (80 GB)Полных контекстов 8k одновременно
Llama 3.1 8BBF1616 GB~58 GB~50
Qwen2.5 32BFP833 GB~41 GB~20
Llama 3.1 70BFP870 GB~8 GB~3
Llama 3.1 70BBF16140 GBне помещаетсяминимум 2× H100

Базовая система

Начните с базового образа Ubuntu 24.04 · CUDA 12.8 · driver 570. Проверьте карту и драйвер, затем создайте окружение Python. Мы используем uv, потому что он за секунды подбирает нужные wheel-пакеты с CUDA.

nvidia-smi --query-gpu=name,memory.total,driver_version --format=csv
curl -LsSf https://astral.sh/uv/install.sh | sh
uv venv /opt/vllm && source /opt/vllm/bin/activate
uv pip install vllm==0.6.6 huggingface_hub[cli]

Войдите в Hugging Face, используя токен аккаунта, принявшего лицензию Llama, и заранее скачайте веса в /data, чтобы сервис загружал локальную копию, а не скачивал 70 GB при первом запуске:

huggingface-cli login
huggingface-cli download neuralmagic/Meta-Llama-3.1-70B-Instruct-FP8 --local-dir /data/models/llama-70b-fp8

Флаги, которые действительно важны

У vLLM около сотни флагов. Пять из них определяют, будет ли сервер хорошим.

vllm serve /data/models/llama-70b-fp8 \
  --served-model-name llama-3.1-70b \
  --max-model-len 16384 \
  --gpu-memory-utilization 0.95 \
  --max-num-seqs 48 \
  --enable-prefix-caching \
  --host 127.0.0.1 --port 8000
  • --max-model-len резервирует KV-кэш на каждую последовательность. Задавайте длину самого длинного промпта, который вы реально будете обслуживать, а не максимум модели: при 16k память на один слот вдвое меньше, чем при 32k.
  • --gpu-memory-utilization 0.95 безопасен на карте, на которой больше ничего не запущено. Если вы делите GPU со вторым процессом, оставьте значение по умолчанию — 0.9.
  • --max-num-seqs ограничивает число параллельных последовательностей. Слишком много — запросы выстраиваются в очередь внутри планировщика и дают длинные «хвосты» задержек; слишком мало — карта простаивает. Для 70B FP8 при 16k начните с 48 и дальше подстраивайте значение по метрикам.
  • --enable-prefix-caching переиспользует KV-блоки для одинаковых префиксов промптов, а в чате это почти весь системный промпт. Почти ничего не стоит и на чат-трафике может заметно поднять пропускную способность.
  • --host 127.0.0.1: единственная аутентификация в vLLM — необязательный статический ключ (--api-key), который защищает только маршруты /v1. Сервер ни в коем случае не должен слушать публичный интерфейс.

Юнит systemd, который переживает перезагрузки

cat > /etc/systemd/system/vllm.service <<'EOF'
[Unit]
Description=vLLM OpenAI-compatible server
After=network-online.target
[Service]
User=vllm
Environment=HF_HOME=/data/hf
ExecStart=/opt/vllm/bin/vllm serve /data/models/llama-70b-fp8 --served-model-name llama-3.1-70b --max-model-len 16384 --gpu-memory-utilization 0.95 --max-num-seqs 48 --enable-prefix-caching --host 127.0.0.1 --port 8000
Restart=always
RestartSec=5
[Install]
WantedBy=multi-user.target
EOF
useradd -r -d /data -s /usr/sbin/nologin vllm && chown -R vllm /data
systemctl daemon-reload && systemctl enable --now vllm
journalctl -fu vllm

Загрузка 70 GB весов занимает некоторое время; строка в логе Uvicorn running on http://127.0.0.1:8000 означает, что сервер готов.

Обратный прокси с API-ключом

Caddy сам получает сертификат и проверяет bearer-токен тремя строками. Сначала направьте DNS-запись на сервер.

apt install -y caddy
cat > /etc/caddy/Caddyfile <<'EOF'
llm.example.com {
  @noauth not header Authorization "Bearer CHANGE-ME-32-RANDOM-CHARS"
  respond @noauth 401
  reverse_proxy 127.0.0.1:8000 {
    flush_interval -1
  }
}
EOF
systemctl reload caddy

Именно flush_interval -1 заставляет потоковые ответы идти потоком, а не копиться в буфере. Проверьте через OpenAI SDK: задайте base_url равным https://llm.example.com/v1, а api_key — токену; больше в клиенте ничего менять не нужно.

Как это измерить

Пропускная способность зависит от длины промптов, длины ответов и того, сколько запросов приходит одновременно, поэтому измеряйте её на своём трафике. Прогоните выборку реальных запросов с фиксированной параллельностью с помощью инструмента нагрузочного тестирования или короткого скрипта, начиная с одного запроса и удваивая их число в каждом раунде, и во время каждого раунда следите за этими показателями:

ПоказательГде смотретьО чём говорит
Пропускная способность генерацииAvg generation throughput в логе vLLMСколько выходных токенов в секунду выдаётся по всем запросам
Выполняемые и ожидающие запросыRunning и Pending в той же строке логаНачали ли запросы выстраиваться в очередь
Заполнение KV-кэшаGPU KV cache usage в той же строке логаНасколько близко вытеснение последовательностей из кэша
Время до первого токенаvllm:time_to_first_token_seconds на /metricsСколько пользователь ждёт, прежде чем начнётся ответ

Суммарная пропускная способность растёт вместе с параллельностью, а каждый отдельный запрос при этом замедляется — пока не заполнится KV-кэш или у карты не кончится вычислительная мощность; дальше очередь только добавляет задержку. Если ваш трафик регулярно упирается в этот предел, следующий шаг — больше памяти GPU: карта с большим объёмом памяти даёт KV-кэшу больше места, а несколько карт с --tensor-parallel-size добавляют ещё и вычислительной мощности и заодно открывают путь к BF16.

Мониторинг

vLLM отдаёт метрики Prometheus по адресу /metrics. Алерты стоит настроить на три метрики: vllm:num_requests_waiting (значение выше нескольких единиц дольше минуты означает, что сервер насыщен), vllm:gpu_cache_usage_perc (выше 90% означает, что последовательности вытесняются из кэша) и vllm:e2e_request_latency_seconds по p95. Для самой карты добавьте nvidia-smi dmon -s um или дополнение netdata.

Когда пора идти дальше

О том, что установка переросла одну карту, говорят три признака: метрика ожидающих запросов редко равна нулю, вашему продукту нужны контексты 32k при реальной параллельности или вы хотите обслуживать сразу две модели. Все три случая решаются большим объёмом памяти GPU — картой с большей памятью или несколькими картами с тензорным параллелизмом; на нескольких картах тот же файл юнита работает с добавленным флагом тензорного параллелизма. А пока эта единственная карта за фиксированную ежемесячную цену обслуживает на удивление много трафика.

КC
Команда CheapServ

Статьи пишет и поддерживает в актуальном состоянии команда CheapServ. У каждой статьи указаны дата публикации и дата последнего изменения.

Разверните первый сервер меньше чем за минуту.

Пополните баланс от $25 в BTC, ETH, XMR или USDT. Баланс не сгорает, а неиспользованные средства можно вернуть.

Создать аккаунт