NVMe или SATA SSD для баз данных: в чём реальная разница

Чем NVMe отличается от SATA, почему базам данных важны задержка и сброс на диск, а не пропускная способность, и четыре команды fio для проверки диска.

КCКоманда CheapServАвтор Обновлено 7 мин чтения
NVMe-накопитель со световым следом скорости
На этой странице6
  1. SATA и NVMe — разные интерфейсы, а не разная флеш-память
  2. Почему база данных чувствует задержку, а не пропускную способность
  3. Как это ощущает каждая база данных
  4. Что меняется на виртуальном сервере
  5. Измерьте свой сервер с помощью fio
  6. Как выбрать тариф с учётом всего этого

В наших тарифах VPS, выделенных и GPU-серверов используются NVMe-накопители, а в линейках для хранения данных ёмкие жёсткие диски работают за NVMe-кэшем. «NVMe» теперь значится почти в каждом прайс-листе, поэтому в этой статье объясняется, что он на самом деле меняет для базы данных, какие цифры важнее тех, что написаны на коробке, и как за десять минут измерить диск любого сервера, включая наши, с помощью fio.

SATA и NVMe — разные интерфейсы, а не разная флеш-память

SATA SSD и NVMe SSD могут использовать одну и ту же NAND-память. Различается то, как с ними общается операционная система:

  • SATA создавался для вращающихся дисков. Канал SATA III работает на скорости 6 Gbit/s, что оставляет примерно от 550 до 600 MB/s полезной пропускной способности, а стоящий за ним протокол AHCI имеет единственную очередь на 32 команды.
  • NVMe работает поверх PCI Express. Канал PCIe 4.0 x4 пропускает около 8 GB/s, а протокол допускает до 65 535 очередей по 65 536 команд в каждой, так что каждое ядро процессора может отправлять свои операции ввода-вывода, не дожидаясь остальных.

Поэтому в спецификациях такие разные цифры: современные серверные накопители PCIe 4.0 заявляют последовательное чтение около 6–7 GB/s и от нескольких сотен тысяч до примерно миллиона IOPS случайного чтения блоками 4k при большой глубине очереди, тогда как SATA-накопители упираются примерно в 550 MB/s и около 100 000 IOPS из-за самого интерфейса, на что бы ни была способна стоящая за ним флеш-память.

Почему база данных чувствует задержку, а не пропускную способность

Веб-запрос, обращающийся к базе данных, выполняет цепочку мелких зависимых чтений: страница индекса, затем страница таблицы, затем ещё один индекс для соединения (join). Каждое чтение должно завершиться, прежде чем начнётся следующее, поэтому время запроса — это сумма задержек, а не функция от пропускной способности. Рекламные цифры пропускной способности измеряются, когда одновременно выполняются десятки запросов; у вашего запроса часто выполняется один.

При глубине очереди, равной единице, разрыв между хорошим SATA SSD и хорошим NVMe SSD меньше, чем подсказывают цифры IOPS, потому что оба упираются в то, насколько быстро отвечает сама флеш-память. NVMe вырывается вперёд, как только появляется параллельность: много соединений, параллельные запросы, фоновые vacuum или compaction рядом с пользовательским трафиком. На загруженном сервере баз данных параллельность есть всегда, и именно здесь единственная очередь SATA на 32 команды становится узким местом.

У записи есть ещё один фактор. Каждая зафиксированная транзакция заканчивается сбросом (fsync) журнала предзаписи (WAL), а время сброса зависит не столько от выбора между SATA и NVMe, сколько от того, есть ли у накопителя защита от потери питания. Серверные накопители с конденсаторами могут подтвердить сброс, как только данные попали в их защищённый кэш; потребительские должны дождаться, пока данные окажутся во флеш-памяти, а это может быть на порядок медленнее.

Как это ощущает каждая база данных

  • PostgreSQL: задержка коммита и случайное чтение страниц индекса. Быстрый сброс позволяет оставить synchronous_commit = on, не платя за это; на медленных дисках его отключают и жертвуют надёжностью ради скорости.
  • MySQL и MariaDB: у redo-журнала InnoDB тот же профиль сброса, а doublewrite buffer записывает страницы дважды, так что медленная запись бьёт вдвойне.
  • Redis: работает в основном в памяти, но appendfsync everysec на медленном диске может ненадолго блокировать работу, что проявляется периодическими скачками задержки.
  • ClickHouse и Elasticsearch: для слияний и больших сканирований важна последовательная пропускная способность — именно здесь пропускная способность NVMe-накопителя используется полностью.
  • SQLite: один пишущий процесс, который сбрасывает данные на диск при каждой транзакции; скорость записи близка к скорости сброса диска.

Что меняется на виртуальном сервере

На VPS ваш диск — это виртуальное устройство, за которым стоят накопители хоста. Виртуализация добавляет некоторую задержку к каждому запросу, а накопители хоста используются совместно с другими виртуальными машинами, поэтому важна не модель накопителя, а то, что на самом деле выдаёт ваш виртуальный диск и насколько стабильно. Два сервера со словом «NVMe» в спецификации могут вести себя совершенно по-разному, поэтому стоит измерять, а не доверять этикетке.

Смотрите не только на среднее значение, но и на разброс задержек. Если у диска задержка на 99-м перцентиле в определённое время суток вырастает на порядок, значит, он делит хост с загруженным соседом. Если ваша нагрузка этого не терпит, выделенный сервер отдаст накопители вам одному.

Измерьте свой сервер с помощью fio

Установите fio и запустите каждый тест на файле на том диске, который хотите измерить. Для тестов чтения берите тестовый файл больше объёма RAM сервера, чтобы вместо диска не отвечал страничный кэш, и убедитесь, что для него хватает свободного места:

apt install -y fio

# 1. Random 4k reads, one at a time: the latency a chain of dependent queries feels
fio --name=qd1-read --filename=/srv/fio.test --size=8G --direct=1 --rw=randread \
    --bs=4k --iodepth=1 --runtime=60 --time_based --ioengine=io_uring --group_reporting

# 2. Random 4k writes with a flush after each one: the commit latency of a database
fio --name=fsync-write --filename=/srv/fio.test --size=8G --direct=1 --rw=randwrite \
    --bs=4k --iodepth=1 --fsync=1 --runtime=60 --time_based --ioengine=io_uring --group_reporting

# 3. Random 4k reads with 32 in flight: how the disk handles concurrency
fio --name=qd32-read --filename=/srv/fio.test --size=8G --direct=1 --rw=randread \
    --bs=4k --iodepth=32 --numjobs=4 --runtime=60 --time_based --ioengine=io_uring --group_reporting

# 4. Sequential 1 MB reads: bandwidth for scans, backups and restores
fio --name=seq-read --filename=/srv/fio.test --size=8G --direct=1 --rw=read \
    --bs=1M --iodepth=8 --runtime=60 --time_based --ioengine=io_uring --group_reporting

rm /srv/fio.test

В выводе смотрите на раздел clat percentiles, а не на итоговые IOPS: 50-й перцентиль — это типичный запрос, а 99-й и 99.9-й — запросы, которые замечают ваши пользователи. Запускайте тесты несколько раз и в разное время суток: один прогон говорит о той минуте, а не о сервере. Не запускайте их на рабочем сервере в часы пик: бенчмарк конкурирует с вашим собственным трафиком.

Как выбрать тариф с учётом всего этого

  • Для большинства веб-приложений VPS на NVMe более чем достаточно: база данных помещается в RAM, а диск в основном обслуживает запись и редкие холодные чтения.
  • Для базы данных с интенсивной записью или намного больше объёма RAM измерьте задержку сброса (тест 2), прежде чем принимать решение, и рассмотрите выделенный сервер, где накопители принадлежат только вам.
  • Для больших объёмов данных, которые читаются последовательно, — резервных копий, медиа или логов — ёмкие жёсткие диски за NVMe-кэшем обходятся за терабайт гораздо дешевле; именно для этого и существуют линейка VPS для хранения данных и выделенный сервер для хранения данных.
КC
Команда CheapServ

Статьи пишет и поддерживает в актуальном состоянии команда CheapServ. У каждой статьи указаны дата публикации и дата последнего изменения.

Разверните первый сервер меньше чем за минуту.

Пополните баланс от $25 в BTC, ETH, XMR или USDT. Баланс не сгорает, а неиспользованные средства можно вернуть.

Создать аккаунт