В наших тарифах VPS, выделенных и GPU-серверов используются NVMe-накопители, а в линейках для хранения данных ёмкие жёсткие диски работают за NVMe-кэшем. «NVMe» теперь значится почти в каждом прайс-листе, поэтому в этой статье объясняется, что он на самом деле меняет для базы данных, какие цифры важнее тех, что написаны на коробке, и как за десять минут измерить диск любого сервера, включая наши, с помощью fio.
SATA и NVMe — разные интерфейсы, а не разная флеш-память
SATA SSD и NVMe SSD могут использовать одну и ту же NAND-память. Различается то, как с ними общается операционная система:
- SATA создавался для вращающихся дисков. Канал SATA III работает на скорости 6 Gbit/s, что оставляет примерно от 550 до 600 MB/s полезной пропускной способности, а стоящий за ним протокол AHCI имеет единственную очередь на 32 команды.
- NVMe работает поверх PCI Express. Канал PCIe 4.0 x4 пропускает около 8 GB/s, а протокол допускает до 65 535 очередей по 65 536 команд в каждой, так что каждое ядро процессора может отправлять свои операции ввода-вывода, не дожидаясь остальных.
Поэтому в спецификациях такие разные цифры: современные серверные накопители PCIe 4.0 заявляют последовательное чтение около 6–7 GB/s и от нескольких сотен тысяч до примерно миллиона IOPS случайного чтения блоками 4k при большой глубине очереди, тогда как SATA-накопители упираются примерно в 550 MB/s и около 100 000 IOPS из-за самого интерфейса, на что бы ни была способна стоящая за ним флеш-память.
Почему база данных чувствует задержку, а не пропускную способность
Веб-запрос, обращающийся к базе данных, выполняет цепочку мелких зависимых чтений: страница индекса, затем страница таблицы, затем ещё один индекс для соединения (join). Каждое чтение должно завершиться, прежде чем начнётся следующее, поэтому время запроса — это сумма задержек, а не функция от пропускной способности. Рекламные цифры пропускной способности измеряются, когда одновременно выполняются десятки запросов; у вашего запроса часто выполняется один.
При глубине очереди, равной единице, разрыв между хорошим SATA SSD и хорошим NVMe SSD меньше, чем подсказывают цифры IOPS, потому что оба упираются в то, насколько быстро отвечает сама флеш-память. NVMe вырывается вперёд, как только появляется параллельность: много соединений, параллельные запросы, фоновые vacuum или compaction рядом с пользовательским трафиком. На загруженном сервере баз данных параллельность есть всегда, и именно здесь единственная очередь SATA на 32 команды становится узким местом.
У записи есть ещё один фактор. Каждая зафиксированная транзакция заканчивается сбросом (fsync) журнала предзаписи (WAL), а время сброса зависит не столько от выбора между SATA и NVMe, сколько от того, есть ли у накопителя защита от потери питания. Серверные накопители с конденсаторами могут подтвердить сброс, как только данные попали в их защищённый кэш; потребительские должны дождаться, пока данные окажутся во флеш-памяти, а это может быть на порядок медленнее.
Как это ощущает каждая база данных
- PostgreSQL: задержка коммита и случайное чтение страниц индекса. Быстрый сброс позволяет оставить
synchronous_commit = on, не платя за это; на медленных дисках его отключают и жертвуют надёжностью ради скорости. - MySQL и MariaDB: у redo-журнала InnoDB тот же профиль сброса, а doublewrite buffer записывает страницы дважды, так что медленная запись бьёт вдвойне.
- Redis: работает в основном в памяти, но
appendfsync everysecна медленном диске может ненадолго блокировать работу, что проявляется периодическими скачками задержки. - ClickHouse и Elasticsearch: для слияний и больших сканирований важна последовательная пропускная способность — именно здесь пропускная способность NVMe-накопителя используется полностью.
- SQLite: один пишущий процесс, который сбрасывает данные на диск при каждой транзакции; скорость записи близка к скорости сброса диска.
Что меняется на виртуальном сервере
На VPS ваш диск — это виртуальное устройство, за которым стоят накопители хоста. Виртуализация добавляет некоторую задержку к каждому запросу, а накопители хоста используются совместно с другими виртуальными машинами, поэтому важна не модель накопителя, а то, что на самом деле выдаёт ваш виртуальный диск и насколько стабильно. Два сервера со словом «NVMe» в спецификации могут вести себя совершенно по-разному, поэтому стоит измерять, а не доверять этикетке.
Смотрите не только на среднее значение, но и на разброс задержек. Если у диска задержка на 99-м перцентиле в определённое время суток вырастает на порядок, значит, он делит хост с загруженным соседом. Если ваша нагрузка этого не терпит, выделенный сервер отдаст накопители вам одному.
Измерьте свой сервер с помощью fio
Установите fio и запустите каждый тест на файле на том диске, который хотите измерить. Для тестов чтения берите тестовый файл больше объёма RAM сервера, чтобы вместо диска не отвечал страничный кэш, и убедитесь, что для него хватает свободного места:
apt install -y fio
# 1. Random 4k reads, one at a time: the latency a chain of dependent queries feels
fio --name=qd1-read --filename=/srv/fio.test --size=8G --direct=1 --rw=randread \
--bs=4k --iodepth=1 --runtime=60 --time_based --ioengine=io_uring --group_reporting
# 2. Random 4k writes with a flush after each one: the commit latency of a database
fio --name=fsync-write --filename=/srv/fio.test --size=8G --direct=1 --rw=randwrite \
--bs=4k --iodepth=1 --fsync=1 --runtime=60 --time_based --ioengine=io_uring --group_reporting
# 3. Random 4k reads with 32 in flight: how the disk handles concurrency
fio --name=qd32-read --filename=/srv/fio.test --size=8G --direct=1 --rw=randread \
--bs=4k --iodepth=32 --numjobs=4 --runtime=60 --time_based --ioengine=io_uring --group_reporting
# 4. Sequential 1 MB reads: bandwidth for scans, backups and restores
fio --name=seq-read --filename=/srv/fio.test --size=8G --direct=1 --rw=read \
--bs=1M --iodepth=8 --runtime=60 --time_based --ioengine=io_uring --group_reporting
rm /srv/fio.test
В выводе смотрите на раздел clat percentiles, а не на итоговые IOPS: 50-й перцентиль — это типичный запрос, а 99-й и 99.9-й — запросы, которые замечают ваши пользователи. Запускайте тесты несколько раз и в разное время суток: один прогон говорит о той минуте, а не о сервере. Не запускайте их на рабочем сервере в часы пик: бенчмарк конкурирует с вашим собственным трафиком.
Как выбрать тариф с учётом всего этого
- Для большинства веб-приложений VPS на NVMe более чем достаточно: база данных помещается в RAM, а диск в основном обслуживает запись и редкие холодные чтения.
- Для базы данных с интенсивной записью или намного больше объёма RAM измерьте задержку сброса (тест 2), прежде чем принимать решение, и рассмотрите выделенный сервер, где накопители принадлежат только вам.
- Для больших объёмов данных, которые читаются последовательно, — резервных копий, медиа или логов — ёмкие жёсткие диски за NVMe-кэшем обходятся за терабайт гораздо дешевле; именно для этого и существуют линейка VPS для хранения данных и выделенный сервер для хранения данных.
