数据库用 NVMe 还是 SATA SSD:两者的真正区别

与 SATA 相比,NVMe 接口究竟改变了什么;为什么数据库感受到的是延迟和刷盘速度,而不是吞吐量;以及用来测量任意服务器磁盘的四条 fio 命令。

C团CheapServ 团队作者 更新于 7 分钟阅读
一块 NVMe 硬盘,带着一道表示速度的光迹
本页目录6
  1. SATA 和 NVMe 是不同的接口,而不是不同的闪存
  2. 为什么数据库感受到的是延迟,而不是吞吐量
  3. 不同数据库的实际感受
  4. 在虚拟服务器上有何不同
  5. 用 fio 测量您自己的服务器
  6. 据此选择套餐

我们的 VPS、独立服务器和 GPU 套餐都使用 NVMe 硬盘,存储型产品线则在大容量机械硬盘前面加了一层 NVMe 缓存。如今几乎每份价目表上都写着“NVMe”,所以本文要讲清楚:它对数据库究竟意味着什么,哪些数字比包装盒上印的那些更重要,以及如何用 fio 在十分钟内测量任意一台服务器的磁盘,包括我们的服务器。

SATA 和 NVMe 是不同的接口,而不是不同的闪存

SATA SSD 和 NVMe SSD 可以使用同一种 NAND 闪存。两者的区别在于操作系统与它们通信的方式:

  • SATA 是为机械硬盘设计的。SATA III 链路的速率为 6 Gbit/s,实际可用的吞吐量大约为 550 到 600 MB/s;其背后的 AHCI 协议只有一个命令队列,最多容纳 32 条命令。
  • NVMe 运行在 PCI Express 之上。一条 PCIe 4.0 x4 链路的带宽接近 8 GB/s,协议最多允许 65,535 个队列,每个队列最多容纳 65,536 条命令,因此每个 CPU 核心都可以提交自己的 I/O,而不必等待其他核心。

这就是为什么规格表上的数字差别如此之大:当前的 PCIe 4.0 数据中心级硬盘标称的顺序读取速度约为 6 到 7 GB/s,在高队列深度下的随机 4k 读取可达数十万乃至约一百万 IOPS;而 SATA 硬盘受接口本身所限,上限约为 550 MB/s 和约 100,000 IOPS,无论其背后的闪存性能如何。

为什么数据库感受到的是延迟,而不是吞吐量

一个访问数据库的 Web 请求,会执行一连串彼此依赖的小块读取:先读一个索引页,再读一个表数据页,接着为了做连接再读另一个索引。每一次读取都必须完成之后,下一次才能开始,所以请求的耗时是这些延迟的总和,而不取决于带宽。那些醒目的吞吐量数字,是在同时有几十个请求在途的情况下测得的;而您的查询往往只有一个。

在队列深度为 1 时,一块好的 SATA SSD 和一块好的 NVMe SSD 之间的差距,比 IOPS 数字所显示的要小,因为两者都受限于闪存本身的响应速度。一旦出现并发,NVMe 就会领先:大量连接、并行查询,以及与用户流量同时运行的后台 vacuum 或 compaction。繁忙的数据库服务器总是存在并发,而这正是 SATA 那个只能容纳 32 条命令的单一队列成为瓶颈的地方。

写入还会带来另一个因素。每一个提交的事务,最后都要对预写日志执行一次刷盘(fsync),而刷盘所需的时间,与其说取决于 SATA 还是 NVMe,不如说取决于硬盘是否具备掉电保护。带电容的数据中心级硬盘,只要数据进入受保护的缓存,就可以确认刷盘完成;消费级硬盘则必须等到数据写入闪存,这可能要慢一个数量级。

不同数据库的实际感受

  • PostgreSQL:关键在提交延迟和索引页的随机读取。刷盘够快,您就可以放心保持 synchronous_commit = on,而不必为此付出代价;在慢速磁盘上,人们往往会把它关掉,用持久性换取速度。
  • MySQL 和 MariaDB:InnoDB 的 redo log 具有同样的刷盘特征,而 doublewrite buffer 会把页面写两遍,所以写入慢的代价也会翻倍。
  • Redis:主要在内存中运行,但在磁盘较慢时,appendfsync everysec 可能会造成短暂的阻塞,表现为周期性的延迟尖峰。
  • ClickHouse 和 Elasticsearch:合并和大范围扫描看重顺序吞吐量,NVMe 硬盘的带宽正是在这类场景中才能被充分利用。
  • SQLite:单写者模型,每个事务都要刷盘一次;它的写入速率接近磁盘的刷盘速率。

在虚拟服务器上有何不同

在 VPS 上,您的磁盘是一个由宿主机硬盘承载的虚拟设备。虚拟化会给每个请求增加一些延迟,而宿主机的硬盘又与其他虚拟机共享,因此重要的不是硬盘型号,而是您的虚拟磁盘实际能提供多少性能,以及表现是否稳定。两台规格表上都写着“NVMe”的服务器,表现可能大相径庭,所以值得亲自测量,而不是轻信标签。

除了平均值,还要看延迟的分布。如果一块磁盘的第 99 百分位延迟在一天中的某些时段会跳升一个数量级,说明它正与一个繁忙的邻居共享。如果您的业务无法容忍这种情况,独立服务器可以让您独享硬盘。

用 fio 测量您自己的服务器

安装 fio,然后针对您要测量的磁盘上的一个文件逐项运行测试。读取测试请使用比服务器内存更大的测试文件,以免由页面缓存代替磁盘作答;并确保有足够的空闲空间来存放它:

apt install -y fio

# 1. Random 4k reads, one at a time: the latency a chain of dependent queries feels
fio --name=qd1-read --filename=/srv/fio.test --size=8G --direct=1 --rw=randread \
    --bs=4k --iodepth=1 --runtime=60 --time_based --ioengine=io_uring --group_reporting

# 2. Random 4k writes with a flush after each one: the commit latency of a database
fio --name=fsync-write --filename=/srv/fio.test --size=8G --direct=1 --rw=randwrite \
    --bs=4k --iodepth=1 --fsync=1 --runtime=60 --time_based --ioengine=io_uring --group_reporting

# 3. Random 4k reads with 32 in flight: how the disk handles concurrency
fio --name=qd32-read --filename=/srv/fio.test --size=8G --direct=1 --rw=randread \
    --bs=4k --iodepth=32 --numjobs=4 --runtime=60 --time_based --ioengine=io_uring --group_reporting

# 4. Sequential 1 MB reads: bandwidth for scans, backups and restores
fio --name=seq-read --filename=/srv/fio.test --size=8G --direct=1 --rw=read \
    --bs=1M --iodepth=8 --runtime=60 --time_based --ioengine=io_uring --group_reporting

rm /srv/fio.test

在输出中,请看 clat percentiles 部分,而不是那个醒目的 IOPS 数字:第 50 百分位代表典型的请求,第 99 和第 99.9 百分位则是您的用户会注意到的请求。请多运行几次测试,并在一天中的不同时段运行;单次运行只能反映那一分钟的情况,而不能代表这台服务器。不要在高峰时段对生产服务器运行这些测试,因为基准测试会与您自己的业务流量争抢资源。

据此选择套餐

  • 对于大多数 Web 应用,一台 NVMe 上的 VPS 就绰绰有余:数据库能装进内存,磁盘主要负责写入和偶尔的冷数据读取。
  • 对于写入密集型的数据库,或者远大于内存的数据库,请在做决定之前先测量刷盘延迟(测试 2),并考虑选用独享硬盘的独立服务器。
  • 对于以顺序读取为主的海量数据,例如备份、媒体文件或日志,前置 NVMe 缓存的大容量机械硬盘每 TB 的成本要低得多,这正是存储型 VPS 产品线和独立存储服务器的用途所在。
C团
CheapServ 团队

文章由 CheapServ 团队撰写并持续更新。每篇文章都会标明发布日期和最后修改日期。

一分钟内部署您的第一台服务器。

以 BTC、ETH、XMR 或 USDT 充值,$25 起。余额永不过期,未使用的部分可退款。

立即注册