1 基于SPDK的CurveBS PFS存储引擎10/17/22 2 Why ●为了减少使用cpu做内存copy，减少系统调用 ●发挥某些被操作系统屏蔽的功能，例如nvme write zero ●根据阿里《When Cloud Storage Meets RDMA》的说法 ●在100Gbps网络带宽时，内存带宽成为瓶颈 ●Intel Memory Latency Checker (MLC)测试得到的CPU内存带宽是 ●读写内存都由网卡进行offload ●应用程序不再通过系统调用在内核和用户态来回切换10/17/22 4 磁盘的读写 ●基于EXT4的存储引擎，依然需要通过系统调用来回切换 ●读写都需要CPU拷贝数据 ●不能发挥某些NVME的功能，例如write zero10/17/22 5 为什么用PFS ●对代码比较熟悉 ●找一个能管理裸盘，具有产品级可靠性的代码挺难的 ●PFS支持类POSIX文件的接口，与使用EXT4的存储引擎代码很像， ●直接DMA读写，要求的内存必须是DPDK的hugetlb内存 ●必须符合NVME 内存读写地址对齐要求 ●offset 512对齐 ●为零copy提供接口10/17/22 10 BRPC IOBuf DMA ●修改BRPC，允许使用dpdk内存作为IOBuf的内存分配器 ●BRPC接收到的数据在IOBuf中，IOBuf直接使用于NVME DMA传输 ●使用IOBuf内存读nvme，避免自己写PRP页面对齐内存分配代码10/17/22

0:87:00.0-nvme-1 - /dev/disk/by-path/pci-0000:88:00.0-nvme-1 optionalPaths: - /dev/disk/by-path/pci-0000:89:00.0-nvme-1 - /dev/disk/by-path/pci-0000:90:00.0-nvme-1 thinPoolConfig: 000:87:00.0-nvme-1 - /dev/disk/by-path/pci-0000:88:00.0-nvme-1 optionalPaths: - /dev/disk/by-path/pci-0000:89:00.0-nvme-1 - /dev/disk/by-path/pci-0000:90:00.0-nvme-1 thinPoolConfig: name: thin-pool-1 sizePercent: 90 overprovisionRatio:

主机之间的通信。 3.3.1. 通过 OpenStack 使用 PCI 透传向 etcd 节点提供存储 要为 etcd 节点提供快速存储以便 etcd 在大规模稳定，使用 PCI 透传将非易失性内存表达(NVMe)设备直 接传递给 etcd 节点。要使用 Red Hat OpenStack 11 或更高版本进行设置，请在存在 PCI 设备的 OpenStack 节点上完成以下内容。 1. 确定在 BIOS all_filters [pci] alias = { "vendor_id":"144d", "product_id":"a820", "device_type":"type-PCI", "name":"nvme" } 6. 在控制器上重启 nova-api 和 nova-scheduler。 7. 在 /etc/nova/nova.conf 中的计算节点上： [pci] passthrough_whitelist "product_id":"a820", "device_type":"type-PCI", "name":"nvme" } 要检索您想要透传的 NVMe 设备的 address、vendor_id 和 product_id 值，请运行： 8. 重启计算节点上的 nova-compute。 9. 将您正在运行的 OpenStack 版本配置为使用 NVMe 并启动 etcd 节点。 3.4. 使用 TUNED 配置集扩展主机

Polardb的方法 共享盘使用阿里云自带的高性能Nvme盘，注意使用Nvme磁盘对可用 区有要求： • 华东1（杭州）可用区I • 华东2（上海）可用区B • 华北2（北京）可用区K • 华南1（深圳）可用区F。 只有某些规格的虚拟机可以挂载Nvme共享盘： • g7se • c7se • r7se 虚拟机要求是按量付费才可以挂载Nvme共享盘 阿里云的VIP功能目前还在内侧阶段，需要申

Foundation 时使用 gp3-csi。 7.1.2. 裸机 支持内部集群和使用外部集群。 内部集群必须满足存储设备要求，并且具有通过 Local Storage Operator 提供本地 SSD（NVMe/SATA/SAS、SAN）的存储类。 7.1.3. VMware vSphere 支持内部集群和使用外部集群。 推荐的版本： vSphere 6.7、更新 2 或更高版本 vSphere 只支持内部 Red Hat OpenShift Data Foundation 集群。 内部集群必须满足存储设备要求，并且具有通过 Local Storage Operator 提供本地 SSD（NVMe/SATA/SAS、SAN）的存储类。 7.1.7. Red Hat OpenStack Platform [技术预览] 支持内部 Red Hat OpenShift Data Foundation Operator 提供本地 SSD（NVMe/SATA/SAS、SAN）的存储类。 7.1.9. IBM Z 和 LinuxONE 支持内部 Red Hat OpenShift Data Foundation 集群。此外，也支持在 x86 上运行的 Ceph 的外部模式。 内部集群必须满足存储设备要求，并且具有通过 Local Storage Operator 提供本地 SSD（NVMe/SATA/SAS、SAN）的存储类。

TiDB 1 TiKV 3 TiFlash 3 • CPU：Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz，40 核 • 内存：189 GB • 磁盘：NVMe 3TB * 2 2.5.3.2.2 软件版本 服务类型 软件版本 TiDB 5.4 Greenplum 6.15.0 Apache Spark 3.1.1 2.5.3.2.3 配置参数 = 10 << 30; Greenplum 配置 Greenplum 集群使用额外的一台 Master 节点部署（共四台），每台 Segment Server 部署 8 Segments（每个 NVMe SSD 各 4 个），总共 24 Segments。存储格式为 append-only / 列式存储，分区键为主键。 log_statement = all gp_autostats_mode Apache Spark 测试使用 Apache Parquet 作为存储格式，数据存储在 HDFS 上。HDFS 为三节点，为每个节点指定两 块 NVMe SSD 盘作为数据盘。通过 Standalone 方式启动 Spark 集群，使用 NVMe SSD 盘作为 spark.local.dir 本地 目录以借助快速盘加速 Shuffle Spill 过程，无额外分区和索引。 --driver-memory

基于在架构上的选择和优秀的工程实践，Curve 在性能、运维、稳定性、工程实践质量上都优于Ceph主要亮点 — 高性能 测试环境：3台服务器*8块NVME， Intel(R) Xeon(R) Gold 5318Y CPU @ 2.10GHz ，256G，3副本，使用自带fio 高性能 NVME 块存储场景，Curve随机读写性能远优于Ceph 单卷 多卷主要亮点 — 易运维 运维场景 Curve Ceph

3.2.1 硬件配置 56 • 节点数量：3 • CPU：Intel(R) Xeon(R) CPU E5-2630 v4 @ 2.20GHz，40 核 • 内存：189 GB • 磁盘：NVMe 3TB * 2 2.5.3.2.2 软件版本 服务类型 软件版本 TiDB 5.3 Greenplum 6.15.0 Apache Spark 3.1.1 2.5.3.2.3 配置参数 = 10 << 30; Greenplum 配置 Greenplum 集群使用额外的一台 Master 节点部署（共四台），每台 Segment Server 部署 8 Segments（每个 NVMe SSD 各 4 个），总共 24 Segments。存储格式为 append-only / 列式存储，分区键为主键。 log_statement = all gp_autostats_mode Apache Spark 测试使用 Apache Parquet 作为存储格式，数据存储在 HDFS 上。HDFS 为三节点，为每个节点指定两 块 NVMe SSD 盘作为数据盘。通过 Standalone 方式启动 Spark 集群，使用 NVMe SSD 盘作为 spark.local.dir 本地 目录以借助快速盘加速 Shuffle Spill 过程，无额外分区和索引。 --driver-memory

命令卸载，从编辑 /etc/fstab 文件步骤开始执行，添加挂载参数重新挂载 即可。 1. # umount /dev/nvme0n1 下面以 /dev/nvme0n1 数据盘为例： 查看数据盘 1. # fdisk -l 2. Disk /dev/nvme0n1: 1000 GB 创建分区表 在部署目标机器上安装 NTP 服务 在部署目标机器上添加数据盘 ext4 文件系统挂载参数 Ansible 书栈(BookStack.CN) 构建 1. # parted -s -a optimal /dev/nvme0n1 mklabel gpt -- mkpart primary ext4 1 -1 格式化文件系统 1. # mkfs.ext4 /dev/nvme0n1 查看数据盘分区 UUID，本例中 nvme0n1 的 UUID 为 c51eb23b-195c-4061-92a9-3fad812cc12f。 f414c5c0-f823-4bb1-8fdf-e531173a72ed 6. └─sda3 ext4 547909c1-398d-4696-94c6-03e43e317b60 / 7. sr0 8. nvme0n1 ext4 c51eb23b-195c-4061-92a9-3fad812cc12f 编辑 /etc/fstab 文件，添加 nodelalloc 挂载参数 1.

验证测试环境中的 TiDB 和 PD 可以部署在同一台服务器上。 • 如进行性能相关的测试，避免采用低性能存储和网络硬件配置，防止对测试结果的正确 性产生干扰。 • TiKV 的 SSD 盘推荐使用 NVME 接口以保证读写更快。 • 如果仅验证功能，建议使用TiDB 数据库快速上手指南进行单机功能测试。 • TiDB 对于磁盘的使用以存放日志为主，因此在测试环境中对于磁盘类型和容量并无特殊 要求。 TiDB 前的环境检查操作，以下各项操作按优先级排序。 448 5.2.1 在 TiKV 部署目标机器上添加数据盘 EXT4 文件系统挂载参数 生产环境部署，建议使用 EXT4 类型文件系统的 NVME 类型的 SSD 磁盘存储 TiKV 数据文件。这个配置方案为最 佳实施方案，其可靠性、安全性、稳定性已经在大量线上场景中得到证实。 使用 root 用户登录目标机器，将部署目标机器数据盘格式化成 umount /dev/nvme0n1p1 命令卸 载，从编辑 /etc/fstab 文件步骤开始执行，添加挂载参数重新挂载即可。 以 /dev/nvme0n1 数据盘为例，具体操作步骤如下： 1. 查看数据盘。 fdisk -l Disk /dev/nvme0n1: 1000 GB 2. 创建分区。 parted -s -a optimal /dev/nvme0n1 mklabel gpt