1 基于SPDK的CurveBS PFS存储引擎10/17/22 2 Why ●为了减少使用cpu做内存copy，减少系统调用 ●发挥某些被操作系统屏蔽的功能，例如nvme write zero ●根据阿里《When Cloud Storage Meets RDMA》的说法 ●在100Gbps网络带宽时，内存带宽成为瓶颈 ●Intel Memory Latency Checker (MLC)测试得到的CPU内存带宽是 ●读写内存都由网卡进行offload ●应用程序不再通过系统调用在内核和用户态来回切换10/17/22 4 磁盘的读写 ●基于EXT4的存储引擎，依然需要通过系统调用来回切换 ●读写都需要CPU拷贝数据 ●不能发挥某些NVME的功能，例如write zero10/17/22 5 为什么用PFS ●对代码比较熟悉 ●找一个能管理裸盘，具有产品级可靠性的代码挺难的 ●PFS支持类POSIX文件的接口，与使用EXT4的存储引擎代码很像， ●直接DMA读写，要求的内存必须是DPDK的hugetlb内存 ●必须符合NVME 内存读写地址对齐要求 ●offset 512对齐 ●为零copy提供接口10/17/22 10 BRPC IOBuf DMA ●修改BRPC，允许使用dpdk内存作为IOBuf的内存分配器 ●BRPC接收到的数据在IOBuf中，IOBuf直接使用于NVME DMA传输 ●使用IOBuf内存读nvme，避免自己写PRP页面对齐内存分配代码10/17/22

Acceleration Kit (HSAK) improves the I/O performance of NVMe devices. The software library implements an I/O software stack of high-performance NVMe devices. It is advanced for its user mode, asynchronization lock-free, and polling features. Compared with the NVMe device I/O software stack in the native Linux kernel, the HSAK greatly reduces the latency of NVMe commands and improves the I/O processing capability capability (IOPS) of a single CPU. Challenges Evolving storage media such as NVMe solid state drives (SSDs) and storage class memory (SCM) have resulted in decreasing access latencies caused by the media

Polardb的方法 共享盘使用阿里云自带的高性能Nvme盘，注意使用Nvme磁盘对可用 区有要求： • 华东1（杭州）可用区I • 华东2（上海）可用区B • 华北2（北京）可用区K • 华南1（深圳）可用区F。 只有某些规格的虚拟机可以挂载Nvme共享盘： • g7se • c7se • r7se 虚拟机要求是按量付费才可以挂载Nvme共享盘 阿里云的VIP功能目前还在内侧阶段，需要申

基于在架构上的选择和优秀的工程实践，Curve 在性能、运维、稳定性、工程实践质量上都优于Ceph主要亮点 — 高性能 测试环境：3台服务器*8块NVME， Intel(R) Xeon(R) Gold 5318Y CPU @ 2.10GHz ，256G，3副本，使用自带fio 高性能 NVME 块存储场景，Curve随机读写性能远优于Ceph 单卷 多卷主要亮点 — 易运维 运维场景 Curve Ceph

awayWhy develop Storage requirements ● Hardware requirements ○ more CPU cores, faster Network, nvme storage ● Problems for stateful apps ○ storage capacity expansion ○ capacity imbalance ○ apps

chunk文件或快照文件时直接从预分配的文件池中获取进行重命名，删除chunk时再将文件重命名放到 预分配池中，这个预分配池就是chunkfile pool。 进一步优化： 对chunk写0 -> nvme的write zeroCurve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化Q&A • 主页：https://opencurve

Utilities: lspci(8) usbutils V:74, I:867 320 Linux USB utilities: lsusb(8) nvme-cli V:14, I:21 1526 NVMe utilities for Linux: nvme(1) pcmciautils V:6, I:10 91 PCMCIA utilities for Linux: pccardctl(8) scsitools

512G and even 1T, 2T, 4T • Products – High Speed U Disk, Solid U Disk, Portable disk, Solid disk (NVME / SATA) • Systems – Top6 Linux Distributions and even more based on your requirement – Include

I:991 212 Linux PCI 工具: lspci(8) usbutils V:74, I:867 320 Linux USB 工具: lsusb(8) nvme-cli V:14, I:21 1526 Linux NVMe 工具: nvme(1) pcmciautils V:6, I:10 91 Linux PCMCIA 工具: pccardctl(8) scsitools V:0, I:2

usbutils V:68, I:869 325 Hilfsprogramme für USB unter Linux: lsusb(8) nvme-cli V:15, I:22 1642 Hilfsprogramme für NVME unter Linux: nvme(1) pcmciautils V:6, I:10 91 Hilfsprogramme für PCMCIA unter Linux: