Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 Curve块存储 3. Curve文件存储 4. 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

云原生 分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座，完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎，为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 什么是raft • raft 是一种新型易于理解的分布式一致性复制协议，由斯坦福大学的Diego Ongaro和John Ousterhout提出，《In Search of an Understandable Consensus Algorithm(Extended

制造业已经完成了从集中式制造向分布式制造的演进，⼤型制造企业往往在境内外拥有多个⽣产基地，需要借助堡垒机实现 分布式 IT 资产的统⼀运维安全审计。 政府及国有企业 政府机构及国有企业拥有⼤量机密信息，运维的安全等级要求很⾼，堡垒机是提⾼其安全合规⽔平的必备选择。 服务业 传统服务⾏业，以及包括了物流交通⾏业在内的、依托于信息技术发展演进的现代服务业，普遍具有分布式基础设施的安全 管控需求，同时 医疗医药 医疗医药⾏业的信息化⽔平呈现⾼速发展的态势，IT 资产规模快速扩张，迫切需要通过堡垒机实现⼤规模 IT 资产的统⼀管 理与安全运维。 房地产及酒店 房地产和酒店⾏业的业务系统通常随业务经营场所分布式构建，IT 基础设施⾼度分散，需要通过堡垒机实现 IT 基础设施的 统⼀安全运维。 1 2 企业为什么需要堡垒机？ JumpServer 堡垒机的优势 JumpServer 堡垒机企业版 强⼤的市场影响⼒：堡垒机 = JumpServer JumpServer 堡垒机的能⼒范围 身份鉴别 授权控制 账号管理 安全审计 站内信 邮箱 企业微信 钉钉 ⼯单 通知 / 审批 LDAP 对象存储 ⽇志存储 … Linux Windows ⽹络设备 数据库 Web 虚拟应⽤ … 基础设施 使⽤者 服务 Https API SSH Client … KMS JumpServer

05 openEuler 22.03 LTS SP2 技术白皮书 平台架构 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 22.03 LTS SP2 发布面向服务器、云原生 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 5.10 构建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 22.03 LTS SP2 版本集成分布式软总线、 KubeEdge+ 边云协同框架等能力，进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 夯实云化基座 • 容器操作系统 场景创新 openEuler发布面向嵌入式领域的版本openEuler 22.03 LTS SP2 Embedded，提供更加丰富的嵌入式软件包构建能力， 支持实时 / 非实时平面混合关键部署，并集成分布式软总线。 openEuler Embedded 围绕工业和机器人领域持续深耕，通过行业项目垂直打通，不断完善和丰富嵌入式技术栈和 生态。openEuler 22.03 LTS SP2 Embedded

为更好的支持云原生的场景，Curve需要支持高性能通用文件系统，其中高性能主要是适配云原生数据库的场景。当前Curve是实现了块存储，向上提供块设备服务，CurveFS会基于此实现。第一阶段的目标是实现 满足数据库场景的文件接口。 调研 开源fs 当前对已有的开源分布式文件系统进行了调研，主要包括系统架构，元数据内存结构，元数据持久化，调研文档如下： chubaofs: ChubaoFS© XXX 并对以上文件系统在相同环境进行了元数据节点性能测试： 。测试结果c开发的moosefs和fastcfs元数据性能远优于go开发的chubaofs和c开发的cephfs，理论上分析这个结果是合理的，分布式的元数据设 调研测试 计会涉及到多次rpc的交互。这里需要确认的一点是：我们需要怎样的元数据节点的性能？ 可行性分析 方案对比 根据上述调研和测试结果，我们考虑了三种curvefs的元数据设计方案： 的元数据缓存使用的 lru cache，因此 list 只能依赖 etcd 的 range 获取方式。如果需要对 list 加速，需要新的缓存结构 c. 扩展性/可用性/可靠性 依赖于第三方kv存储，目前是etcd CurveFS 单机内存元数据设计 类似 fastcfs 和 moosefs 的元数据设计方式，采用通用的 dentry，inode 两层映射关系，所有的元数据都缓存在内存中，持久化在

平台架构 平台架构 05 openEuler 24.03 LTS 技术白皮书 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质发展新趋势， 创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.6 构建， 对外接口遵循POSIX标准，具备天然协同基础。同时openEuler 24.03 LTS版本集成分布式软总线、KubeEdge+边云协同框架等能力， 进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 夯实云化基座 • 容器操作系统 KubeOS：云原生场景，实现 ros-core、ros-base、SLAM 等核心包，并提供 ROS SDK，简化嵌入式 ROS 开发。 3. 软实时内核：提供软实时能力，软实时中断响应时延微秒级。 4. 分布式软总线基础能力：集成 OpenHarmony 的分布式软总线和 hichain 点对点认证模块，实现欧拉嵌入式设备之间互联互通、 欧拉嵌入式设备和 OpenHarmony 设备之间互联互通。 5. 嵌入式容器与边缘：支持

平台架构 openEuler 21.09 技术白皮书 05 系统框架 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础 设施的开源操作系统。 引领内核创新 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 夯实云化基座 容器操作系统 KubeOS：云原生场景，实现 OS 容器化部署、运维，提供与业务容器一致的基于 K8S 的管理体验。 • 安全容器方案：iSulad 化安全配置 secPaver 等更多开发工具。 数据中心 云原生 边缘 HPC 嵌入式/工控 … CPU：X86、ARM、RISC-V DPU NPU 介质 总线 服务器套件 云原生套件 分布式套件 虚拟化/容器 边云协同套件 嵌入式套件 机密计算服务 欧拉 DevKit … 实时加速框架 机密计算框架 … Linux Kernel 实时内核 安全内核 … 场 景 使 能 层

05 openEuler 22.03-LTS 技术白皮书 04 系统框架 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质发 展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设 施的开源操作系统。 openEuler 22.03 LTS 发布面向服务器、云原生、边缘和 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 5.10 构建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 22.03 LTS 版本集成分布式软总线、KubeEdge + 边云 协同框架等能力，进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 引领内核创新 • 云原生调 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于 内核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存，降 低宕机率，提升可靠性（技术预览特性）。

平台架构 平台架构 05 openEuler 23.09 技术白皮书 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 23.09 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.4 构 建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 23.09 版本集成分布式软总线、KubeEdge+ 边云协 同框架等能力，进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 繁荣社区生态 • 友好桌面环境：UKUI、DDE 同步和乒乓，从而提升锁的整体吞吐量，提升业务性能。 • 支持 TCP 压缩：大数据等场景节点间数据传输量大，网络传输是性能瓶颈。在 TCP 层对指定端口的数据进行压缩后 再传输，收包侧把数据解压后再传给用户态，从而提升分布式场景节点间数据传输的效率。 • 热补丁：内核热补丁主要针对内核的函数实现的 bug 进行免重启修复，原理主要在于如何完成动态函数替换， openEuler 上的 livepatch 与 Linux