Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 S3和POSIX统一访问需求 主要挑战和支持场景Curve Roadmap 1. 架构 1. 文件存储支持分布式缓存、完善冷热数据分层存储能力 2. 完善混合云、公有云上部署架构 3. 完善高性能3副本存储引擎，支持混合盘 4. 文件存储支持数据存储到HDFS、rados等引擎 2. 性能 1. 完善RDMA/SPDK方案，发布稳定版本 2. 更高性能硬件选型、适配及性能调优 3

12.话题消息的定义与使用 主 讲 人 ： 古 月 话题模型 自定义话题消息 ➢ ➢ message_generation message_runtime ➢ • find_package( …… message_generation) • add_message_files(FILES

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

openEuler 21.09 技术白皮书 05 系统框架 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础 设施的开源操作系统。 引领内核创新 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法保障在线业务对 化安全配置 secPaver 等更多开发工具。 数据中心 云原生 边缘 HPC 嵌入式/工控 … CPU：X86、ARM、RISC-V DPU NPU 介质 总线 服务器套件 云原生套件 分布式套件 虚拟化/容器 边云协同套件 嵌入式套件 机密计算服务 欧拉 DevKit … 实时加速框架 机密计算框架 … Linux Kernel 实时内核 安全内核 … 场 景 使 能 层 inode 中跟踪依赖的 持久化操作，后续通过异步的方式进行持久化，可以大幅提高性。 应用场景 通用的针对 NVDIMM 新介质的文件系统，可代替 EXT4，XFS 等文件系统，满足单机应用、云原生分布式应用高性能 数据存储诉求。 openEuler 21.09 技术白皮书 12 内存分级扩展 当前内存制造工艺已经达到瓶颈，Arm 生态发展让每个 CPU 核的成本越来越低。数据库、虚拟机、大数据、人工智能、

发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 23.09 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.4 构 建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 23.09 版本集成分布式软总线、KubeEdge+ 提供高效免搬移的内存池化方案， 当内存池以共享方式接入后，可解决数据反复搬移的痛点。 GMEM 革新了 Linux 内核中的内存管理架构，其中逻辑映射系统屏蔽了 CPU 和加速器地址访问差异，remote_pager 内存消息交互框架提供了设备接入抽象层。在统一的地址空间下，GMEM 可以在数据需要被访问或换页时，自动地迁移数 据到 OS 或加速器端。 功能描述 Host Device GMEM API Process Remote Pager GMEM( 异构内存 ) GMEM Remote Pager GMEM( 异构内存 ) Co-process 统一虚拟地址空间 mmap/hmadvise 通用并发消息通道 逻辑映射系统 页表协同 并发缺页 内存超分 场景创新 11 openEuler 23.09 技术白皮书 异构统一内存编程 在面向异构内存编程时，使用 GMEM 可分配 CPU 和加速器之间的统一虚拟内存，CPU

网络拓扑日益复杂，资源云化，虚拟资 源频繁弹性伸缩。不可靠的CMDB 过去1:n → 现在1:10? 越来越复杂的应用拓扑 消息服务器 发消息 应用D 应用E 收消息 收消息 收消息 数据库 分布式 缓存 JDBC JDBC 读缓存 分布式 文件系统 写缓存 存取 应用A 开放平台 API 请求 无线客户端请求 前端网页 请求 应用B 应用C 服务调用 服务调用 漏之处； 4. 报警爆炸：随着业务增长，报警越来越多，运维人员不堪其扰 主动故障处理： 1. 事前感知：通过故障预测算法，预测故障类型及发生时间，并提前通知项目负责人； 2. 自动处理：决策引擎根据预设的事件处理策略，自动执行处理指令以及基于机器学习的自动故障处理； 3. 定时巡检：平台化的定时巡检机制，给出应用健康报告，问题早发现早解决； 4. 报警收敛：对告警做告警筛选、过滤、合并操作，大大减少报警数量； ◼出现告警自动抓取现场快照信息 ◼快照信息持久化保存 ◼根据自学习的知识库提供异常原因分析 ◼集成Arthas诊断工具，快速诊断问题 根因分析 基于双向过滤的告警通知 恢复 轻度 中度 严重 过 滤 通知处理引擎 过 滤 高级通知策略 方法告警 日志告警 资产 资产 资产 邮件 短信 咚咚 微信 调用链告警 业务告警 业务告警 每天 每月 每周 自定义 时间规则 ◼为保证告警信息能够及时准确的传达给系

. . . . . . . . . . . . . 79 3.3 内核消息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79 3.4 系统消息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127 8.1 IBus 和它的引擎软件包列表 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132 9 通过菜单覆盖了所有的文件操作，因此而让用户更省心省力。只需要按 F1 就可以跳转到帮助界面。你只需要按光 标键和功能键就可以使用 MC。 注意 某些终端比如 gnome-terminal(1)，功能键的按键触发消息可能会被终端程序截取。在 gnome-terminal 里， 可以通过” 首选项” →“通用”-> ” 快捷键” 菜单设置来禁用这些特征。 如果你遇到字符编码问题，显示出来都是乱码，通过添加”-a”

展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设 施的开源操作系统。 openEuler 22.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 5.10 构建，对外接口遵循 POSIX 标准，具备天然协同基础。同时 openEuler 22.03 LTS 版本集成分布式软总线、KubeEdge Local- Controller Local- Controller 智能协同 管理协同 边缘南向服务 服务协同 数据协同 网络协同 K8s OS Core 通信 Kit 容器引擎 KubeEdge (Cloud) EdgeMesh Agent KubeEdge (Edge) Sedna (Edge) CloudCore DynamicController 完善边缘南向服务：南向接入 Mapper，提供外设 Pofile 及解析机制，以及实现对不同南向外设的管理、控制、业 务流的接入，可兼容 EdgeX Foundry 开源生态。 3. 边缘数据服务：通过边缘数据服务实现消息、数据、媒体流的按需持久化，并具备数据分析和数据导出的能力。 4. 边云智能协同架构（Sedna）：基于开源 Sedna 框架，提供基础的边云协同推理、联邦学习、增量学习等能力，并 实现了基础的

01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化项目背景 Curve是一个 高性能、更稳定、易运维 的 云原生 分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座，完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎，为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 系统开源社区 社区运营 生态共建 开源共建 源码兜底 技术领先 目标 方法 影响力 降本 获客 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 什么是raft • raft 是一种新型易于理解的分布式一致性复制协议，由斯坦福大学的Diego Ongaro和John Ousterhout提出，《In Search of an Understandable Consensus Algorithm(Extended

势， 创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.6 构建， 对外接口遵循POSIX标准，具备天然协同基础。同时openEuler 24.03 LTS版本集成分布式软总线、KubeEdge+边云协同框架等能力， ros-core、ros-base、SLAM 等核心包，并提供 ROS SDK，简化嵌入式 ROS 开发。 3. 软实时内核：提供软实时能力，软实时中断响应时延微秒级。 4. 分布式软总线基础能力：集成 OpenHarmony 的分布式软总线和 hichain 点对点认证模块，实现欧拉嵌入式设备之间互联互通、 欧拉嵌入式设备和 OpenHarmony 设备之间互联互通。 5. 嵌入式容器与边缘：支持 等平台进行适配，优化容器运行底噪，使 系统具备十分便捷的集群组建能力，可以更安全的运行大规模的容器化工作负载。 1. 开箱即用的容器平台：NestOS 集成适配了 iSulad、Docker、Podman 等主流容器引擎，为用户提供轻量级、定制化的云场景 OS。 2. 简单易用的配置过程：NestOS 通过 ignition 技术，可以以相同的配置方便地完成大批量集群节点的安装配置工作。 3. 安全可靠的包管理：NestOS