Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 Curve块存储 3. Curve文件存储 4. 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy

分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座，完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎，为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 致已经被提交，系统切换到新的配置(new)。RAFT协议简介 日志压缩 • 日志会不断增长，占用空间 • 采用快照的方式压缩日志 • 在某个时间点，整个系统的状态都以快照的形式写入 到稳定的持久化存储中 • 完成一次快照之后，删除时间点之前的所有日志和快 照。BRAFT简介 • raft协议提出之后，涌现出了非常多的实现，比如etcd，braft，tikv等。 • braft是raft的一

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 通常意义是支持 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

技术白皮书 平台架构 平台架构 05 openEuler 24.03 LTS 技术白皮书 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质发展新趋势， 创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+QEMU 方案，底噪和启动时间优化 40%。 • 双平面部署工具 eggo：Arm/x86 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 新场景 • 边缘计算：发布面向边缘计算场景的版本 openEuler 24.03 LTS Edge，支持 KubeEdge+ 边云协同框架，具备边云应用统一管 两个版本的内核中选择其一，同时开发了自定义内核的能力。嵌入式弹性底座支持多种解决方案，包括 Jailhouse 分区虚拟化方案、 openAMP 裸金属混合部署方案、基于 ZVM 和 Rust-Shyper 的实时虚拟化部署方案，用户可以根据自己的使用场景选择最优的部署 方案。在嵌入式弹性底座之上打造了混合关键性部署框架 MICA，对下屏蔽不同底座的差异，对上为不同运行时提供统一的接口。 在北向，目前已经支持 600+ 软件包，包括支持

09 技术白皮书 平台架构 平台架构 05 openEuler 23.09 技术白皮书 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 23.09 发布面向服务器、云原生 技术白皮书 开源大模型原生支持（LLaMA 和 ChatGLM) 虽然大模型日渐火爆，但普通用户使用大模型还存在一定的门槛。llama.cpp 和 chatglm-cpp 是基于 C/C++ 实现的模 型推理框架，通过模型量化等手段，支持用户可以在 CPU 机器上完成开源大模型的部署和使用。 用户可通过 llama.cpp/chatglm-cpp 在 CPU 机器上部署大模型，并体验智能问答、AI 对话等功能。 ，提供更加丰富的嵌入式软 件包构建能力，支持实时 / 非实时平面混合关键部署，并集成分布式软总线。openEuler Embedded 围绕工业和机器人领 域持续深耕，通过行业项目垂直打通，不断完善和丰富嵌入式技术栈和生态。openEuler 23.09 Embedded 支持嵌入式虚 拟化弹性底座，提供 Jailhouse 虚拟化方案、openAMP 轻量化混合部署方案，用户可以根据自己的使用场景选择最优的

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451 13 存储密钥 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 是一款监控众多参数的网络以及服务器、虚拟机、应用程序、服务、数据库、网站、云等的健康和完整性的软件。Zabbix 使用灵活 的通知机制，允许用户为几乎任何事件配置基于电子邮件的告警，以实现对服务器问题做出快速反应。Zabbix 基于存储的数据提供出色 的报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。 Zabbix 支持轮询和 trapping。所有 Zabbix 报告和统计数据以及配置参数都可以通过基于 Web 间 丰富的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 • 网络拓扑图 • 在仪表盘中显示幻灯片 • 报表 • 被监控资源的高级（业务）视图 历史数据存储 • 存储在数据库中的数据 • 可配置的历史数据（保留趋势） • 内置管家程序 轻松配置 • 将受监控的设备添加为主机 • 一旦主机添加到被数据库，就会开始进行数据采集 • 将模板应用于受监控的设备

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497 13 存储密钥 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 是一款监控网络的众多参数以及服务器、虚拟机、应用程序、服务、数据库、网站、云等的健康和完整性的软件。Zabbix 使用灵活 的通知机制，允许用户为几乎任何事件配置基于电子邮件的告警，以实现对服务器问题做出快速反应。Zabbix 基于存储的数据提供出色 的报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。 Zabbix 支持轮询和 trapping。所有 Zabbix 报告和统计数据以及配置参数都可以通过基于 Web 间 广泛的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 • 网络拓扑图 • 在仪表盘中显示幻灯片 • 报表 • 受监控资源的高级（业务）视图 历史数据存储 • 存储在数据库中的数据 • 可配置的历史（保留趋势） • 内置管家程序 建议的配置 • 将受监控的设备添加为主机 • 一旦主机被数据库添加，就会开始进行数据采集 • 将模板应用于受监控的设备

平台架构 05 openEuler 22.03 LTS SP2 技术白皮书 平台架构 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 发展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基 础设施的开源操作系统。 openEuler 22.03 LTS SP2 发布面 安全容器方案：iSulad+shimv2+StratoVirt 安全容器方案，相比传统 Docker+Qemu 方案，底噪和启动时间优化 40%。 • 双平面部署工具 eggo：ARM/X86 双平面混合集群 OS 高效一键式安装，百节点部署时间 <15min。 新场景 • 边缘计算：发布面向边缘计算场景的版本 openEuler 22.03 LTS SP2 Edge，支持 KubeEdge+ 边云协同框架，具备边 建能力， 支持实时 / 非实时平面混合关键部署，并集成分布式软总线。 openEuler Embedded 围绕工业和机器人领域持续深耕，通过行业项目垂直打通，不断完善和丰富嵌入式技术栈和 生态。openEuler 22.03 LTS SP2 Embedded 支持嵌入式虚拟化弹性底座，提供 Jailhouse 虚拟化方案、openAMP 轻量 化混合部署方案，用户可以根据自己的使用场景选择最优的部署方案。同时支持

TLS 连 接 具 有 最 大 的 安 全 性 保 障。 客 户 端 显 示 证 书 的 要 求 是 在 服 务 器 端 配 置 的。 ** 另请参见: ** Mysql 配置实例, PostgreSQL 配置实例. Zabbix server/proxy 配置 数据库安全连接功能，可以通过相关 Zabbix 参数控制配置server 或proxy 配置文件. 配置结 无 接 到 数 据 Elasticsearch，而不使用数据库来存储历史数据。用户可以在兼容的数据库和 Elasticsearch 之间来选择历史数据的存 储位置。本章中所描述的设置过程适用于 Elasticsearch 7.X 版本。如果使用了较早或更高的版本，某些功能则可能会无法正常工作。 Warning: 如果所有历史数据都存储在 Elasticsearch 上，将不会计算趋势，也不会存储在数据库中。如果没有计算和存储趋势，历史数据保 留时长可能需要延长。 t.elasticsearch.lan:9200 HistoryStorageTypes=str,log,text 使用此配置，Zabbix server 会将数值类型的历史数据存储在相应的数据库中，将文本历史数据存储在 Elasticsearch 中。 Elasticsearch 支持以下几种监控项类型： uint,dbl,str,log,text 支持的监控项类型说明： Item value

03-LTS 技术白皮书 05 openEuler 22.03-LTS 技术白皮书 04 系统框架 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质发 展新趋势，创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设 施的开源操作系统。 openEuler 22.03 LTS 发布面向服务器 协同框架等能力，进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 引领内核创新 • 云原生调度增强：针对云场景在线和离线业务混合部署场景，创新 CPU 调度算法，保障在线业务对 CPU 的实时抢占 及抖动抑制，创新业务优先级 OOM 内存回收算法，保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步时间， 提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能优于 内核态 swap。 • 内存 RAS 增强：内存可靠性分级技术，可以指定内核、关键进程等对内存故障敏感的数据优先使用高可靠内存，降 低宕机率，提升可靠性（技术预览特性）。 夯实云化基座