新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 写性能提升，速度取决于写的较快的大多数 W R client W W W client分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 块存储场景 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑架构简介 — 总体架构 开源分布式存储界的扛把子 支持块存储、文件存储、对象存储架构简介 人为干预 • 上述问题和架构涉及、核心功能的选型有关，在已有开源版本上改进代价很大分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 块存储场景 | 使用中的问题 Curve 架构简介 | 主要亮点 | 应用情况 FAQ 答疑架构简介 — 总体架构 支持块存储、文件存储（多种存储后端）架构简介 —

io/Agenda • What is Curve • Use Cases • CurveBS • Key Features • Comparing to Ceph • CurveFS • Comparing to Ceph • Current Status • RoadmapWhat is Curve • Curve is an distributed storage system three replicas) • csi / storage class for kubernete, nbd for HOST/VMPerformance (vs. Ceph RBD)Performance (vs. Ceph RBD)CurveBS Features • RAFT for data consistency • minor impaction when chunk server tuning, abnormal detection and schedule tuningStorage Engine Comparison (vs. Ceph) DATA CONSISTENT PROTOCOL CURVE (RAFT) CEPH WRITE SUCCESS majority write successful all write successful READ Leader of

connection to the database page for the full description. Ceph monitoring Ceph monitoring is now available via the Zabbix agent 2 with a new Ceph plugin. For more information, see: 24 • Plugin configuration template Ceph by Zabbix Agent 2 is also available for faster deployment of monitoring. New templates The following templates are now available for out-of-the-box monitoring: • Template App Ceph by Zabbix Zabbix agent 2 plugins Parameter structure for Zabbix agent 2 plugins has been updated: • For Ceph, Docker, Memcached, MySQL, Oracle, and Redis plugins, a Uri can now only be specified as a named session

Zabbix agent 2 plugins Parameter structure for Zabbix agent 2 plugins has been updated: • For Ceph, Docker, Memcached, MySQL, Oracle, and Redis plugins, a Uri can now only be specified as a named session property of web scenario and web scenario step. 13 Upgrade notes for 5.2.3 Zabbix agent 2 plugins For Ceph, Docker, Memcached, MySQL, Oracle, and Redis plugins, a Uri can no longer be specified as a 1st level session. See an example below. Before Zabbix 5.2.3 Since Zabbix 5.2.3 Plugins.Ceph.Uri=”https://localhost” Plugins.Ceph.Sessions.Default.Uri=localhost 14 Upgrade notes for 5.2.4 Host/template cloning

Plugins..KeepAlive 否 0-900 00 闭 未 使 用 的 插 件 连 接 之 前 的 最 长 时 间 （以 秒 为 单 位）。 支 持 以 下 插 件: Ceph, Mem- cached, MySQL, Or- a- cle, Re- dis, Post- greSQL. - 插 件 的 名 称。 示 例: 待 一 个 请 求 完 成 的 时 间）。 支 持 以 下 插 件: Ceph, Mem- cached, MySQL, Re- dis, Docker, Post- greSQL. - 插 件 的 名 称。 260 参数 必 项范围 默认值 描述 Plugins.Ceph.InsecureSkipVerify 否 alse / true alse 书 中 的 任 何 主 机 名。 在 这 种 模 式 下， TLS 容 易 受 到 中 间 人 攻 击 （应 仅 用 于 测 试）。 261 参数 必 项范围 默认值 描述 Plugins.Ceph.Uri 否 ttps://localhost:8003 eph 连 接 字 符 串。 不 应 包 含 嵌 入 式 凭 据 （它 们 将 被 忽 略）。 必 须 与 URI 格 式 匹 配。 必

https://github.com/opencurve/curve 概述背景 01 02 03 04 总体设计 系统特性 近期规划背景 • 多个存储软件：SDFS、NEFS、NBS • 已有的开源软件：Ceph • 不能胜任性能、延迟敏感的场景 • 异常场景抖动较大（比如慢盘场景） • 去中心节点设计在集群不均衡的情况下需要人工运维 • 基于通用分布式存储构建上层存储服务背景 01 02 03 多个连续地址空间chunk（物理文件）的聚合数据组织形式 • CopySet • 逻辑概念 • 减少元数据数量 • 数据放置的基本单元 • 提高数据可靠性 • 包含多个chunk • 减少复制组数量 类似Ceph中的PG 「Copysets: Reducing the Frequency of Data Loss in Cloud Storage」数据组织形式 • PageFile • 地址空间到—>chunk: Client通知用户请求完成。背景 01 02 03 04 总体设计 系统特性 近期规划单卷4K随机读写IOPS 102k 39.7k 41.7k 127k 4K随机写 4K随机读 Ceph（L/N） Curve 151.89% 204.56% 单卷4K随机读写平均延迟(ms) 1.244 3.2 3.1 0.998 4K随机写 4K随机读 61.12 % 67.8%

Parameters Comments ceph.df.details [connString, , ] Cluster’s data usage and distribution among pools. JSON object connString - URI or session name. user, password - Ceph login credentials supported for the Ceph plugin. ceph.osd.stats [connString, , ] Aggregated and per OSD statistics. JSON object connString - URI or session name. user, password - Ceph login credentials credentials. This item is supported for the Ceph plugin. ceph.osd.discovery [connString, , ] List of discovered OSDs. Used for low-level discovery. JSON object connString - URI or

(in seconds) before unused plugin connections are closed. Supported for the following plugins: Ceph, Memcached, MongoDB, MySQL, Oracle, Redis, PostgreSQL. - name of the plugin. Example: Docker, Memcached, Modbus, MongoDB, MQTT, MySQL, Redis, PostgreSQL, Smart, WebCertificate. Plugins.Ceph.InsecureSkipVerify no false / true false Determines whether an http client should verify the server’s Supported for: Ceph, Memcached, MongoDB, MySQL, Oracle, PostgreSQL. - name of the plugin. - name of a session for using in item keys. Plugins.Ceph.Sessions.

systemopen-source storage ● Requirements ○ Cloud Native ○ Easy operation and maintenance ○ High performance ● CEPH ○ Complex and Large amount of codes ○ system maintenance are difficult in corner cases ○ Performance Performance test vs CEPH ● BenchmarkSQL transactions per minute increased by 39% ● In PGBench tests, latency decreased by 21% and TPS improved by 26%Performance compare with CEPH The test environment

provides lower write latencies. Ceph community have compared majority replicas case with all replicas case on write latency difference: https://github.com/ceph/ceph/pull/15027In the test, the average