Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 Curve块存储 3. Curve文件存储 4. 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

云原生 分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座，完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎，为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 什么是raft • raft 是一种新型易于理解的分布式一致性复制协议，由斯坦福大学的Diego Ongaro和John Ousterhout提出，《In Search of an Understandable Consensus Algorithm(Extended

制造业已经完成了从集中式制造向分布式制造的演进，⼤型制造企业往往在境内外拥有多个⽣产基地，需要借助堡垒机实现 分布式 IT 资产的统⼀运维安全审计。 政府及国有企业 政府机构及国有企业拥有⼤量机密信息，运维的安全等级要求很⾼，堡垒机是提⾼其安全合规⽔平的必备选择。 服务业 传统服务⾏业，以及包括了物流交通⾏业在内的、依托于信息技术发展演进的现代服务业，普遍具有分布式基础设施的安全 管控需求，同时 医疗医药 医疗医药⾏业的信息化⽔平呈现⾼速发展的态势，IT 资产规模快速扩张，迫切需要通过堡垒机实现⼤规模 IT 资产的统⼀管 理与安全运维。 房地产及酒店 房地产和酒店⾏业的业务系统通常随业务经营场所分布式构建，IT 基础设施⾼度分散，需要通过堡垒机实现 IT 基础设施的 统⼀安全运维。 1 2 企业为什么需要堡垒机？ JumpServer 堡垒机的优势 JumpServer 堡垒机企业版 强⼤的市场影响⼒：堡垒机 = JumpServer JumpServer 堡垒机的能⼒范围 身份鉴别 授权控制 账号管理 安全审计 站内信 邮箱 企业微信 钉钉 ⼯单 通知 / 审批 LDAP 对象存储 ⽇志存储 … Linux Windows ⽹络设备 数据库 Web 虚拟应⽤ … 基础设施 使⽤者 服务 Https API SSH Client … KMS JumpServer

......................................................................................... 5 1.2 阅读对象................................................................................................... .........................................87 10 云对象存储在线申请及文件上传下载管理....................................................................88 10.1 查看查找对象存储桶................................................ ........................... 88 10.2 申请新存储桶..................................................................................................... 89 10.3 新建删除存储桶目录.....................................

平台架构 平台架构 05 openEuler 24.03 LTS 技术白皮书 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质发展新趋势， 创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 发布面向服务器、云原生、边缘和嵌入式场景的全场景操作系统版本，统一基于 Linux Kernel 6.6 构建， 对外接口遵循POSIX标准，具备天然协同基础。同时openEuler 24.03 LTS版本集成分布式软总线、KubeEdge+边云协同框架等能力， 进一步提升数字基础设施协同能力，构建万物互联的基础。 面向未来，社区将持续创新、社区共建、繁荣生态，夯实数字基座。 夯实云化基座 • 容器操作系统 KubeOS：云原生场景，实现 ros-core、ros-base、SLAM 等核心包，并提供 ROS SDK，简化嵌入式 ROS 开发。 3. 软实时内核：提供软实时能力，软实时中断响应时延微秒级。 4. 分布式软总线基础能力：集成 OpenHarmony 的分布式软总线和 hichain 点对点认证模块，实现欧拉嵌入式设备之间互联互通、 欧拉嵌入式设备和 OpenHarmony 设备之间互联互通。 5. 嵌入式容器与边缘：支持

..........................................................................................6 1.2 阅读对象................................................................................................... 面向通过云管理平台在线提供 IT 资源、应用运行环境服务，和管理资源的 IT 管理员 以及云管平台实施人员，通过该手册了解云管平台的管理侧功能及相应的使用场景、操作 使用方法。 1.2 阅读对象 杭州飞致云信息科技有限公司 7  IT 系统管理员、云平台管理员、运营人员  云管平台实施人员  云管平台开发测试人员 1.3 名词术语 名词 解释 基础架构平台 指为业务 阿里云、华为云、腾讯云、UCloud、青云、金山云。 超融合平台 超融合基础架构（Hyper Converged Infrastructure，或简称“HCI”） 是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等 资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据 压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝 横向扩展（scale-out），形成统一的资源池。比较知名常见的超融合平台

新一代分布式存储系统 Curve 李小翠Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多，线上异常演练 • 已开源 • github主页： https://opencurve.github.io/ • github代码仓库： 概述背景 01 02 03 04 总体设计 系统特性 近期规划背景 • 多个存储软件：SDFS、NEFS、NBS • 已有的开源软件：Ceph • 不能胜任性能、延迟敏感的场景 • 异常场景抖动较大（比如慢盘场景） • 去中心节点设计在集群不均衡的情况下需要人工运维 • 基于通用分布式存储构建上层存储服务背景 01 02 03 04 总体设计 系统特性 近期规划基本架构 收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 数据一致性基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查基本架构 • 快照克隆服务器 独立于核心服务 储到支持S3接口的 对象存储，不限制数量 异步快照、增量快照 从快照/镜像克隆

Curve核心组件之 MDS 陈威Curve 是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟 • 可支撑储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接OpenStack和 K8s 网易内部线上无故障稳定运行一年多 • 已开源 • github主页： https://opencurve.github.io/ • github代码仓库： https://github 概述整体架构 01 02 03 MDS各组件详细介绍 Q&A基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • 磁盘作为最小的服务单元。TOPOLOGY curve在上物理pool之上又引入逻辑pool的概念，以实现统一存储系统的需求，即在单个存储系统中多副 本PageFile支持块设备、三副本AppendFile（待开发）支持在线对象存储、AppendECFile（待开发）支持 近线对象存储可以共存。 如上所示LogicalPool与pool为多对一的关系，一个物理pool可以存放各种类型的file。当然由于curve支持

连接多个文件并打印到标准输出 cd 切换用户当前工作目录 cdrecord Linux系统下光盘刻录功能命令 chage 修改帐号和密码的有效期限 chattr 用来改变文件属性 chcon 修改对象（文件）的安全上下文 chfn 用来改变finger命令显示的信息 chgrp 用来变更文件或目录的所属群组 chkconfig 检查或设置系统的各种服务 chmod 用来变更文件或目录的权限 获取Linux内核模块的详细信息 getenforce 显示当前SELinux的应用模式，是强制、执行还是停用 getsebool 查询SElinux策略内各项规则的布尔值 git 是目前世界上最先进的分布式版本控制系统 gpasswd Linux下工作组文件的管理工具 gpm 提供文字模式下的滑鼠事件处理 grep 强大的文本搜索工具 groupadd 用于创建一个新的工作组 groupdel openssh套件中的客户端连接工具 sshd openssh软件套件中的服务器守护进程 startx 用来启动X Window stat 用于显示文件的状态信息 strace 跟踪系统调用和信号 strings 在对象文件或二进制文件中查找可打印的字符串 stty 修改终端命令行的相关设置 su 用于切换当前用户身份到其他用户身份 sudo 以其他身份来执行命令 sum 计算文件的校验码和显示块数 supervisord