Curve 分布式存储设计 程义 — Curve Maintainer XAgenda 第二 第三 第四 第一 Curve的由来 Curve的设计目标 Curve块存储 和 Curve文件存储 Curve社区Curve的由来 1. 代码复杂/代码量大 2. 运维难度高 3. 无法满足高的性能需求Curve的设计目标 1. Curve云原生软件定义存储 2. Curve块存储 Curve块存储 3. Curve文件存储 4. 高性能，易运维，云原生Curve块存储 1. 高性能分布式共享数据库场景 2. Curve块存储提供底层分布式共享存储 3. Polardb for PostgreSQL提供上层高性能数 据库服务 4. 性能测试 1. benchmarkSQL 每分钟事务数提升39% 2. pgbench 延迟降低21% TPS提升26% 研究现状Curve块存储 研究现状Curve块存储 1. 分布式块存储服务 2. KVM块存储服务 3. iSCSI协议 4. 容器云块存储(CSI) 应用场景Curve块存储 1. 高可用性/高可靠性 (易运维) 2. RAFT一致性协议 3. CopySet分配算法 4. 拓扑结构 5. 高性能 6. chunkfilepool (降低写放大) 7. data stripe (增大并发) 8. zerocopy

分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 基于Openstack构建云计算平台 • 底层存储使用Ceph块存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 底座，完美支持云原生数据库的存算分离架 构 • Curve作为云存储中间件使用S3兼容的对象 存储作为数据存储引擎，为公有云用户提供 高性价比的共享文件存储 • 支持在物理机上挂载使用块设备或FUSE文件 致已经被提交，系统切换到新的配置(new)。RAFT协议简介 日志压缩 • 日志会不断增长，占用空间 • 采用快照的方式压缩日志 • 在某个时间点，整个系统的状态都以快照的形式写入 到稳定的持久化存储中 • 完成一次快照之后，删除时间点之前的所有日志和快 照。BRAFT简介 • raft协议提出之后，涌现出了非常多的实现，比如etcd，braft，tikv等。 • braft是raft的一

新一代云原生分布式存储—Curve 上 李小翠 网易数帆存储团队分布式存储介绍 01 存储的发展 | 分布式存储的分类 | 分布式存储的要素 02 03 04 Ceph 架构简介 | 场景介绍 | 使用中的问题 Curve 架构简介 | 数据对比 | 应用情况 FAQ 答疑存储的发展 互联网时代，数据大爆炸 大型主机 成本高 单点问题 扩容困难 各存储设备通过网络互联 各存储设备通过网络互联 大规模 弹性扩容 底层构建在分布式存储之上 云的概念 成本：共用基础设施 弹性：随意扩缩容 速度：更快的构建发布业务 底层构建在分布式存储之上 云原生的概念： 易用性：跨平台，超融合，弹性 小型主机 容量有限分布式存储的分类 按照各种应用场景所需的存储接口分类 对象 存储 文件 存储 块存储 接口为简单的 Get、PUT、DEL 和其他扩展 通常意义是支持 对指定地址空间进行随机读写 传统意义的块存储：磁盘分布式存储的要素 如何构建分布式文件系统？ 以分布式块存储为例。 •提供大容量的块设备 •可以在指定地址空间内随机读写 write(offset, len) •服务质量要求：数据不能丢、服务随时可用、弹性扩缩容 要什么 •成百上千台存储节点 •磁盘故障、机器故障、网络故障概率性发生 有什么 分布式存储系统需要满足接口需求，并且有持续监控、错误检测、容错与自动恢复的能力

........................................87 10 云对象存储在线申请及文件上传下载管理....................................................................88 10.1 查看查找对象存储桶................................................. ........................... 88 10.2 申请新存储桶..................................................................................................... 89 10.3 新建删除存储桶目录..................................... ......................................................................................... 91 10.5 存储桶回收................................................................................................

实现文件共享，使用 BIND 提供域名解析服务，使用 DHCP 动态管理主机地址，使用 Postfix 与 Dovecot 部署邮件系统，使用 Ansible 服务实现自动化运维，使用 iSCSI 服务部署网络存储，使用 MariaDB 数据库管理系统，使用 PXE+Kickstart 无人值守安装服务，使用 LNMP 架构部署动态网站环境等。此外， 本书的配套站点还深度点评了红帽 RHCSA、RHCE、RHCA 我们放到第一位来介绍。红帽公司成立于 1994 年，于 1998 年在纳斯达克上市，自从 1999 年起陆续收购了包括 JBoss 中间件供应商、CentOS（社区企业操作系统）、Ceph 企业级存储业务等在内的数十家高科技公司及热门产品，这么做的目的当然是为了对 主营业务红帽企业版 Linux 进行增强。 红帽企业版 Linux 最初于 2002 年 3 月面世，当年 Dell、HP、Oracle 使用命令行管理文件； ➢ 创建、查看和编辑文本文件； ➢ 管理本地用户和群组； ➢ 监控和管理 Linux 进程； ➢ 控制服务和守护进程； ➢ 利用文件系统权限控制文件访问； ➢ 分析和存储日志文件； ➢ 配置和确保 OpenSSH 服务的安全； ➢ 安装和更新软件包； ➢ 访问 Linux 文件系统； ➢ 管理 Linux 网络； ➢ 使用 Kickstart 安装红帽企业版

阿里云、华为云、腾讯云、UCloud、青云、金山云。 超融合平台 超融合基础架构（Hyper Converged Infrastructure，或简称“HCI”） 是指在同一套单元设备中不仅仅具备计算、网络、存储和服务器虚拟化等 资源和技术，而且还包括备份软件、快照技术、重复数据删除、在线数据 压缩等元素，而多套单元设备可以通过网络聚合起来，实现模块化的无缝 横向扩展（scale-out），形成统一的资源池。比较知名常见的超融合平台 操作系统、云磁盘、网络、安全组、弹性 IP，负载均衡、RDS、对象存储、 DNS 等。 虚拟机 Virtual Machine，指通过软件模拟的具有完整硬件系统功能的、运行在一 个完全隔离环境中的完整计算机系统。在实体计算机中能够完成的工作在 虚拟机中都能够实现。 云磁盘 云硬盘（Elastic Volume Service）是一种为 ECS 等计算服务提供持久性 块存储的服务，通过数据冗余和缓存加速等多项技术，提供高可用性和持 术，提供高可用性和持 久性，以及稳定的低时延性能。您可以对云硬盘做格式化、创建文件系统 等操作，并对数据做持久化存储 安全组 安全组是一种虚拟防火墙，具备有状态的数据包过滤功能，用于设置云服 务器、负载均衡、云数据库等实例的网络访问控制，控制实例级别的出入 流量，是重要的网络安全隔离手段。可以通过配置安全组规则，允许或禁 止安全组内的实例的出流量和入流量。 弹性 IP 是私有云、公有云中租户能够申请获取保留专用的公网

工作流通过开发、测试、临时和生产环境来推送应用程序。GitOps 部署新应用程序或更新现有应 用程序，因此您只需要更新存储库，GitOps 会自动执行所有操作。 GitOps 是一组使用 Git 拉取请求来管理基础架构和应用程序配置的实践。GitOps 中的 Git 存储库是系统 和应用程序配置的唯一来源。此 Git 存储库包含指定环境中所需的基础架构声明描述，并包含自动流程， 以使您的环境与上述状态匹配。它还包含该 将基础架构和应用程序定义定义为代码。然后，它会使用此代码来管理多个工作区和集群来简化 基础架构和应用程序配置的创建过程。根据代码原则，您可以在 Git 存储库中存储集群和应用程序的配 置，然后按照 Git 工作流将这些存储库应用到所选集群中。您可以将在 Git 存储库中开发和维护软件的核 心原则应用到创建和管理集群和应用程序配置文件。 第 第 1 章 章 什么是 什么是 GITOPS？ ？ 3 第 2 OpenShift Container Platform 集群的资源。 2.1. 主要特性 Red Hat OpenShift GitOps 可帮助您自动执行以下任务： 确保集群具有类似的配置、监控和存储状态 对多个 OpenShift Container Platform 集群应用或恢复配置更改 将模板配置与不同环境关联 在集群间（从调试到生产阶段）推广应用程序。 Red Hat OpenShift

系统安全性和完整性检查 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153 9.6 数据存储技巧 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 9.6.12 通过 $TMPDIR 指定临时存储目录 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 9.6.13 通过 LVM 扩展可用存储空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 9.6.14 通过挂载另一个分区来扩展可用存储空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159 9.6.15 通过“mount --bind”挂载另一个目录来扩展可用存储空间 . . . . . . . . . . . . . . . . . . . . .

技术白皮书 平台架构 平台架构 05 openEuler 24.03 LTS 技术白皮书 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质发展新趋势， 创新分布式、实时加速引擎和基础服务，结合边缘、嵌入式领域竞争力探索，打造全场景协同的面向数字基础设施的开源操作系统。 openEuler 24.03 LTS 发布面向服务器、云 vmalloc 使用场景的性能。 • 支持 memfd_secret 系统调用：Linux 上创建“秘密内存区域”的新接口，允许用户空间进程创建其他任何人（包括内核）都 无法访问的内存范围，可以用于存储私钥等用途，减少在系统内存中暴露的可能性。 • BIG TCP 特性：允许协议栈发送更大的 TSO/GRO 数据包，实现更好的网络吞吐量性能和更低的延迟。 内核创新 17 openEuler 种常见协议的错误率、时延等）硬件故障（UCE、磁盘介质错误等）等秒级巡检能力。 • 系统全栈 I/O 观测：提供面向分布式存储场景的 I/O 全栈观测能力，包括 GuestOS 进程级、Block 层的 I/O 观测能力，以及虚 拟化层存储前端 I/O 观测能力，分布式存储后端 I/O 观测能力。 • 精细化性能 Profiling：提供多维度（包括系统、进程、容器、Pod 等多个维度）、高精度（10ms

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 451 13 存储密钥 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 是一款监控众多参数的网络以及服务器、虚拟机、应用程序、服务、数据库、网站、云等的健康和完整性的软件。Zabbix 使用灵活 的通知机制，允许用户为几乎任何事件配置基于电子邮件的告警，以实现对服务器问题做出快速反应。Zabbix 基于存储的数据提供出色 的报告和数据可视化功能。这使得 Zabbix 成为容量规划的理想选择。 Zabbix 支持轮询和 trapping。所有 Zabbix 报告和统计数据以及配置参数都可以通过基于 Web 间 丰富的可视化选项 • 创建自定义图形的能力，可以将多个监控项组合成一个聚合图形 • 网络拓扑图 • 在仪表盘中显示幻灯片 • 报表 • 被监控资源的高级（业务）视图 历史数据存储 • 存储在数据库中的数据 • 可配置的历史数据（保留趋势） • 内置管家程序 轻松配置 • 将受监控的设备添加为主机 • 一旦主机添加到被数据库，就会开始进行数据采集 • 将模板应用于受监控的设备