leader把请求指令记录下来，写入日志，然后并⾏发 给其他的服务器，让他们复制这条⽇志。 3. 当这条⽇志条⽬被安全的复制，leader会应⽤这条⽇ 志条⽬到它的状态机中。 4. 然后把执⾏的结果返回给客户端。 • 提供命令在多个节点之间有序复制和执行，当多个节 点初始状态一致的时候，保证节点之间状态一致。 raft日志复制RAFT协议简介 raft配置变更 • 配置：加入一致性算法的服务器集合。 数据。Curve文件存储RAFT应用 Curve文件存储 • 分布式文件系统 • 支持多挂载，提供close-to-open一致性 • 提供缓存加速，可使用内存、本地盘、云盘加速 • 存储后端可对接对象存储，降低成本 • 支持生命周期管理 Curve文件存储架构 • client：接受用户请求，采用fuse的方式挂载挂载使用。 • 元数据集群：mds 和 metaserver。 Curve块存储快照间隔默认30 分钟一次，每次快照会产生大量的数据拷贝，占用chunkserver的 处理能力，对磁盘造成很大压力，影响正常IO。 解决思路： chunk支持覆盖写，覆盖写天然是幂等的，写一次和写多次结果一致。 打快照只记录chunk文件的列表，不拷贝chunk的内容。从快照+日志加载数据时，下载的chunk文 件不是打快照的状态，而是最新的状态，回放日志时，把数据重写一遍。Curve对RAFT的优化

 运维——保障Curve始终稳定高效运行。 质量 ✓ 质量管理体系（设计、开发、review、CI） ✓ 测试方法论（单元测试、集成测试、系统测试） 监控 ✓ 监控架构 ✓ 指标采集、后端处理、可视化展示 运维 ✓ 运维特性 （易部署、易升级、自治） ✓ 运维工具（部署工具、管理工具） 4/33背景 01 02 03 04 Curve质量控制 Curve监控体系 Curve运维体系软件质量 client升级影响QEMU，Curve Client采用了Client- Server架构，以支持热升级。 升级Curve Client只需重启NEBD Server，业务IO中断时间一般在5 秒之内（右图为1.0版本实测结果）。  MDS易升级 自动化滚动升级——先升备再升主，确保升级过程中只发生一次主 备切换。  ChunkServer易升级 自动化滚动升级——升级一个zone的所有ChunkServer后，等待集

03 04 Ceph 架构简介 | 块存储场景 | 使用中的问题 Curve 架构简介 | 主要亮点 | 应用情况 FAQ 答疑架构简介 — 总体架构 支持块存储、文件存储（多种存储后端）架构简介 — 概念介绍 Segment: 空间分配的基本单元 Chunk: 数据分片 Copyset: 复制组 ChunkServer: 管理一个磁盘进程架构简介 — 数据放置 Copyset的放置

录的相对路径，此时等同于open。 open flags flags定义 flags通过宏定义实现，定义见 ，主要包括如下flag fcntl.h # 红色是不支持且会执行结果错误；橙色是暂不确定但不影响写入结果；紫色为暂时无法测试；黑色是已经支持 #define O_RDONLY 00000000 #define O_WRONLY 00000001 #define O_RDWR 00000002 SGID是否置位）；当flags中出现O_CREAT 或 O_TMPFILE时，mode参数必须提供，否则会使用栈中随机字节填充；通常在没有ACL的情况下，有效的mode是经过与进程mask作用后的结果（mode & ~mask)。 # symbolic constants S_IRWXU 00700 S_IRUSR 00400 S_IWUSR 00200 S_IXUSR 00100 S_IRWXG offset 指向文件尾（file offset的修改和write操作在一个原子操作中完成）。 O_APPEND O_NONBLOCK O_NDELAY: O_NONBLOCK和O_NDELAY所产生的结果都是使I/O变成非阻塞模式(non-blocking)，在读取不到数据或是写入缓冲区已满会马上return，而不会阻塞等待。差别在于：在读操作时，如果读不到数据，O_NDELAY会使I/O 函数马上

并对以上文件系统在相同环境进行了元数据节点性能测试： 。测试结果c开发的moosefs和fastcfs元数据性能远优于go开发的chubaofs和c开发的cephfs，理论上分析这个结果是合理的，分布式的元数据设 调研测试 计会涉及到多次rpc的交互。这里需要确认的一点是：我们需要怎样的元数据节点的性能？ 可行性分析 方案对比 根据上述调研和测试结果，我们考虑了三种curvefs的元数据设计方案：

物理机：server • 故障域：zone • 物理池：poolIO流程 client MDS leader Chunk server 1、发起请求 2、查询元数据 5、返回结果 5、返回结果 user 3、查询leader节点 4、向leader cs发起请求 1. 用户发起请求； 2. Client 向 mds 查询请求的元数据， 并缓存到本地，请求转换为对 chunk

ChunkServer核心模块 新版本ChunkServer性能优化新版本ChunkServer性能优化 Curve最新的release1.1中对client和chunkserver分别进行了优化，fio性能测试的结果如下表格： Nbd 10盘： Nbd单盘：新版本ChunkServer性能优化 单深度fio测试chunkserver内部时延统计 Raft 日志落盘延迟 优化前性能分析：braft日志落盘 方面： 1、追加写改为覆盖写 2、写入时4KB对齐 3、改为O_DIRECT模式 How？ Why？新版本ChunkServer性能优化 1、模拟braft日志落盘方式的demo程序测试结果，latency为调用sync花费的时间（第一次新写，第二次覆盖写）; 2、因为在请求4KB的情况下，写入的大小带上头部后是4120，是不对齐的，所以又测试了一下把写入大小改成4096的情况：新版本ChunkServer性能优化

机制能否保证数据不丢失? redis 的高可用、高可扩方案？ redis + muliraft 存在的问题？ redis 改造 vs 自己实现? redis 中哈希表实现的优点？ 参考 前言 根据之前讨论的结果，元数据节点的架构如下图所示，这里涉及到两部分需要持久化/编码的内容： Raft Log：记录 operator log Raft Snapshot：将内存中的数据结构以特定格式 dump 到文件进行持久化© }© XXX Page 7 of 12 测试对比： 10 万条随机生成 inode 耗时 (MS) 内存 (KB) 顺序编码 13 5079 protobuf 序列化 81 4996 从对比结果来看，10 万条 inode 耗时相差不大（CPU 并不是瓶颈），内存 protobuf 消耗却更少，推介使用 protobuf 进行序列化 2、KVStore 将当前实现中的 MemoryDentryStorage

cs3) copyset-4: (cs6, cs9, cs12)COPYSET client MDS leader Chunk server 1、发起请求 2、查询元数据 5、返回结果 5、返回结果 user 3、查询leader节点 4、向leader cs发起请求 1. 用户发起请求(fd, offset, length) ； 2. Client 向 mds 查询请求的元数据，

4、实现出现异常场景下的数据恢复，副本修复的调度。 7.3 metaserver端 1、需要提供copyset的创建功能 2、由copyset负责inode和dentry的管理 3、定期向mds上报心跳，并根据心跳结果执行配置变更 metaserver 子模块拆分 metaserver service：接受rpc请求 copyset：负责对元数据的持久化，主要是一致性协议raft的处理© XXX Page 18 一台机器上建议的copyset数量 当前curve机器上的copyset的数量是100个。curvefs也可按照curve的规格，每个机器上管理100个copyset。实际上这个值通过配置文件控制，到时候可以根据测试结果确定合适的copyset的数量。 8.3 每个copyset建议管理存储容量的大小 如果有100个的copyset，每个copyset管理2GB大小的元数据。