Chubaofs Juicefs 方案实现 方案一：chubaofs 方案二：事务方案 方案三：利用 KV 自带的分布式事务 Q&A 1. 是否需要实现跨文件系统的 rename 操作？ 2. 在多客户端情况下，是否需要加锁来保证其原子性？ 3. rename 流程举例说明？ 例 1：rename A→B (A 存在，而 B 不存在) 例 2：rename A→C (A 存在，而 C 存在) 4 删除了，而 inode 却没被回收，会被当成孤儿节点去处理） 如果采用 chubaofs 的方案，需要考虑以下问题： 以上的恢复进制如果没执行成功怎么办？ 客户端存活的情况下，应该多尝试几次，直至成功 但是如果恢复机制尝试多次没成功，或者客户端挂掉、宕机该如何处理？ 步骤 1：忽略 步骤 2：只是给 nlink + 1 了，这个 ，同步骤 4 恢复机制一样，当做孤儿节点来处理 等同于 unlink "hello world\n", 12) = 12 ... 2. 在多客户端情况下，是否需要加锁来保证其原子性？ 我认为是需要的，根据 POSIX 对接口原子的要求，rename() 操作期间不允许被其他操作打断，对于单客户端来说，VFS 层已经给我们保障了，不需其他开发， 而如果我们挂载多客户端的话，需要一个分布式锁，可以利用块设备中 open() 的 session 机制来实现文件锁，加锁的粒度可以参考

当一个trashtime等于0的TYPE_FILE类型的文件被一个客户端正在打开，而同时有另一个客户端要删除它时，此时master对该文件节点的处理是并不立即删除该文件而是设置为TYPE_RESERVED类型并将该fsn ode连接到reserved链表中，使该文件虽然已经从文件树中删除掉，但因为另一个正在打开该文件的客户端因为持有该节点inodeid,所以不影响它对该文件的读写操作，当所有客户端都关闭该文件后，该文 件节点才会从 和close接口，增加open计数，记录client端open的数量 增量client与metaserver session模块，定期refresh session 到metaserver，这个要做客户端级别的，不是文件级别的，防止rpc请求数量过多 MetaServer端功能一 Trash机制： 需要实现 接口， 进行nlink–，当nlink==0时，将inodeid 放入trash unlink

2. 3. 1. 2. 3. 4. 5. 6. 1. 2. 背景 只考虑单客户端, 单metaserver 为了解决的问题: 客户端在对一个文件的某个部分多次写入后, 同一个chunk会产生很多版本数据; 而客户端在读的时候, 会需要对这些chunk进行筛选和构建, 得到有效的部分, 越是散乱的状态, 就越需要发送更多次读请求至s3. 最后导致无效旧数据的堆积和读请求性能的下降 3 2. 1. 2. 1. 2. 需要进行一个merge的步骤 在做变更时如果有其他op可能会产生的冲突: 读: 在执行变更删除原来的s3 object时, 执行读的客户端的缓存可能还是原有的chunkinfolist, 可能会去读已经删除的object, 这种时候读会失败 可以使用双重保证 读失败的时候retry, 或许可以重拉metadata 整理后, mds

© XXX Page 1 of 9 Curvefs-S3 本地写缓存盘方案© XXX Page 2 of 9 背景 方案设计 主要数据结构定义 方案设计思考 POC验证 背景 当前，s3客户端在写底层存储的时候是直接写入远端对象存储，由于写远端时延相对会较高，所以为了提升性能，引入了写本地缓存盘方案。也即要写底层存储时，先把数据写到本地缓存硬盘，然后再把本地缓存 硬盘中的数据异步上传到远端对象存储。 传到远端对象存储集群，上传成功后，删除本地写缓存目录中的对应文件。 同时，缓存清理模块会定时检查本地硬盘缓存目录容量情况，如果容量已经达到阈值了，则进行文件的清理工作。 另外，异常管理模块处理客户端挂掉后的文件重新上传问题。 主要数据结构定义 class DiskCacheManagerImpl : public DiskCacheManager{ public: DiskCacheManagerImpl(); 遍历工作队列(队列swap)，从缓存盘目录读取到文件内容并上传到对象存储。文件上传到对象存储后，直接删除。 工作队列做好互斥管理 异常管理 如果客户端挂掉，那么写缓存盘中可能会有残留文件没有上传到对象存储；如果忘记处理，那么这些数据也就相当于是丢失了。 所以在客户端初始化建立的时候，可以先遍历写缓存目录，如果里面有文件，那么则上传到远端对象存储 POC验证© XXX Page 9 of 9 Cac

• 主动拷贝、链式复制、splay复制 异常处理 • PG有23种状态：Peering，Degraded等 • 强一致性协议对异常的容忍较差 使用WARO一致性协议 • 所有副本写完成返回客户端 • 延迟取决于所有副本中最慢的那一个块存储场景 为云主机提供云盘，云盘提供随机读写、快照（数据备份，灾备使用）、镜像（模板，自定义）功能。块存储场景 为物理机提供块设备 Linux IO栈 主动拷贝，由 leader 向 follower 并发拷贝 异常处理 • 自动leader选举 • 2N+1 副本数可以容忍 N 副本数异常 Quorum一致性协议 • 大多数副本写完成返回客户端 • 延迟取决于所有副本中最快的大多数主要亮点 高性能 更稳定 跟各 更稳定 具备可视化的开发页面， 直观查看任务运行情况， 数据开发方便，系统运 维方便 易运维 具备可视化的开发页面， 块存储场景，Curve随机读写性能远优于Ceph 单卷 多卷主要亮点 — 易运维 运维场景 Curve Ceph 加盘 对IO无影响 秒级io影响 服务端升级 对IO无影响 重启管控面IO无影响，重启osd io秒级影响 客户端升级 热升级，秒级抖动 不支持热升级，需要业务停服 集群监控 丰富的metric metric类型较少主要亮点 — 更稳定 异常场景 Curve Ceph 坏盘 基本无抖动 无明显抖动 慢盘

，更容易理解和实现。 • raft可以解决分布式理论中的CP，即一致性和分区容忍性 • 大多数副本成功即可返回成功 • 速度取决于写的较快的大多数RAFT协议简介 • Leader：负责从客户端接受日志，把日志复制到其 他服务器，当保证安全性的时候告诉其他服务器应用 日志条目到他们的状态机中。 • Candidate: 发起选举。获取大多数选票的候选人将 成为领导者。 • Follower: raft选举leader raft任期RAFT协议简介 raft复制状态机 1. leader收到客户端的请求。 2. leader把请求指令记录下来，写入日志，然后并⾏发 给其他的服务器，让他们复制这条⽇志。 3. 当这条⽇志条⽬被安全的复制，leader会应⽤这条⽇ 志条⽬到它的状态机中。 4. 然后把执⾏的结果返回给客户端。 • 提供命令在多个节点之间有序复制和执行，当多个节 点初始状态一致的时候，保证节点之间状态一致。

采⽤eBPF加速云原⽣环境中 Curve⽂件系统性能 ⽹易数帆科技 向东提纲 • 什么是Curve • Curve的应⽤场景及挑战 • Curve客户端⾯临问题及分析 • 什么是ebpf • 基于epbf的Curve Cache设计 • Curve社区介绍Curve是什么？ • Curve云原⽣软件定义存储 • Curve分布式块存储 • Curve分布式⽂件存储 • 参与Curve交流与讨论：微信群，右⼿边⼆维码You can take away • Curve⽂件系统采⽤cache来提升性能，对象存储来降低成本 • ⽬前⾯临Curve⽂件系统客户端延迟较⼤的问题 • 解决延迟有ld_preload以及ebpf的⽅式，各有优缺点 • 使⽤ebpf可以在内核中直接读取cache数据，并返回，降低了延迟。 • 介绍了ebpf基于FUSE的cache设计THANKS

Chunkserver 数据存储 数据一致性基本架构 • 元数据节点 MDS 管理元数据信息 收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查基本架构 • 快照克隆服务器 独立于核心服务 储到支持S3接口的 对象存储，不限制数量 异步快照、增量快照 从快照/镜像克隆 ( lazy/非lazy 精确的流量控制，对io几乎无影响自治 • 集群负载和资源均衡 • leader copyset scatter-width • 无需人工干预 • 对io影响几乎无影响易运维 • 升级秒级影响 • 客户端采用CS架构 • NEBD Client: 对接上层业务 • NEBD Server: 接受请求 调用Curve Client处理 • 升级只需重启Server 秒级影响易运维 • 丰富的metric体系

传输控制协议（Transmission Control Protocol，TCP）。这两者都是 请求 - 响应 （request-response）协议，也就是说，有 客户端（client）来初始化请求，并有 服务端 （server）监听请求并向客户端提供响应。请求与响应的内容由协议本身定义。 TCP 是一个底层协议，它描述了信息如何从一个 server 到另一个的细节，不过其并不指定信 息是什么。HTTP 方法返回一个迭代器，它提供了一系列的流（更准确的说是 TcpStream 类型的流）。流（stream）代表一个客户端和服务端之间打开的连接。连接 （connection）代表客户端连接服务端、服务端生成响应以及服务端关闭连接的整个请求 / 响 应过程。为此，我们会从 TcpStream 读取客户端发送了什么并接着向流发送响应以向客户端发 回数据。总体来说，这个 for 循环会依次处理每个连接并产生一系列的流供我们处理。 CRLF message-body 第一行叫做 请求行（request line），它存放了客户端请求了什么的信息。请求行的第一部分是 所使用的 method，比如 GET 或 POST，这描述了客户端如何进行请求。这里客户端使用了 GET 请求，表明它在请求信息。 请求行接下来的部分是 /，它代表客户端请求的 统一资源标识符（Uniform Resource Identifier，URI）：URI

2. RAFT协议保持数据的一致 性 3. chunkfile pool降低元数据开 销 Chunkserver服务Curve块存储 性能设计Curve块存储 在线升级设计 1. 客户端分成NebdClient与 NebdServer两部分 2. NebdClient只做简单的转发 3. NebdServer实现大部分的客 户端逻辑Curve块存储 故障对I/O抖动延迟的影响