分片方式一：inode和dentry都按照parentid分片 5.1.1 场景分析 查找：查找/A/C。 创建：/A/C不在，创建/A/C 删除文件：删除/A/C 删除目录：删除/A rename：rename /A/C到/B/E symbolic link： hardlink：生成一个hardlink /B/E，指向文件/A/C list：遍历/A目录 5.1.2 好处 5.1.2 问题 5.2 分片方式二 分片方式二：Inode按照inodeid进行分片，Dentry按照parentid进行分片 rename：rename /A/C到/B/E hardlink：生成一个hardlink /B/E，指向文件/A/C 6、curve文件系统的多文件系统的设计 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ ino 层)，方便从盘上读取数据，减少去盘上读取次数。适合在盘上和内存组织目录树。 google，https://github.com/abseil/abseil-cpp/tree/master/absl/c ontainer 实现了btree map和btree set，(Apache)。 google， https://code.google.com/archive/p/cpp-btree/， btree_map

cfs_write(id C.int64_t, fd C.int, buf unsafe.Pointer, size C.size_t, off C.off_t) C.ssize_t { ... var wait bool if f.flags&uint32(C.O_DIRECT) != 0 || f.flags&uint32(C.O_SYNC) != 0 || f.flags&uint32(C.O_DSYNC) O_DSYNC) != 0 { wait = true } ... if wait { if err = c.flush(f); err != nil { return C.ssize_t(statusEIO) } } } // cephfs writeflush int64_t Client::_write(Fh *f, int64_t offset, uint64_t size

r a f t 在 C u r v e 存 储 中 的 工 程 实 践 陈威Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化项目背景 Curve是一个 高性能、更稳定、易运维 的 云原生 分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 ReplicaSchedule (a, b) -> (a, b, c) or (a, b, c, d) -> (a, b, c, d) 保持raft的副本个数为指定值 • RecoverSchedule (a, b, c) -> (a, c, d) 替换不能提供服务的serverCURVE的RAFT配置变更 均衡场景下配置变更 • CopySetSchedule (a, b, c) -> (a, b, d) 每个chu 每个chunkserver上的copyset个数尽量均衡 • LeaderSchedule (a(leader), b, c) -> (a, b(leader) , c) 每个chunkserver上的leader copyset个数尽 量均衡。 • RapidLeaderScheduler 手动执行，快速leader均衡。 用于新建集群、扩容集群、升级服务等场景CURVE的均衡效果Curve介绍 01

if !ok { fmt.Printf("Observe() channel closed permaturely\n") return C.ObserverLeaderInternal }© XXX Page 17 of 30 if string(resp.Kvs[0].Value) == goLeaderName goLeaderName) return C.ObserverLeaderChange // observetimeoutcontext, observe timeout // get // keycontextetcd // grpcetcd case <-ticker.C: // mds errCode != C.OK { log.Printf("Observe can not get leader key: %v, startTime:" + " %v, spent: %v", election.Key(), t, time.Since(t)) return C.ObserverLeaderInternal

server.aof_buf (详见: aof.c/feedAppendOnlyFile) (2) 文件写入: 将 AOF 缓冲区的内容以 append 方式写入文件 (详见: aof.c/flushAppendOnlyFile) (3) 文件同步: 根据 appendfsync 配置选项决定文件同步频率, 该步骤与步骤 2 紧密关联 (详见: aof.c/flushAppendOnlyFile)© XXX 内存数据结构使用的是 C++ STL 中的哈希表（unsorted_map），之后有可能根据需求换成 B+ 树或跳表，但是 redis 中的这些数据结构我们是不需要的 另外，如果 C++ 中的哈希表在后期使用中发现性能不达标的话（特别是在 rehash 扩桶的时候），我们可以把 redis 中的哈希表借鉴过来用（redis 中的哈希实现很独立，单独的文件 t_hash.c，其性能表现也非常好） redis

疑问：协商期间do_init()中的启用ACL的flags如何设置？ 初始化时的 通过 ： 功能协商 init()函数实现© XXX Page 9 of 33 // libfuse lib/fuse_lowlevel.c static void do_init(fuse_req_t req, fuse_ino_t nodeid, const void *inarg) { struct fuse_init_in *arg 4 Jul 16 10:41 softlink -> file 文件类型 文件类型标识 文件类型 - 普通文件 d 目录文件 l 符号链接 s 套接字（伪文件） b 块设备（伪文件） c 字符设备（伪文件） p 管道（伪文件） 文件权限 文件权限分为三段：分别对应文件“属主权限”、“属组权限”、“其他用户权限” 权限标识 权限类型 - 无权限 r 读权限4 w 写权限2 access control list only -d, --default display the default access control list only -c, --omit-header do not display the comment header -e, --all-effective print all effective

rvefs，curvefs下有自己独立的proto\src\test。 2、文件系统proto定义 2.1 mds.proto mds.proto /* * Copyright (c) 2020 NetEase Inc. * * Licensed under the Apache License, Version 2.0 (the "License"); * you may uest) returns (DeleteFsInfoResponse); } 2.2 metaserver.proto metaserver.proto /* * Copyright (c) 2020 NetEase Inc. * * Licensed under the Apache License, Version 2.0 (the "License"); * you may (DeleteInodeResponse);© XXX Page 11 of 15 }© XXX Page 12 of 15 2.3 space.proto space.proto /* * Copyright (c) 2020 NetEase Inc. * * Licensed under the Apache License, Version 2.0 (the "License"); * you may

C u r v e 核 心 组 件 之 C l i e n t 吴汉卿CURVE CURVE是高性能、高可用、高可靠的分布式存储系统 • 高性能、低延迟存储底座 • 可扩展存储场景：块存储、对象存储、云原生数据库、EC等 • 当前实现了高性能块存储，对接 OpenStack 和 k8s • 网易内部线上无故障稳定运行400+天 • 已开源 • github主页： https://opencurve 量并发的情况下，会阻塞worker线程，也 存在瓶颈  std::mutex/spinlock 改成 bthread::Mutex  …… 128深度、4K随机写欢 迎 大 家 参 与 C U R V E 项 目 ！  github主页： https://opencurve.github.io/  github代码仓库： https://github.com/opencurve/curve

osd.1, osd.2, osd.3 对ObjectID进行哈希并取模（复制组数量）得到pgid head_D35c9011 根据 offset, len, name.. 生成ObjectID rbd\udata.6855c174a277a30.000000000005c2架构简介 — 多副本一致性协议 复制策略 • 主动拷贝、链式复制、splay复制 异常处理 • PG有23种状态：Peering，Degraded等

1 用UCX实现BRPC对RDMA的支持 徐逸锋2 BRPC简介 ●BRPC是Curve的基础通讯框架 ●支持远程过程调用 –C++ –TCP传输 –bthread协程(m:n调度，减少基于内核的下文切换 ，减少cache miss) ●多协议支持 –baidu_std,http,grpc… ●protobuf3 BRPC简介 ●Client/Server架构 ●使用Protobuf定义协议文件 接口服务，例如上面的EchoService6 BRPC SERVER7 BRPC SERVER8 BRPC client9 BRPC EndPoint EndPoint是一个代表通讯地址的数据结构, 是一个C++类。 字段: ip，port ●在Socket创建时需要提供EndPoint ●Socket::Connect时需要Remote EndPoint ●Accept的Socket可以获得Remote domain又可以包含若干个 transport ●当前支持的memory domain：ibverbs, tcp, shared memory ●详情可以见examples/uct_hello_world.c25 UCT ●Memory domain open/close ●Active message ●Memory get/put ●Memory atomic fetch, compare and