mode_t mode, dev_t rdev); 这两个函数的功能是类似，都用来创建文件。 根据parent inode id 和name，向mds查询创建dentry和inode的位置，去meta server创建dentry和inode 预分配一些空间？可先不做 mkdir© XXX Page 7 of 11 void (*mkdir) (fuse_req_t req, fuse_ino_t fuse_ino_t parent, const char *name, mode_t mode); 根据parent inode id 和name，向mds查询创建dentry和inode的位置，去meta server创建dentry和inode forget void (*forget) (fuse_req_t req, fuse_ino_t ino, uint64_t nlookup); 根据inod inode id 和name，向mds查询创建dentry和inode的位置，去meta server创建dentry和inode void (*readlink) (fuse_req_t req, fuse_ino_t ino); 根据inodeid，向mds查询创建inode的位置，去meta server获取inode结构，并缓存 从inode结构中取出link contents，调

1.1 2021/8/4 陈威 根据评审意见修改 1.2 2021/8/9 陈威 增加详细设计 1、背景 2、chubaofs的元数据管理 2.1、meta partition的创建 2.2、meta partition的管理 2.3、meta partition和inode以及dentry的对应关系？ 3、curvefs的copyset和fs的对应关系 3.1 如何获取inodeid 3 curve块存储的topo信息由PhysicalPool、LogicalPool、Zone、Server、ChunkServer、CopySetInfo组成。curvefs可以照搬curve块存储的topo设计，只是保存的内容从数据变成了元数据。 curvefs的topo信息设计可以由PhysicalPool、LogicalPool、Zone、Server、MetaServer、CopySetInfo组成。 curve 通过分析chubaofs的源代码。chubaofs的用volume管理一个文件系统，每个volume有若干meta partition和data partition。meta partition管理的元数据，data partition管理数据。meta partition管理inode和dentry信息。 创建一个文件系统时，如何初始化meta partition？ master\cluster.go， chubaof

RBD)Performance (vs. Ceph RBD)CurveBS Features • RAFT for data consistency • minor impaction when chunk server fails • Precreated chunk file for volume space mapping • high performance framework • Use bthread STORAGE/DISK FAILURE INFLUENCE without I/O disruption I/O jitter occasionally CAN SYNC WITH REMOTE DISK SERVER Y NI/O Jitter (vs. Ceph) 3 replicas with 9 nodes cluster each node has 20 x SSD, 2xE5-2660 v4 and mem FAULTS CASE CURVE I/O JITTER CEPH I/O JITTER COMMENT ONE DISK FAILURE 4s 7s ONE SERVER FAILURE 4s 7s SERVER RESPONSE VERY SLOW 4s unrecoverable frequently delay of disk i/o are very long NETWORK

b tree(key ino) dentry → b tree (key parentIno + name) extent → B+ tree 这个在inode的ExtentsTree字段 meta partition(raft group) Btree、B+ tree 好 有 tiny extent，多个文件共用 normal extent，属于一个文件 partition append→ 现在假定文件系统有这样几个文件，根据上面的分片方式，parent为"/"和"/A/C"在server0上，parent为"/A"和"/A/D"在server1上，parent为"/B"在server2上。© XXX Page 12 of 24 元数据 server 0 server 1 server 2 inode信息 0 → inode / 300 → inode C 100 → 5.1.1 场景分析 查找：查找/A/C。 1、client给server0发送请求：parentid 0 + name "A"，查询"A"的inodeid为100© XXX Page 13 of 24 2、client给server0发送请求：inode 100，查询的"A"的inode信息。 3、client给server1发送请求：parentid 100 + name "C"，查询"C"的inode为300

data organization and topology structure of CURVE. CurveBS uses the central node Metadata Server (MDS) to manage virtual disk mapping and data replicas distribution. Decentralization currently particularly strong in most cases. The CurveBS core consists of three parts: 1. Metadata Server (MDS) l Manages and stores metadata information and persists the data in ETCD l Collect cluster operation. CurveFS architecture Curvefs implements the file system interface based on FUSE. 1. Fs-meta Cluster is used to manage the inode and dentry metadata of files. The architecture is like CurveBS

对于所有TYPE_FILE类型的文件在删除时， ，则不会立即将该文件彻底删除，而是将其类型修改为TYPE_TRASH并且将该节点从文件树移除然后放到trash链表中表示该文件已经进入回收 若其trashtime大于0 站。 通过META文件系统来访问trash 通过trash机制，可实现文件的恢复UNDEL 回收站实现了一个timer，定期判断trashtime，执行定期清理回收站 清理时，当文件仍处于打开状态，则还需要进入下sustained/reserve中。 reserve 使用了session机制，记录client端的open状态 通过META文件系统访问reserve 使用CUTOMA_FUSE_RESERVED_INODES消息保持和释放inode 实现了Timer，定期判断是否还有session，如果没有client打开，则进行清理。 优点： 通过meta文件系统来管理trash，更为优雅。© XXX Page 8 of 15 1. 那么需要实现类似freelist一样的东西来保存当前已经"被删"的inode id 由于inode放在原地，那么由于dentry已经被删除，那么查询工具就较为复杂，不能复用原有的client逻辑，需要组织成moosefs那样的meta文件系统可能需要引入额外的复杂性，但是依然可以实现简单的 工具查询。 由于该方案，删除的inode是分散于每个partition中，那么查询工具可能需要遍历所有partion去查询所有的删除inode。

调用mds接口，移除curve内部的快照。 • 6.mds调用chunkserver接口，删除内部快照 数据 快照流程： chunk chunk chunk chunkserver meta object data object data object S3 Snap Task etcd mds client 3.获取快照元数据 datastore metastore ChunkServer从克隆源拷贝数据。 • 8. 将卷从临时卷rename为克隆目标卷名。 • 9. 更新克隆卷状态为Cloned。 克隆流程： chunk chunk chunk chunkserver meta object data object data object S3 Snap Task etcd MDS client 2.创建克隆卷 3.分配卷空间 7.拷贝数据 datastore

pool: 用于实现对机器资源进行物理隔离，server不能跨 Pool交互。运维上，建议以pool为单元进行物理资源的扩 容。 • zone: 故障隔离的基本单元，一般来说属于不同zone的机 器至少是部署在不同的机架，一个server必须归属于一个 zone。 • server: 用于抽象描述一台物理服务器，chunkserver必须 归属一个于server。 • Chunkserver: 用于抽象描述物理服务器上的一块物理磁盘 置文件： 集群有一个物理pool，由3个zone组成，每个zone有1台server。 在物理pool上，还创建了一个逻辑pool，逻辑pool使用3个zone，采用 3副本，有100个copyset。 cluster pool1 zone1 zone2 zone3 server1 server2 server3 192.168.0.1:8200 192.168.0.2:8200 192 cluster_map: servers: - name: server1 internalip: 192.168.0.1 internalport: 8200 externalip: 192.168.0.1 externalport: 8200 zone: zone1 physicalpool: pool1 - name: server2 internalip: 192.168.0.2 internalport:

TODO()/context.Background()', the Campaign // will continue to be blocked for other keys to be deleted, unless server // returns a non-recoverable error (e.g. ErrCompacted). // Otherwise, until the context is not cancelled er建立的交互如下： ①与etcd server维持租约。这里涉及到租约的时间 LeaseTime，租约KeepAlive的时间间隔是1/3的LeaseTime nextKeepAlive := time.Now().Add((time.Duration(karesp.TTL) * time.Second) / 3.0) ②定期去etcd server中get leader/MDS1，看是否还存在。这里涉及到定期get的时间 etcd集群leader选举的超时时间 3s LeaseTime mds当选leader之后，与etcd集群维持租约的过期时间 租约的keepalive间隔为LeaseTime/3 etcd server端限制LeaseTime >= 1.5 * ElectionTimeout 10s PeriodicGetTime mds当选leader之后，去etcd集群get Leader/MDS1的时间间隔

●protobuf3 BRPC简介 ●Client/Server架构 ●使用Protobuf定义协议文件 –例如: echo.proto:4 BRPC简介 client server EchoRequest EchoResponse5 BRPC简介 ●Channel类 –代表一个连接，Client通过Channel发 送请求和接收应答 ●Server类 –代表一个服务器，可以注册不同的 接 接口服务，例如上面的EchoService6 BRPC SERVER7 BRPC SERVER8 BRPC client9 BRPC EndPoint EndPoint是一个代表通讯地址的数据结构, 是一个C++类。 字段: ip，port ●在Socket创建时需要提供EndPoint ●Socket::Connect时需要Remote EndPoint ●Accept的Socket可以获得Remote ●是创建socket的参数 ●主要成员: –fd 是socket文件句柄 –void (*on_edge_triggered_events)(Socket*) ●可读事件的回调函数16 Server创建Socket Listener 把系统调用创建的listen socket fd传给Socket::Create，获得一个Socket对象17 Socket Listener::OnNewConnections