© XXX Page 1 of 24 Curve文件系统元数据管理（已实现）© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+dentry方式？当前curve块存储的kv方式？ 是否有单独的元数据管理服务器？ 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 其他© XXX + name) segment kv → hashtable(key inode + offset) etcd 差 块设备，最小10GB segment + chunk raft 块设备的元数据管理 cephfs 3、各内存结构体 时间复杂度 空间复杂度 特点 可用实现 Btree 一个节点上保存多条数据，减少树的层次(4~5层)

计方案： CurveFS kv方案设计 curve实现块设备时，元数据不是扁平化的设计，而是采用来有目录层级的 namespace 方式，namespace 已经实现了 fs 元数据管理的雏形，具备了基本的元数据管理功能。（当时为什么要设计为 namespace 的管理形式？留有租户这个概念），直接基于 namespace 开发： a. 功能 软/硬链接：目前是都不支持的。软链接可以通过标识文件类型解决；由于 中包含文件的信息，包括用户，时间，软/硬链，数据分布等 元数据架构 元数据包含两个部分 卷的元数据管理 这部分 mds 已经实现。在上面架了一层文件系统后，卷信息中还需要包含文件系统元数据的路由信息 文件系统的元数据管理 需要记录 dentry，inode 这两层元数据。包括内存结构和持久化结构 下面先介绍文件系统的元数据管理，再介绍卷的元数据管理的变化 元数据节点的架构如下© XXX Page 6 of 14 1 inode-inodeInfo; dentry 中存储 filename-dentryInfo 信息 copyset 启动的时候根据 inode 和 dentry 分别建立对应的内存结构，再回放 wal 日志完成构建 卷的元数据管理 卷的元数据中需要包含建立在该卷之上的文件系统元数据分片的位置，以便进行元数据的索引 常见的元数据操作 Create 与 mds 交互获取 inode 和 dentry 的 copyset

修改者 修改内容 1.0 2021/7/23 陈威 初稿 1.1 2021/8/4 陈威 根据评审意见修改 1.2 2021/8/9 陈威 增加详细设计 1、背景 2、chubaofs的元数据管理 2.1、meta partition的创建 2.2、meta partition的管理 2.3、meta partition和inode以及dentry的对应关系？ 3、curvefs的copyset和fs的对应关系 而是每次都需 要去metaserver上去进行分配。 这里需要重新考虑curvefs的copyset和fs的元数据分片的对应关系。© XXX Page 3 of 19 2、chubaofs的元数据管理 chubaofs（补充链接）的元数据也是采用的raft的方式进行管理，可以借鉴一下chubaofs的元数据的分片策略。 通过分析chubaofs的源代码。chubaofs的用volume管理 ，在创建完成之后，才有inodeid。inodeid的分配最好下放到各个分片去进行处理。否则整个集群的inode都去一个地方获取id会 造成巨大的锁开销，这个是不能接受的。 curve块设备的元数据管理，在分配数据的时候，offset一开始就是知道的，这是和curvefs分配很大的一个不同点。 假设已经确定了一个分片规则，那么根据这个分片规则，一定可以找到两个函数 inodeid到copyset的映射：copysetid

Pod伸缩管理 集群伸缩管理 变更管控 配额管理 运维原子操作 精细化调度 接入层流程调拨 应用层流量调拨 跨集群状态 分发/汇聚 数据层流量调拨 压测/灰度 流量管理 单元化 元数据管理 弹性流量管理 跨集群发布策略 多集群管理 跨集群网络 跨集群镜像管理 蓝绿发布 灰度分组发布 中间件变配 （DRM/Scheduler/Message） Mesh流调拨和治理 弹性建站/下站

收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。

 服务管理：实现服务 CRUD，域名 CRUD，服务健康状态检查，服务权重管理等功能。  配置管理：实现配置管 CRUD，版本管理，灰度管理，监听管理，推送轨迹，聚合数据等功能。  元数据管理：提供元数据 CURD 和打标能力，为实现上层流量和服务灰度非常关键。 19 > Nacos 架构 内核层  插件机制：实现三个模块可分可合能力，实现扩展点 SPI 机制，用于扩展自己公司定制。 剩余健康实例能正 常工作。  实例选择器（Selector）：用于在获取服务下的实例列表时，过滤和筛选实例。该选择器也被称 为路由器，目前 Nacos 支持通过将实例的部分信息存储在外部元数据管理 CMDB 中，并在发现 服务时使用 CMDB 中存储的元数据标签来进行筛选的能力。  拓展数据(extendData)：用于用户在注册实例时自定义扩展的元数据内容，形式为 K-V 。可以在

对每个已经移出队列的任务调用JoinableQueue. task_done() 。不然的话用于统计未完成任务的信号量最终会溢出并抛出异常。 另外还可以通过使用一个管理器对象创建一个共享队列，详见数据管理器 。 注解: multiprocessing uses the usual Queue.Empty and Queue.Full exceptions to signal a timeout. Reference, 发布 2.7.18 同步原语 通常来说同步原语在多进程环境中并不像它们在多线程环境中那么必要。参考threading 模块的文档。 注意可以使用管理器对象创建同步原语，参考数据管理器 。 class multiprocessing.BoundedSemaphore([value]) 非常类似threading.BoundedSemaphore 的有界信号量对象。 A solitary 输出如下 49 0.1111111111111111 HELLO WORLD [(3.515625, 39.0625), (33.0625, 4.0), (5.640625, 90.25)] 数据管理器 Managers provide a way to create data which can be shared between different processes. A manager

对每个已经移出队列的任务调用JoinableQueue. task_done() 。不然的话用于统计未完成任务的信号量最终会溢出并抛出异常。 另外还可以通过使用一个管理器对象创建一个共享队列，详见数据管理器 。 注解: multiprocessing uses the usual Queue.Empty and Queue.Full exceptions to signal a timeout. Reference, 发布 2.7.18 同步原语 通常来说同步原语在多进程环境中并不像它们在多线程环境中那么必要。参考threading 模块的文档。 注意可以使用管理器对象创建同步原语，参考数据管理器 。 class multiprocessing.BoundedSemaphore([value]) 非常类似threading.BoundedSemaphore 的有界信号量对象。 A solitary 输出如下 49 0.1111111111111111 HELLO WORLD [(3.515625, 39.0625), (33.0625, 4.0), (5.640625, 90.25)] 数据管理器 Managers provide a way to create data which can be shared between different processes. A manager

对每个已经移出队列的任务调用JoinableQueue. task_done() 。不然的话用于统计未完成任务的信号量最终会溢出并抛出异常。 另外还可以通过使用一个管理器对象创建一个共享队列，详见数据管理器 。 注解: multiprocessing uses the usual Queue.Empty and Queue.Full exceptions to signal a timeout. Reference, 发布 2.7.18 同步原语 通常来说同步原语在多进程环境中并不像它们在多线程环境中那么必要。参考threading 模块的文档。 注意可以使用管理器对象创建同步原语，参考数据管理器 。 class multiprocessing.BoundedSemaphore([value]) 非常类似threading.BoundedSemaphore 的有界信号量对象。 A solitary 输出如下 49 0.1111111111111111 HELLO WORLD [(3.515625, 39.0625), (33.0625, 4.0), (5.640625, 90.25)] 数据管理器 Managers provide a way to create data which can be shared between different processes. A manager

secrets —生成安全随机数字用于管理密码 3.6 新版功能. 源代码: Lib/secrets.py secrets 模块可用于生成高加密强度的随机数，适应管理密码、账户验证、安全凭据和相关机密数据管理 的需要。 特别地，应当优先使用secrets 来替代random 模块中默认的伪随机数生成器，后者被设计用于建模和仿 真，而不适用于安全和加密。 参见: PEP 506 15.3.1 随机数 出 队 列 的 任 务 调 用JoinableQueue. task_done()。不然的话用于统计未完成任务的信号量最终会溢出并抛出异常。 另外还可以通过使用一个管理器对象创建一个共享队列，详见数据管理器 。 注解: multiprocessing 使用了普通的queue.Empty 和queue.Full 异常去表示超时。你需要从queue 中导入它们，因为它们并不在multiprocessing ，因为此时可能 无法确定消息的边界。 同步原语 通常来说同步原语在多进程环境中并不像它们在多线程环境中那么必要。参考threading 模块的文档。 注意可以使用管理器对象创建同步原语，参考数据管理器 。 class multiprocessing.Barrier(parties[, action[, timeout]]) 类似threading.Barrier 的栅栏对象。 3.3 新版功能