© XXX Page 1 of 24 Curve文件系统元数据管理（已实现）© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+dentry方式？当前curve块存储的kv方式？ 是否有单独的元数据管理服务器？ 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 内存空间分配元数据 元数据持久化 元数据扩展 小文件优化 空间管理单位 数据持久化 其他© XXX + name) segment kv → hashtable(key inode + offset) etcd 差 块设备，最小10GB segment + chunk raft 块设备的元数据管理 cephfs 3、各内存结构体 时间复杂度 空间复杂度 特点 可用实现 Btree 一个节点上保存多条数据，减少树的层次(4~5层)

计方案： CurveFS kv方案设计 curve实现块设备时，元数据不是扁平化的设计，而是采用来有目录层级的 namespace 方式，namespace 已经实现了 fs 元数据管理的雏形，具备了基本的元数据管理功能。（当时为什么要设计为 namespace 的管理形式？留有租户这个概念），直接基于 namespace 开发： a. 功能 软/硬链接：目前是都不支持的。软链接可以通过标识文件类型解决；由于 中包含文件的信息，包括用户，时间，软/硬链，数据分布等 元数据架构 元数据包含两个部分 卷的元数据管理 这部分 mds 已经实现。在上面架了一层文件系统后，卷信息中还需要包含文件系统元数据的路由信息 文件系统的元数据管理 需要记录 dentry，inode 这两层元数据。包括内存结构和持久化结构 下面先介绍文件系统的元数据管理，再介绍卷的元数据管理的变化 元数据节点的架构如下© XXX Page 6 of 14 1 inode-inodeInfo; dentry 中存储 filename-dentryInfo 信息 copyset 启动的时候根据 inode 和 dentry 分别建立对应的内存结构，再回放 wal 日志完成构建 卷的元数据管理 卷的元数据中需要包含建立在该卷之上的文件系统元数据分片的位置，以便进行元数据的索引 常见的元数据操作 Create 与 mds 交互获取 inode 和 dentry 的 copyset

修改者 修改内容 1.0 2021/7/23 陈威 初稿 1.1 2021/8/4 陈威 根据评审意见修改 1.2 2021/8/9 陈威 增加详细设计 1、背景 2、chubaofs的元数据管理 2.1、meta partition的创建 2.2、meta partition的管理 2.3、meta partition和inode以及dentry的对应关系？ 3、curvefs的copyset和fs的对应关系 而是每次都需 要去metaserver上去进行分配。 这里需要重新考虑curvefs的copyset和fs的元数据分片的对应关系。© XXX Page 3 of 19 2、chubaofs的元数据管理 chubaofs（补充链接）的元数据也是采用的raft的方式进行管理，可以借鉴一下chubaofs的元数据的分片策略。 通过分析chubaofs的源代码。chubaofs的用volume管理 ，在创建完成之后，才有inodeid。inodeid的分配最好下放到各个分片去进行处理。否则整个集群的inode都去一个地方获取id会 造成巨大的锁开销，这个是不能接受的。 curve块设备的元数据管理，在分配数据的时候，offset一开始就是知道的，这是和curvefs分配很大的一个不同点。 假设已经确定了一个分片规则，那么根据这个分片规则，一定可以找到两个函数 inodeid到copyset的映射：copysetid

非易失性内存（NVDIMM，比如 Intel Optane）是一种提供字节访问粒度的新型高速存储介质，现有内核文件系统 EXT4，可以协同 DAX 特性改善 NVDIMM 新介质数据读写性能，但在元数据管理方面，基于现有 journal 同步机制，元数据 管理开销大，且容易出现写放大问题，NVDIMM 优势无法充分发挥。 EulerFS 创新元数据软更新技术（Soft Update)，基于指针的 边缘计算是未来 10 大战略技术趋势。随着智慧城市、自动驾驶、工业互联网等应用落地，海量数据将在边缘产生， IDC 预测中国 2025 年每年产生的数据将达 48.6ZB，集中式云计算在带宽负载、网络延时、数据管理成本等方面将愈发显 得捉襟见肘，难以适应数据频繁交互需求，边缘计算价值凸显。 openEuler 发布面向边缘计算的版本 openEuler 21.09 Edge，集成 KubeEdge+ 边云协同框架，具备边云应用统一 AppArmor 等其它安全机制。 功能描述 UI Prometheus Mysql Plasticsearch 数据存储 应用拓扑感知 日志 系统指标 系统状态 故障推导引擎 配置溯源 统一数据管理 agent 数据采集 KPI Customer agent 数据采集 KPI Customer agent 数据采集 KPI Customer secPaver功能定位：端到端的策略开发工具

异构数据接入工具 数据清洗工具 数据开发 全链路数据开发IDE FaaS | DataFlow 数据分析 统一查询工具 数据探索工具（BI） 数据挖掘 可视化建模工具 样本标记工具 数据管理 元数据管理工具 数据质量&安全监控 积累全域数据 运营场景应用 运营数据集 其他场景应用 其他数据集 功能示例描述 01 蓝鲸技术运营PaaS体系 02 企业落地解决方案 03 企业典型场景分享

系统运维、运营、管理，应用开发测试运维 提供准确、一致的数据支持，比如统计分析资源投入、分组分类关联查找 定位、快速定位故障等。在企业 IT 建设中，往往被作为建设核心。 Veeam Veeam 是瑞士一家智能数据管理解决方案提供商，专注于为用户提供数据 备份和恢复、数据保护和数据安全等服务，帮助用户提升数据的智能化水 平，实现数据的自主管理，旗下拥有“Veeam ONE”、“Veeam Backup” 等产品。 级以及多级分级分类 和视图。 6.3 使用说明 6.3.1 创建单级标签进行分组分类查看操作、统计分析 操作步骤如下。 （1） 打开【标签】页面。 在【管理中心】门户左侧菜单中选择【元数据管理】下【标签】打开【标签管理】页 面。 杭州飞致云信息科技有限公司 104 图 6-3 标签管理页面 （2）在【标签管理】页面【单级标签】选项卡下，点击【创建】按钮，打开【创建标 签】向导，在向导第一页中，如图 杭州飞致云信息科技有限公司 105 图 6-5 创建单级标签向导第二页 6.3.2 创建多级标签进行分级分组分类查看操作、统计分析 具体操作步骤如下。 （1）在【管理中心】中左侧菜单中选择【元数据管理】下【标签】打开【标签管理】 页面，在页面中选择【多级标签】标签页打开【多级标签】管理页面，如图 6-6 所示。 杭州飞致云信息科技有限公司 106 图 6-6 多级标签管理页面 （2）

2022.03 全场景 LTS版本 全场景 创新版本 2022.09 2023～ 创新版本 代码正式开源 2019.12 内核可编程，场景算力最佳 异构直连聚合，应用跨算力流转 分布式数据管理，数据共享 … 嵌入式 服务器 全场景能力 持续增强 基础能力 持续创新 南向创新 • 可编程内核 • 实时内核 北向创新 • 容器/虚机混部 openEuler DevKit

收集集群状态信息，自动调度 • 数据节点 Chunkserver 数据存储 副本一致性 • 客户端 Client 对元数据增删改查 对数据增删改查 • 快照克隆服务器MDS各个组件 MDS是中心节点，负责元数据管理、集群状态收集与调度。MDS包含以下几个部分： • Topology: 管理集群的 topo 元数据信息。 • Nameserver: 管理文件的元数据信息。 • Copyset: 副本放置策略。

边缘计算是未来 10 大战略技术趋势。随着智慧城市、自动驾驶、工业互联网等应用落地，海量数据将在边缘产生， IDC 预测中国 2025 年每年产生的数据将达 48.6ZB，集中式云计算在带宽负载、网络延时、数据管理成本等方面愈发显得 捉襟见肘，难以适应数据频繁交互需求，边缘计算价值凸显。 openEuler 发布的面向边缘计算的版本 openEuler 22.03 LTS Edge，集成 KubeEdge

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 176 10 数据管理 177 10.1 共享，拷贝和存档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . GNU/Linux 虚拟化下很好的运行。 在 Debian wiki: SystemVirtualization 参看更多技巧。 Debian 参考手册 177 / 233 Chapter 10 数据管理 以下是关于在 Debian 系统上管理二进制和文本数据的工具及其相关提示。 10.1 共享，拷贝和存档 警告 为避免竞争情况，不应当对正在进行写操作的设备和文件，多个进程进行不协调的写操作。采用