© XXX Page 1 of 24 Curve文件系统元数据管理（已实现）© XXX Page 2 of 24 1. 2. 3. 4. Inode 1、设计一个分布式文件系统需要考虑的点： 2、其他文件系统的调研总结 3、各内存结构体 4、curve文件系统的元数据内存组织 4.1 inode定义： 4.2 dentry的定义： 4.3 内存组织 5 元数据分片 hardlink：生成一个hardlink /B/E，指向文件/A/C 6、curve文件系统的多文件系统的设计 1、设计一个分布式文件系统需要考虑的点： 文件系统的元数据是否全缓存？ 元数据持久化在单独的元数据服务器上？在磁盘上？在volume上？ inode+dentry方式？当前curve块存储的kv方式？ 是否有单独的元数据管理服务器？ 2、其他文件系统的调研总结 fs 中心化元数据 内存namespace元数据 stl unordered_map moose，使用c实现 4、curve文件系统的元数据内存组织 curve文件系统元数据主要有3个类型，inode， dentry， 。 extent 4.1 inode定义： inode定义见：curve文件系统元数据proto（代码接口定义，已实现）© XXX Page 5 of 24 typedef uint64_t

Curve文件系统空间分配方案（基于块的方案，已实现）© XXX Page 2 of 11 背景 本地文件系统空间分配相关特性 局部性 延迟分配/Allocate-on-flush Inline file/data 空间分配 整体设计 空间分配流程 特殊情况 空间回收 小文件处理 并发问题 文件系统扩容 接口设计 RPC接口 空间分配器接口 背景 根据 ，文件系统基于当前的块 ，文件系统基于当前的块进行实现，所以需要设计基于块的空间分配器，用于分配并存储文件数据。 CurveFS方案设计（总体设计，只实现了部分） 本地文件系统空间分配相关特性 局部性 尽量分配连续的磁盘空间，存储文件的数据。这一特性主要是针对HDD进行的优化，降低磁盘寻道时间。 延迟分配/Allocate-on-flush 在sync/flush之前，尽可能多的积累更多的文件数据块才进行空间分配，一方面可以提高局部性，另一方面可以降低磁盘碎片。 几百字节的小文件不单独分配磁盘空间，直接把数据存放到文件的元数据中。 针对上述的本地文件系统特性，Curve文件系统分配需要着重考虑 。 局部性 虽然Curve是一个分布式文件系统，但是单个文件系统的容量可能会比较大，如果在空间分配时，不考虑局部性，inode中记录的extent数量很多，导致文件系统元数据量很大。© XXX Page 3 of 11 假如文件系统大小为1PiB，空间分配粒度为1MiB，inode中存储的

XXX Page 1 of 15 curve文件系统元数据proto（代码接口定义，已实现）© XXX Page 2 of 15 1、代码结构和代码目录 curve文件系统是相对于curve块设备比较独立的一块，在当前curve项目的目录下，增加一个一级目录curvefs，curvefs下有自己独立的proto\src\test。 2、文件系统proto定义 2.1 mds.proto

done) { = visited vertex { for v in neighbors(u) { 证 (v not seen) { visit Adjacency-List Algorit BFS(G, 9) hms Enumerate vertices 1 for each vertex ET(G) “Vertex 2 color[u] 二 BLACK cf: CLRS Minimalist Approach: Index Adjacency Graph template auto bfs(conat Grapht graph，vertex_id_t source) { sing vertex_id_type = vertex_id_t; Enumerate ， 1 人 neighbor vertices 1 了 Requirements: Basic BFS algorithms 。 The graph G is a rondom access range, meaning it can be indexed into with an object (of

Service Mesh 高可用在企业 级生产中的实践 罗广明 百度高级研发工程师1/总页数 讲师介绍 • 罗广明、百度高级工程师 • ServiceMesher 社区（servicemesher.com）治理委员会核心成员 • 云原生社区（cloudnative.to）联合创始成员 • 百度云智学院认证讲师 • 目前在「百度云云原生团队」负责微服务治理与相关中间件研发 • 对云原生架构与技术、研发流程、团队文化有深入研究，对 服务注册中心 • 服务网关 • 配置中心 混合微服务的互联互通 目标 • 互联互通 • 平滑迁移 • 灵活演进 环境 • 虚拟机 • Kubernetes8/总页数 混合微服务的互联互通 百度智能云 CNAP 混合微服务架构图 • Spring Cloud • Service Mesh9/总页数 注册中心与高可用方案 /0210/总页数 • Consul is a tool for

eadth‑first search, BFS）， 它体现了一种“一圈一圈向外扩展”的逐层遍历方式。 图 7‑9 二叉树的层序遍历 1. 代码实现 广度优先遍历通常借助“队列”来实现。队列遵循“先进先出”的规则，而广度优先遍历则遵循“逐层推进” 的规则，两者背后的思想是一致的。实现代码如下： # === File: binary_tree_bfs.rb === ### 层序遍历 ### 所示，从左上角顶点出发，首先遍历该顶点的所有邻接顶点，然后遍历下一个顶点的所有邻 接顶点，以此类推，直至所有顶点访问完毕。 图 9‑9 图的广度优先遍历 1. 算法实现 BFS 通常借助队列来实现，代码如下所示。队列具有“先入先出”的性质，这与 BFS 的“由近及远”的思想 异曲同工。 1. 将遍历起始顶点 startVet 加入队列，并开启循环。 2. 在循环的每轮迭代中，弹出队首顶点并记录访问，然后将该顶点的所有邻接顶点加入到队列尾部。 File: graph_bfs.rb === ### 广度优先遍历 ### def graph_bfs(graph, start_vet) # 使用邻接表来表示图，以便获取指定顶点的所有邻接顶点 # 顶点遍历序列 res = [] # 哈希集合，用于记录已被访问过的顶点 visited = Set.new([start_vet]) # 队列用于实现 BFS 第 9 章 图 www

是我读过的最好懂的一本正 则教程。感谢作者老姚的工作。 — 文蔺 良师易得，益友难求。工作中得到了老姚的很多帮助，很是感谢。最近拜读了老姚的正则表达式一书 ，受益匪浅，从每次遇到正则问题，从百度到自己书写，都离不开书中的知识。并且此书通俗易懂， 条理清晰，每次阅读都会得到新的收获。感谢老姚，支持你，加油！ — _周末 对于正则的知识，之前看得总是零零碎碎的，没有好好地去系统学习过，所以在方面知识体系相对薄 所能达到的所有“状态”，当一条路走到“尽头”的时候（不能再前进），再后退一步或若干步，从 另一种可能“状态”出发，继续搜索，直到所有的“路径”（状态）都试探过。这种不断“前进”、 不断“回溯”寻找解的方法，就称作“回溯法”。 — 百度百科 本质上就是深度优先搜索算法。其中退到之前的某一步这一过程，我们称为“回溯”。从上面的描述过程中 ，可以看出，路走不通时，就会发生“回溯”。即，尝试匹配失败时，接下来的一步通常就是回溯。 道理，我们是懂了。那么 Asciidoc 写成的。它类似于 Markdown，但在 此书之前本人都没有用过。以需求为驱动，逐步百度检索，自己才逐渐把书整理好了。其中遇到了很多与语 法无关的问题，比如转换 pdf 的过程中用的工具运行不起来，自己寻找原因，凭着感觉修改版本号等。又 比如导出的 pdf 有缺字的问题，百度明白后才发现跟字体有关。边干边学，每解决掉一个问题，都挺有满 足感的。带着问题去研究去学习，这是一种

是我读过的最好懂的一本正 则教程。感谢作者老姚的工作。 — 文蔺 良师易得，益友难求。工作中得到了老姚的很多帮助，很是感谢。最近拜读了老姚的正则表达式一书 ，受益匪浅，从每次遇到正则问题，从百度到自己书写，都离不开书中的知识。并且此书通俗易懂， 条理清晰，每次阅读都会得到新的收获。感谢老姚，支持你，加油！ — _周末 对于正则的知识，之前看得总是零零碎碎的，没有好好地去系统学习过，所以在方面知识体系相对薄 所能达到的所有“状态”，当一条路走到“尽头”的时候（不能再前进），再后退一步或若干步，从 另一种可能“状态”出发，继续搜索，直到所有的“路径”（状态）都试探过。这种不断“前进”、 不断“回溯”寻找解的方法，就称作“回溯法”。 — 百度百科 本质上就是深度优先搜索算法。其中退到之前的某一步这一过程，我们称为“回溯”。从上面的描述过程中 ，可以看出，路走不通时，就会发生“回溯”。即，尝试匹配失败时，接下来的一步通常就是回溯。 道理，我们是懂了。那么 书是用Asciidoc写成的。它类似于Markdown，但在此书 之前本人都没有用过。以需求为驱动，逐步百度检索，自己才逐渐把书整理好了。其中遇到了很多与语法无 关的问题，比如转换pdf的过程中用的工具运行不起来，自己寻找原因，凭着感觉修改版本号等。又比如导出 的pdf有缺字的问题，百度明白后才发现跟字体有关。边干边学，每解决掉一个问题，都挺有满足感的。带着 问题去研究去学习，这是一种问题

adth‑first search, BFS）， 它体现了一种“一圈一圈向外扩展”的逐层遍历方式。 图 7‑9 二叉树的层序遍历 1. 代码实现 广度优先遍历通常借助“队列”来实现。队列遵循“先进先出”的规则，而广度优先遍历则遵循“逐层推进” 的规则，两者背后的思想是一致的。实现代码如下： // === File: binary_tree_bfs.rs === /* 层序遍历 */ 所示，从左上角顶点出发，首先遍历该顶点的所有邻接顶点，然后遍历下一个顶点的所有邻 接顶点，以此类推，直至所有顶点访问完毕。 图 9‑9 图的广度优先遍历 1. 算法实现 BFS 通常借助队列来实现，代码如下所示。队列具有“先入先出”的性质，这与 BFS 的“由近及远”的思想 异曲同工。 1. 将遍历起始顶点 startVet 加入队列，并开启循环。 2. 在循环的每轮迭代中，弹出队首顶点并记录访问，然后将该顶点的所有邻接顶点加入到队列尾部。 时间复杂度下进行 key 的增删查改操作。根据 key 的唯一性，哈希集合通常用于数据去重等场景。 // === File: graph_bfs.rs === /* 广度优先遍历 */ // 使用邻接表来表示图，以便获取指定顶点的所有邻接顶点 fn graph_bfs(graph: GraphAdjList, start_vet: Vertex) -> Vec { // 顶点遍历序列