搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • 百度文件系统简介 • 分布式系统设计实践 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统（Galaxy）、分布式协 调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 网络通信框架Sofa-pbrpc 分布式文件系统 BFS 集群调度系统 Galaxy 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • …

Architecture Shell Kernel File System Applications Architecture Kernel n 内存管理 n 进程管理 n 文件系统（虚拟文件系统 VFS） n 设备驱动 n 网络接口 建议阅读Linux内核源代码，可以从Linux-0.11入手，推荐Linux内核完全注释 （赵炯著） Architecture Shell n 系统的用户界面 echo命令用于向窗口输出文本。 chmod +x ./test.sh ./test.sh 执行脚本 Architecture File System n 文件系统是文件存放在磁盘等存储设备上的组织方法 n Linux能够支持目前流行的N多文件系统，如Btrfs、JFS、 ReiserFS、 ext、ext2、ext3、ext4、…… 文件类型 n 普通文件：C语言元代码、SHELL脚本、二进制的可执行文件等，分为 系列检查，然后将其切换为readwrite供用户使用。在Docker中， 初始化时也是将rootfs以readonly方式加载并检查，然而接下 来利用 union mount的方式将一个readwrite文件系统挂载在 readonly的rootfs之上，并且允许再次将下层的FS设定为 readonly并且向上叠加，这样一组readonly和一个writeable的 结构构成一个Container的运行时态，每一个FS被称作一个FS层。

. . . . . . . . . . . . . . . . . . . . . . . . . . . 407 11 文件和目录访问 411 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 411 11.1.1 基础使用 . . . . . . . . . 资源的受限访问权。任 何使用了进程、线程、网络、信号或其他形式的进程间通信 (IPC) 的 Python 标准库模块都或者不可用， 或者其作用方式与在其他类 Unix 系统上不同。文件 I/O, 文件系统和 Unix 权限相关的函数也同样会受限。 Emscripten 不允许阻塞式 I/O。其他阻塞式操作如sleep() 则会阻塞浏览器的事件循环。 Python 在 WebAssembly 平台上的特性与行为依赖于 perror() 来格式化，在 Windows 中则是由 FormatMessage()。 filename filename2 对于与文件系统路径有关 (例如open() 或os.unlink()) 的异常，filename 是传给函数的文 件名。对于涉及两个文件系统路径的函数 (例如os.rename())，filename2 将是传给函数的 第二个文件名。 在 3.3 版本发生变更: EnvironmentError

. . . . . . . . . . . . . . . . . . . . . . . . . . . 403 11 文件和目录访问 407 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407 11.1.1 基础使用 . . . . . . . . . 资源的受限访问权。任 何使用了进程、线程、网络、信号或其他形式的进程间通信 (IPC) 的 Python 标准库模块都或者不可用， 或者其作用方式与在其他类 Unix 系统上不同。文件 I/O, 文件系统和 Unix 权限相关的函数也同样会受限。 Emscripten 不允许阻塞式 I/O。其他阻塞式操作如sleep() 则会阻塞浏览器的事件循环。 Python 在 WebAssembly 平台上的特性与行为依赖于 perror() 来格式化，在 Windows 中则是由 FormatMessage()。 filename filename2 对于与文件系统路径有关 (例如open() 或os.unlink()) 的异常，filename 是传给函数的文 件名。对于涉及两个文件系统路径的函数 (例如os.rename())，filename2 将是传给函数的 第二个文件名。 在 3.3 版本发生变更: EnvironmentError

. . . . . . . . . . . . . . . . . . . . . . . . . . . 395 11 文件和目录访问 397 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 11.1.1 基础使用 . . . . . . . . . 资源的受限访问权。任 何使用了进程、线程、网络、信号或其他形式的进程间通信 (IPC) 的 Python 标准库模块都或者不可用， 或者其作用方式与在其他类 Unix 系统上不同。文件 I/O, 文件系统和 Unix 权限相关的函数也同样会受限。 Emscripten 不允许阻塞式 I/O。其他阻塞式操作如sleep() 则会阻塞浏览器的事件循环。 Python 在 WebAssembly 平台上的特性与行为依赖于 perror() 来格式化，在 Windows 中则是由 FormatMessage()。 filename filename2 对于与文件系统路径有关 (例如open() 或os.unlink()) 的异常，filename 是传给函数的文 件名。对于涉及两个文件系统路径的函数 (例如os.rename())，filename2 将是传给函数的 第二个文件名。 在 3.3 版本发生变更: EnvironmentError

. . . . . . . . . . . . . . . . . . . . . . . . . . . 395 11 文件和目录访问 397 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 397 11.1.1 基础使用 . . . . . . . . . 资源的受限访问权。任 何使用了进程、线程、网络、信号或其他形式的进程间通信 (IPC) 的 Python 标准库模块都或者不可用， 或者其作用方式与在其他类 Unix 系统上不同。文件 I/O, 文件系统和 Unix 权限相关的函数也同样会受限。 Emscripten 不允许阻塞式 I/O。其他阻塞式操作如sleep() 则会阻塞浏览器的事件循环。 Python 在 WebAssembly 平台上的特性与行为依赖于 perror() 来格式化，在 Windows 中则是由 FormatMessage()。 filename filename2 对于与文件系统路径有关 (例如open() 或os.unlink()) 的异常，filename 是传给函数的文 件名。对于涉及两个文件系统路径的函数 (例如os.rename())，filename2 将是传给函数的 第二个文件名。 在 3.3 版本发生变更: EnvironmentError

. . . . . . . . . . . . . . . . . . . . . . . . . . . 359 11 文件和目录访问 367 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 367 11.2 os.path --- 常用路径操作 . perror() 来格式化，在 Windows 中则是由 FormatMessage()。 filename filename2 对于与文件系统路径有关 (例如open() 或os.unlink()) 的异常，filename 是传给函数的文 件名。对于涉及两个文件系统路径的函数 (例如os.rename())，filename2 将是传给函数的第 二个文件名。 在 3.3 版更改: EnvironmentError select.error 与 mmap.error 已被合并到OSError，构造器可能返回其中一个子类。 在 3.4 版更改: filename 属性现在将是传给函数的原始文件名，而不是经过编码或基于文件系统编码 进行解码之后的名称。此外还添加了 filename2 构造器参数和属性。 exception OverflowError 当算术运算的结果大到无法表示时将被引发。这对整数来说不可能发生（宁可引发MemoryError

. . . . . . . . . . . . . . . . . . . . . . . . . . . 397 11 文件和目录访问 399 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399 11.1.1 基础使用 . . . . . . . . perror() 来格式化，在 Windows 中则是由 FormatMessage()。 filename filename2 对于与文件系统路径有关 (例如open() 或os.unlink()) 的异常，filename 是传给函数的文 件名。对于涉及两个文件系统路径的函数 (例如os.rename())，filename2 将是传给函数的第 二个文件名。 在 3.3 版更改: EnvironmentError 可能在某个操作试图将一个非目录作为目录打开或遍历时被引发。对应于 errno ENOTDIR。 exception PermissionError 当在没有足够访问权限的情况下试图执行某个操作时将被引发——例如文件系统权限。对应于 errno EACCES 和EPERM。 exception ProcessLookupError 当给定的进程不存在时将被引发。对应于 errno ESRCH。 exception

. . . . . . . . . . . . . . . . . . . . . . . . . . . 336 11 文件和目录访问 343 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343 11.2 os.path --- 常用路径操作 . . . perror() 来格式化，在 Windows 中则是由 FormatMessage()。 filename filename2 对于与文件系统路径有关 (例如open() 或os.unlink()) 的异常，filename 是传给函数的 文件名。对于涉及两个文件系统路径的函数 (例如os.rename())，filename2 将是传给函 数的第二个文件名。 在 3.3 版更改: EnvironmentError select. error 与 mmap.error 已被合并到OSError，构造器可能返回其中一个子类。 在 3.4 版更改: filename 属性现在将是传给函数的原始文件名，而不是经过编码或基于文件系统 编码进行解码之后的名称。此外还添加了 filename2 构造器参数和属性。 exception OverflowError 当算术运算的结果大到无法表示时将被引发。这对整数来说不可能发生（宁可引发MemoryError

. . . . . . . . . . . . . . . . . . . . . . . . . . . 336 11 文件和目录访问 343 11.1 pathlib --- 面向对象的文件系统路径 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 343 11.2 os.path --- 常用路径操作 . . . perror() 来格式化，在 Windows 中则是由 FormatMessage()。 filename filename2 对于与文件系统路径有关 (例如open() 或os.unlink()) 的异常，filename 是传给函数的 文件名。对于涉及两个文件系统路径的函数 (例如os.rename())，filename2 将是传给函 数的第二个文件名。 在 3.3 版更改: EnvironmentError select. error 与 mmap.error 已被合并到OSError，构造器可能返回其中一个子类。 在 3.4 版更改: filename 属性现在将是传给函数的原始文件名，而不是经过编码或基于文件系统 编码进行解码之后的名称。此外还添加了 filename2 构造器参数和属性。 exception OverflowError 当算术运算的结果大到无法表示时将被引发。这对整数来说不可能发生（宁可引发MemoryError