efficiently ○ copy files efficiently ● Part 2: ○ psutil ● 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ○高效的复制文件 ● 第2部分 ○ psutil UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] System call / 系统调用 ● A way 系统调用 I/O ● open() ● read() ● write() Processes / 进程 ● fork() ● kill() ● wait() Filesystem / 文件系统 ● chmod() ● mkdir() ● getcwd() Communication / 通信 ● pipe() ● splice() ● mmap() Kernel / 内核 sys 0m1,099s File descriptors 文件描述符 File descriptors / 文件描述符 ● it's a reference to "something" (usually a file) ● it can be mixed with system calls ● 是对文件/套接字等资源的引用 ● 可以和系统调用连用 Print >>> import

搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • 百度文件系统简介 • 分布式系统设计实践 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统（Galaxy）、分布式协 调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 网络通信框架Sofa-pbrpc 分布式文件系统 BFS 集群调度系统 Galaxy 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • …

命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令，包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外，控制台提供一个合约编译工具，用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE：图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC FISCO-BCOS联盟链的工具集。WeBASE提供了图形化的管理界面，屏蔽了 区块链底层的复杂度，降低区块链使用的门槛，大幅提高区块链应用的开 发效率，包含节点前置、节点管理、交易链路，数据导出，Web管理平台 等子系统。 区块链浏览器：区块链数据浏览工具 区块链浏览器将区块链中的数据可视化，并进行实时展示。方便用户以 Web页面的方式，浏览当前区块链中的信息。本浏览器版本适配FISCO BCOS 2.0+，关于2 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳定、高效、安全的区块链数据治理组件解决方案，可无缝适配 FISCO BCOS区块链底层平台。它由数据导出组件(Data-Export)、数据仓库 组件(Data-Stash)、数据对账组件(Data-Reconcile)这三款相互独立、可插 拔、可灵活组装的组件所组成，开箱即用，灵活便捷，易于二次开发。

命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令，包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外，控制台提供一个合约编译工具，用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE：图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC FISCO-BCOS联盟链的工具集。WeBASE提供了图形化的管理界面，屏蔽了 区块链底层的复杂度，降低区块链使用的门槛，大幅提高区块链应用的开 发效率，包含节点前置、节点管理、交易链路，数据导出，Web管理平台 等子系统。 区块链浏览器：区块链数据浏览工具 区块链浏览器将区块链中的数据可视化，并进行实时展示。方便用户以 Web页面的方式，浏览当前区块链中的信息。本浏览器版本适配FISCO BCOS 2.0+，关于2 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳定、高效、安全的区块链数据治理组件解决方案，可无缝适配 FISCO BCOS区块链底层平台。它由数据导出组件(Data-Export)、数据仓库 组件(Data-Stash)、数据对账组件(Data-Reconcile)这三款相互独立、可插 拔、可灵活组装的组件所组成，开箱即用，灵活便捷，易于二次开发。

命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令，包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外，控制台提供一个合约编译工具，用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE：图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC FISCO-BCOS联盟链的工具集。WeBASE提供了图形化的管理界面，屏蔽了 区块链底层的复杂度，降低区块链使用的门槛，大幅提高区块链应用的开 发效率，包含节点前置、节点管理、交易链路，数据导出，Web管理平台 等子系统。 区块链浏览器：区块链数据浏览工具 区块链浏览器将区块链中的数据可视化，并进行实时展示。方便用户以 Web页面的方式，浏览当前区块链中的信息。本浏览器版本适配FISCO BCOS 2.0+，关于2 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳定、高效、安全的区块链数据治理组件解决方案，可无缝适配 FISCO BCOS区块链底层平台。它由数据导出组件(Data-Export)、数据仓库 组件(Data-Stash)、数据对账组件(Data-Reconcile)这三款相互独立、可插 拔、可灵活组装的组件所组成，开箱即用，灵活便捷，易于二次开发。

[文档] • WeBankBlockchain-Data 数据治理通用组件： – Data-Stash 数据仓库组件： [GitHub] [Gitee] [文档] – Data-Export 数据导出组件： [GitHub] [Gitee] [文档] 平台介绍 1 FISCO BCOS Documentation, 发布 v2.9.0 – Data-Reconcile 数据对账组件： [GitHub] 通过记忆简单的合约名 来实现对链上合约的调用。 1.3. 核心模块 5 FISCO BCOS Documentation, 发布 v2.9.0 • 数据归档、迁移和导出功能: 提供数据导出组件，支持链上数据归档、迁移和导出，增加了链上数 据的可维护性，降低了运维复杂度。 • 合约生命周期管理: 链上提供合约生命周期管理功能，便于链管理员对链上合约进行管理。 1.7 易用性 FISCO emix/VSCode/ChainIDE等IDE协同工作，提升开发体验与 开发效率。 • Ansible for FISCO BCOS 自动化生成企业级部署文件：本项目由为区块链开源项目 FISCO-BCOS 提供了自动化生成企业级配置文件的 ansible playbook。2 群组 3 机构 6 节点的环境，可以在 30 秒 内（除下载时间）生成配置，极大简化了部署难度，避免了手工配置容易发生的错误。

[文档] • WeBankBlockchain-Data 数据治理通用组件： – Data-Stash 数据仓库组件： [GitHub] [Gitee] [文档] – Data-Export 数据导出组件： [GitHub] [Gitee] [文档] 平台介绍 1 FISCO BCOS Documentation, 发布 v2.9.0 – Data-Reconcile 数据对账组件： [GitHub] 通过记忆简单的合约名 来实现对链上合约的调用。 1.3. 核心模块 5 FISCO BCOS Documentation, 发布 v2.9.0 • 数据归档、迁移和导出功能: 提供数据导出组件，支持链上数据归档、迁移和导出，增加了链上数 据的可维护性，降低了运维复杂度。 • 合约生命周期管理: 链上提供合约生命周期管理功能，便于链管理员对链上合约进行管理。 1.7 易用性 FISCO emix/VSCode/ChainIDE等IDE协同工作，提升开发体验与 开发效率。 • Ansible for FISCO BCOS 自动化生成企业级部署文件：本项目由为区块链开源项目 FISCO-BCOS 提供了自动化生成企业级配置文件的 ansible playbook。2 群组 3 机构 6 节点的环境，可以在 30 秒 内（除下载时间）生成配置，极大简化了部署难度，避免了手工配置容易发生的错误。

[文档] • WeBankBlockchain-Data 数据治理通用组件： – Data-Stash 数据仓库组件： [GitHub] [Gitee] [文档] – Data-Export 数据导出组件： [GitHub] [Gitee] [文档] 平台介绍 1 FISCO BCOS Documentation, 发布 v2.9.0 – Data-Reconcile 数据对账组件： [GitHub] 通过记忆简单的合约名 来实现对链上合约的调用。 1.3. 核心模块 5 FISCO BCOS Documentation, 发布 v2.9.0 • 数据归档、迁移和导出功能: 提供数据导出组件，支持链上数据归档、迁移和导出，增加了链上数 据的可维护性，降低了运维复杂度。 • 合约生命周期管理: 链上提供合约生命周期管理功能，便于链管理员对链上合约进行管理。 1.7 易用性 FISCO emix/VSCode/ChainIDE等IDE协同工作，提升开发体验与 开发效率。 • Ansible for FISCO BCOS 自动化生成企业级部署文件：本项目由为区块链开源项目 FISCO-BCOS 提供了自动化生成企业级配置文件的 ansible playbook。2 群组 3 机构 6 节点的环境，可以在 30 秒 内（除下载时间）生成配置，极大简化了部署难度，避免了手工配置容易发生的错误。

1.3. 核 核 核心 心 心模 模 模块 块 块 5 FISCO BCOS Documentation, 发 发 发布 布 布 v2.7.2 • 数据归档、迁移和导出功能: 提供数据导出组件，支持链上数据归档、迁移和导出，增加了链上数 据的可维护性，降低了运维复杂度。 • 合 合 合约 约 约生 生 生命 命 命周 周 周期 期 期管 管 管理 理 理: 链上提供合约生命周期管理功能，便于链管理员对链上合约进行管理。 Ansible for FISCO BCOS 自 自 自动 动 动化 化 化生 生 生成 成 成企 企 企业 业 业级 级 级部 部 部署 署 署文 文 文件 件 件：本项目由为区块链开源项目 FISCO-BCOS 提供了自动化生成企业级配置文件的 ansible playbook。2 群组 3 机构 6 节点的环境，可以在 30 秒 内（除下载时间）生成配置，极大简化了部署难度，避免了手工配置容易发生的错误。 查 查看 看 看节 节 节点 点 点和 和 和数 数 数据 据 据版 版 版本 本 本 • 查看节点二进制版本：./fisco-bcos --version • 数据格式和通信协议的版本：通过配置文件 config.ini的supported_version配置项 获取 2.2.1 v2.7.2 变 变 变更 更 更描 描 描述 述 述 • 修复国密环境内存泄露问题 2.2.2 v2.7

命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令，包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外，控制台提供一个合约编译工具，用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE：图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC FISCO-BCOS联盟链的工具集。WeBASE提供了图形化的管理界面，屏蔽了 区块链底层的复杂度，降低区块链使用的门槛，大幅提高区块链应用的开 发效率，包含节点前置、节点管理、交易链路，数据导出，Web管理平台 等子系统。 区块链浏览器：区块链数据浏览工具 区块链浏览器将区块链中的数据可视化，并进行实时展示。方便用户以 Web页面的方式，浏览当前区块链中的信息。本浏览器版本适配FISCO BCOS 2.0+，关于2 数据治理通用组件的全名是“WeBankBlockchain-Data数据治理通用组件”， 它是一套稳定、高效、安全的区块链数据治理组件解决方案，可无缝适配 FISCO BCOS区块链底层平台。它由数据导出组件(Data-Export)、数据仓库 组件(Data-Stash)、数据对账组件(Data-Reconcile)这三款相互独立、可插 拔、可灵活组装的组件所组成，开箱即用，灵活便捷，易于二次开发。