颜世光 百度 搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • • 百度文件系统简介 • 分布式系统设计实践 • 总结与致谢 百度的集群环境 • 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统（Galaxy）、分布式协 调服务（Nexus）是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 分布式文件系统 BFS 集群调度系统 Galaxy 分布式协调服务 Nexus 分布式数据库 Tera 分布式计算框架 Shuttle Apps(Spider/Index/Search) 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The

交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； 8. 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及 链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约 中。 2. 权限管理 统一称为 隐私 计算 算子。同时可以使用mesatee-core-standalone快速扩展算子，这些基本 运算几乎可以满足用户对任何复杂计算功能的需求。 9. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式， 并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号 与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 据流通可以产生巨大的价值，而阻碍数据流通的主要因素就是数据隐私问题。 保护数据安全既是对像百度这样的科技公司的要求，也是行业的底线。 为实现数据流通过程中的隐私保护，超级链可信账本采用了Intel SGX和同态加 密等多种技术，实现了数据隐私计算、数据权限管理和数据存证溯源功能。 19.2. 名词解释 可信账本：基于百度超级链和Mesatee技术，支持合约数据加密存储及链上密 文运算等功能。 TEE

交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； 8. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式， 并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号 与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 []byte Value() []byte Next() bool Error() error // Iterator 必须在使用完毕后关闭 Close() 2. 智能合约开发详解 2.1. 简介 百度超级链是一个支持多语言合约的区块链框架，有多种语言来供大家选择使 用开发智能合约。目前超级链的智能合约可以使用c++ 或者 go 语言来编写， 理论上任何可以编译成Wasm字节码的语言都可以用来编写超级链的智能合 compileCommands": "${workspaceFolder}/compile_commands.json" } 之后就能用vscode的自动补全功能了. 2.7. 开放网络集成环境 超级链开放网络是基于百度自研底层技术搭建的区块链基础服务网络，符合中 国标准，超级节点遍布全国，区块链网络完全开放，为用户提供区块链快速部 署和运行的环境，最低2元钱就用上的区块链服务，让信任链接更加便利。 超级链开放网

交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； 8. 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及 链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约 中。 2. 权限管理 统一称为 隐私 计算 算子。同时可以使用mesatee-core-standalone快速扩展算子，这些基本 运算几乎可以满足用户对任何复杂计算功能的需求。 9. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式， 并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号 与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 据流通可以产生巨大的价值，而阻碍数据流通的主要因素就是数据隐私问题。 保护数据安全既是对像百度这样的科技公司的要求，也是行业的底线。 为实现数据流通过程中的隐私保护，超级链可信账本采用了Intel SGX和同态加 密等多种技术，实现了数据隐私计算、数据权限管理和数据存证溯源功能。 19.2. 名词解释 可信账本：基于百度超级链和Mesatee技术，支持合约数据加密存储及链上密 文运算等功能。 TEE

交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； 8. 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及 链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约 中。 2. 权限管理 统一称为 隐私 计算 算子。同时可以使用mesatee-core-standalone快速扩展算子，这些基本 运算几乎可以满足用户对任何复杂计算功能的需求。 9. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式， 并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号 与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 据流通可以产生巨大的价值，而阻碍数据流通的主要因素就是数据隐私问题。 保护数据安全既是对像百度这样的科技公司的要求，也是行业的底线。 为实现数据流通过程中的隐私保护，超级链可信账本采用了Intel SGX和同态加 密等多种技术，实现了数据隐私计算、数据权限管理和数据存证溯源功能。 19.2. 名词解释 可信账本：基于百度超级链和Mesatee技术，支持合约数据加密存储及链上密 文运算等功能。 TEE

为了满足合约调用的权限控制，保证XuperChain网络的健康运 转，自研并实现了一套 基于账号的去中心化的合约权限系统。支 持权重累计、集合运算等灵活的策略，可以满足 不同的业务场景 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及 链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合 约中。 2. 权限管理 交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模 式，并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善 的账号与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万 TPS。 数据流通可以产生巨大的价值，而阻碍数据流通的主要因素就是数据隐私问 题。保护数据安全既是对像百度这样的科技公司的要求，也是行业的底线。 为实现数据流通过程中的隐私保护，超级链可信账本采用了Intel SGX和同态 加密等多种技术，实现了数据隐私计算、数据权限管理和数据存证溯源功 能。 名词解释 可信账本：基于百度超级链和Mesatee技术，支持合约数据加密存储及链上密 文运算等功能。 TEE：可

默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； 8. 可信账本 XuperChain 可信账本基于 XuperChain 和百度Mesatee技术，实现了合约数 据加密存储及链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约 中。 2. 权限管理 统一称为 隐私 计算 算子。同时可以使用mesatee-core-standalone快速扩展算子，这些基本 运算几乎可以满足用户对任何复杂计算功能的需求。 9. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式， 并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号 与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 据流通可以产生巨大的价值，而阻碍数据流通的主要因素就是数据隐私问题。 保护数据安全既是对像百度这样的科技公司的要求，也是行业的底线。 为实现数据流通过程中的隐私保护， XuperChain 可信账本采用了Intel SGX和 同态加密等多种技术，实现了数据隐私计算、数据权限管理和数据存证溯源功 能。 19.2. 名词解释 可信账本：基于百度 XuperChain 和Mesatee技术，支持合约数据加密存储及链 上密文运算等功能。

交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； 8. 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及 链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约 中。 2. 权限管理 统一称为 隐私 计算 算子。同时可以使用mesatee-core-standalone快速扩展算子，这些基本 运算几乎可以满足用户对任何复杂计算功能的需求。 9. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式， 并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号 与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 据流通可以产生巨大的价值，而阻碍数据流通的主要因素就是数据隐私问题。 保护数据安全既是对像百度这样的科技公司的要求，也是行业的底线。 为实现数据流通过程中的隐私保护，超级链可信账本采用了Intel SGX和同态加 密等多种技术，实现了数据隐私计算、数据权限管理和数据存证溯源功能。 19.2. 名词解释 可信账本：基于百度超级链和Mesatee技术，支持合约数据加密存储及链上密 文运算等功能。 TEE

为了满足合约调用的权限控制，保证XuperChain网络的健康运 转，自研并实现了一套 基于账号的去中心化的合约权限系统。支 持权重累计、集合运算等灵活的策略，可以满足 不同的业务场景 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及 链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合 约中。 2. 权限管理 交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模 式，并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善 的账号与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万 TPS。 数据流通可以产生巨大的价值，而阻碍数据流通的主要因素就是数据隐私问 题。保护数据安全既是对像百度这样的科技公司的要求，也是行业的底线。 为实现数据流通过程中的隐私保护，超级链可信账本采用了Intel SGX和同态 加密等多种技术，实现了数据隐私计算、数据权限管理和数据存证溯源功 能。 名词解释 可信账本：基于百度超级链和Mesatee技术，支持合约数据加密存储及链上密 文运算等功能。 TEE：可

交易处理速度：达到9万TPS 1. 默认采用DPOS作为共识算法； 2. 交易处理充分利用计算机多核，支持并发执行； 3. 智能合约通过读写集技术能够支持并发执行； 8. 可信账本 超级链可信账本基于超级链和百度Mesatee技术，实现了合约数据加密存储及 链上密文运算等功能。具备性能高、编程复杂度低等特点。 1. 密文存储：可信账本提供数据加解密功能，用户可将数据加密存储在合约 中。 2. 权限管理 统一称为 隐私 计算 算子。同时可以使用mesatee-core-standalone快速扩展算子，这些基本 运算几乎可以满足用户对任何复杂计算功能的需求。 9. 总结 XuperChain是百度自研的一套区块链解决方案，采用经典的UTXO记账模式， 并且支持丰富的智能合约开发语言，交易处理支持并发执行，拥有完善的账号 与权限体系，采用DPOS作为共识算法，交易处理速度可达到9万TPS。 据流通可以产生巨大的价值，而阻碍数据流通的主要因素就是数据隐私问题。 保护数据安全既是对像百度这样的科技公司的要求，也是行业的底线。 为实现数据流通过程中的隐私保护，超级链可信账本采用了Intel SGX和同态加 密等多种技术，实现了数据隐私计算、数据权限管理和数据存证溯源功能。 19.2. 名词解释 可信账本：基于百度超级链和Mesatee技术，支持合约数据加密存储及链上密 文运算等功能。 TEE