 3 使用Python加速文件传输和文件复制 Giampaolo Rodolaefficiently ○ copy files efficiently ● Part 2: ○ psutil ● 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ○高效的复制文件 ● 第2部分 ○ psutil UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] System call / 系统调用 ● A way 系统调用 I/O ● open() ● read() ● write() Processes / 进程 ● fork() ● kill() ● wait() Filesystem / 文件系统 ● chmod() ● mkdir() ● getcwd() Communication / 通信 ● pipe() ● splice() ● mmap() Kernel / 内核 sys 0m1,099s File descriptors 文件描述符 File descriptors / 文件描述符 ● it's a reference to "something" (usually a file) ● it can be mixed with system calls ● 是对文件/套接字等资源的引用 ● 可以和系统调用连用 Print >>> import0 码力 | 78 页 | 654.51 KB | 1 年前3 3 使用Python加速文件传输和文件复制 Giampaolo Rodolaefficiently ○ copy files efficiently ● Part 2: ○ psutil ● 第1部分 ○基础的 Unix 概念 ○基础的 Socket 操作 ○高效的传输文件 ○高效的复制文件 ● 第2部分 ○ psutil UNIX concepts (oversimplified) [简单聊聊 Unix 的相关概念] System call / 系统调用 ● A way 系统调用 I/O ● open() ● read() ● write() Processes / 进程 ● fork() ● kill() ● wait() Filesystem / 文件系统 ● chmod() ● mkdir() ● getcwd() Communication / 通信 ● pipe() ● splice() ● mmap() Kernel / 内核 sys 0m1,099s File descriptors 文件描述符 File descriptors / 文件描述符 ● it's a reference to "something" (usually a file) ● it can be mixed with system calls ● 是对文件/套接字等资源的引用 ● 可以和系统调用连用 Print >>> import0 码力 | 78 页 | 654.51 KB | 1 年前3
 从百度文件系统看大型分布式系统设计中的定式与创新搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • 百度文件系统简介 • 分布式系统设计实践 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统(Galaxy)、分布式协 调服务(Nexus)是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 网络通信框架Sofa-pbrpc 分布式文件系统 BFS 集群调度系统 Galaxy 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • …0 码力 | 24 页 | 937.45 KB | 1 年前3 从百度文件系统看大型分布式系统设计中的定式与创新搜索基础架构 从百度文件系统 看大型分布式系统设计 自我介绍 • 颜世光, 专注于大规模分布式系统 • 代表作品 - 百度第三代Spider系统 - 百度文件系统BFS - 万亿量级实时数据库Tera - 集群调度系统Galaxy • 个人主页&Blog - https://github.com/bluebore - http://bluebore.cn 提纲 • 百度文件系统简介 • 分布式系统设计实践 单个集群通常几千台机器 • 百度文件系统(BFS)、集群调度系统(Galaxy)、分布式协 调服务(Nexus)是核心服务 • 实时任务与批量任务混合部署 Galaxy master BFS master Nexus lock service 分布式软件栈中的BFS The Baidu Stack 网络通信框架Sofa-pbrpc 分布式文件系统 BFS 集群调度系统 Galaxy 数据中心操作系统(DCOS) • 进程调度&内存管理 - Galaxy - 应用部署和任务调度 • 锁和信号量 - Nexus - 分布式锁 - 分布式通知 • 文件系统 - The Baidu File System - 持久化存储 百度文件系统架构 设计一个分布式系统要考虑的 • 数据与计算的分片 • 分区故障容忍 • 数据一致性 • 系统扩展性 • 延迟与吞吐 • 成本与资源利用率 • …0 码力 | 24 页 | 937.45 KB | 1 年前3
 FISCO BCOS 2.5.0 中文文档BCOS 2.0+快速构建区块链系统,请参考 安装 • 基于FISCO BCOS 2.0+部署多群组区块链、构建第一个区块链应用,请参考 教程 • 深入了解FISCO BCOS 2.0+功能请看 配置文件和配置项、节点准入、并行交易、分布式存储、国 密 等请参考 使用手册 • 控制台:交 交 交互 互 互式 式 式命 命 命令 令 令行 行 行工 工 工具 具 具,可访问区块链节点,查询区块链状态,部署并调用合约等。 制:每个群组仅可接收相应群组的消息,保证群组间网络通信的隔离性;CA黑名单机 制可及时与作恶节点断开网络连接,保障了系统安全。 • 权 权 权限 限 限管 管 管理 理 理机 机 机制 制 制:基于分布式存储权限控制机制,灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支 支 支持 持 持国 国 国密 密 密算 算 算法 法 法:支持国密加密、签名算法和国密通信协议。 • 落 落 查 查看 看 看节 节 节点 点 点和 和 和数 数 数据 据 据版 版 版本 本 本 • 查看节点二进制版本:./fisco-bcos --version • 数据格式和通信协议的版本:通过配置文件 config.ini的supported_version配置项 获取 2.1 v2.5.0 v2.4.x升 升 升级 级 级到 到 到v2.5.0 • 兼 兼 兼容 容 容升 升 升级 级 级0 码力 | 540 页 | 8.77 MB | 1 年前3 FISCO BCOS 2.5.0 中文文档BCOS 2.0+快速构建区块链系统,请参考 安装 • 基于FISCO BCOS 2.0+部署多群组区块链、构建第一个区块链应用,请参考 教程 • 深入了解FISCO BCOS 2.0+功能请看 配置文件和配置项、节点准入、并行交易、分布式存储、国 密 等请参考 使用手册 • 控制台:交 交 交互 互 互式 式 式命 命 命令 令 令行 行 行工 工 工具 具 具,可访问区块链节点,查询区块链状态,部署并调用合约等。 制:每个群组仅可接收相应群组的消息,保证群组间网络通信的隔离性;CA黑名单机 制可及时与作恶节点断开网络连接,保障了系统安全。 • 权 权 权限 限 限管 管 管理 理 理机 机 机制 制 制:基于分布式存储权限控制机制,灵活、细粒度地控制外部账户部署合约和创建、 插入、删除和更新用户表的权限。 • 支 支 支持 持 持国 国 国密 密 密算 算 算法 法 法:支持国密加密、签名算法和国密通信协议。 • 落 落 查 查看 看 看节 节 节点 点 点和 和 和数 数 数据 据 据版 版 版本 本 本 • 查看节点二进制版本:./fisco-bcos --version • 数据格式和通信协议的版本:通过配置文件 config.ini的supported_version配置项 获取 2.1 v2.5.0 v2.4.x升 升 升级 级 级到 到 到v2.5.0 • 兼 兼 兼容 容 容升 升 升级 级 级0 码力 | 540 页 | 8.77 MB | 1 年前3
 Apache Shiro 1.2.x Reference Manual 中文翻译Architecture 架构 4. Configuration 配置 II. Core 核心 5. Authentication 认证 6. Authorization 授权 6.1. Permissions 权限 7. Realms 8. Session Management 9. Cryptography 密码 III. Web Applications 10. Web 10.1. Configuration 应该屏蔽复杂性,向外暴露简单、直观的API,来 简化开发人员实现应用程序安全所花费的时间和精力。 Shiro能做什么呢? 验证用户身份 用户访问权限控制,比如: 判断用户是否分配了一定的安全角色。 判断用户是否被授予完成某个操作的权限 在非 web 或 EJB 容器的环境下可以任意使用Session API 可以响应认证、访问控制,或者 Session 生命周期中发生的事件 可将 框架的开发团队称之为应用安全的四大基石。那么就让我们来 看看它们吧: Authentication(认证):用户身份识别,通常被称为用户“登录” Authorization(授权):访问控制。比如某个用户是否具有某个操作的使用权限。 Session Management(会话管理):特定于用户的会话管理,甚至在非web 或 EJB 应 用程序。 Cryptography(加密):在对数据源使用加密算法加密的同时,保证易于使用。0 码力 | 196 页 | 2.34 MB | 1 年前3 Apache Shiro 1.2.x Reference Manual 中文翻译Architecture 架构 4. Configuration 配置 II. Core 核心 5. Authentication 认证 6. Authorization 授权 6.1. Permissions 权限 7. Realms 8. Session Management 9. Cryptography 密码 III. Web Applications 10. Web 10.1. Configuration 应该屏蔽复杂性,向外暴露简单、直观的API,来 简化开发人员实现应用程序安全所花费的时间和精力。 Shiro能做什么呢? 验证用户身份 用户访问权限控制,比如: 判断用户是否分配了一定的安全角色。 判断用户是否被授予完成某个操作的权限 在非 web 或 EJB 容器的环境下可以任意使用Session API 可以响应认证、访问控制,或者 Session 生命周期中发生的事件 可将 框架的开发团队称之为应用安全的四大基石。那么就让我们来 看看它们吧: Authentication(认证):用户身份识别,通常被称为用户“登录” Authorization(授权):访问控制。比如某个用户是否具有某个操作的使用权限。 Session Management(会话管理):特定于用户的会话管理,甚至在非web 或 EJB 应 用程序。 Cryptography(加密):在对数据源使用加密算法加密的同时,保证易于使用。0 码力 | 196 页 | 2.34 MB | 1 年前3
 FISCO BCOS 2.9.0 中文文档命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令,包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2649 页 | 201.08 MB | 1 年前3 FISCO BCOS 2.9.0 中文文档命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令,包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2649 页 | 201.08 MB | 1 年前3
 FISCO BCOS 2.9.0 中文文档命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令,包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2649 页 | 201.08 MB | 1 年前3 FISCO BCOS 2.9.0 中文文档命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令,包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2649 页 | 201.08 MB | 1 年前3
 FISCO BCOS 2.0 中文文档命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令,包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2649 页 | 201.08 MB | 1 年前3 FISCO BCOS 2.0 中文文档命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令,包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2649 页 | 201.08 MB | 1 年前3
 FISCO BCOS 2.7.0 中文文档命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令,包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2538 页 | 212.43 MB | 1 年前3 FISCO BCOS 2.7.0 中文文档命令行交互控制台是提供给开发者使用的节点查询与管理的工具。控制台 拥有丰富的命令,包括查询区块链状态、管理区块链节点、部署并调用合 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2538 页 | 212.43 MB | 1 年前3
 FISCO BCOS 2.9.0 中文文档调用合 关键概念 区块链网络搭建 区块链应用开发 FISCO BCOS Java SDK 问题排查 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2585 页 | 166.09 MB | 1 年前3 FISCO BCOS 2.9.0 中文文档调用合 关键概念 区块链网络搭建 区块链应用开发 FISCO BCOS Java SDK 问题排查 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2585 页 | 166.09 MB | 1 年前3
 FISCO BCOS 3.0.0-rc2 中文文档调用合 关键概念 区块链网络搭建 区块链应用开发 FISCO BCOS Java SDK 问题排查 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2569 页 | 166.06 MB | 1 年前3 FISCO BCOS 3.0.0-rc2 中文文档调用合 关键概念 区块链网络搭建 区块链应用开发 FISCO BCOS Java SDK 问题排查 约等。此外,控制台提供一个合约编译工具,用户可以方便快捷的将 Solidity合约文件编译为Java合约文件。 WeBASE:图形化的区块链管理工具 WeBASE(WeBank Blockchain Application Software Extension) 是一套管理 FISCO-BC WeBankBlockchain-Governance区块链多方协作治理组件是一套轻量解耦、 简洁易用、通用场景和一站式的区块链治理组件解决方案。 首批开源的有 账户治理组件(Governance-Account)、权限治理组件(Governance-Auth)、 私 钥管理组件(Governance-Key)和证书管理组件(Governance-Cert)。上述组 件都提供了可部署的智能合约代码、易于使用的SDK和可参考的落地实践 readthedocs.io/zh_CN/latest/docs/WeBankBlockchain- Governance-Acct/index.html] Governance-Authority 权限治理组件:[GitHub] [https://github.com/WeBankBlockchain/Governance-Authority] [Gitee] [https://gitee.c0 码力 | 2569 页 | 166.06 MB | 1 年前3
共 469 条
- 1
- 2
- 3
- 4
- 5
- 6
- 47














 
  
 