深度学习的应用环境－ THEANO 我的第一个Theano 程序 深度学习的应用环境－ THEANO GPU vs. CPU TENSORFLOW 的新进展 分布式的深度学习框架 TENSORFLOW 的新进展 分布式的深度学习框架 工程化思维 VS. 科学化思维 THINK GREAT THOUGHTS AND YOU WILL BE GREAT. 心怀伟大，你将会变得伟大！

大家对硬件加速的最初印象 Ø 不仅是嵌入式系统 软件仿真和硬件仿真 7 Ø 近期很热门的话题 Ø 目的：提高算法计算效率，缩短算法开发时间和验证时间 Ø 加速框架： Ø 分布式计算：多节点计算 Ø 并行计算：多处理器、多线程计算 Ø 分布式计算引擎：Spark Ø 并行计算语言（函数式编程）：Scala Ø 加速方法： Ø 算法的优化 Ø 算法的并行化 Ø CPU: 多核 CPU Ø GPU： 多核处理器

大家对硬件加速的最初印象 Ø 不仅是嵌入式系统 软件仿真和硬件仿真 7 Ø 近期很热门的话题 Ø 目的：提高算法计算效率，缩短算法开发时间和验证时间 Ø 加速框架： Ø 分布式计算：多节点计算 Ø 并行计算：多处理器、多线程计算 Ø 分布式计算引擎：Spark Ø 并行计算语言（函数式编程）：Scala Ø 加速方法： Ø 算法的优化 Ø 算法的并行化 Ø CPU: 多核 CPU Ø GPU： 多核处理器

大家对硬件加速的最初印象 ➢ 不仅是嵌入式系统 软件仿真和硬件仿真 7 ➢ 近期很热门的话题 ➢ 目的：提高算法计算效率，缩短算法开发时间和验证时间 ➢ 加速框架： ➢ 分布式计算：多节点计算 ➢ 并行计算：多处理器、多线程计算 ➢ 分布式计算引擎：Spark ➢ 并行计算语言（函数式编程）：Scala ➢ 加速方法： ➢ 算法的优化 ➢ 算法的并行化 ➢ CPU: 多核 CPU ➢ GPU： 多核处理器

........................................................................................... 285 分布式进程 ................................................................................................ yeayee.com/ 290/531 对应到 Python 语言，单进程的异步编程模型称为协程，有了协程的支 持，就可以基于事件驱动编写高效的多任务程序。我们会在后面讨论如 何编写协程。 分布式进程 在 Thread 和 Process 中，应当优选 Process，因为 Process 更稳定，而且， Process 可以分布到多台机器上，而 Thread 最多只能分布到同一台机器 务分布到其他多个进程中，依靠网络通信。由于 managers 模块封装很好， 不必了解网络通信的细节，就可以很容易地编写分布式多进程程序。 举个例子：如果我们已经有一个通过 Queue 通信的多进程程序在同一台 机器上运行，现在，由于处理任务的进程任务繁重，希望把发送任务的 进程和处理任务的进程分布到两台机器上。怎么用分布式进程实现？ 原有的 Queue 可以继续使用，但是，通过 managers 模块把 Queue

service-streamer • 请求排队组装成batch，再⼀一起送进GPU • ⼀一个GPU worker只会有⼀一条队列列，最⼤大batch size可控 • 多个GPU worker分布式处理理 • todo：补图 batch predict profile • 有了了service-streamer：
 ⽹网络服务性能 等价与 本地batch predict的性能 •

managers 模块也提供了一 个BaseManager 的子类：SharedMemoryManager。 本模块中，共享内存是指”System V 类型” 的共享内存块（虽然实现方式可能不完全一致）而不是“分布式共 享内存”。这种类型的的共享内存允许不同进程读写一片公共（或者共享）的易失性存储区域。一般来说，进 程被限制只能访问属于自己进程空间的内存，但是共享内存允许跨进程共享数据，从而避免通过进程间发送 run(main()) asyncio 是用来编写 并发代码的库，使用 async/await 语法。 asyncio 被用作多个提供高性能 Python 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任务 队列等等。 asyncio 往往是构建 IO 密集型和高层级 结构化网络代码的最佳选择。 asyncio 提供一组 高层级 API 用于: • 并发地运行 Python 协程 并对其执行过程实现完全控制; 并对其执行过程实现完全控制; • 执行网络 IO 和 IPC; 869 The Python Library Reference, 发布 3.9.20 • 控制子进程; • 通过队列 实现分布式任务; • 同步 并发代码; 此外，还有一些 低层级 API 以支持 库和框架的开发者实现: • 创建和管理事件循环，以提供异步 API 用于网络化, 运行子进程，处理OS 信号 等等; • 使用transports

模块中还 提供了一个BaseManager 的子类SharedMemoryManager。 在本模块中，共享内存是指“POSIX 风格”的共享内存块（虽然它并不一定被显式地以这种风格实现） 而不是指“分布式共享内存”。这种风格的共享内存允许不同进程读写一块共同的（或共享的）易失性内 存区域。进程在传统上被限制为只能访问它们自己的进程内存空间而共享内存则允许跨进程共享数据， 从而避免通过进程间发送消息的 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任 务队列等等。 asyncio 往往是构建 IO 密集型和高层级 结构化网络代码的最佳选择。 asyncio 提供一组 高层级 API 用于: • 并发地运行 Python 协程 并对其执行过程实现完全控制; • 执行网络 IO 和 IPC; • 控制子进程; • 通过队列 实现分布式任务; • 同步 并发代码; 951 The 以增强该消息 ID 的唯一性。可选参数 domain 可用于提供消息 ID 中字符’@’ 之后的部分，其默认值 是本机的主机名。正常情况下无需覆盖此默认值，但在特定情况下覆盖默认值可能会有用，比如构 建一个分布式系统，在多台主机上采用一致的域名。 在 3.2 版本发生变更: 增加了关键字 domain 下列函数是旧（Compat32）电子邮件 API 的一部分。新 API 提供的解析和格式化在标头解析机制中已经

模块中还 提供了一个BaseManager 的子类SharedMemoryManager。 在本模块中，共享内存是指“POSIX 风格”的共享内存块（虽然它并不一定被显式地以这种风格实现） 而不是指“分布式共享内存”。这种风格的共享内存允许不同进程读写一块共同的（或共享的）易失性内 存区域。进程在传统上被限制为只能访问它们自己的进程内存空间而共享内存则允许跨进程共享数据， 从而避免通过进程间发送消息的 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任 务队列等等。 asyncio 往往是构建 IO 密集型和高层级 结构化网络代码的最佳选择。 asyncio 提供一组 高层级 API 用于: • 并发地运行 Python 协程 并对其执行过程实现完全控制; • 执行网络 IO 和 IPC; • 控制子进程; • 通过队列 实现分布式任务; • 同步 并发代码; 921 The 以增强该消息 ID 的唯一性。可选参数 domain 可用于提供消息 ID 中字符’@’ 之后的部分，其默认值 是本机的主机名。正常情况下无需覆盖此默认值，但在特定情况下覆盖默认值可能会有用，比如构 建一个分布式系统，在多台主机上采用一致的域名。 在 3.2 版本发生变更: 增加了关键字 domain 下列函数是旧（Compat32）电子邮件 API 的一部分。新 API 提供的解析和格式化在标头解析机制中已经

模块中还 提供了一个BaseManager 的子类SharedMemoryManager。 在本模块中，共享内存是指“POSIX 风格”的共享内存块（虽然它并不一定被显式地以这种风格实现） 而不是指“分布式共享内存”。这种风格的共享内存允许不同进程读写一块共同的（或共享的）易失性内 存区域。进程在传统上被限制为只能访问它们自己的进程内存空间而共享内存则允许跨进程共享数据， 从而避免通过进程间发送消息的 异步框架的基础，包括网络和网站服务，数据库连接库，分布式任 务队列等等。 asyncio 往往是构建 IO 密集型和高层级 结构化网络代码的最佳选择。 asyncio 提供一组 高层级 API 用于: • 并发地运行 Python 协程 并对其执行过程实现完全控制; • 执行网络 IO 和 IPC; • 控制子进程; • 通过队列 实现分布式任务; • 同步 并发代码; 947 The 以增强该消息 ID 的唯一性。可选参数 domain 可用于提供消息 ID 中字符’@’ 之后的部分，其默认值 是本机的主机名。正常情况下无需覆盖此默认值，但在特定情况下覆盖默认值可能会有用，比如构 建一个分布式系统，在多台主机上采用一致的域名。 在 3.2 版本发生变更: 增加了关键字 domain 下列函数是旧（Compat32）电子邮件 API 的一部分。新 API 提供的解析和格式化在标头解析机制中已经