Python机器学习性能优化 以BERT服务为例例，从1到1000 刘欣 ⽬目录 CONTENTS 1. 优化的哲学 2. 了解你的资源 3. 定位性能瓶颈 4. 动⼿优化 1. 优化的哲学 "There ain't no such thing as a free lunch" Ahmdal’s Law • 系统整体的优化，取决于热点部分的占⽐比和该部分的加速程度 No Free Free Lunch • 定位热点 & 热点加速 • 对于项⽬目开发周期：
 1. 先做出效果
 2. 确定整体pipeline
 3. 再考虑优化 • 对于⼈人⼯工智能项⽬目：迭代周期更更⻓长，更更是如此 以BERT服务为例 • BERT：
 TODO： ⼀一句句话解释
 • 横扫多项NLP任务的SOTA榜 • 惊⼈人的3亿参数 以BERT服务为例 • Self Attention机制 's=Happy birthday to [MASK].' 
 
 [“you"] 以BERT服务为例 • 我们现在上线了了这样⼀一个服务，每秒钟只能处理理10个请求 • Q: ⼤大家⼀一开始如何着⼿手优化 • Profile before Optimizing • 建⽴立闭环 2 了解你的资源 cpu/内存/io/gpu GPU为什么“快”？ 计算⼒对⽐ • GFLOPS/s
 


Pants: Python工程化 必备构建工具 主讲人： 沈达 – 比图科技数据工程师 Pants 2 https://www.pantsbuild.org 面向任意规模代码仓库的高性能、可扩展、用户友好的构建系统。 由 主要实现 用 定义构建 对 支持最好 Pants 1 诞生于推特 Pants 2 涅槃重生 由Toolchain赞助 人生苦短，我用Python 用户 JupyterLab

ARM 芯片的 Python + AI 算力优化 主讲人： 朱宏林 – 阿里云程序语言与编译器团队 简介 • 当今开发者们大量使用 Python 语言编写的 AI 程序。过去这些程序总跑在 GPU 或者 x86 架构的 CPU 上。然而综合考虑到功耗、成本、性能等因素，云厂商们开始建设 ARM 架构的服务平台，如 何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。 用 ARM 架构新提供的矩阵扩展对 bf16 类型的 矩阵乘法计算进行优化，该优化将纯矩阵乘法的运算速度提升 3 倍以上，对深度学习推理任务性能 提升明显。目前，该成果已经被集成进 OpenBLAS 和 PyTorch 中。 • 本次演讲，将向大家介绍我们在倚天 710 ARM 芯片上开展的 Python + AI 优化工作，以及在 ARM 云平台上部署 Python + AI 任务的最佳实践。 • GEMM 通过优化内存局部性和向量指令，比朴素实现快 10 倍以上 GEMM • 优化 GEMM • 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON V0 V1 ✕ ✕ ✕ ✕ V2 GEMM 例子 • 优化 GEMM • 内存布局：矩阵分块；重排 • 向量化指令：AVX、NEON 原始算法 展开4x1 向量化 GEMM 例子 • 优化 GEMM • 内存布局：矩阵分块；重排

1.14 1.15 目录 简介 前言 第 1 章：准备工作 第 2 章：Hello, Flask! 第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 2 Flask 入门教程 这是一本 Flask 入门教程，提供了入门 的个人主页了解更多关于我的信息。 目录 前言 第 1 章：准备工作 第 2 章：Hello, Flask! 第 3 章：模板 第 4 章：静态文件 第 5 章：数据库 第 6 章：模板优化 第 7 章：表单 第 8 章：用户认证 第 9 章：测试 第 10 章：组织你的代码 第 11 章：部署上线 小挑战 后记 版权信息 书名：Flask 入门教程 副书名：使用 Python 查看示例程序的在线 Demo。 本书特点 前言 5 基于 Flask 最新的 1.0.2 版本 使用一个 Watchlist 程序作为示例 复原完整的开发流程 只提供入门所需的最少信息 优化术语解释，更容易理解 阅读方法 本书复原了编写这个 Watchlist 程序的完整流程，包括每一行代码块，每一个需要 执行的命令。在阅读时，你需要自己输入每一个代码和命令，检查输出是否和书中

FPGA 助力 Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年10月20日，深圳 2 Ø Python 语言：易学易读易用、可扩展性、可移植性等。 Ø Python 开发工具：库丰富、效率高、调试方便 Ø Python 的应用： 人工智能、数据分析等 Ø Python 的生态环境：软件平台、硬件平台、方案合作伙伴 等 Ø 用 Python 如何开发嵌入式产品？如何实现 FPGA Ø 算法硬件加速：用FPGA的逻辑硬件实现算法加速 Ø 算法如何在FPGA 中实现？如何用”与或非”门电路去 写算法？ Ø 目前哪些 Xilinx FPGA的开发工具支持python 语言？ Ø 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ Ø 传统的计算平台：基于通用处理器的架构，Intel 验证时间 Ø 加速框架： Ø 分布式计算：多节点计算 Ø 并行计算：多处理器、多线程计算 Ø 分布式计算引擎：Spark Ø 并行计算语言（函数式编程）：Scala Ø 加速方法： Ø 算法的优化 Ø 算法的并行化 Ø CPU: 多核 CPU Ø GPU： 多核处理器 Ø 硬件仿真：算法计算在FPGA里实现，输入和输出在 PC 端实现。 Ø Hardware in the loop simulation

FPGA 助力 Python 加速计算 陈志勇 高级技术市场经理 安富利电子科技 2019年10月19日，北京 2 ➢ Python 语言：易学易读易用、可扩展性、可移植性等。 ➢ Python 开发工具：库丰富、效率高、调试方便 ➢ Python 的应用： 人工智能、数据分析等 ➢ Python 的生态环境：软件平台、硬件平台、方案合作伙伴等 ➢ 用 Python 如何开发嵌入式产品？如何实现 算法硬件加速？ FPGA ➢ 算法硬件加速：用FPGA的逻辑硬件实现算法加速 ➢ 算法如何在FPGA 中实现？如何用”与或非”门电路去写 算法？ ➢ 目前哪些 Xilinx FPGA的开发工具支持python 语言？ ➢ 目前Xilinx 工具支持python 的主要应用领域 Python 工程师关心的问题 3 Python 工程师开发嵌入式产品的时候哪些地方可能会遇到性能瓶颈？ ➢ 传统的计算平台：基于通用处理器的架构，Intel 验证时间 ➢ 加速框架： ➢ 分布式计算：多节点计算 ➢ 并行计算：多处理器、多线程计算 ➢ 分布式计算引擎：Spark ➢ 并行计算语言（函数式编程）：Scala ➢ 加速方法： ➢ 算法的优化 ➢ 算法的并行化 ➢ CPU: 多核 CPU ➢ GPU： 多核处理器 ➢ 硬件仿真：算法计算在FPGA里实现，输入和输出在 PC 端实现。 ➢ Hardware in the loop simulation

AlphaGo 的精彩棋局、ChatGPT 的自然交互，这些应用都是算法在计算机上的精妙演绎。 事实上，在计算机问世之前，算法和数据结构就已经存在于世界的各个角落。早期的算法相对简单，例如古 代的计数方法和工具制作步骤等。随着文明的进步，算法逐渐变得更加精细和复杂。从巧夺天工的匠人技艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 10.3 二分查找边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 10.4 哈希优化策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 10.5 重识搜索算法 . . . 数据结构与算法有模糊的认识，在会与 不会之间反复横跳，那么本书正是为你量身定制的！ 如果你已经积累一定的刷题量，熟悉大部分题型，那么本书可助你回顾与梳理算法知识体系，仓库源代码可 以当作“刷题工具库”或“算法字典”来使用。 若你是算法“大神”，我们期待收到你的宝贵建议，或者一起参与创作。 前置条件 你需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 本书的主要内容如图

1 《51 测试天地》七十四 www.51testing.com 这是一篇什么文章？ 一篇你对测试开发工作感兴趣，想了解系统工作逻辑的文章。 一篇是你在开始动手搭建环境前需要了解各工具原理的文章。 这是一篇你真正开始前需要查阅的文章。 本文介绍了前后端工作原理，前后端搭建的流程、搭建过程中需要用到的技术以及 开发环境版本。 一、前后端如何工作 Django、Vue 和 Element Framework->数据库配置 简要说明： 安装相关包：在开始之前，首先需要安装 Python 和 pip，然后安装 Django 等相关包， 可以使用 pip 命令来安装。 创建工程：使用 Django 的命令行工具创建 Django 项目，例如：django-admin startproject projectname。 后端依赖（pipenv）创建虚拟环境：建议使用 pipenv 来创建和管理虚拟环境，以便 settings.py 中进行配置。 2.2 前端搭建流程 创建工程（模板）->前端依赖（npm install ）->前端服务配置启动 简要说明： 创建工程（模板）：可以使用 Vue 脚手架工具或其他模板工具来创建 Vue 项目的初始 结构。 前端依赖（npm install）：在项目目录下执行 npm install 命令，安装项目所需的前端 4 《51 测试天地》七十四 www.51testing

AlphaGo 的精彩棋局、ChatGPT 的自然交互，这些应用都是算法在计算机上的精妙演绎。 事实上，在计算机问世之前，算法和数据结构就已经存在于世界的各个角落。早期的算法相对简单，例如古 代的计数方法和工具制作步骤等。随着文明的进步，算法逐渐变得更加精细和复杂。从巧夺天工的匠人技艺、 到解放生产力的工业产品、再到宇宙运行的科学规律，几乎每一件平凡或令人惊叹的事物背后，都隐藏着精 妙的算法思想。 10.3 二分查找边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 10.4 哈希优化策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 206 10.5 重识搜索算法 . . . 对数据结构与算法有模糊的认识，在会与 不会之间反复横跳，那么本书正是为你量身定制的！ 如果你已经积累一定的刷题量，熟悉大部分题型，那么本书可助你回顾与梳理算法知识体系，仓库源代码可 以当作“刷题工具库”或“算法字典”来使用。 若你是算法“大神”，我们期待收到你的宝贵建议，或者一起参与创作。 前置条件 你需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 本书的主要内容如图

10.3 二分查找边界 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 205 10.4 哈希优化策略 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 10.5 重识搜索算法 . . . 数据结构与算法有模糊的认识，在会与 不会之间反复横跳，那么本书正是为你量身定制的！ 如果你已经积累一定的刷题量，熟悉大部分题型，那么本书可助你回顾与梳理算法知识体系，仓库源代码可 以当作“刷题工具库”或“算法字典”来使用。 若你是算法“大神”，我们期待收到你的宝贵建议，或者一起参与创作。 � 前置条件 你需要至少具备任一语言的编程基础，能够阅读和编写简单代码。 0.1.2 内容结构 章 前言 hello‑algo.com 9 图 0‑8 算法学习路线 0.3 小结 ‧ 本书的主要受众是算法初学者。如果你已有一定基础，本书能帮助你系统回顾算法知识，书中源代码也 可作为“刷题工具库”使用。 ‧ 书中内容主要包括复杂度分析、数据结构和算法三部分，涵盖了该领域的大部分主题。 ‧ 对于算法新手，在初学阶段阅读一本入门书至关重要，可以少走许多弯路。 ‧ 书中的动画图解通常用于