使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） 2 2=1 TF_ENABLE_CUDNN_TENSOR_OP_MATH_FP32=1 TF_ENABLE_CUDNN_RNN_TENSOR_OP_MATH_FP32=1 TensorFlow手动转换模型 import tensorflow as tf import numpy as numpy input = tf.placeholder(dtype=tf.float32, shape=[None

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |######### | section1 收集语料 前处理 section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 NLP基础 22% |################## | section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 有时候会把语义分析的结果做成 feature，放进机器学习模型里。 EDA NLP基础 25% |###################

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |####### | section1 收集语料 前处理 分词 收集语料 前处理 分词 向量化 （Vectorization） 机器学习模型 各种OUTPUT 语义解析 NLP基础 19% |################ | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 有时候会把语义分析的结果feature， 放进机器学习模型里。 各种OUTPUT EDA NLP基础 23% |###################

要编写一个电子邮件客户端，如果先从最底层开始编写网络协议相关的 代码，那估计一年半载也开发不出来。高级编程语言通常都会提供一个 比较完善的基础代码库，让你能直接调用，比如，针对电子邮件协议的 Python3 基础教程【完整版】 http://www.yeayee.com/ 9/531 SMTP 库，针对桌面环境的 GUI 库，在这些已有的代码库的基础上开发， 一个电子邮件客户端几天就能开发出来。 来。例如开发一个下载 MP3 的网络应用程序，C 程序的运行时间需要 0.001 秒，而 Python 程序的运行时间需要 0.1 秒，慢了 100 倍，但由于 网络更慢，需要等待 1 秒，你想，用户能感觉到 1.001 秒和 1.1 秒的区 别吗？这就好比 F1 赛车和普通的出租车在北京三环路上行驶的道理一 样，虽然 F1 赛车理论时速高达 400 公里，但由于三环路堵车的时速只 有 20 公里，因此，作为乘客，你感觉的时速永远是 Python 代码时，我们得到的是一个包含 Python 代码的以.py 为扩展名的文本文件。要运行代码，就需要 Python 解释器去执行.py 文 件。 由于整个 Python 语言从规范到解释器都是开源的，所以理论上，只要 水平够高，任何人都可以编写 Python 解释器来执行 Python 代码（当然 难度很大）。事实上，确实存在多种 Python 解释器。 CPython

一致。在这个过程中，你也可以对它进行一些调整。比如，示例程序的界面语言使 用了英文，你可以修改为中文或是其他语言。对于页面布局和样式，你也可以自由 修改。 在本书的最后，你会把你自己编写的 Watchlist 部署到互联网上，让任何人都可以 访问。 讨论与反馈 如果你有任何疑问和想法，欢迎通过下面的方式提出： 在 HelloFlask 论坛发布帖子，并选择“Flask 入门教程”分类。 在专栏对应的连载文章下面撰写评论。 安装后可以在命令行先使用使用下面的命令查看版本，没有报错则表示已正确安 装： $ git --version git version 2.17.1 为了让 Git 知道你是谁，以便在提交代码到版本仓库的时候进行记录，使用下面的 命令设置你的信息： $ git config --global user.name "Grey Li" # 替换成你的名字 $ git config --global （公开或私有）等选项，最后 点击“Create repository”按钮创建仓库。 因为我们已经提前创建了本地仓库，所以需要指定仓库的远程仓库地址（如果还没 有创建，则可以直接将远程仓库克隆到本地）： $ git remote add origin git@github.com:greyli/watchlist.git # 注意更换地址中的用户名 这会为本地仓库关联一个名为“or

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 4.11 服务器-客户端通信协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 5 Indices and 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.2.3 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 Web 开发的后 端实现接口、前端进行展示交互的模式，在 PyWebIO 中，所有的逻辑都通过编写 Python 代码实现。 你可以按照编写控制台程序的逻辑编写 PyWebIO 应用，只不过这里的终端变成了浏览器。通过 PyWebIO 提 供的命令式 API，你可以简单地调用 put_text 、put_image 、put_table 等函数输出文本、图片、表格 等内容到浏览器，也可以调用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 4.11 服务器-客户端通信协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82 5 Indices and 代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.2.2 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 Web 开发的后 端实现接口、前端进行展示交互的模式，在 PyWebIO 中，所有的逻辑都通过编写 Python 代码实现。 你可以按照编写控制台程序的逻辑编写 PyWebIO 应用，只不过这里的终端变成了浏览器。通过 PyWebIO 提 供的命令式 API，你可以简单地调用 put_text 、put_image 、put_table 等函数输出文本、图片、表格 等内容到浏览器，也可以调用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.11 服务器-客户端通信协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 5 Indices and 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp、FastAPI(Starlette) 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.3.1 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 Web 开发的后 端实现接口、前端进行展示交互的模式，在 PyWebIO 中，所有的逻辑都通过编写 Python 代码实现。 你可以按照编写控制台程序的逻辑编写 PyWebIO 应用，只不过这里的终端变成了浏览器。通过 PyWebIO 提 供的命令式 API，你可以简单地调用 put_text 、put_image 、put_table 等函数输出文本、图片、表格 等内容到浏览器，也可以调用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.11 服务器-客户端通信协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 5 Indices and 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp、FastAPI(Starlette) 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.3.3 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 Web 开发的后 端实现接口、前端进行展示交互的模式，在 PyWebIO 中，所有的逻辑都通过编写 Python 代码实现。 你可以按照编写控制台程序的逻辑编写 PyWebIO 应用，只不过这里的终端变成了浏览器。通过 PyWebIO 提 供的命令式 API，你可以简单地调用 put_text 、put_image 、put_table 等函数输出文本、图片、表格 等内容到浏览器，也可以调用

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83 4.11 服务器-客户端通信协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 5 Indices and 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp、FastAPI(Starlette) 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.3.2 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 Web 开发的后 端实现接口、前端进行展示交互的模式，在 PyWebIO 中，所有的逻辑都通过编写 Python 代码实现。 你可以按照编写控制台程序的逻辑编写 PyWebIO 应用，只不过这里的终端变成了浏览器。通过 PyWebIO 提 供的命令式 API，你可以简单地调用 put_text 、put_image 、put_table 等函数输出文本、图片、表格 等内容到浏览器，也可以调用