使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） 2 2=1 TF_ENABLE_CUDNN_TENSOR_OP_MATH_FP32=1 TF_ENABLE_CUDNN_RNN_TENSOR_OP_MATH_FP32=1 TensorFlow手动转换模型 import tensorflow as tf import numpy as numpy input = tf.placeholder(dtype=tf.float32, shape=[None

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |######### | section1 收集语料 前处理 section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 NLP基础 22% |################## | section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 有时候会把语义分析的结果做成 feature，放进机器学习模型里。 EDA NLP基础 25% |###################

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |####### | section1 收集语料 前处理 分词 收集语料 前处理 分词 向量化 （Vectorization） 机器学习模型 各种OUTPUT 语义解析 NLP基础 19% |################ | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 有时候会把语义分析的结果feature， 放进机器学习模型里。 各种OUTPUT EDA NLP基础 23% |###################

代码侵入性小，对于旧脚本代码仅需修改输入输出逻辑 支持多用户与并发请求 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、aiohttp 框架集成 同时支持基于线程的执行模型和基于协程的执行模型 Install PyPi安装: pip3 install -U pywebio 目前PyWebIO处于快速迭代时期，PyPi上的包更新可能滞后，建议使用源码安 装: pip3 install register_thread(thread) 注册的线程都退出后，会话结束。 除了基于线程的会话，PyWebIO还提供了基于协程的会话。基于协程的会话接 受一个协程作为任务函数。 基于线程的会话为单线程模型，所有会话都运行在一个线程内。对于IO密集型 的任务，协程比线程有更少的资源占用同时又拥有媲美于线程的性能。 要使用基于协程的会话，只需要在 start_server() 中传入使用 async 声明的协 参数指定输出锚点时，若锚点已经存在，则将锚点 处的内容替换为当前内容。 clear_range() 添加添加锚点存在检查 scroll_to(anchor, position) 添加 position 参数精细化控制滚动位置 pywebio.platform start_server 和 webio_view 、 webio_handle 添加跨域支持 pywebio.session Session

代码侵入性小，对于旧脚本代码仅需修改输入输出逻辑 • 支持多用户与并发请求 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 3 PyWebIO, 发布 0.3.0 4 Chapter 1. 特点 CHAPTER2 Install PyPi 安装: pip3 install -U pywebio er_thread(thread) 注册的线程都退出后，会话结束。 除了基于线程的会话，PyWebIO 还提供了基于协程的会话。基于协程的会话接受一个协程作为任务函数。 基于线程的会话为单线程模型，所有会话都运行在一个线程内。对于 IO 密集型的任务，协程比线程有更少 的资源占用同时又拥有媲美于线程的性能。 要使用基于协程的会话，只需要在start_server() 中传入使用 async 参数指定输出锚点时，若锚点已经存在，则将锚点处的内容替换为当前内容。 • clear_range() 添加添加锚点存在检查 • scroll_to(anchor, position) 添加 position 参数精细化控制滚动位置 pywebio.platform • start_server 和 webio_view 、webio_handle 添加跨域支持 pywebio.session • Session

代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.2.3 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 以在任务函数末尾处使用pywebio.session.hold() 函数来将会话保持，这样在用户关闭浏览器页面前， 事件回调将一直可用。 输出域 Scope PyWebIO 使用 Scope 模型来对内容输出的位置进行灵活地控制，PyWebIO 的内容输出区可以划分出不同的输 出域，PyWebIO 将输出域称作 Scope 。 输出域为输出内容的容器，各个输出域之间上下排列，输出域也可以进行嵌套。 服务端的会话连接，PyWebIO 会启动一个线程来 运行任务函数。除了基于线程的会话，PyWebIO 还提供了基于协程的会话。基于协程的会话接受协程函数作 为任务函数。 基于协程的会话为单线程模型，所有会话都运行在一个线程内。对于 IO 密集型的任务，协程比线程占用更 少的资源同时又拥有媲美于线程的性能。另外，协程的上下文切换具有可预测性，能够减少程序同步与加锁 的需要，可以有效避免大多数临界区问题。

代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.1.0 4 Chapter 1. 特性 CHAPTER2 Install 稳定版安装: pip3 install 以在任务函数末尾处使用pywebio.session.hold() 函数来将会话保持，这样在用户关闭浏览器页面前， 事件回调将一直可用。 输出域 Scope PyWebIO 使用 Scope 模型来对内容输出的位置进行灵活地控制，PyWebIO 的内容输出区可以划分出不同的输 出域，PyWebIO 将输出域称作 Scope 。 输出域为输出内容的容器，各个输出域之间上下排列，输出域也可以进行嵌套。 运行任务函数。除了基于线程的会话，PyWebIO 还提供了基于协程的会话。基于协程的会话接受协程函数作 为任务函数。 4.1. User’s guide 25 PyWebIO, 发布 1.1.0 基于协程的会话为单线程模型，所有会话都运行在一个线程内。对于 IO 密集型的任务，协程比线程占用更 少的资源同时又拥有媲美于线程的性能。另外，协程的上下文切换具有可预测性，能够减少程序同步与加锁 的需要，可以有效避免大多数临界区问题。

代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.2.2 4 Chapter 1. 特性 CHAPTER2 Installation 稳定版: pip3 以在任务函数末尾处使用pywebio.session.hold() 函数来将会话保持，这样在用户关闭浏览器页面前， 事件回调将一直可用。 输出域 Scope PyWebIO 使用 Scope 模型来对内容输出的位置进行灵活地控制，PyWebIO 的内容输出区可以划分出不同的输 出域，PyWebIO 将输出域称作 Scope 。 输出域为输出内容的容器，各个输出域之间上下排列，输出域也可以进行嵌套。 服务端的会话连接，PyWebIO 会启动一个线程来 运行任务函数。除了基于线程的会话，PyWebIO 还提供了基于协程的会话。基于协程的会话接受协程函数作 为任务函数。 基于协程的会话为单线程模型，所有会话都运行在一个线程内。对于 IO 密集型的任务，协程比线程占用更 少的资源同时又拥有媲美于线程的性能。另外，协程的上下文切换具有可预测性，能够减少程序同步与加锁 的需要，可以有效避免大多数临界区问题。

代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为Web服务 支持整合到现有的Web服务，目前支持与Flask、Django、Tornado、aiohttp 框架集成 同时支持基于线程的执行模型和基于协程的执行模型 支持结合第三方库实现数据可视化 Install 稳定版安装: pip3 install -U pywebio 开发版安装: pip3 install -U --force-reinstall 调也将不起作用，你可以在任务函数末尾处使用 pywebio.session.hold() 函 数来将会话保持，这样在用户关闭浏览器页面前，事件回调将一直可用。 输出域Scope PyWebIO使用Scope模型来对内容输出的位置进行灵活地控制，PyWebIO的内 容输出区可以划分出不同的输出域，PyWebIO将输出域称作 Scope 。 输出域为输出内容的容器，各个输出域之间上下排列，输出域也可以进行嵌 个和服务端的会话连 接，PyWebIO会启动一个线程来运行任务函数。 除了基于线程的会话， PyWebIO还提供了基于协程的会话。基于协程的会话接受协程函数作为任务函 数。 基于协程的会话为单线程模型，所有会话都运行在一个线程内。对于IO密集型 的任务，协程比线程占用更少的资源同时又拥有媲美于线程的性能。 另外， 协程的上下文切换具有可预测性，能够减少程序同步与加锁的需要，可以有效 避免大多数临界区问题。

代码侵入性小，旧脚本代码仅需修改输入输出逻辑便可改造为 Web 服务 • 支持整合到现有的 Web 服务，目前支持与 Flask、Django、Tornado、aiohttp 框架集成 • 同时支持基于线程的执行模型和基于协程的执行模型 • 支持结合第三方库实现数据可视化 3 PyWebIO, 发布 1.0.3 4 Chapter 1. 特性 CHAPTER2 Install 稳定版安装: pip3 install 以在任务函数末尾处使用pywebio.session.hold() 函数来将会话保持，这样在用户关闭浏览器页面前， 事件回调将一直可用。 输出域 Scope PyWebIO 使用 Scope 模型来对内容输出的位置进行灵活地控制，PyWebIO 的内容输出区可以划分出不同的输 出域，PyWebIO 将输出域称作 Scope 。 输出域为输出内容的容器，各个输出域之间上下排列，输出域也可以进行嵌套。 服务端的会话连接，PyWebIO 会启动一个线程来 运行任务函数。除了基于线程的会话，PyWebIO 还提供了基于协程的会话。基于协程的会话接受协程函数作 为任务函数。 基于协程的会话为单线程模型，所有会话都运行在一个线程内。对于 IO 密集型的任务，协程比线程占用更 少的资源同时又拥有媲美于线程的性能。另外，协程的上下文切换具有可预测性，能够减少程序同步与加锁 的需要，可以有效避免大多数临界区问题。