使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） 2 2=1 TF_ENABLE_CUDNN_TENSOR_OP_MATH_FP32=1 TF_ENABLE_CUDNN_RNN_TENSOR_OP_MATH_FP32=1 TensorFlow手动转换模型 import tensorflow as tf import numpy as numpy input = tf.placeholder(dtype=tf.float32, shape=[None

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |######### | section1 收集语料 前处理 section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 NLP基础 22% |################## | section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 有时候会把语义分析的结果做成 feature，放进机器学习模型里。 EDA NLP基础 25% |###################

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |####### | section1 收集语料 前处理 分词 收集语料 前处理 分词 向量化 （Vectorization） 机器学习模型 各种OUTPUT 语义解析 NLP基础 19% |################ | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 有时候会把语义分析的结果feature， 放进机器学习模型里。 各种OUTPUT EDA NLP基础 23% |###################

智能问答举例-Community QA • 数据结构化 Ø 用问答对的方式进行知识表示 Ø 知识点：由若干个问题（相似问）、以及 能回答这些问题的答案组成 Ø 知识库：由若干个知识点组成 • 模型 Ø 找到和用户query最匹配的问题，进而给 出对应的答案 • 特点 Ø 易于维护 Ø 符合实际业务场景 Ø 为什么用这种形式？ ü 减轻人工维护答案的工作量 ü 同一知识点下的问题语义相同，是很好的 标注数据 Ø 训练数据 Ø 测试数据 Ø 评估数据 • 建模 Ø 输入输出？ Ø 工作流？ • 语言工具 Ø C++ Ø Python Ø Java Ø GO • 模型 Ø 统计模型 Ø 传统机器学习模型 Ø 深度学习模型 Ø 如何选择？是否组合？ • 评估 Ø 评估指标 Ø 工具 • 迭代 Ø 策略？ • 服务化 Ø 服务框架 Ø 性能 Ø 稳定性 各个击破－业务 u 想给小孩报名英文课，不清楚课程内 Ø 用知识库内的相似问，构造句对训练数 据，训练有监督的模型 Ø 基于通用领域的问答对，构造句对训练 数据，训练通用领域内有监督的模型 Ø 模型融合 Ø 判断（query，question）相关性打分， 返回top n作为最终命中知识点，给出对 应知识点的答案回复用户 • 依赖工具 Ø Python及第三方扩展包 各个击破－模型 各个击破－数据 • 开源数据抓取&清洗 • 依赖工具

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . 1000 21.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1015 21.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计 算机必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2 文件系统的操 498 Chapter 16. 通用操作系统服务 The Python Library Reference, 发布 3.7.13 作，其权限语义可能超出常规的 POSIX 权限位模型。 在 3.3 版更改: 添加 dir_fd、effective_ids 和 follow_symlinks 参数。 在 3.6 版更改: 接受一个path-like object。 os.F_OK

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . . . 1058 21.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1074 21.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计算机 必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2 Library Reference, 发布 3.7.13 注解: 即使access() 指示 I/O 操作会成功，但实际操作仍可能失败，尤其是对网络文件系统的操作， 其权限语义可能超出常规的 POSIX 权限位模型。 在 3.3 版更改: 添加 dir_fd、effective_ids 和 follow_symlinks 参数。 在 3.6 版更改: 接受一个path-like object。 os.F_OK

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . 1046 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1063 20.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。与float 数据类型相比，它具有以下几个 优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计 算机必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是完全精确的。相比之下，1.1 和 list(map(round, sat.quantiles(n=10))) [810, 896, 958, 1011, 1060, 1109, 1162, 1224, 1310] 为了估算一个不易解析的模型分布，NormalDist 可以生成用于 蒙特卡洛模拟 的输入样本： >>> def model(x, y, z): ... return (3*x + 7*x*y - 5*y) / (11 * z)

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . 1046 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1063 20.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。与float 数据类型相比，它具有以下几个 优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计 算机必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是完全精确的。相比之下，1.1 和 list(map(round, sat.quantiles(n=10))) [810, 896, 958, 1011, 1060, 1109, 1162, 1224, 1310] 为了估算一个不易解析的模型分布，NormalDist 可以生成用于 蒙特卡洛模拟 的输入样本： >>> def model(x, y, z): ... return (3*x + 7*x*y - 5*y) / (11 * z)

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . . . 1120 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1139 20.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。与float 数据类型相比，它具有以下几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计算机 必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是完全精确的。相比之下，1.1 和 list(map(round, sat.quantiles(n=10))) [810, 896, 958, 1011, 1060, 1109, 1162, 1224, 1310] 为了估算一个不易解析的模型分布，NormalDist 可以生成用于 蒙特卡洛模拟 的输入样本： >>> def model(x, y, z): ... return (3*x + 7*x*y - 5*y) / (11 * z)

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1145 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1153 20.6.1 模块内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1185 20.13.4 内容模型描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1186 20.13.5 Expat 十进制定点和浮点运算 源码： Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。与float 数据类型相比，它具有以下几个优点： • Decimal “基于一个浮点模型，它是为人们设计的，并且必然具有最重要的指导原则——计算机必须提 供与人们在学校学习的算法相同的算法。”——摘自十进制算术规范。 • Decimal 数字的表示是完全精确的。相比之下，1.1 和 2