使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） 2 2=1 TF_ENABLE_CUDNN_TENSOR_OP_MATH_FP32=1 TF_ENABLE_CUDNN_RNN_TENSOR_OP_MATH_FP32=1 TensorFlow手动转换模型 import tensorflow as tf import numpy as numpy input = tf.placeholder(dtype=tf.float32, shape=[None

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |######### | section1 收集语料 前处理 section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 NLP基础 22% |################## | section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 有时候会把语义分析的结果做成 feature，放进机器学习模型里。 EDA NLP基础 25% |###################

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |####### | section1 收集语料 前处理 分词 收集语料 前处理 分词 向量化 （Vectorization） 机器学习模型 各种OUTPUT 语义解析 NLP基础 19% |################ | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 有时候会把语义分析的结果feature， 放进机器学习模型里。 各种OUTPUT EDA NLP基础 23% |###################

ElementTree —ElementTree XML API . . . . . . . . . . . . . . . . . . . . . . . 1010 20.6 xml.dom —文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1025 20.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计算机 必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2 os.stat(path) 以相同的格式返回关于 path 的统计信息（这个函数同时也是起源 于 POSIX 接口）。 • 针对特定的操作的拓展同样在可用于os 模块，但是使用它们必然会对可移植性产生威胁。 • 所有接受路径或文件名的函数都同时支持字节串和字符串对象，并在返回路径或文件名时使用相应类 型的对象作为结果。 • An“Availability: Unix”note means that

ElementTree —ElementTree XML API . . . . . . . . . . . . . . . . . . . . . . . 1010 20.6 xml.dom —文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1025 20.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计算机 必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2 os.stat(path) 以相同的格式返回关于 path 的统计信息（这个函数同时也是起源 于 POSIX 接口）。 • 针对特定的操作的拓展同样在可用于os 模块，但是使用它们必然会对可移植性产生威胁。 • 所有接受路径或文件名的函数都同时支持字节串和字符串对象，并在返回路径或文件名时使用相应类 型的对象作为结果。 • An“Availability: Unix”note means that

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . 1000 21.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1015 21.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计 算机必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2 os.stat(path) 以相同的格式返回关于 path 的统计信息（这个函数同时 也是起源于 POSIX 接口）。 • 针对特定的操作的拓展同样在可用于os 模块，但是使用它们必然会对可移植性产生威胁。 • 所有接受路径或文件名的函数都同时支持字节串和字符串对象，并在返回路径或文件名时使用相 应类型的对象作为结果。 注解: 如果使用无效或无法访问的文件名与路径，或者其他类型正确但操作系统不接受的参数，此模块

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . . . 1058 21.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1074 21.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。它提供了float 数据类型以外的几个优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计算机 必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是精确的。相比之下，1.1 和 2 os.stat(path) 以相同的格式返回关于 path 的统计信息（这个函数同时也是起源 于 POSIX 接口）。 • 针对特定的操作的拓展同样在可用于os 模块，但是使用它们必然会对可移植性产生威胁。 • 所有接受路径或文件名的函数都同时支持字节串和字符串对象，并在返回路径或文件名时使用相应类 型的对象作为结果。 注解: 如果使用无效或无法访问的文件名与路径，或者其他类型正确但操作系统不接受的参数，此模块的所

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . 1046 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1063 20.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。与float 数据类型相比，它具有以下几个 优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计 算机必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是完全精确的。相比之下，1.1 和 list(map(round, sat.quantiles(n=10))) [810, 896, 958, 1011, 1060, 1109, 1162, 1224, 1310] 为了估算一个不易解析的模型分布，NormalDist 可以生成用于 蒙特卡洛模拟 的输入样本： >>> def model(x, y, z): ... return (3*x + 7*x*y - 5*y) / (11 * z)

ElementTree --- ElementTree XML API . . . . . . . . . . . . . . . . . . . . . 1046 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1063 20.7 xml.dom.minidom Lib/decimal.py decimal 模块为快速正确舍入的十进制浮点运算提供支持。与float 数据类型相比，它具有以下几个 优点： • Decimal 类型的“设计是基于考虑人类习惯的浮点数模型，并且因此具有以下最高指导原则——计 算机必须提供与人们在学校所学习的算术相一致的算术。”——摘自 decimal 算术规范描述。 • Decimal 数字的表示是完全精确的。相比之下，1.1 和 list(map(round, sat.quantiles(n=10))) [810, 896, 958, 1011, 1060, 1109, 1162, 1224, 1310] 为了估算一个不易解析的模型分布，NormalDist 可以生成用于 蒙特卡洛模拟 的输入样本： >>> def model(x, y, z): ... return (3*x + 7*x*y - 5*y) / (11 * z)

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1098 20.6 xml.dom --- 文档对象模型 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1105 20.6.1 模块内容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1137 20.13.4 内容模型描述 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1137 20.13.5 Expat Tkinter 拾遗 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1324 25.1.4 线程模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1326 25.1.5 快速参考