使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） 2 2=1 TF_ENABLE_CUDNN_TENSOR_OP_MATH_FP32=1 TF_ENABLE_CUDNN_RNN_TENSOR_OP_MATH_FP32=1 TensorFlow手动转换模型 import tensorflow as tf import numpy as numpy input = tf.placeholder(dtype=tf.float32, shape=[None

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |######### | section1 收集语料 前处理 section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 NLP基础 22% |################## | section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 有时候会把语义分析的结果做成 feature，放进机器学习模型里。 EDA NLP基础 25% |###################

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |####### | section1 收集语料 前处理 分词 收集语料 前处理 分词 向量化 （Vectorization） 机器学习模型 各种OUTPUT 语义解析 NLP基础 19% |################ | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 有时候会把语义分析的结果feature， 放进机器学习模型里。 各种OUTPUT EDA NLP基础 23% |###################

ASCII 编码实际上可以被看成是UTF-8编码的一部分，所以，大量只支持ASCII 编码的历史遗留软件可以在 UTF-8 编码下继续工作。 搞清楚了 ASCII、Unicode 和 UTF-8 的关系，我们就可以总结一下现在 计算机系统通用的字符编码工作方式： 在计算机内存中，统一使用 Unicode 编码，当需要保存到硬盘或者需要 传输的时候，就转换为 UTF-8 编码。 Python3 中删除： >>> d.pop('Bob') 75 >>> d {'Michael': 95, 'Tracy': 85} 请务必注意，dict 内部存放的顺序和 key 放入的顺序是没有关系的。 和 list 比较，dict 有以下几个特点： 1. 查找和插入的速度极快，不会随着 key 的增加而增加； 2. 需要占用大量的内存，内存浪费多。 而 list 相反： 1 12, 9, 21] Python3 基础教程【完整版】 http://www.yeayee.com/ 136/531 然后 sorted()函数按照 keys 进行排序，并按照对应关系返回 list 相应的 元素： keys 排序结果 => [5, 9, 12, 21, 36] | | | | | 最终结果 =>

如果对上述草稿有话想说，请参与讨论。 5. 可以开始翻译咯。 6. PR。 README - 5 - 本文档使用 书栈(BookStack.CN) 构建 初识 Django 初识 Django 设计模型 创建模型 享用便捷的 API 动态生成的管理页面：并非徒有其表 规划 URL 编写视图 设计模板 这只是冰山一角 Django 最初被设计用于具有快速开发需求的新闻类站点，目的是要实现简单快捷的网站开发。以下 。如果您想要马上开始一个项目，可以 从 实例教程（zh）开始入手，或者直接开始阅读详细的参考文档。 Django 无需数据库就可以使用，它提供了对象关系映射器（ORM）。通过此技术，你可以使用 Python 代码来描述数据库结构。 数据模型语法提供了很多方法来描述你的数据，这解决了多年来在数据库模式中的难题。以下是一个 简明的例子： 1. # mysite/news/models.py pub_date = models.DateField() 13. headline = models.CharField(max_length=200) 初识 Django 设计模型 初识 Django - 6 - 本文档使用 书栈(BookStack.CN) 构建 14. content = models.TextField() 15. reporter

举两 个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 1.2.3 数据结构与算法的关系 如图 1‑4 所示，数据结构与算法高度相关、紧密结合，具体表现在以下三个方面。 ‧ 数据结构是算法的基石。数据结构为算法提供了结构化存储的数据，以及操作数据的方法。 ‧ 算法是数据结构发挥作 很大，选择合适的数据结构是关键。 图 1‑4 数据结构与算法的关系 数据结构与算法犹如图 1‑5 所示的拼装积木。一套积木，除了包含许多零件之外，还附有详细的组装说明书。 我们按照说明书一步步操作，就能组装出精美的积木模型。 第 1 章 初识算法 hello‑algo.com 15 图 1‑5 拼装积木 两者的详细对应关系如表 1‑1 所示。 表 1‑1 将数据结构与算法类比为拼装积木 将数据结构与算法类比为拼装积木 数据结构与算法 拼装积木 输入数据 未拼装的积木 数据结构 积木组织形式，包括形状、大小、连接方式等 算法 把积木拼成目标形态的一系列操作步骤 输出数据 积木模型 值得说明的是，数据结构与算法是独立于编程语言的。正因如此，本书得以提供基于多种编程语言的实现。 约定俗成的简称 在实际讨论时，我们通常会将“数据结构与算法”简称为“算法”。比如众所周知的 LeetCode 算法题

举 两个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 1.2.3 数据结构与算法的关系 如图 1‑4 所示，数据结构与算法高度相关、紧密结合，具体表现以下三个方面。 ‧ 数据结构是算法的基石。数据结构为算法提供了结构化存储的数据，以及用于操作数据的方法。 ‧ 算法是数据结构发挥 但最终执行效率可能相 差很大。 图 1‑4 数据结构与算法的关系 数据结构与算法犹如图 1‑5 所示的拼装积木。一套积木，除了包含许多零件之外，还附有详细的组装说明书。 我们按照说明书一步步操作，就能组装出精美的积木模型。 第 1 章 初识算法 hello‑algo.com 14 图 1‑5 拼装积木 两者的详细对应关系如表 1‑1 所示。 表 1‑1 将数据结构与算法类比为积木 数据结构与算法 数据结构与算法 拼装积木 输入数据 未拼装的积木 数据结构 积木组织形式，包括形状、大小、连接方式等 算法 把积木拼成目标形态的一系列操作步骤 输出数据 积木模型 值得说明的是，数据结构与算法是独立于编程语言的。正因如此，本书得以提供多种编程语言的实现。 � 约定俗成的简称 在实际讨论时，我们通常会将“数据结构与算法”简称为“算法”。比如众所周知的 LeetCode 算法题目，实

举两 个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 1.2.3 数据结构与算法的关系 如图 1‑4 所示，数据结构与算法高度相关、紧密结合，具体表现在以下三个方面。 ‧ 数据结构是算法的基石。数据结构为算法提供了结构化存储的数据，以及操作数据的方法。 ‧ 算法是数据结构发挥作 很大，选择合适的数据结构是关键。 图 1‑4 数据结构与算法的关系 数据结构与算法犹如图 1‑5 所示的拼装积木。一套积木，除了包含许多零件之外，还附有详细的组装说明书。 我们按照说明书一步步操作，就能组装出精美的积木模型。 第 1 章 初识算法 hello‑algo.com 15 图 1‑5 拼装积木 两者的详细对应关系如表 1‑1 所示。 表 1‑1 将数据结构与算法类比为拼装积木 将数据结构与算法类比为拼装积木 数据结构与算法 拼装积木 输入数据 未拼装的积木 数据结构 积木组织形式，包括形状、大小、连接方式等 算法 把积木拼成目标形态的一系列操作步骤 输出数据 积木模型 值得说明的是，数据结构与算法是独立于编程语言的。正因如此，本书得以提供基于多种编程语言的实现。 � 约定俗成的简称 在实际讨论时，我们通常会将“数据结构与算法”简称为“算法”。比如众所周知的 LeetCode 算

一方面作出妥协。例如， 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度；图相较于链表，提供了更丰 富的逻辑信息，但需要占用更大的内存空间。 1.2.3. 数据结构与算法的关系 「数据结构」与「算法」高度相关且紧密结合，具体表现在： ‧ 数据结构是算法的基石。数据结构为算法提供了结构化存储的数据，以及用于操作数据的方法。 ‧ 算法是数据结构发挥的舞台。数据结构本身仅 率 可能相差很大。 Figure 1‑4. 数据结构与算法的关系 我们可以把数据结构与算法类比为拼装积木。一套积木，除了包含许多零件之外，还附有详细的组装说明书。 我们按照说明书一步步操作，就能组装出精美的积木模型。 1. 初识算法 hello‑algo.com 11 Figure 1‑5. 拼装积木 两者的详细对应关系如下表所示。 数据结构与算法 LEGO 乐高 输入数据 未拼装的积木 未拼装的积木 数据结构 积木组织形式，包括形状、大小、连接方式等 算法 把积木拼成目标形态的一系列操作步骤 输出数据 积木模型 值得注意的是，数据结构与算法独立于编程语言。正因如此，本书得以提供多种编程语言的实现。 � 约定俗成的简称 在实际讨论时，我们通常会将「数据结构与算法」简称为「算法」。例如，众所周知的 LeetCode 算法题目，实际上同时考察了数据结构和算法两方面的知识。

间下完成。 ‧ 各步骤都有确定的含义，在相同的输入和运行条件下，输出始终相同。 1.2.2 数据结构定义 数据结构（data structure）是组织和存储数据的方式，涵盖数据内容、数据之间关系和数据操作方法，它具 有以下设计目标。 第 1 章 初识算法 www.hello‑algo.com 14 ‧ 空间占用尽量少，以节省计算机内存。 ‧ 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 举两 个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 1.2.3 数据结构与算法的关系 如图 1‑4 所示，数据结构与算法高度相关、紧密结合，具体表现在以下三个方面。 ‧ 数据结构是算法的基石。数据结构为算法提供了结构化存储的数据，以及操作数据的方法。 ‧ 算法为数据结构注入生 ，选择合适的数据结构是关键。 图 1‑4 数据结构与算法的关系 数据结构与算法犹如图 1‑5 所示的拼装积木。一套积木，除了包含许多零件之外，还附有详细的组装说明书。 我们按照说明书一步步操作，就能组装出精美的积木模型。 第 1 章 初识算法 www.hello‑algo.com 15 图 1‑5 拼装积木 两者的详细对应关系如表 1‑1 所示。 表 1‑1 将数据结构与算法类比为拼装积木