使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: 2.0, ) opt = tf.train.experimental.MixedPrecisionLossScaleOptimizer(opt, loss_scale) TensorFlow自动混合精度（Automatic Mixed Precision，AMP） 1.设置环境变量 TF_ENABLE_AUTO_MIXED_PRECISION=“1” 2.在代码中手动开启（1和2选项互相冲突，同时设置会报错）

................................................................................... 514 Day 15 - 部署 Web App .......................................................................................... 编码，用来把中文编进 去。 你可以想得到的是，全世界有上百种语言，日本把日文编到 Shift_JIS 里，韩国把韩文编到 Euc-kr 里，各国有各国的标准，就会不可避免地出 现冲突，结果就是，在多语言混合的文本中，显示出来会有乱码。 Python3 基础教程【完整版】 http://www.yeayee.com/ 44/531 因此，Unicode 应运而生。Unicode 把所有语言都统一到一套编码里， pass 参数组合 在 Python 中定义函数，可以用必选参数、默认参数、可变参数、关键 字参数和命名关键字参数，这 5 种参数都可以组合使用，除了可变参数 无法和命名关键字参数混合。但是请注意，参数定义的顺序必须是：必 选参数、默认参数、可变参数/命名关键字参数和关键字参数。 比如定义一个函数，包含上述若干种参数： def f1(a, b, c=0, *args, **kw):

• ⾃自动发现 • 主要⽤用于短期指标 • ⽀支持20+外部存储⽤用于⻓长期存储 通⽤用指标类可视化 - grafana • 通⽤用的指标类可视化⽅方案 • 近70 数据源（⽀支持混合） • 新推简单⽇日志⽅方案：Promtail+Loki • ⾃自由报表定制与构建 • 30+ 可视化插件 • ⽀支持查询原始指标 prometheus的扩展 - thanos • 重要企业级组件都在商业组件X-Pack中 • 安全、ML、SQL、监控、告警、Transform等 • 提供⼀一个开源免费的APM⽅方案 Kafka + EBLK 引⼊队列，解决丢数据问题 部署、维护复杂度较为复杂 Elasticsearch核⼼能⼒ • 简单，易易扩展，功能集丰富，⽣生态活跃 • NoSQL，schema灵活 • 全⽂文索引查询强，过滤快、聚集功能强⼤大 • • 配置统⼀一管理理 • 数据传输可靠性 Beats核⼼能⼒ • 8类轻量级Beats • 配置统⼀管理，部分逻辑插件化 • 集成50+内置⽣态模块（⽇志与指标） • ⽀持容器类部署场景 其他OLAP选择: Druid • 性能优越： • PB级别规模 • 亚秒级OLAP系统 • 实时写⼊入与查询 • 组件⻆角⾊色较多，搭建较为复杂 • Json-QL（有SQL适配器器）

人生苦短，我用Python 用户 JupyterLab 痛点：如何快速启动 痛点：如何分享、协作 痛点：如何管理依赖 开发者 (企业) Rikai by ETO.AI 痛点：Python/Java混合编程 痛点：多个Py子项目在一个仓库 开发者 （业余） SymPy plugin of TeXmacs 痛点：pip install sympy Python without Pants 电影《青蛇》00:56:12 Executable • Assembly PEX • Executable • Assembly PEX是独立于Pants的一种Python打包格式。 将代码和依赖统一打包为PEX之后，比如app.pex，部署大大简化，不再需要pip install相关依赖以及创建Python虚拟环境。 Thanks! 感谢观看

也可能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 以两个（非复数）数字为参数，在作整数除法时，返回商和余数。若操作数为混合类型，则适用 二进制算术运算符的规则。对于整数而言，结果与 (a // b, a % b) 相同。对于浮点数则结果 为 (q, a % b)，其中 q 通常为 math.floor(a / b)，但可能比它小 存在，则如果提供了 default 则返回该值，否则将引发AttributeError。name 不必是一个 Python 标识符 (参见setattr())。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性） 名称以使用getattr() 来提取它。 globals() 返回实现当前模块命名空间的字典。对于函数内的代码，这是在定义函数时设置的，无论函数在哪 用点号标 21 The Python Library Reference, 发布 3.10.15 记来访问，但是可以通过getattr() 等来访问。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性） 名称以便使用setattr() 来设置它。 class slice(stop) class slice(start, stop[, step])

Reference, 发布 3.10.15 类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 以两个（非复数）数字为参数，在作整数除法时，返回商和余数。若操作数为混合类型，则适用二进 制算术运算符的规则。对于整数而言，结果与 (a // b, a % b) 相同。对于浮点数则结果为 (q, a % b)，其中 q 通常为 math.floor(a / b)，但可能比它小 不必是一个 Python 标识符 (参 见setattr())。 13 The Python Library Reference, 发布 3.10.15 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性）名 称以使用getattr() 来提取它。 globals() 返回实现当前模块命名空间的字典。对于函数内的代码，这是在定义函数时设置的，无论函数在哪里 __getattribute__() 中或是通过 __slots__。一个名称不为标识符的属性将不可使用点号标记 来访问，但是可以通过getattr() 等来访问。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性）名 称以便使用setattr() 来设置它。 class slice(stop) class slice(start, stop[, step])

能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 它将两个（非复数）数字作为实参，并在执行整数除法时返回一对商和余数。对于混合操作数类型， 适用双目算术运算符的规则。对于整数，结果和 (a // b, a % b) 一致。对于浮点数，结果是 (q, a % b) ，q 通常是 math.floor(a / b) 但可能会比 的值。例如，getattr(x, 'foobar') 等同于 x.foobar。如果指定的属性不存在，且提供了 default 值，则返回它，否则触发AttributeError。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性） 名称以使用getattr() 来提取它。 globals() 返回实现当前模块命名空间的字典。对于函数内的代码，这是在定义函数时设置的，无论函数在哪 现有属性或者新增属性。函数会将值赋给该属性，只要对象允许这种操作。例如，setattr(x, 'foobar', 123) 等价于 x.foobar = 123。 注解: 由于 私有名称混合发生在编译时，因此必须手动混合私有属性（以两个下划线打头的属性） 名称以便使用setattr() 来设置它。 class slice(stop) class slice(start, stop[, step])

能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 它将两个（非复数）数字作为实参，并在执行整数除法时返回一对商和余数。对于混合操作数类型， 适用双目算术运算符的规则。对于整数，结果和 (a // b, a % b) 一致。对于浮点数，结果是 (q, a % b) ，q 通常是 math.floor(a / b) 但可能会比 进制和二进制数）会生成整数。包含小数点或幂运算符的数字字面值会生成浮点数。在数字字面值末尾 加上 'j' 或 'J' 会生成虚数（实部为零的复数），你可以将其与整数或浮点数相加来得到具有实部和虚 部的复数。 Python 完全支持混合运算：当一个二元算术运算符的操作数有不同数值类型时，” 较窄” 类型的操作数会 拓宽到另一个操作数的类型，其中整数比浮点数窄，浮点数比复数窄。不同类型的数字之间的比较，同 比较这些数字的精确值一样。 操作 bytes 和 bytearray 对象都支持通用 序列操作。它们不仅能与相同类型的操作数，也能与任何bytes-like object 进行互操作。由于这样的灵活性，它们可以在操作中自由地混合而不会导致错误。但是，操作结果的返 回值类型可能取决于操作数的顺序。 注解: bytes 和 bytearray 对象的方法不接受字符串作为其参数，就像字符串的方法不接受 bytes 对象作为 其参数一样。例如，你必须使用以下写法:

能在不同版本之间改变。例如，当实参 是一个类时，metaclass 的属性不包含在结果列表中。 divmod(a, b) 它将两个（非复数）数字作为实参，并在执行整数除法时返回一对商和余数。对于混合操作数类型， 适用双目算术运算符的规则。对于整数，结果和 (a // b, a % b) 一致。对于浮点数，结果是 (q, a % b) ，q 通常是 math.floor(a / b) 但可能会比 进制和二进制数）会生成整数。包含小数点或幂运算符的数字字面值会生成浮点数。在数字字面值末尾 加上 'j' 或 'J' 会生成虚数（实部为零的复数），你可以将其与整数或浮点数相加来得到具有实部和虚 部的复数。 Python 完全支持混合运算：当一个二元算术运算符的操作数有不同数值类型时，” 较窄” 类型的操作数会 拓宽到另一个操作数的类型，其中整数比浮点数窄，浮点数比复数窄。不同类型的数字之间的比较，同 比较这些数字的精确值一样。 操作 bytes 和 bytearray 对象都支持通用 序列操作。它们不仅能与相同类型的操作数，也能与任何bytes-like object 进行互操作。由于这样的灵活性，它们可以在操作中自由地混合而不会导致错误。但是，操作结果的返 回值类型可能取决于操作数的顺序。 注解: bytes 和 bytearray 对象的方法不接受字符串作为其参数，就像字符串的方法不接受 bytes 对象作为 其参数一样。例如，你必须使用以下写法: