使用Python训练和部署低精度模型 （TensorFlow版） 张校捷 2019/9/21 目录 CONTENTS 低精度的概念和意义 TensorFlow的FP16模型 TensorRT的FP16/Int8模型 总结 1 低精度的概念和意义 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 深度学习模型中实数的表示 FP32: E8M23 FP16: ResNet-50-v1.5 3.3X speedup SSD-RN50-FPN-640 2.5X speedup FP16浮点数（E5M10）的表示范围 FP16模型的训练方法 Int8模型的推断过程 2 TensorFlow的FP16模型 实数的16-bit半精度浮点数和8-bit定点数表示 使用低精度的意义 TensorCores适用条件 1. 卷积：K（输入通道），C（输出通道） 2 2=1 TF_ENABLE_CUDNN_TENSOR_OP_MATH_FP32=1 TF_ENABLE_CUDNN_RNN_TENSOR_OP_MATH_FP32=1 TensorFlow手动转换模型 import tensorflow as tf import numpy as numpy input = tf.placeholder(dtype=tf.float32, shape=[None

ARM 芯片的 Python + AI 算力优化 主讲人： 朱宏林 – 阿里云程序语言与编译器团队 简介 • 当今开发者们大量使用 Python 语言编写的 AI 程序。过去这些程序总跑在 GPU 或者 x86 架构的 CPU 上。然而综合考虑到功耗、成本、性能等因素，云厂商们开始建设 ARM 架构的服务平台，如 何整合 Python + AI 的相关软件并使其在该平台上发挥最高的性能成为了工程师们关注的焦点。 提升明显。目前，该成果已经被集成进 OpenBLAS 和 PyTorch 中。 • 本次演讲，将向大家介绍我们在倚天 710 ARM 芯片上开展的 Python + AI 优化工作，以及在 ARM 云平台上部署 Python + AI 任务的最佳实践。 深度学习 • 广泛使用的深度学习框架 • TensorFlow、PyTorch • 结合硬件（ARM 服务端芯片） • 倚天 710 • Conv、Linear、Transformers 来源: Why GEMM is at the heart of deep learning, Pete Warden Convolution • AlexNet 模型推理各个层计算比例 • 86.1% • 2.6% 来源: Learning Semantic Image Representations at a Large Scale, Yangqing Jia

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |######### | section1 收集语料 前处理 section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 NLP基础 22% |################## | section1 收集语料 前处理 分词 向量化 机器学习模型 各种OUTPUT 语义解析 有时候会把语义分析的结果做成 feature，放进机器学习模型里。 EDA NLP基础 25% |###################

Python的NLP实战分享 如何实现合同风险预测模型？ GVA TECH Co., Ltd 藤井美娜 自我介绍 2% |# | self-introduction • Machine Learning Engineer / Data Scientist • GVA TECH的人工智能法律服务AI-CON的多语言系统 开发负责人 inazo18 藤井美娜 目录 CONTENTS CONTENTS 1. Python NLP 入门 2. 多语言NLP攻略 3.“合同风险预测模型”实战经验分享 4. 总结 5% |### | today’s topic 1 Python NLP 入门 简单介绍自然语言处理的流程和使用corpus的EDA方法。 8% |##### | section1 NLP基础 11% |####### | section1 收集语料 前处理 分词 收集语料 前处理 分词 向量化 （Vectorization） 机器学习模型 各种OUTPUT 语义解析 NLP基础 19% |################ | section1 收集语料 前处理 分词 向量化 机器学习模型 语义解析 有时候会把语义分析的结果feature， 放进机器学习模型里。 各种OUTPUT EDA NLP基础 23% |###################

三、设计 四、应用案例 五、思考 一、背景 深度学习框架是包含深度学习模型设计、训练和验证的一套标准接口、特性库和工具包，集成深度学习 的算法封装、数据调用以及计算资源的使用，同时面向开发者提供了开发界面和高效的执行平台，是算法工 程师的必备工具之一。 美国互联网对AI底层技术战略性投入力度较大，但中国的AI产业主要受需求拉动，大多数人工智能 公司布局应用层。 一、背景：深度学习框架的演进 ����� ���� ����� ���� ��� 面向应用服务提供解 决方案或一般性方法。 提供模型生命周期中 科配置的各类功能组件。 实现框架最基础、最 核心的功能，帮助开发者 屏蔽底层硬件技术细节。 三、设计：最小化的深度学习框架 从模型的设计者角度思考，一个模型设计的最小使用内容。 三、设计：最小MVP深度学习框架的层次逻辑 � � � � Datasets DataLoader 四、应用：简单回归问题的实现（一） 1、定义问题 已知某类工业零件不同长与宽的产品数据集，求长与宽的关系。 2、宽与高的数据关系示意图： 宽 长 四、应用：简单回归问题的实现（二） 模型结构： class SampleModel(nn.Module): def __init__(self): super(SampleModel, self).__init__() self.line_layer

Domain-specific Knowledge Graph Construction Preliminaries Preliminaries AI system = Knowledge + Reasoning Preliminaries How dose the AI system works? Q: 1M = ? B 1024 Q: Where was David Beckham born? （机器的潜台词：“我”会推理，so easy ！）。 所以，通俗的来说，在AI system中：要么从原有的知识体系中直接提取信息来使用，要 么进行推理。 将知识融合在机器中，使机器能够利用我们人类知识、专家知识解决问题，这就是早期 知识工程（Knowledge Engineering）的核心内涵。 Preliminaries Explaining AI system from the perspective perspective of KE – Symbolism AI System = Knowledge + Reasoning  符号主义的主要观点 • 认知即计算 • 知识是信息的一种形式，是构成智能的基础 • 知识表示、知识推理、知识运用是人工智能的核心  Physical Symbol System • A physical symbol system has the necessary and

各种分析的⽀支持： • 流式分析：流式或微批实时处理理 • 统计关联分析：多维度的实时关联统计与分析⽀支持，⽀支持交互式add-hoc⽅方式 • 数据治理理： • 数据加⼯工：通⽤用数据模型；多维机器器数据、半结构化的规整、各种第三⽅方数据关联 • 数据⽣生命周期管理理（时序数据的归并、变化数据更更新等） 机器器学习对分析增强的⽅方向 增强点 描述 统计性分析 基于IT实体与 应⽤用编排 3 开源⽅方案选择与Python作⽤用 特定场景下特定的平台搭建选择及策略略以及Python的作⽤用 • ⽇日志类数据⽅方案 • 指标类时序数据⽅方案 • 其他OLAP选择 • AI增强⽅方案 数据源与监控 - 容器器化架构为例例 物理理主机/VM层监控 容器器POD指标监控 容器器CaaS层资源监控 应⽤用层性能监控 应⽤用层 ⽇日志 指标监控 prometheus ⽀支持（CQ/TickScript） ⽣生命周期 不不直接⽀支持 ⽀支持 不不直接⽀支持 指标类数据监控 - prometheus • K8S监控标配（继K8S后第2个CNCF项⽬目） • 多维数据模型 + PromQL • 汇总性数据+Label过滤 • 可从160+源渠道提取指标数据 • 主动拉去模式（可由gateway被动） • ⾃自动发现 • 主要⽤用于短期指标 •

为什么选择python django框架做web开发 • 基于后端数据模型生成的web模板 • 快速通过模板语言生成网页，加载python中的字典和列表 • 结合html模板嵌套和语法，使得共享页面布局，自定义数据块方便简洁 • 各种html模板tag，让数据在网页显示能更加方便 • 关系型数据库的ORM • 只需要编写业务实体对象模型，自动生成数据库架构 • 开发人员不需要了解和学习sql语句，快速上手增删改查 api接口都是基于web后端技术演化而来 • 只要有需要web开发的，app开发的，拥有数据交互需求的，web和api后端开发需求依然是庞 大的 • 分享一个团队里的问题，别人用python都在搞AI，大数据，物联网这些新的应用领域的高精尖 新技术，我们做python web开发的还有前（钱）途吗？ • 用户问题和技术问题： • 用户问题： 我饿了，不去餐馆，也能吃到某家餐厅的饭菜 • 商业模式： 用户需求和技术需求哪个更重要 • Web开发技术 • 庞大的用户群体，最贴近用户的部分 • 大数据的开发技术 • 互联网战场的杀手锏 • 自动化测试、运维的技术 • 极大提高效率，降低人工成本 • AI开发技术 • 让自动化更加的智慧 • 物联网（micropython） • 各种设备的智慧互联 技术的价值到底在哪里 • 你为什么选择使用python？ • 你为什么选择软件开发编程？ •

进入Azure服务页面 ：https://portal.azure.com/#home Azure机器学习 通过点击“所有服务”，我们可以看到Azure可提供的服务非常多 找到我们本次需要的“AI + 机器学习” Azure机器学习 在“机器学习服务工作区”中可以看到已有的服务 Azure机器学习 选择“添加”按钮，填写相关信息 Azure机器学习 等待服务部署完成 单击此处添加标题 机器学习的一般步骤包括：问题定义、数据收集、特征工程、模型选择、模型评估、模型应用。 而算法工程师的工作一般是从特征工程开始。 自动机器学习的自动体现在：自动特征工程、自动模型选择、自动超参数优化等。 手动特征工程效率低、 可移植性差、受到创 造力的限制。 自动特征工程 自动超参数优 化 自动模型选择 添加标题 如何有效选择对应于 特定数据集的模型至 关重要。 大量超参数如何自动 优化？ 自动机器学习解决了什么问题？

语言的发展水平标志着思维的发展水平。 — Marx 语言决定思维模型 GNU-APL C++ Haskell 说 到 质 数 ， 人 们 想 到 什 么 ？ 语言决定思维模型 在 实 际 业 务 中 处 理 数 据 。 Haskell 虽然模式匹配似乎还不甚流行，但它仅是编 程语言走向未来必然经过的一个极其不起眼 的、实现简单的基础设施。 语言决定思维模型 在 实 际 业 务 中 处 理 数 据 。 。 Python 语言决定思维模型 Python? 语言决定思维模型 Think about it: Is someone whose first programming language was APL going to think about programming ever after in the same way as someone whose first programming Alan Perlis(ALGOL 60) 一位老大爷的名言 一篇生动的博客 语言决定思维模型 细说，不是胡说；语言，不止工具。 你所常用的语言决定了你思考的流向，和解决问题的方式， 不管是对细节的实现还是对整体框架的设计。 上述提到的一些的简单案例，意在表达，不同语言的使用者， 使用不同的心智模型去解决问题。 而对于这个现象的发生，我归因于语言本身。编程语言会对你的思维 方式进行诱导，试图将你同化。