1 2021年06月 机器学习-机器学习项目流程 黄海广 副教授 2 本章目录 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 3 1.机器学习项目流程概述 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 4 机器学习的一般步骤 5 机器学习的一般步骤 数据搜集 数据清洗 数据清理和格式化 • 探索性数据分析(EDA) • 特征工程 • 特征选择 • 网络下载 • 网络爬虫 • 数据库读取 • 开放数据 • …… 7 2.数据清洗 01 机器学习项目流程概述 02 数据清洗 03 特征工程 04 数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据 拼写错误 命名习惯 数理统计技术 数据挖掘技术 脏数据 数据清理策略、规则 满足数据质量要求的数据 数据清理原理 10 探索性数据分析(EDA) 探索性数据分析（EDA）是一个开放式流程，我们制作绘图并计算 统计数据，以便探索我们的数据。 •目的是找到异常，模式，趋势或关系。 这些可能是有趣的（例如， 找到两个变量之间的相关性），或者它们可用于建模决策，例如使 用哪些特征。

本章目录 01 Transformer介绍 02 Transformer的工作流程 04 BERT 3 1.Transformer介绍 01 Transformer介绍 03 Transformer的训练 02 Transformer的工作流程 04 BERT 4 1.Transformer介绍 为什么需要用transformer Transformer的工作流程 01 Transformer介绍 03 Transformer的训练 02 Transformer的工作流程 04 BERT 14 2.Transformer的工作流程 从宏观的视角开始 首先将这个模型看成是一个黑箱操作。在机器翻译中，就 是输入一种语言，输出另一种语言。 15 2.Transformer的工作流程 那么拆开这个黑 Transformer的工作流程 编码组件部分由一堆编 码器（encoder）构成 （论文中是将6个编码 器叠在一起）。解码组 件部分也是由相同数量 （与编码器对应）的解 码器（decoder）组成 的。 17 2.Transformer的工作流程 所有的编码器在结构上都是相同 的，但它们没有共享参数。每个 解码器都可以分解成两个子层。 18 2.Transformer的工作流程 从编

16 2.K-means聚类 K-means算法流程 1. 选择K个点作为初始质心。 2. 将每个点指派到最近的质心，形成K个簇。 3. 对于上一步聚类的结果，进行平均计算，得出该簇的新的聚类中心。 4. 重复上述两步/直到迭代结束：质心不发生变化。 17 2.K-means聚类 初始化质心 K-means算法流程 首先，初始化称为簇质心的任意点。初始化 时，必须注意簇的质心必须小于训练数据点 来的两个步骤是迭代执行的。 18 2.K-means聚类 K-means算法流程 初始化后，遍历所有数据点，计算所有质心 与数据点之间的距离。现在，这些簇将根据 与质心的最小距离而形成。在本例中，数据 分为3个簇(? = 3)。 簇赋值 19 2.K-means聚类 K-means算法流程 第三步：移动质心，因为上面步骤中形成的簇 没有优化，所以需要形成优化的簇。为此，我 们需要迭代地将质心移动到一个新位置。取一 个簇的数据点，计算它们的平均值，然后将该 簇的质心移动到这个新位置。对所有其他簇重 复相同的步骤。 迭代更新 20 2.K-means聚类 K-means算法流程 优化 上述两个步骤是迭代进行的，直到质心停止移动，即它们不再改变自己的位置，并且成为静态的。一 旦这样做，k-均值算法被称为收敛。 设训练集为：{?(1), ?(2), ?(3), … ,

1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 ? ?? = ? ?? 3 4 σ?=1 10,000 ? ?? 3 4 20 3.Word2Vec 训练流程 在训练过程开始之前，我们预先处理我们正在训练模型的文本。在这一步中， 我们确定词汇量的大小（我们称之为vocab_size，比如说，将其视为10,000）以及 哪些词属于它。在训练阶段的开始，我们创建两个矩阵 （embedding_size- 300是一个 常见值）。 21 3.Word2Vec 训练流程 在训练过程开始时，我们用随机值初始化这些矩阵。然后我们 开始训练过程。在每个训练步骤中，我们采取一个正样本及其 相关的负样本。我们来看看我们的第一组： 22 3.Word2Vec 训练流程 现在我们有四个单词：输入单词not和输出/上下文单词:( thou实际邻 居）,aaron，和taco（负样本）。我们继续查找它们的嵌入 阵（即使两个矩阵都在我们的词汇表中嵌入了每个单词）。 23 3.Word2Vec 训练流程 现在我们需要一种方法将这些分数转化为看起来像概率的东西 ： 使用sigmoid函数把概率转换为0和1。 然后，我们计算输入嵌入与每个上下文嵌入的点积。在每种情况 下，会产生一个数字，该数字表示输入和上下文嵌入的相似性。 24 3.Word2Vec 训练流程 现在我们可以将sigmoid操作的输出视为这些样本的模型输出。

01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 3 1. 深度学习概述 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 4 深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器学习：计算机利用已有的数 据(经验)，得出了某种模型，并利 成等的操作和加工。自然语言处理的具体表现形式包括机器 翻译 、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识 别等。 可以说，自然语言处理就是要计算机理解自然语言，自然 语言处理机制涉及 两个流程，包括自然语言理解和自然语言生成 ，自然语言理解是让计算机把 输入的语言变成有意思的符号和关 系，然后根据目的再处理；自然语言生成 则是把计算机数据转 化为自然语言。实现人机间的信息交流，是人工智能 深度学习入门-NLP 2022chatGPT 22 2. 神经网络的基础 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 23 简单神经网络 z = x1w1 +  +xk wk +  + xK wK + b A simple function z (z ) Activation function

01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 3 1. 机器学习概述 01 认识Python 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 4 机器学习与人工智能、深度学习的关系 人工智能：机器展现的人类智能 机器学习：计算机利用已有的数 据(经验)，得出了某种模型，并利 12 机器学习发展史 13 机器学习发展史 14 2. 机器学习的类型 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 15 2. 机器学习的类型 16 ✓ 分类（Classification） ✓ 身高1.65m，体重100kg的男人肥胖吗？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ ✓ 回 一般来说，若我们模型学习的效果好，则训练误差和测试误差接近一致。 27 3. 机器学习的背景知识 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 28 3. 机器学习的背景知识-希腊字母 大写 小写 英文注音 国际音标注音 中文注音 Α α alpha alfa 阿耳法 Β β beta beta 贝塔 Γ γ gamma gamma

值函数方法 14.5 Actor-Critic 方法 14.6 小结 14.7 参考文献 第 15 章 自定义数据集 15.1 精灵宝可梦数据集 15.2 自定义数据集加载流程 15.3 宝可梦数据集实战 15.4 迁移学习 15.5 Saved_model 15.6 模型部署 15.7 参考文献 预览版202112 人工智能绪论 便捷功 能。常用网络层主要放置在 nn 子模块中，优化器主要放置在 optim 子模块中，模型部署主 要通过 ONNX 协议实现。使用 PyTorch 开发，可以方便地利用这些功能完成常用算法业务 流程，高效稳定灵活。 1.6 开发环境安装 在领略完深度学习框架所带来的便利后，现在来着手在本地计算机环境上安装 PyTorch 最新版。PyTorch 框架支持多种常见的操作系统，如 Windows environment variable”一项，这样可以通过命令行方式调用 Anaconda 程序。如图 1.23 所示，安装程序 询问是否连带安装 VS Code 软件，选择 Skip 即可。整个安装流程约持续 5 分钟，具体时间 预览版202112 第 1 章 人工智能绪论 18 需依据计算机性能而定。 图 1.22 Anaconda 安装界面-1 图 1.23Anaconda

图片物料推荐 CNN 文本相关性 广告召回、创意生成 Word2Vec、CSR、LSTM CTR预估 广告排序、特征挖掘 DNN、MxNet、TensorFlow 基于多模型融合的CTR预估 CTR预估流程 原始数据 领域特征 模型训练 查询日志 点击日志 查询特征 广告特征 匹配特征 线性模型 非线性模型 Data Feature Model 线上Server CTR预估 Rank 模型特征输出可作为CTR，也可作为特征为其它模型使用 • 限定ModelFeature的计算顺序，即可实现bagging/模型交叉等功能 解决方案（引入ModelFeature的概念） • 数据一致性 • 流程稳定 关键点 模型融合 PV Click Session Sample OneHot 特征 LR Train Ctr特征/模 型中间结果 DNN Train Feature  已经实现LR+DNN融合模型的上线，收益较好  受限于线上计算资源，模型复杂度有限  线下训练流程有依赖，繁琐易出错 计划  线上服务拆分，独立出深度学习计算模块，采用低功耗GPU加速  支撑更宽、更深、更复杂的网络结构  采用Wide & Deep，线下训练流程解耦 Wide & Deep … … … … … … … … … Wide Deep Embedding

业务落地篇：实现货架洞察 Web 应用 扫码试看/订阅 《 TensorFlow 2项目进阶实战》视频课程 • 串联 AI 流程理论：商品检测与商品识别 • 串联 AI 流程实战：商品检测与商品识别 • 展现 AI 效果理论：使用 OpenCV 可视化识别结果 • 展现 AI 效果实战：使用 OpenCV 可视化识别结果 • 搭建 AI SaaS 理论：Web 框架选型 • 搭建 AI SaaS：10 分钟快速掌握容器部署 • 交付 AI SaaS：部署和测试 AI SaaS 目录 串联 AI 流程理论：商品检测与商品识别 检测模型 RetinaNet 前向转换和使用 加载检测推理模型 detector 查看分类器 classifier 网络结构 串联 AI 流程实战：商品检测与商品识别 “Hello TensorFlow” Try it！ 展现 AI 效果理论：使用

它通过展示直观的图形，能够有效地辅助机器学习程序的开发者和使 用者理解算法模型及其工作流程，提升模型开发工作效率。 TensorBoard 可视化训练 TensorBoard 可视化统计数据 TensorBoard 可视化数据分布 TensorBoard 可视化数据集（MNIST） TensorBoard 可视化数据流图 TensorBoard 使用流程 可视化的数据是数据流图和张量，它们需要在会话中加载或执行操作后才能获取。然后， 加载事件文件中的序列化数据，从而可以在各个面板中展示对应的可视化对象。 tf.summary 模块介绍 前述流程中使用的 FileWriter 实例和汇总操作（Summary Ops） 均属于 tf.summary 模块。其主要功能是获取和输出模型相关的 序列化数据，它贯通 TensorBoard 的整个使用流程。 tf.summary 模块的核心部分由一组汇总操作以及 FileWriter、Summary