2 03 模型训练策略 本章目录 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 3 1.背景知识 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 4 1.背景知识 图片分类的原理 5 2017年google的机器翻译团队在 Norm Linear Softmax Inputs Outputs (shifted right) Positional Encoding Positional Encoding 1.背景知识 6 为什么需要用transformer Transformer原本是用来做 NLP的工作的，所以ViT的 首要任务是将图转换成词 的结构，这里采取的方法 是如上图左下角所示，将 图片分割成小块，每个小 个全连接网络压缩成一定 维度的向量。 1.背景知识 7 为什么需要用transformer CNN（如ResNet）是图像分类的最 佳解决方案。 如果预训练的数据集足够大（至少一 亿张图像），则Vision Transformer （ViT）将击败CNN（小幅度） Vision Transformer（ViT）实际上就 是Transformer的encode网络。 1.背景知识 8 2.模型介绍

黄海广 副教授 2 目录 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 3 1. 机器学习概述 01 认识Python 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 4 机器学习与人工智能、深度学习的关系 人工智能：机器展现的人类智能 工智能 发展到一定阶段的必然产物。 12 机器学习发展史 13 机器学习发展史 14 2. 机器学习的类型 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 15 2. 机器学习的类型 16 ✓ 分类（Classification） ✓ 身高1.65m，体重100kg的男人肥胖吗？ ✓ 根据肿瘤的体积、患者的年龄来判断良性或恶性？ (??)代表 预测标签。 一般来说，若我们模型学习的效果好，则训练误差和测试误差接近一致。 27 3. 机器学习的背景知识 01 机器学习概述 02 机器学习的类型 03 机器学习的背景知识 04 机器学习的开发流程 28 3. 机器学习的背景知识-希腊字母 大写 小写 英文注音 国际音标注音 中文注音 Α α alpha alfa 阿耳法 Β β beta

深度学习-引言 黄海广 副教授 2 本章目录 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 3 1. 深度学习概述 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 4 深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器学习：计算机利用已有的数 Representation 深度学习入门-NLP 21 深度学习入门-NLP 2022chatGPT 22 2. 神经网络的基础 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 23 简单神经网络 z = x1w1 +  +xk wk +  + xK wK + b A simple function z (z ) Activation Transformers for Language Understanding 深度学习的硬件 28 2. 深度学习的背景知识 01 深度学习概述 02 神经网络的基础 03 深度学习的背景知识 04 深度学习的开发流程 29 3. 深度学习的背景知识-希腊字母 大写 小写 英文注音 国际音标注音 中文注音 Α α alpha alfa 阿耳法 Β β beta

GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 2. GAN的理论与实现模型 9 GAN的概念简介及提出背景 概念简介 提出背景 GAN (Generative Adversarial Networks) ，中文翻译为生成式对抗网络，是 Ian Goodfellow 等在2014 年提出的一种生成式模型。 GAN的基本思想源自博弈论的二人零和博弈, 由一个生成器和一个判别器构成, 通过对抗 学习的方式来训练. 目的是估测数据样本的潜在分布并生成新的数据样本。 2. GAN的理论与实现模型 10 概念简介 提出背景 GAN的概念简介及提出背景 2001年，Tony Jebara 在毕业论文中以最大熵 形式将判别模型与生成 模型结合起来联合学习 2007年，Zhuowen Tu 提出将基 于boosting分类器的判别模型与 大数据需求和深度学习热潮， 给出了一个大的理论框架及理 论收敛性分析。 起 源 发展 2. GAN的理论与实现模型 11 概念简介 提出背景 （一）人工智能的热潮 （二）生成式模型的积累 （三）神经网络的深化 （四）对抗思想的成功 GAN的概念简介及提出背景 2. GAN的理论与实现模型 12 GAN的理论与实现模型 GAN的基本原理 GAN的学习方法 GAN的衍生模型 2. GAN的理论与实现模型

微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 目录 1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • 信息流 热门流 视频流 效果提升主要来源于Deep部分高阶特征组合 • 但同时对模型服务的性能要求更高 4 深度学习-效果 平台篇 PLATFORM 平台背景、平台架构和平台效果 12 • 平台背景-平台化 成本 效率 效果 实时 机器 人力 时间 开发 运行 迭代 规模 深度 1 平台背景 算法/模型 计算 数据/特征 存储 基础/IDE 业务 调度 集群 2 平台架构 计算 机器学习平台

的事。这些工具已经对工业和社会产生了越来越广泛的影响，改变了电影的制作方式、疾病的诊断方式，并 在基础科学中扮演着越来越重要的角色——从天体物理学到生物学。 关于本书 这本书代表了我们的尝试——让深度学习可平易近人，教会人们概念、背景和代码。 1 一种结合了代码、数学和HTML的媒介 任何一种计算技术要想发挥其全部影响力，都必须得到充分的理解、充分的文档记录，并得到成熟的、维护 良好的工具的支持。关键思想应该被清楚地提炼 在这本书中，我们将适时教授大部分概念。换句话说，你将在实现某些实际目的所需的非常时刻学习概念。 虽然我们在开始时花了一些时间来教授基础的背景知识，如线性代数和概率，但我们希望你在思考更深奥的 概率分布之前，先体会一下训练模型的满足感。 除了提供基本数学背景速成课程的几节初步课程外，后续的每一章都介绍了适量的新概念，并提供可独立工 作的例子——使用真实的数据集。这带来了组织上的挑战。某些模型可能在逻辑上组合在单节中。而一些想 很大的好 处：这使你可以通过利用我们的代码尽可能轻松地启动你自己的研究项目。只需复制这一节的内容并开始修 改即可。 我们将根据需要将可运行代码与背景材料交错。通常，在充分解释工具之前，我们常常会在提供工具这一方 面犯错误（我们将在稍后解释背景）。例如，在充分解释随机梯度下降为什么有用或为什么有效之前，我们可 以使用它。这有助于给从业者提供快速解决问题所需的弹药，同时需要读者相信我们的一些决定。

搜狗深度学习技术在广告推荐领域的应用 舒鹏 目录 CONTENTS 01 搜索广告背景知识 02 深度学习在搜狗搜索广告的一些应用 03 基于多模型融合的CTR预估 04 若干思考 搜索广告背景知识 信息需求 用户查询 查询理解 广告召回 点击率预估 排序计价 结果展示 点击及后续行为 广告库 日志收集 展示日志 点击日志 深度学习在搜狗搜索广告的一些应用 无需分词：基于字符粒度表达的问答系统设计 支撑更宽、更深、更复杂的网络结构  采用Wide & Deep，线下训练流程解耦 Wide & Deep … … … … … … … … … Wide Deep Embedding 背景和优势  Google于16年6月份发表相应论文  用于应用商店中推荐APP的排序  基于TensorFlow平台，可兼具业界流行模型（LR、DNN）的优点  一次训练给出两个模型，流程简洁稳定，效果更佳

找到集合边缘上的若干数据（称为 支持向量（Support Vector）） ，用这些点找出一个平面（称为决 策面），使得支持向量到该平面的 距离最大。 距离 7 1.支持向量机概述 背景知识 任意超平面可以用下面这个线性方程来描述： ?T? + ? = 0 二维空间点 (?, ?)到直线 ?? + ?? + ? = 0的距离公式是： |?? + ?? + ?| ?2 + 如图所示，根据支持向量的定义我们知道，支持 向量到超平面的距离为 ?，其他点到超平面的距 离大于 ?。每个支持向量到超平面的距离可以写 为：? = |?T?+?| ||?|| 8 1.支持向量机概述 背景知识 ?T? + ? = 0 ?T? + ? = 1 ?T? + ? = −1 ? = |?T? + ?| ||?|| 如图所示，根据支持向量的定义我们知道，支持向量到超平 面的距离为 ?，其他点到超平面的距离大于 ≥ 1 9 2.线性可分支持向量机 01 支持向量机概述 02 线性可分支持向量机 03 线性支持向量机 04 线性不可分支持向量机 10 2.线性可分支持向量机 背景知识 ??? + ? = 0 ??? + ? = 1 ??? + ? = −1 ? = |?T? + ?| ||?|| ?(?T? + ?) ≥ 1 ?(?T? + ?) = |?T? +

友进行分组，做到让每组里的人们彼此都熟识。 12 2.K-means聚类 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 13 聚类的背景知识--基本思想 图中的数据可以分成三个分开的点集(称为簇)，一个能够分出这些点集的算 法，就被称为聚类算法。 聚类算法示例 2.K-means聚类 14 2.K-means聚类 K-均值算法(K-means)算法概述 计算机可能会崩溃。 27 3.密度聚类和层次聚类 01 无监督学习概述 02 K-means聚类 03 密度聚类和层次聚类 04 聚类的评价指标 28 密度聚类-DBSCAN 背景知识：如果 S 中任两点的连线内的点都在集合 S 内，那么集合 S 称为凸集。反之，为非凸集。 29 密度聚类-DBSCAN DBSCAN密度聚类 与划分和层次聚类方法不同，DBSCAN(Density-Based 层次聚类假设簇之间存在层次结构，将样本聚到 层次化的簇中。 ⚫ 层次聚类又有聚合聚类（自下而上）、分裂聚类 （自上而下）两种方法。 ⚫ 因为每个样本只属于一个簇，所以层次聚类属于 硬聚类。 背景知识：如果一个聚类方法假定一个样本只能属于一个簇，或簇的交集为空集，那么该方法称为硬聚类方法。 如果一个样本可以属于多个簇，或簇的交集不为空集，那么该方法称为软聚类方法。 39 层次聚类 AGENES

PYCON CHINA 基于深度学习的多维时间序列 预测在数据机房中的应用 目 录 1 背景介绍 2 研究目标 3 研究内容 4 后续工作 1. 背景介绍 数据机房面临的能耗问题 数据机房面临电量消耗巨大的问题 空调是数据机房中电量消耗最大的设备 空调为什么那么耗电？怎么优化节能？ 低效的 冷却装 置 服务主 机工作 发热 影响空 调耗电 量原因 建筑材料 隔热和散