2.5 互相关和卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 6.2.6 特征映射和感受野 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 6.3 填充和步幅 . . . . d2l.ai4。当对本书的任何一节有疑问时，请在每一节的末 尾找到相关的讨论页链接。 致谢 感谢中英文草稿的数百位撰稿人。他们帮助改进了内容并提供了宝贵的反馈。感谢Anirudh Dagar和唐源将 部分较早版本的MXNet实现分别改编为PyTorch和TensorFlow实现。感谢百度团队将较新的PyTorch实现改 编为PaddlePaddle实现。感谢张帅将更新的LaTeX样式集成进PDF文件的编译。 输出{是, 否}（表示该片段是否包含唤醒词）的可靠预测呢？我 们对编写这个程序毫无头绪，这就是需要机器学习的原因。 图1.1.1: 识别唤醒词 通常，即使我们不知道怎样明确地告诉计算机如何从输入映射到输出，大脑仍然能够自己执行认知功能。换 句话说，即使我们不知道如何编写计算机程序来识别“Alexa”这个词，大脑自己也能够识别它。有了这一能 力，我们就可以收集一个包含大量音频样本的数据集（d

本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 业的商业用途，违法盗版和销售，必究其法律责任。 龙龙老师 2021 年 10 月 19 日 预览版202112 配 套 资 源 ❑ 提交错误或者修改等反馈意见，请在 Github Issues 页面提交： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book/issues RL)，如图 1.2 所示。 机器学习 有监督学习 无监督学习 强化学习 图 1.2 机器学习的分类 有监督学习 有监督学习的数据集包含了样本?与样本的标签?，算法模型需要学习到 映射关系??: ? → ?，其中??代表模型函数，?为模型的参数。在训练时，通过计算模型的预 测值??(?)与真实标签?之间的误差来优化网络参数?，使得网络下一次能够预测更精准。常 见的有监督学习有线性 林等。 无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本?的数据集，算法需 要自行发现数据的模态，这种方式叫作无监督学习。无监督学习中有一类算法将自身作为 监督信号，即模型需要学习的映射为??: ? → ?，称为自监督学习(Self-supervised Learning)。在训练时，通过计算模型的预测值??(?)与自身?之间的误差来优化网络参数?。 常见的无监督学习算法有自编码器、生成对抗网络等。

生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 1.生成式深度学习简介 4  深度学习中常见生成式模型  自编码（AE）  其隐变量z是一个单值映射：z=f(x)  变分自编码（VAE）  其隐变量z是一个正态分布的采样  生成式对抗网络（GAN）  条件生成式对抗网络（CGAN）  在生成器和判别器中添加某一标签信息  制与贝叶斯模型相结合进行产生 式模型的学习。 2014年，Ian Goodfellow 等人 提出生成式对抗网络，迎合了 大数据需求和深度学习热潮， 给出了一个大的理论框架及理 论收敛性分析。 起 源 发展 2. GAN的理论与实现模型 11 概念简介 提出背景 （一）人工智能的热潮 （二）生成式模型的积累 （三）神经网络的深化 （四）对抗思想的成功 GAN的概念简介及提出背景 2

API 可以与 TensorFlow 工作流无缝集成。 2.2 Keras 被工业界和学术界广泛采用 Deep learning 框架排名，由 Jeff Hale 基于 7 个分类的 11 个数据源计算得出 截至 2018 年中期，Keras 拥有超过 250,000 名个人用户。与其他任何深度学习框架相比，Keras 在行业和研究领域的应用率更高（除 TensorFlow 之外，且 Keras Numpy 数组。如果模型中的输入层被命名，你也可以传递一个字典，将输 入层名称映射到 Numpy 数组。如果从本地框架张量馈送（例如 TensorFlow 数据张量）数 据，x 可以是 None（默认）。 • y: 目标（标签）数据的 Numpy 数组。如果模型中的输出层被命名，你也可以传递一个字 典，将输出层名称映射到 Numpy 数组。如果从本地框架张量馈送（例如 TensorFlow 数据 class_weight: 可选的字典，用来映射类索引（整数）到权重（浮点）值，用于加权损失函 数（仅在训练期间）。这可能有助于告诉模型「更多关注」来自代表性不足的类的样本。 • sample_weight: 训练样本的可选 Numpy 权重数组，用于对损失函数进行加权（仅在训练 期间）。您可以传递与输入样本长度相同的平坦（1D）Numpy 数组（权重和样本之间的 1：1 映射），或者在时序数据的情况下，可以传递尺寸为

RESERVED 16 v1.0 - 初版模型系统概览 • 房源特征 静态特征 时序特征 • 特征处理 特征提取 特征组合 离散化 • 模型预测 XGBoost • 分数映射 房源质量分数 M 2019 KE.COM ALL COPYRIGHTS RESERVED 17 房源特征  6大方向设计了90维特征  静态特征：69维  时序特征：21维 networks (RNN) - LSTM 2019 KE.COM ALL COPYRIGHTS RESERVED 24 模型系统对比 房源特征 特征处理 M XGBoost 分数映射 房源特征 分数映射 DNN + RNN v1.0 v2.0 2019 KE.COM ALL COPYRIGHTS RESERVED 25 模型指标对比 v1.0 v2.0 AUC 0.814 0 COPYRIGHTS RESERVED 37 分数映射  模型输出  房源质量分数 • 根据概率值排名进行映射 • 分数分布比较稳定 • 10分制易于业务使用 • 每天不稳定，范围波动大 • 分数分布不合理 • 不易于业务使用 MinMaxScaler ( 1 ???????????????????????????????????? )  分数映射公式 2019 KE.COM ALL

：� • 如何自组织ClusterSpec信息� • 训练数据的划分� • 如何启动Tensorboard服务� • 如何降低迁移成本� • 已分配的物理GPU设备号到用户态GPU设备号的映射� TensorFlow on Yarn技术细节揭秘 自动构建ClusterSpec的流程图：� TensorFlow on Yarn技术细节揭秘 训练数据的划分：� TensorFlow environ[“TF_ROLE”] task_index = int(os.environ["TF_INDEX"]) TensorFlow on Yarn技术细节揭秘 已分配的物理GPU设备号到用户态GPU设备号的映射：� TensorFlow on Yarn技术细节揭秘 TensorFlow on Yarn系统架构图：� TensorFlow on Yarn技术细节揭秘 Yarn支持CPU调度 vs

线性支持向量机 04 线性不可分支持向量机 22 核技巧 在低维空间计算获得高维空间的计算结果，满足高维，才能在高维下线性可分。 我们需要引入一个新的概 念：核函数。它可以将样本从原始空间映射到一个更高维的特质空间中，使得样本在新的空间中线性可分 。这样我们就可以使用原来的推导来进行计算，只是所有的推导是在新的空间，而不是在原来的空间中进 行，即用核函数来替换当中的内积。 4.线性不可分支持向量机 核技巧 用核函数来替换原来的内积。 4.线性不可分支持向量机 即通过一个非线性转换后的两个样本间的内积。具体地，?(?, ?)是一个核函数，或正定核， 意味着存在一个从输入空间到特征空间的映射，对于任意空间输入的?, ? 有: ?(?, ?) = ?(?) ⋅ ?(?) f(·) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( )

事件集（事件空间） ：元素 的集合（称为事件）是 的子集（即每个 是一个实 验可能结果的集合）。 备注： 需要满足以下三个条件： (1) (2) (3) 概率度量 ：函数 是一个 的映射，满足以下性质： 对于每个 ， , 如果 是互不相交的事件 (即 当 时， ), 那么： 以上三条性质被称为概率公理。 举例： 考虑投掷六面骰子的事件。样本空间为 ， ， ， ， ， 4.2 随机向量 假设我们有n个随机变量。当把所有这些随机变量放在一起工作时，我们经常会发现把它们放在一个向 量中是很方便的...我们称结果向量为随机向量(更正式地说，随机向量是从 到 的映射)。应该清楚的 是，随机向量只是处理 个随机变量的一种替代符号，因此联合概率密度函数和综合密度函数的概念也 将适用于随机向量。 期望: 考虑 中的任意函数。这个函数的期望值 被定义为 其中，

app互动率 微博内容 关注数据 用户信息 视觉标签 打码日志 社交关系 用户特征 发博流 互动流 曝光流 模型服务 模型训练 模型优化 模型评估 模型预测 CTR预估 排序策略 权值映射 业务排序 其他策略 特征工程 特征存储 特征查询 实时数据 自解释特征 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 为什么选择深度学习

10 先将图片分成NxN的patch块(原始论文是16x16) patch块可以重叠(上图没有重叠，是9x9的patch块) 2.模型介绍 11 将patch打平， 对每个 patch 进行线性映射，提取特征 2.模型介绍 12 提取特征 2.模型介绍 13 1.将位置编码信息加入提取的特征 2.模型介绍 14 位置编码信息对准确率的影响 2.模型介绍 结论:编码有用,但是怎么编码影响不大