35 3.3.18 如何在 Keras 中使用 HDF5 输入？ . . . . . . . . . . . . . . . . . . . . . . . 35 3.3.19 Keras 配置文件保存在哪里？ . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3.20 如何在 Keras 开发过程中获取可复现的结果？ . . 易扩展性。新的模块是很容易添加的（作为新的类和函数），现有的模块已经提供了充足 的示例。由于能够轻松地创建可以提高表现力的新模块，Keras 更加适合高级研究。 • 基于 Python 实现。Keras 没有特定格式的单独配置文件。模型定义在 Python 代码中，这 些代码紧凑，易于调试，并且易于扩展。 1.3 快速开始：30 秒上手 Keras Keras 的核心数据结构是 model，一种组织网络层的方式。最简单的模型是 (stateful RNNs)? • 如何从 Sequential 模型中移除一个层？ • 如何在 Keras 中使用预训练的模型？ • 如何在 Keras 中使用 HDF5 输入？ • Keras 配置文件保存在哪里？ • 如何在 Keras 开发过程中获取可复现的结果？ • 如何在 Keras 中安装 HDF5 或 h5py 来保存我的模型？ 3.3.2 如何引用 Keras? 如果 Keras

RL)，如图 1.2 所示。 机器学习 有监督学习 无监督学习 强化学习 图 1.2 机器学习的分类 有监督学习 有监督学习的数据集包含了样本?与样本的标签?，算法模型需要学习到 映射关系??: ? → ?，其中??代表模型函数，?为模型的参数。在训练时，通过计算模型的预 测值??(?)与真实标签?之间的误差来优化网络参数?，使得网络下一次能够预测更精准。常 见的有监督学习有线性 林等。 无监督学习 收集带标签的数据往往代价较为昂贵，对于只有样本?的数据集，算法需 要自行发现数据的模态，这种方式叫作无监督学习。无监督学习中有一类算法将自身作为 监督信号，即模型需要学习的映射为??: ? → ?，称为自监督学习(Self-supervised Learning)。在训练时，通过计算模型的预测值??(?)与自身?之间的误差来优化网络参数?。 常见的无监督学习算法有自编码器、生成对抗网络等。 ，为了防止过拟合，需要的数据集的规 模通常也是巨大的。现代社交媒体的流行也让收集海量数据成为可能，如 2010 年发布的 ImageNet 数据集收录了共 14197122 张图片，整个数据集的压缩文件大小就有 154GB。图 1.10、图 1.11 列举了一些数据集的样本数和数据集大小随时间的变化趋势。 尽管深度学习对数据集需求较高，收集数据，尤其是收集带标签的数据，往往是代价 昂贵的。

2 带参数的层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 207 5.5 读写文件 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 208 5.5 2.5 互相关和卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 6.2.6 特征映射和感受野 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 227 6.3 填充和步幅 . . . . 部分较早版本的MXNet实现分别改编为PyTorch和TensorFlow实现。感谢百度团队将较新的PyTorch实现改 编为PaddlePaddle实现。感谢张帅将更新的LaTeX样式集成进PDF文件的编译。 特别地，我们要感谢这份中文稿的每一位撰稿人，是他们的无私奉献让这本书变得更好。他们的GitHub ID或姓名是(没有特定顺序)：alxnorden, avinashingit, bowen0701

：� • 如何自组织ClusterSpec信息� • 训练数据的划分� • 如何启动Tensorboard服务� • 如何降低迁移成本� • 已分配的物理GPU设备号到用户态GPU设备号的映射� TensorFlow on Yarn技术细节揭秘 自动构建ClusterSpec的流程图：� TensorFlow on Yarn技术细节揭秘 训练数据的划分：� TensorFlow environ[“TF_ROLE”] task_index = int(os.environ["TF_INDEX"]) TensorFlow on Yarn技术细节揭秘 已分配的物理GPU设备号到用户态GPU设备号的映射：� TensorFlow on Yarn技术细节揭秘 TensorFlow on Yarn系统架构图：� TensorFlow on Yarn技术细节揭秘 Yarn支持CPU调度 vs SparkFlow介绍 SparkFlow与TensorFlow on Yarn对比：� SparkFlow TensorFlow on Yarn 通过RDD读取训练样本数据，关心 文件存储格式 直接读取HDFS数据，不关心文件存 储格式 Worker和PS的资源同构 Worker和PS可以各自配置资源 不支持GPU调度 支持GPU调度 迁移成本较高 迁移成本低 嵌入到Spark计算框架里，方便打通

机器学习的类型-监督学习 17 ✓ 聚类（Clustering） ✓ 如何将教室里的学生按爱好、身高划分为5类？ ✓ 降维（ Dimensionality Reduction ） ✓ 如何将将原高维空间中的数据点映射到低维度的 空间中？ 2. 机器学习的类型-无监督学习 18 ✓ 强化学习（Reinforcement Learning） ✓ 用于描述和解决智能体（agent）在与环境的交 互过程中通过学习策略以达成回报最大化或实现 Python模块-Pandas 文件读写 从文件中读取数据（DataFrame） pd.read_csv() | 从CSV文件读取 pd.read_table() | 从制表符分隔文件读取，如TSV pd.read_excel() | 从 Excel 文 件 读 取 pd.read_sql() | 从 SQL 表 或 数 据 库 读 取 pd.read_json() | 从JSON格式的URL或文件读取 pd read_clipboard() | 从剪切板读取 将DataFrame写入⽂件 df.to_csv() | 写入CSV文件 df.to_excel() | 写入Excel文件 df.to_sql() | 写入SQL表或数据库 df.to_json() | 写入JSON格式的文件 df.to_clipboard() | 写入剪切板 68 Python模块-SciPy ⚫SciPy Sc

本文是斯坦福大学CS229机器学习课程的基础材料，原始文件下载 原文作者：Arian Maleki ， Tom Do 翻译：石振宇 审核和修改制作：黄海广 备注：请关注github的更新。 CS229 机器学习课程复习材料-概率论 CS229 机器学习课程复习材料-概率论 概率论复习和参考 1. 概率的基本要素 1.1 条件概率和独立性 2. 随机变量 2.1 累积分布函数 事件集（事件空间） ：元素 的集合（称为事件）是 的子集（即每个 是一个实 验可能结果的集合）。 备注： 需要满足以下三个条件： (1) (2) (3) 概率度量 ：函数 是一个 的映射，满足以下性质： 对于每个 ， , 如果 是互不相交的事件 (即 当 时， ), 那么： 以上三条性质被称为概率公理。 举例： 考虑投掷六面骰子的事件。样本空间为 ， ， ， ， ， 4.2 随机向量 假设我们有n个随机变量。当把所有这些随机变量放在一起工作时，我们经常会发现把它们放在一个向 量中是很方便的...我们称结果向量为随机向量(更正式地说，随机向量是从 到 的映射)。应该清楚的 是，随机向量只是处理 个随机变量的一种替代符号，因此联合概率密度函数和综合密度函数的概念也 将适用于随机向量。 期望: 考虑 中的任意函数。这个函数的期望值 被定义为 其中，

RESERVED 16 v1.0 - 初版模型系统概览 • 房源特征 静态特征 时序特征 • 特征处理 特征提取 特征组合 离散化 • 模型预测 XGBoost • 分数映射 房源质量分数 M 2019 KE.COM ALL COPYRIGHTS RESERVED 17 房源特征  6大方向设计了90维特征  静态特征：69维  时序特征：21维 networks (RNN) - LSTM 2019 KE.COM ALL COPYRIGHTS RESERVED 24 模型系统对比 房源特征 特征处理 M XGBoost 分数映射 房源特征 分数映射 DNN + RNN v1.0 v2.0 2019 KE.COM ALL COPYRIGHTS RESERVED 25 模型指标对比 v1.0 v2.0 AUC 0.814 0 COPYRIGHTS RESERVED 37 分数映射  模型输出  房源质量分数 • 根据概率值排名进行映射 • 分数分布比较稳定 • 10分制易于业务使用 • 每天不稳定，范围波动大 • 分数分布不合理 • 不易于业务使用 MinMaxScaler ( 1 ???????????????????????????????????? )  分数映射公式 2019 KE.COM ALL

线性支持向量机 04 线性不可分支持向量机 22 核技巧 在低维空间计算获得高维空间的计算结果，满足高维，才能在高维下线性可分。 我们需要引入一个新的概 念：核函数。它可以将样本从原始空间映射到一个更高维的特质空间中，使得样本在新的空间中线性可分 。这样我们就可以使用原来的推导来进行计算，只是所有的推导是在新的空间，而不是在原来的空间中进 行，即用核函数来替换当中的内积。 4.线性不可分支持向量机 核技巧 用核函数来替换原来的内积。 4.线性不可分支持向量机 即通过一个非线性转换后的两个样本间的内积。具体地，?(?, ?)是一个核函数，或正定核， 意味着存在一个从输入空间到特征空间的映射，对于任意空间输入的?, ? 有: ?(?, ?) = ?(?) ⋅ ?(?) f(·) f( ) f( ) f( ) f( ) f( ) f( ) f( ) f( )

app互动率 微博内容 关注数据 用户信息 视觉标签 打码日志 社交关系 用户特征 发博流 互动流 曝光流 模型服务 模型训练 模型优化 模型评估 模型预测 CTR预估 排序策略 权值映射 业务排序 其他策略 特征工程 特征存储 特征查询 实时数据 自解释特征 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 目录 为什么选择深度学习

10 先将图片分成NxN的patch块(原始论文是16x16) patch块可以重叠(上图没有重叠，是9x9的patch块) 2.模型介绍 11 将patch打平， 对每个 patch 进行线性映射，提取特征 2.模型介绍 12 提取特征 2.模型介绍 13 1.将位置编码信息加入提取的特征 2.模型介绍 14 位置编码信息对准确率的影响 2.模型介绍 结论:编码有用,但是怎么编码影响不大