更好地学习自身有用的特征 - DNN对特征工程要求较低，自身可以学习有用的特征，PCA降维影响较小，但时间复杂度较高 • XGBoost模型 - 采用近似求解算法，找出可能的分裂点，避免选用贪心算法的过高时间复杂度 - 计算采用不同分裂点时，叶子打分函数的增益；并选择增益最高的分裂点，作为新迭代树的最终分裂 节点，构造新的迭代树 - 通过调节迭代树数目、学习倍率、迭代树最大深度、L2正则化参数等进一步避免过拟合 过滤数据 抽取基础特征 组合基础特征，构造组合特征 组合基础特征，构造组合特征 统计基础信息，构造统计特征 独热编码，构造稀疏特征 降维 决策模型 11 • 骑士体验 取餐距离、订单数量、订单组数 • 用户体验 订单剩余时间、骑士完成时间、 订单准时性 • 配送效率 等餐时间、空驶距离、空闲骑士、 商圈压力 距离的节省： 订单组与骑士打分： 根据商圈压力调整： 3 真实再现调度场景细节 回溯定位异常调度原因，诊断调试算法 18 1 实时监控系统—当前状况实时监控 19 实时获取调度监控指标 及时预警引入人工干预 2 仿真系统—未来效果仿真预测 订单 在岗骑 士数量 调度 算法 餐厅出餐 时间 骑士 速度 等待用 户时长 骑士路线/ 任务规划 精准模拟实际订单分布情况 有效评估调度算法的改进效果 3 20 寻宝系统—线下优化运营优化指导 21

产品特点 • 传播性强 Ø 存在问题 • 信息过载 • 互动性好 • 信噪比低 Ø 排序目标 • 提高用户的信息消费效率 • 提升用户黏性 技术挑战 Ø 规模大 • 用户和Feed内容数量大 Ø 指标量化 • 用户体验 • 内容更新快，实时性要求高 • 内容形式多样、非结构化 • 海量计算、超大规模模型优化 1 2 3 深度学习应用与实践 常规CTR方法排序 微博Feed流排序场景介绍 Ø 网络复杂度 深度学习应用实践 —— wide & deep • Negative sampling：依据微博的 平均阅读时间进行划分，将用户曝 光但未阅读的微博作为负样本 • 网络复杂度过高易导致过拟合 • 网络深度达到一定数值AUC反而 小幅降低 深度学习应用实践 —— DeepFM User features Relation features Contextual

120000个数值组成，其中的“3”对应于每个空间位置的红、绿、蓝通 道的强度。再比如，对于一组医疗数据，给定一组标准的特征（如年龄、生命体征和诊断），此数据可以用来 尝试预测患者是否会存活。 当每个样本的特征类别数量都是相同的时候，其特征向量是固定长度的，这个长度被称为数据的维数（di‐ mensionality）。固定长度的特征向量是一个方便的属性，它可以用来量化学习大量样本。 然而，并不是所有的数据都可 要 大量不同的建模决策，这取决于输入和输出的类型、大小和数量。例如，我们使用不同的模型来处理“任意 22 1. 引言 长度的序列”或“固定长度的序列”。 回归 回归（regression）是最简单的监督学习任务之一。假设有一组房屋销售数据表格，其中每行对应一个房子， 每列对应一个相关的属性，例如房屋的面积、卧室的数量、浴室的数量以及到镇中心的步行距离，等等。每 一行的属性构成了一个房 一行的属性构成了一个房子样本的特征向量。如果一个人住在纽约或旧金山，而且他不是亚马逊、谷歌、微 软或Facebook的首席执行官，那么他家的特征向量（房屋面积，卧室数量，浴室数量，步行距离）可能类似 于：[600, 1, 1, 60]。如果一个人住在匹兹堡，这个特征向量可能更接近[3000, 4, 3, 10]⋯⋯当人们在市场上寻找 新房子时，可能需要估计一栋房子的公平市场价值。为什么这个任务可以归类为回归问题呢？本质上是输出

指导原则 • 用户友好。Keras 是为人类而不是为机器设计的 API。它把用户体验放在首要和中心位置。 Keras 遵循减少认知困难的最佳实践：它提供一致且简单的 API，将常见用例所需的用户 操作数量降至最低，并且在用户错误时提供清晰和可操作的反馈。 • 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽 可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函 一些比较。 2.1 Keras 优先考虑开发人员的经验 • Keras 是为人类而非机器设计的 API。Keras 遵循减少认知困难的最佳实践: 它提供一致且 简单的 API，它将常见用例所需的用户操作数量降至最低，并且在用户错误时提供清晰和 可操作的反馈。 • 这使 Keras 易于学习和使用。作为 Keras 用户，你的工作效率更高，能够比竞争对手更快 地尝试更多创意，从而帮助你赢得机器学习竞赛。 15 如何使用有状态 RNN (stateful RNNs)? 使 RNN 具有状态意味着每批样品的状态将被重新用作下一批样品的初始状态。 当使用有状态 RNN 时，假定： • 所有的批次都有相同数量的样本 • 如果 x1 和 x2 是连续批次的样本，则 x2[i] 是 x1[i] 的后续序列，对于每个 i。 要在 RNN 中使用状态，你需要: • 通过将 batch_size 参数传递给

遗憾的是，神经网络的研究随着以支持向量机(Support Vector Machine，简称 SVM)为 代表的传统机器学习算法兴起而逐渐进入低谷，称为人工智能的第二次寒冬。支持向量机 拥有严格的理论基础，训练需要的样本数量较少，同时也具有良好的泛化能力，相比之 下，神经网络理论基础欠缺，可解释性差，很难训练深层网络，性能也相对一般。图 1.8 绘制了 1943 年~2006 年之间的重大时间节点。 ① 图片来自 年由 Yann LeCun 收集整理的 MNIST 手写数字图片数据集共包含 0~9 共 10 类数字，每个类别多达 7000 张图片。随着神经网络的兴起，尤其是深度学习，网络层数一 般较深，模型的参数量可达百万、千万甚至十亿个，为了防止过拟合，需要的数据集的规 模通常也是巨大的。现代社交媒体的流行也让收集海量数据成为可能，如 2010 年发布的 ImageNet 数据集收录了共 14197122 张图片，整个数据集的压缩文件大小就有 层或者 2~4 层，网络参数量也在数万左 右。随着深度学习的兴起和计算能力的提升，AlexNet(8 层)、VGG16(16 层)、 GoogLeNet(22 层)、ResNet50(50 层)、DenseNet121(121 层)等模型相继被提出，同时输入图 片的大小也从28 × 28逐渐增大，变成224 × 224、416 × 416等，这些变化使得网络的总参 数量可达到千万、上亿级别，如图

TensorFlow on Yarn设计 • 同时支持单机和分布式TensorFlow程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� • 作业训练结束自动回收work、ps和Tensorboard进程� • 训练效果和性能没有损失� 基本目标：� TensorFlow on --worker-num 3 \ #work数量 � --worker-memory 8192M \ #每个worker需要的内存� --worker-cores 1 \ #每个worker需要的CPU核数� --worker-gpus 2 \ #每个worker需要的GPU卡数� --ps-num 2 \ #ps数量� --ps-memory 1024M \ nums=10 #其他参数设置� 提交脚本示例（分布式版本）：� TensorFlow on Yarn设计 Yarn首页作业信息：� 作业类型 集群GPU资源概况 作业分配到的GPU数量 TensorFlow on Yarn设计 TensorFlow作业AM页面：� Container所在的机器� 分配到的GPU物理设备号� tensorboard url链接� Container角⾊�

另一个事件空间是 的所有子集的集合。对于第一个事件空间，满足上述要求的唯一概率 度量由 ， 给出。对于第二个事件空间，一个有效的概率度量是将事件空间中每个事 件的概率分配为 ，这里 是这个事件集合中元素的数量；例如 ， 。 性质： 如果 ，则： (布尔不等式)： (全概率定律)：如果 ， ， 是一些互不相交的事件并且它们的并集是 ，那么它们的概率之 和是1 1.1 条件概率和独立性 假设 事件发生的概率，两个事件被称为独立事件 当且仅当 （或等价地， )。因此，独立性相当于是说观察到事 件 对于事件 的概率没有任何影响。 2. 随机变量 考虑一个实验，我们翻转10枚硬币，我们想知道正面硬币的数量。这里，样本空间 的元素是长度为10 的序列。例如，我们可能有 ， ， ， ， ， ， ， ， ， 。然而，在实践中，我 们通常不关心获得任何特定正反序列的概率。相反，我们通常关心结果的实值函数，比如我们10次投掷 或更简单的 (其中 隐含对随机结果 的依赖)来表示随机变量。我们将使用小写字母 来表示随机变量的值。 举例： 在我们上面的实验中，假设 是在投掷序列 中出现的正面的数量。假设投掷的硬币只有10枚，那 么 只能取有限数量的值，因此它被称为离散随机变量。这里，与随机变量 相关联的集合取某个 特定值 的概率为： 图1：一个累计分布函数(CDF) 举例： 假设 是一个随机变量，表示放射性粒子衰变所需的时间。在这种情况下，

I1,I2,I4 T5 I1,I2,I3,I5 T6 I1,I2,I3,I4 项目 数量 I1 4 I2 5 I3 4 I4 4 I5 2 项目 数量 I2 5 I1 4 I3 4 I4 4 项集数量排序 统计每个项目的数量 支持度阈值=50%=>0.5*6=3=>最小子项目数量=3 33 3.FP-Growth算法 构建FP树 1.考虑到根节点为空(null)。 考虑到根节点为空(null)。 2. T1:I1、I2、I3的第一次扫描包含三个项目{I1:1}、 {I2:1}、{I3:1}，其中I2作为子级链接到根，I1链接到I2 ，I3链接到I1。 (这里根据项集的数量排序成I2、I1、I3) Null l2:1 l1:1 l3:1 ② 再次扫描数据库并检查事务。检查第一个事务并找出其中的项集。计数 最大的项集在顶部，计数较低的下一个项集，以此类推。这意味着树的

加搜寻良好解决方案的困难。这个问题就是我们常说的维数灾难。 5 1.降维概述 维数灾难 维数灾难涉及数字分析、抽样、组合、机器学习、数据挖掘和数据库等诸 多领域。在机器学习的建模过程中，通常指的是随着特征数量的增多，计 算量会变得很大，如特征达到上亿维的话，在进行计算的时候是算不出来 的。有的时候，维度太大也会导致机器学习性能的下降，并不是特征维度 越大越好，模型的性能会随着特征的增加先上升后下降。 Component Analysis,PCA）是一种降维方法， 通过将一个大的特征集转换成一个较小的特征集，这个特征集仍然包含 了原始数据中的大部分信息，从而降低了原始数据的维数。 减少一个数据集的特征数量自然是以牺牲准确性为代价的，但降维的诀 窍是用一点准确性换取简单性。因为更小的数据集更容易探索和可视化 ，并且对于机器学习算法来说，分析数据会更快、更容易，而不需要处 理额外的特征。 32 • • • • • • • • • • • • • • • • • 主 成 分 分 析 的 几 何 解 释 平移、旋转坐标轴 34 PCA的思想很简单——减少数据集的特征数量，同时尽可能地保留信息。 3.PCA(主成分分析) 35 3.PCA(主成分分析) 通过平移、旋转坐标轴，找到主成分pc1和pc2 36 PCA识别在训练集中占最大方差量的轴。 在图1中，它是实线。

中的初始化方式给出不同的结果。 收敛 23 2.K-means聚类 初始化质心 簇赋值 迭代更新 收敛 K-means算法流程总结 24 2.K-means聚类 K值的选择 现在我们需要找到簇的数量。通常通过“肘部法 则”进行计算。我们可能会得到一条类似于人的 肘部的曲线。右图中，代价函数的值会迅速下降 ，在? = 3的时候达到一个肘点。在此之后，代 价函数的值会就下降得非常慢，所以，我们选择 原理比较简单，实现也是很容易，收敛速度快。 ⚫ 聚类效果较优。 ⚫ 算法的可解释度比较强。 ⚫ 主要需要调参的参数仅仅是簇数K。 26 2.K-means聚类 K-means的缺点 • 需要预先指定簇的数量； • 如果有两个高度重叠的数据，那么它就 不能被区分，也不能判断有两个簇； • 欧几里德距离可以不平等的权重因素， 限制了能处理的数据变量的类型； • 有时随机选择质心并不能带来理想的结 得簇的数量，而不是猜测簇的数目。 ➢ 扫描半径 (eps) : 用于定位点/检查任何点附近密度的距离度量，即扫描半径。 ➢ 最小包含点数(minPts) ： 聚集在一起的最小点数（阈值），该区域被认为是稠密的。 31 密度聚类-DBSCAN DBSCAN算法将数据点分为三类： 1.核心点：在半径Eps内含有超过MinPts数目 的点。 2.边界点：在半径Eps内点的数量小于MinPts