1000, 0.0000, 3.3000, 4.4000, 0.0000, 0.0000, 7.7000]) 可以看到，在长度为 8 的目标向量 x 上，写入了对应位置的数据，4 个位置的数据被刷 新。Scatter 的索引方式可以视为 Gather 的逆过程。 考虑 3 维张量的刷新例子，如下图 5.4 所示，目标张量 x 的 shape 为[4,4,4]，同理数据 设置为全 0，共有 是全连接层网络在某次前向计算时连接状况的示意图。图(a)是标准的全连接 神经网络，当前节点与前一层的所有输入节点相连。在添加了 Dropout 功能的网络层中， 如图 9.24(b)所示，每条连接是否断开符合某种预设的概率分布，如断开概率为?的伯努利 分布。图 9.24(b)中的显示了某次具体的采样结果，虚线代表了采样结果为断开的连接线， 实线代表了采样结果不断开的连接线。 预览版202112 第 9 章 相对于自编码器模型，同样具有编码器和解码器两个子 网络。解码器接受输入?，输出为隐变量?；解码器负责将隐变量?解码为重建的? 。不同的 是，VAE 模型对隐变量?的分布有显式地约束，希望隐变量?符合预设的先验分布P(?)。因 此，在损失函数的设计上，除了原有的重建误差项外，还添加了隐变量?分布的约束项。 ? (?|?) ? ??(?|?) ? ? Encoder Decoder 图

增量模型，GB级，20分钟（Cos存储） 实时模型，KB级，秒（Kafka） 分布式 Serving集群 推理节点 分布式 Serving集群 推理节点 召回索引服务 业务服务 1. 获取⽤户向量 2. 向量召回 异步 刷库 训练端⽣成⾼频参数集 独⽴通道上线 降低请求⽑刺 Feature 2.1: 短时间内只 有部分参数被⽤到 Feature 2.2 Hotkey变化慢 ⼤规模推荐模型深度学习系统基本解决维度

ih v dh v 1 j w 2 j w hj w qj w . . . . . . 信号前传 误差后传 27 3.BP算法 优点： 1.能够自适应、自主学习。BP可以根据预设 参数更新规则，通过不断调整神经网络中的参 数，已达到最符合期望的输出。 2.拥有很强的非线性映射能力。 3.误差的反向传播采用的是成熟的链式法则， 推导过程严谨且科学。 4.算法泛化能力很强。

使用一个基模型来进行多轮训练，每轮 训练后，消除若干权值系数的特征，再 基于新的特征集进行下一轮训练。 2. 递归特征消除法 包裹式 4. 特征选择 原始特征集合 基模型训练 新特征子集合 特征个数是否达到预设值 输出子集合 否 是 35 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 原理：嵌入式特征选择是将特征选择与学习器训练过程融为一体，两

试者在年龄、激素水平、体力活动、饮食、饮酒以及其他许多与疾病无关的因素上存在差异。这对检测疾病 的分类器可能并不适用。这些抽样可能会遇到极端的协变量偏移。此外，这种情况不太可能通过常规方法加 以纠正。简言之，他们浪费了一大笔钱。 4.9. 环境和分布偏移 173 自动驾驶汽车 对于一家想利用机器学习来开发自动驾驶汽车的公司，一个关键部件是“路沿检测器”。由于真实的注释数 据获取成本很高，他们想出了一个“聪明”的想 11.11. 学习率调度器 501 预热可以应用于任何调度器，而不仅仅是余弦。有关学习率调度的更多实验和更详细讨论，请参阅 (Gotmare et al., 2018)。其中，这篇论文的点睛之笔的发现：预热阶段限制了非常深的网络中参数的发散程度。这在直 觉上是有道理的：在网络中那些一开始花费最多时间取得进展的部分，随机初始化会产生巨大的发散。 小结 • 在训练期间逐步降低学习率可以提高准确性，并且减少模型的过拟合。