造的机器人在复 杂地形行走、多智能体协作等任务上表现良好(图 1.19)。 自动驾驶(Autonomous Driving) 被认为是强化学习短期内能技术落地的一个应用方 向，很多公司投入大量资源在自动驾驶上，如百度、Uber、Google 等，其中百度的无人巴 士“阿波龙”已经在北京、雄安、武汉等地展开试运营；在长沙，市民已经可以免费乘坐 Apollo Robotaxi 无人出租车。图 1 开始编号)。但是数字编码存在的一个问题是，数字之间存在天然的 大小关系，例如1 < 2 < 3，如果 1、2、3 分别对应的标签是猫、狗、鱼，类别之间并没有 大小关系，所以采用数字编码的时候会迫使模型去学习这种不必要的约束，数字编码并不 适合分类网络的输出。 那么怎么解决这个问题呢？可以将输出设置为?out个输出节点的向量，?out与类别数相 同，同时让第? ∈ [1,?out]个输出节点的值表示当前样本属于类别 torch.tensor(value, requires_grad=False) 指定是否需要计算梯度，上述创建的所有张量均使用默认参数 requires_grad=False。由于梯 度运算会消耗大量的计算资源，而且会自动更新相关参数，对于不需要的优化的张量，如 神经网络的输入?，设置 requires_grad=False 即可；相反，对于需要计算梯度并优化的张 量，如神经网络层的?和?，必须设置 requires_grad=True，以便

性质 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436 11.2.3 约束 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 438 11.3 梯度下降 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条件：（1）是最新的；（2）涵盖了现代机器学习的 所有领域，技术深度丰富；（3）在一本引人入胜的教科书中，人们可以在实践教程中找到干净的可运行代码， 并从中穿插高质量的阐述。我们 什么做出某些算法决策的讨论。虽然一些互动资源已经零星地出现以解决特定主题。例如，在网站Distill1上 发布的引人入胜的博客帖子或个人博客，但它们仅覆盖深度学习中的选定主题，并且通常缺乏相关代码。另 一方面，虽然已经出现了几本教科书，其中最著名的是 (Goodfellow et al., 2016)（中文名《深度学习》），它 对深度学习背后的概念进行了全面的调查，但这些资源并没有将这些概念的描述与这些概念的代码实现结合

. . . . . . . . . . . 232 目录 X 17 约束 Constraints 233 17.1 约束项的使用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233 17.2 可用的约束 . . . . . . . . . . . . . . . . . . . (它的 “activation”)。(详见 regularizer)。 • kernel_constraint: 运用到 kernel 权值矩阵的约束函数 (详见 constraints)。 • bias_constraint: 运用到偏置向量的约束函数 (详见 constraints)。 输入尺寸 nD 张 量， 尺 寸: (batch_size, ..., input_dim)。 最 常 运用到层输出（它的激活值）的正则化函数 (详见 regularizer)。 • kernel_constraint: 运用到 kernel 权值矩阵的约束函数 (详见 constraints)。 • bias_constraint: 运用到偏置向量的约束函数 (详见 constraints)。 关于 KERAS 网络层 67 输入尺寸 3D 张量 ，尺寸为 (batch_size, steps

特征值优化 最后，我们使用矩阵演算以直接导致特征值/特征向量分析的方式求解优化问题。 考虑以下等式约束优 化问题： 对于对称矩阵 。求解等式约束优化问题的标准方法是采用拉格朗日形式，一种包含等式约束的 目标函数，在这种情况下，拉格朗日函数可由以下公式给出： 其中， 被称为与等式约束关联的拉格朗日乘子。可以确定，要使 成为问题的最佳点，拉格朗日的梯 度必须在 处为零（这不是唯一的条件，但它是必需的）。也就是说，

问题。 18 3.线性支持向量机 ? 为"松弛变量" ?? = max(0,1 − ??(?T?? + ?)) 即hinge损失函数。每一个样本都有一个对应 的松弛变量，表征该样本不满足约束的程度。 损失函数hinge loss (0,1) (1,0) (0,0) 合页损失函数 0-1损失 函数间隔?(? ∙ ? + ?) 损失 蓝色线代表hinge损失函数，黄色线代表0-1

多⼈多服务器使用混乱，计算资源如何划分？� • 没有GPUs集群资源管理和调度（内存、CPU、GPU、 端⼝），集群资源负载不均� • 训练数据⼿动分发，训练模型⼿动保存� • 进程遗留问题，需要⼿动杀死� • 缺乏作业统⼀管理，不便对作业运⾏状态跟踪� • 日志查看不⽅便� � 总结：� TensorFlow使用现状及痛点 • 集群资源的管理（目前支持CPU、内存，需要扩展GPU 资源管理）� 资源管理）� • 作业的统⼀管理、状态跟踪� • 资源组（Schedule Pool）的划分� • 作业进程的资源隔离� Yarn能解决什么问题：� TensorFlow on Yarn设计 • 同时支持单机和分布式TensorFlow程序� • 支持GPU资源管理和调度� • 不再需要⼿动配置CluserSpec信息，仅需要设置work 和ps的数量� • 训练数据和训练模型基于HDFS统⼀存储� download.thread.nums=10 #其他参数设置� 提交脚本示例（分布式版本）：� TensorFlow on Yarn设计 Yarn首页作业信息：� 作业类型 集群GPU资源概况 作业分配到的GPU数量 TensorFlow on Yarn设计 TensorFlow作业AM页面：� Container所在的机器� 分配到的GPU物理设备号� tensorboard

App 2 PS Job 1 App 2 App 3 SSH Job 1 Train Job 1 Val Job 2 WK Job 2 WK Job 3 监控/启停 任务调度/资源管理 监控上报 cephfs存储集 群 本地文件系统 数据 模型/日志 client 管理数据 提取模型、 查看日志 提交/管理任务 用户 docker.oa.co m 自动拉取镜像 监控任务运行状况，当任务发生异常时，选 择不同的重启策略 • 集群管理与监控 • 节点心跳异常告警 • 运维工具化，快速屏蔽/启动异常机器 • 灵活的资源分配 • 支持以 GPU 或节点为粒度进行资源分配 • 用户配置任务所需最小资源 • 自动扩缩容，最大化资源使用率 • 支持不同计算框架 • 调度与任务松耦合，用户可以灵活定义任务 • 支持配置 docker 镜像，完全自定义运行环 境 •

1到1 之间，结果就是，?在0.1到1之间，应用了90%的资源，而?在0.0001到0.1之间， 只有10%的搜索资源。 反而，用对数标尺搜索超参数的方式会更合理，因此这里不使用线性轴，分别依 次取0.0001，0.001，0.01，0.1，1，在对数轴上均匀随机取点，这样，在0.0001 到0.001之间，就会有更多的搜索资源可用，还有在0.001到0.01之间等等。 20 超参数调整的方法 Hyperparameter 1 Hyperparameter 2 21 由粗到细调整超参数 Hyperparameter 1 Hyperparameter 2 22 熊猫方式与鱼子酱方式 由计算资源决定 23 Batch Norm 在深度学习中，由于采用full batch的训练方式对内存要求较大，且每一轮训练时 间过长；我们一般都会采用对数据做划分，用mini-batch对网络进行训练。因此，

被命中，只有部分参数被⽤到 参数按需 获取/更新 Storage 异步训练流⽔线和多级存储：提升性能，降低内存成本 � 问题： � Learner线程中参数拉取和参数更新对性能影响⼤ � 内存成为主要资源瓶颈。由于需要等待全部参数 就绪，Parameter Server难以利⽤速度慢的存储 介质 样本读取 样本解析 参数拉 取 训练 参数更新 查询Sparse Table 查询Dense 模型⼤⼩超TB � 单个请求需要15W个key � 耗时要求10ms以下 � 资讯业务请求量⼤ （>10000请求/秒） � 模型有多个版本 � 原有在线分布式存储系统的 问题 � 主备模式资源严重浪费 � 数据读写需要加锁 � ⽀持多模型和模型多版本 困难 >15亿key/秒 近千台 只读版本 写版本 CPU型服务 Feature 2.2 Hotkey缓存优化 <10台 Dynamic Computation Allocation Framework for Online Serving System � 推荐全链路⾃适应 � 统⼀建模，根据请求量削峰填⾕，资源利⽤最⼤化 [ijcai2021] UNBERT: User-News Matching BERT for News Recommendation [CIKM2021] Self-Supervised

Abacus、XPS， etc. • Online Learning的价值  用户的近期行为，更能表现意图和偏好  增强新item的模型感知能力 • 更快数据反馈、更少资源消耗  分钟级的数据反馈  增量训练、避免batch重训带来的资源消耗 关于Online Learning MLX的模型能力 • 支持千亿级特征、千亿级样本 • 支持计算图模式，模型结构灵活多样  支持推荐、搜索、广告场景常用的深度学习模型