. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105 3.4.1 分类问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106 3.4.2 网络架构 9.3 分布偏移纠正 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174 4.9.4 学习问题的分类法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177 4.9.5 机器学习中的公平、责任和透明度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493 11.11.1 一个简单的问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 493 11.11.2 学习率调度器 . .

解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者 总的来说，本书适合于大学三年级左右的理工科本科生和研究生，以及其他对人工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 4 个部份：第 1~3 章为第 1 部分，主要介绍人工智能的初 步认知，并引出相关问题；第 4~5 章为第 2 部分，主要介绍 PyTorch 相关基础，为后续算法 实现铺垫；第 6~9 章为第 3 部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 10~15 -PyTorch-book ❑ 姊妹书《TensorFlow 深度学习—深入理解人工智能算法设计》： https://item.jd.com/12954866.html ❑ 联系邮箱(一般问题建议 Github issues 交流)：liangqu.long AT gmail.com ❑ 配套视频课程(收费，提供答疑等全服务，比较适合初学者)： 深度学习与 TensorFlow 入门实战

博⼠，专家⼯程师 � 研究⽅向：机器学习系统，云计算，⼤数据系统 � 负责腾讯平台与内容事业群（PCG）技术中台核 ⼼引擎：⽆量系统。⽀持⼤规模稀疏模型训练， 上线与推理 提纲 �推荐场景深度学习系统的基本问题与特点 �推荐类模型的深度学习系统设计 � 系统维度 � 算法维度 �总结 基于深度学习模型的推荐流程，场景与⽬标 Serving系统 HDFS 数据 通道 训练系统 召回 业务服务 动态空间 Feature 2.1:短时间内只有部分item和user 被命中，只有部分参数被⽤到 参数按需 获取/更新 Storage 异步训练流⽔线和多级存储：提升性能，降低内存成本 � 问题： � Learner线程中参数拉取和参数更新对性能影响⼤ � 内存成为主要资源瓶颈。由于需要等待全部参数 就绪，Parameter Server难以利⽤速度慢的存储 介质 样本读取 样本解析 全部参数 内存 1TB 即将⽤到的参数 显存 32/40/80GB 正在训练的参数 分布式训练的慢机与同步问题 � Feature 2.1: 短时间内只有部分item和user被命中， 只有部分参数被⽤到 � GPU训练的优势 � 更少的机器节点，更少的分布式系统相关问题 � 更⾼的性价⽐ 1. 减少节点数 2. 提升节点同 构性 推理服务—分布式Serving架构 � 读写架构

一个巨大的10,000维度的softmax，因为计算成本很高， 而是把它转变为10,000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 10,000维的softmax分类器成本低。 ? ? 模型（Multi- task） GPT-2要 实现的目 标 • GPT-2 调整优化的目的是为了解决零 次 学 习 问 题 （ zero-shot ） （ 注 ： zero-shot问题，就是针对AI在面对 不认识的事物时，也能进行推理） • 多任务模型的特点：跟传统ML需要专 门的标注数据集不同（从而训练出专 业AI），多任务模型不采用专门AI手 段，而是在海量数据喂养训练的基础 量模型和监督学习的组合，在训练任务方 面表现出色，然而这些系统较为脆弱，对 数据分布和任务规范的轻微变化非常敏感， 因而使得AI表现更像狭义专家，并非通才。 GPT-2要 解决和优 化的问题 ◼ GPT-2（2019.2）在GPT-1的基础上进行诸多改进，实现执行任务多样性，开始学习在不需要明确监督的情 况下执行数量惊人的任务 ✓ 在GPT-2阶段，OpenAI去掉了GPT-1阶段

支持向量机求解 函数间隔： ?∗ = ??(?T? + ?) 几何间隔：? = ?(?T?+?) ||?|| ，当数据被正确分类时，几何间隔就是点到超平面的距离 为了求几何间隔最大，SVM基本问题可以转化为求解:( ?∗ ||?||为几何间隔，?∗为函数间隔) ??? ?,? ?∗ ||?|| (??????? ??) ??(?T?? + ?) ≥ ?∗, ? = 1,2, . . − ෍ ?,?=1 ? ?? ?????? ?? ⋅ ?? 2.支持向量机求解 ? = σ?=1 ? ?? ???? σ?=1 ? ?? ?? = 0 15 再把max问题转成min问题： max ? ෍ ?=1 ? ?? − 1 2 ෍ ?,?=1 ? ?? ?????? ?? ⋅ ?? = min ? 1 2 ෍ ?,?=1 ? ?? ???? =1 ? ?? ∗ ?? ?? ⋅ ?? + ?∗，可得?∗ = ? − σ?=1 ? ?? ∗ ?? ?? ⋅ ?? ，?∗ = σ?=1 ? ?? ∗ ???? 以上为SVM对偶问题的对偶形式 2.支持向量机求解 ? = σ?=1 ? ?? ???? σ?=1 ? ?? ?? = 0 添加负号 16 3.线性支持向量机 01 支持向量机概述 02 线性可分支持向量机

这个最后的方程应该看起来非常熟悉，因为它几乎与我们在课程中（我们将很快再次得出）得到的公 式：用于参数的最小二乘估计一样。 看一下投影的定义，显而易见，这实际上是我们在最小二乘问题中 最小化的目标（除了范数的平方这里有点不一样，这不会影响找到最优解），所以这些问题自然是非常 相关的。 当 只包含一列时， ，这给出了向量投影到一条线上的特殊情况： 一个矩阵 的零空间 是所有乘以 时等于0向量的集合，即： 注意， ，考虑以下最大 化问题： 也就是说，我们要找到（范数1）的向量，它使二次型最大化。假设特征值的阶数为 ，此优化问题的最优值为 ，且与 对应的任何特征向量 都是最大值之一。（如果 ，那么有 一个与特征值 对应的唯一特征向量，它是上面那个优化问题的唯一最大值。） 我们可以通过使用对 角化技术来证明这一点：注意，通过公式 推出 ，并利用公式： ，我们可以将上面那个优化问题改写为： 然后，我们得到目标的上界为 视为输入变量 的函数。 更正式地说，设 。 然后 在这个解释中: 在这里，我们可以看到这两种解释确实不同。 一种解释产生 维向量作为结果，而另一种解释产生 维 向量作为结果！ 我们怎么解决这个问题？ 这里，关键是要明确我们要区分的变量。 在第一种情况下，我们将函数 与其参数 进行区分，然后替 换参数 。 在第二种情况下，我们将复合函数 直接与 进行微分。 我们将第一种情况表示为 ，第二种情况表示为

1 2022年02月 机器学习-逻辑回归 黄海广 副教授 2 本章目录 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 3 1.分类问题 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 4 监督学习的最主要类型 ✓ 分类（Classification） 根据肿瘤的体积、患者的年龄来判断良性或恶性？ ✓ 根据用户的年龄、职业、存款数量来判断信用卡 是否会违约？ 分类问题 标签离散 输入变量可以是离散的，也可以是连续的。 5 二分类 分类问题 1 2 我们先从用蓝色圆形数据定义为类 型1，其余数据为类型2； 只需要分类1次 步骤：①->② ① ② 二分类 6 多分类 分类问题 1 rest 1 2 rest One-vs-All (One-vs-Rest) 接下来去掉类型1数据，剩余部分 再次进行二分类，分成类型2和负 类；如果有?类，那就需要分类?-1 次 步骤：①->②->③->…… ① ② ③ 一对多 (一对余) 7 2.Sigmoid函数 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 8 ? ? 代表一个常用的逻辑函数（logistic function）为?形函数（Sigmoid

. . . . . . . . . . . . . . . . 25 3.3 Keras FAQ: 常见问题解答 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 3.3.1 Keras FAQ: 常见问题解答 . . . . . . . . . . . . . . . . . . . . . . . . . 5 使用 TensorFlow 以外的后端 默认情况下，Keras 将使用 TensorFlow 作为其张量操作库。请跟随这些指引来配置其他 Keras 后端。 1.6 技术支持 你可以提出问题并参与开发讨论： • Keras Google group。 • Keras Slack channel。使用 这个链接 向该频道请求邀请函。 你也可以在 Github issues 中张贴漏 metrics。对于任何分类问题，你都希望将其设置为 metrics = ['accuracy']。 评估标准可以是现有的标准的字符串标识符，也可以是自定义的评估标准函数。 # 多分类问题 model.compile(optimizer='rmsprop', loss='categorical_crossentropy', metrics=['accuracy']) # 二分类问题 model.

基础：图像分类问题定义与说明 • 基础：越来越深的图像分类网络 • 应⽤用：检测SKU抠图与分类标注流程 • 应⽤用：分类训练集与验证集划分 • 应⽤用：使⽤用TensorFlow 2训练ResNet • 应⽤用：使用ResNet识别货架商品 • 扩展：图像分类常用数据集综述 • 扩展：图像分类更多应⽤用场景介绍 目录 基础：图像分类问题定义与说明 图像分类问题 语义级分类 细粒度分类 细粒度分类 图像分类问题 实例级分类 识别问题 图像分类问题 实例级分类 识别问题 图像分类问题 图像分类评估：Top-1 / Top-5 准确率 图像分类评估：混淆矩阵 图像分类评估：ROC 曲线 基础：越来越深的图像分类网络 历年 SOTA 模型对比 AlexNet（2012） AlexNet（2012） AlexNet（2012） VGGNet（2014） VGGNet（2014）