1 2023年04月 深度学习-优化算法 黄海广 副教授 2 01 小批量梯度下降 本章目录 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 3 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 1.小批量梯度下降 4 小批量梯度下降 小批量梯度下降（Mini-Batch (?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 5 小批量梯度下降 6 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 2.优化算法 7 伦敦温度的例子 days temperature ?1 = 40°F ?2 = 49°F ?3 = 45°F ... ?180 = 60°F (1 − ?)??， ?: = ? − ????， ?: = ? − ????， 这样就可以减缓梯度下降的 幅度。 通常情况下：? = 0.9 11 RMSprop 在第?次迭代中，该算法会照常计算当下mini-batch的微分??，??，所以我会 保留这个指数加权平均数，我们用到新符号??? ，而不是??? ，因此??? = ???? + (1 − ?)??2，澄清一下，这个平方的操作是针对这一整个符号的，这样做

1 2021年04月 机器学习-KNN算法 黄海广 副教授 2 01 距离度量 02 KNN算法 本章目录 03 KD树划分 04 KD树搜索 3 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 1.距离度量 4 距离度量 欧氏距离(Euclidean distance) ? ?, ? = ෍ =1 ? ( ??)2 10 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 2.KNN算法 11 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是最简单的机器学习算 法，可以用于基本的分类与回归方法。 算法的主要思路： 如果一个样本在特征空间中与?个实例最为相似(即特征空间中最邻近)，那么这 对于回归问题：对新的样本，根据其?个最近邻的训练样本标签值的均值作为预 测值。 12 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是 最简单的机器学习算法，可以用于基本的分类与回归方法。 ?近邻法的三要素： • ?值选择。 • 距离度量。 • 决策规则。 13 2.KNN算法 算法流程如下： 1.计算测试对象到训练集中每个对象的距离 2.按照距离的远近排序

2019 KE.COM ALL COPYRIGHTS RESERVED 1 周玉驰 贝壳找房 - 数据智能中心 - 策略算法部 AI选房中深度学习的实践及优化 2019 KE.COM ALL COPYRIGHTS RESERVED 2 2019 KE.COM ALL COPYRIGHTS RESERVED 2 2019 KE.COM ALL COPYRIGHTS RESERVED 3 自我介绍 周玉驰  硕士毕业于中科院  先后就职于华为，百度和医渡云  目前就职于贝壳找房  主要负责两个方向  房源策略算法  房客人关系图谱 扫一扫二维码图案，加我微信 2019 KE.COM ALL COPYRIGHTS RESERVED 4 目录  为什么要做AI选房  如何做AI选房  模型演变历程  实践应用  总结&思考 2019

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 调度 系统 1.0 外卖订单智能调度要解决的核心问题 7 调度系统算法 1 2 3 4 5 路线规划 • 动态规划最优配送路线，且合理 并单，以最低的配送成本最大化 满足用户配送体验。 • 考虑用户期望时间的TSP问题 • 构建模型综合评估用户体验与配 送成本打分 • 采用动态规划和模拟退火算法等 算法，求得最优路线 1 8 时间预估 用户下单 开始配送 骑士到店 数据，DNN 更好地学习自身有用的特征 - DNN对特征工程要求较低，自身可以学习有用的特征，PCA降维影响较小，但时间复杂度较高 • XGBoost模型 - 采用近似求解算法，找出可能的分裂点，避免选用贪心算法的过高时间复杂度 - 计算采用不同分裂点时，叶子打分函数的增益；并选择增益最高的分裂点，作为新迭代树的最终分裂 节点，构造新的迭代树 - 通过调节迭代树数目、学习倍率、迭代树

解、喜欢并进入到人工智能行业中来，因此作者试图从分析人工智能中的简单问题入手，一 步步地提出设想、分析方案以及实现方案，重温当年科研工作者的发现之路，让读者身临其 境式的感受算法设计思想，从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的，读者在学习本书的过程中会自然而然地了解算法的相关背景知识，体会到知 识是为了解决问题而生的，避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低，但是人工智能不可避免地需要使用正式化的 工智能算法 感兴趣的朋友。 本书共 15 章，大体上可分为 4 个部份：第 1~3 章为第 1 部分，主要介绍人工智能的初 步认知，并引出相关问题；第 4~5 章为第 2 部分，主要介绍 PyTorch 相关基础，为后续算法 实现铺垫；第 6~9 章为第 3 部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 10~15 章为模型算法应用部分，主要介绍常见的算法与模型，让读者能够 因此作者备注翻译 的英文原文，供读者参考，同时也方便读者日后阅读相关英文文献时，不至于感到陌生。 尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论是共通的。本书已尽可能地涵盖其中基础、主流并且前沿的算法知识，但是仍然有很 多算法无法涵盖，读者学习完本书后，可以自行搜索相关方向的研究论文或资料，进一步学 习。 深度学习是一个非常前沿和广袤的研究领域，鲜有人士能够对每一个研究方向都有深刻

记录 SQL逆向 • INSERT -> DELETE • UPDATE -> UPDATE • DELETE -> INSERT 隔离级别 • 无隔离 • 版本控制 • 记录锁 • 影子表弹性伸缩：数据迁移 迁移监听 在线双写 离线迁移 数据源切换 冗余数据清 理治理监控 配置动态化 负载均衡 熔断 & 禁用 安全 & 权限 & 脱敏 APM现有实现方案对比 客户端

机器学习-第十一章 关联规则 黄海广 副教授 2 本章目录 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 3 1.关联规则概述 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 4 1.关联规则概述 关联规则 关联规则（Association Rules）反映一个事物与其他事物之间的相互依存 商品B也被客户挑选的机会就被发现了。 5 1.关联规则概述 有没有发生过这样的事：你出去买东西， 结果却买了比你计划的多得多的东西？这 是一种被称为冲动购买的现象，大型零售 商利用机器学习和Apriori算法，让我们倾 向于购买更多的商品。 6 1.关联规则概述 购物车分析是大型超市用来揭示商品之间关联的关 键技术之一。他们试图找出不同物品和产品之间的 关联，这些物品和产品可以一起销售，这有助于正 ) ? =3/4 9 2.Apriori算法 01 关联规则概述 02 Apriori 算法 03 FP-Growth算法 10 2.Apriori算法 Apriori算法利用频繁项集生成关联规则。它基于频繁项集的子集也 必须是频繁项集的概念。 频繁项集是支持值大于阈值（support）的项集。 Apriori算法就是基于一个先验： 如果某个项集是频繁的，那么它的所有子集也是频繁的。

深度学习-目标检测 黄海广 副教授 2 01 目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 本章目录 3 01 目标检测概述 1.目标检测概述 02 目标检测算法 03 YOLO算法 04 Faster RCNN算法 4 1.目标检测概述 分类（Classification） 即是将图像结构化为某一 类内差异（intra-class variability） 1.目标检测概述 9 类间相似性（inter-class similarity） 1.目标检测概述 10 1.目标检测概述 学术和工业界主要将目标检测算法分成三类： 1.传统的目标检测框架 2.基于深度学习的Two Stages目标检测框架 （准确度有优势） 3.基于深度学习的One Stage目标检测框架 （速度有优势） 11 1.目标检测概述 基于深度学习的Two Stages目标检测框架 （准确度有优势） 此类算法将检测问题分为两个阶段， 第一阶段生成大量可能含有目标的候选区域（Region Proposal），并附 加大概的位置信息； 第二个阶段对其进行分类，选出包含目标的候选区域并对其位置进行 修正（常使用R-CNN、Fast R-CNN、Faster R-CNN等算法）。 13 1.目标检测概述 3.基于深度学习的One Stage目标检测框架

机器学习-集成学习 黄海广 副教授 2 本章目录 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 3 1.集成学习方法概述 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 4 Bagging 从训练集中进行子抽样组成每 。 测试 数据 7 Random Forest（随机森林） 用随机的方式建立一个森林。随机森林算法由很多决策树组成，每一棵决 策树之间没有关联。建立完森林后，当有新样本进入时，每棵决策树都会 分别进行判断，然后基于投票法给出分类结果。 优点 1. 在数据集上表现良好，相对于其他算法有较大的优势 2. 易于并行化，在大数据集上有很大的优势； 3. 能够处理高维度数据，不用做特征选择。 数据集 自助采样 自助采样 自助采样 Bootstraping 10 2.AdaBoost和GBDT算法 01 集成学习方法概述 02 AdaBoost和GBDT算法 03 XGBoost 04 LightGBM 11 AdaBoost算法 AdaBoost（Adaptive Boosting，自适应增强），其自适应在于：前 一个基本分类器分错的样本会得到加强，加权后的全体样本再次被用来

2023年06月 机器学习-决策树 黄海广 副教授 2 本章目录 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 3 1.决策树原理 01 决策树原理 02 ID3算法 03 C4.5算法 04 CART算法 4 长相 能 帅 不帅 家庭背景 好 能 不好 人品 好 上进心 能 不能 有 无 不能 (代表测试结果) 叶节点 (leaf node) (代表分类后所获得的分类标记) ⚫ 决策树算法是一种归纳分类算法 ，它通过对训练集的学习，挖掘 出有用的规则，用于对新数据进 行预测。 ⚫ 决策树算法属于监督学习方法。 ⚫ 决策树归纳的基本算法是贪心算法 ，自顶向下来构建决策树。 ⚫ 贪心算法：在每一步选择中都采取 在当前状态下最好/优的选择。 ⚫ 在决策树的生成过程中，分割方法 减少变量的数目提供参考。 缺点： ⚫ 容易造成过拟合，需要采用剪枝操作。 ⚫ 忽略了数据之间的相关性。 ⚫ 对于各类别样本数量不一致的数据，信息增益会偏向于那些更多数值的特 征。 决策树的特点 7 算法 支持模型 树结构 特征选择 连续值处理 缺失值处理 剪枝 特征属性多次使用 ID3 分类 多叉树 信息增益 不支持 不支持 不支持 不支持 C4.5 分类 多叉树 信息增益率 支持 支持 支持