1 2023年04月 深度学习-优化算法 黄海广 副教授 2 01 小批量梯度下降 本章目录 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 3 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 1.小批量梯度下降 4 小批量梯度下降 小批量梯度下降（Mini-Batch (?) ?? (?) (同步更新?? ，(j=0,1,...,n )) 5 小批量梯度下降 6 01 小批量梯度下降 02 优化算法 03 超参数调整和BatchNorm 04 Softmax 2.优化算法 7 伦敦温度的例子 days temperature ?1 = 40°F ?2 = 49°F ?3 = 45°F ... ?180 = 60°F (1 − ?)??， ?: = ? − ????， ?: = ? − ????， 这样就可以减缓梯度下降的 幅度。 通常情况下：? = 0.9 11 RMSprop 在第?次迭代中，该算法会照常计算当下mini-batch的微分??，??，所以我会 保留这个指数加权平均数，我们用到新符号??? ，而不是??? ，因此??? = ???? + (1 − ?)??2，澄清一下，这个平方的操作是针对这一整个符号的，这样做

1 2021年04月 机器学习-KNN算法 黄海广 副教授 2 01 距离度量 02 KNN算法 本章目录 03 KD树划分 04 KD树搜索 3 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 1.距离度量 4 距离度量 欧氏距离(Euclidean distance) ? ?, ? = ෍ =1 ? ( ??)2 10 01 距离度量 02 KNN算法 03 KD树划分 04 KD树搜索 2.KNN算法 11 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是最简单的机器学习算 法，可以用于基本的分类与回归方法。 算法的主要思路： 如果一个样本在特征空间中与?个实例最为相似(即特征空间中最邻近)，那么这 对于回归问题：对新的样本，根据其?个最近邻的训练样本标签值的均值作为预 测值。 12 2.KNN算法 ?近邻法（k-Nearest Neighbor,kNN）是一种比较成熟也是 最简单的机器学习算法，可以用于基本的分类与回归方法。 ?近邻法的三要素： • ?值选择。 • 距离度量。 • 决策规则。 13 2.KNN算法 算法流程如下： 1.计算测试对象到训练集中每个对象的距离 2.按照距离的远近排序

2019 KE.COM ALL COPYRIGHTS RESERVED 1 周玉驰 贝壳找房 - 数据智能中心 - 策略算法部 AI选房中深度学习的实践及优化 2019 KE.COM ALL COPYRIGHTS RESERVED 2 2019 KE.COM ALL COPYRIGHTS RESERVED 2 2019 KE.COM ALL COPYRIGHTS RESERVED 3 自我介绍 周玉驰  硕士毕业于中科院  先后就职于华为，百度和医渡云  目前就职于贝壳找房  主要负责两个方向  房源策略算法  房客人关系图谱 扫一扫二维码图案，加我微信 2019 KE.COM ALL COPYRIGHTS RESERVED 4 目录  为什么要做AI选房  如何做AI选房  模型演变历程  实践应用  总结&思考 2019

经典算法与深度学习 在外卖物流调度中的应用 SPEAKER / 徐明泉 百度外卖首席架构师 引言：外卖配送的背后 2 引言：外卖订单调度系统要考虑的因素 3 订单相关 骑士相关 • 商户、用户位置 • 用户期望时间 • 预计出餐时间.. • 现有订单的配送路线 • 新增订单后配送路线的改变情况 • 历史取送餐速度 • 完成每个订单的预计时间 • 熟悉的区域 • 配送工具 调度 系统 1.0 外卖订单智能调度要解决的核心问题 7 调度系统算法 1 2 3 4 5 路线规划 • 动态规划最优配送路线，且合理 并单，以最低的配送成本最大化 满足用户配送体验。 • 考虑用户期望时间的TSP问题 • 构建模型综合评估用户体验与配 送成本打分 • 采用动态规划和模拟退火算法等 算法，求得最优路线 1 8 时间预估 用户下单 开始配送 骑士到店 数据，DNN 更好地学习自身有用的特征 - DNN对特征工程要求较低，自身可以学习有用的特征，PCA降维影响较小，但时间复杂度较高 • XGBoost模型 - 采用近似求解算法，找出可能的分裂点，避免选用贪心算法的过高时间复杂度 - 计算采用不同分裂点时，叶子打分函数的增益；并选择增益最高的分裂点，作为新迭代树的最终分裂 节点，构造新的迭代树 - 通过调节迭代树数目、学习倍率、迭代树

就可以挄照 Producer 収送 的顺序去消费消息。  普通顺序消息 顺序消息的一种，正常情冴下可以保证完全的顺序消息，但是一旦収生通信异常，Broker 重启，由亍队列 总数収生发化，哈希叏模后定位的队列会发化，产生短暂的消息顺序丌一致。 如果业务能容忍在集群异常情冴（如某个 Broker 宕机戒者重启）下，消息短暂的乱序，使用普通顺序方 式比较合适。  严格顺序消息 50ms，而 Ext3 文件系统耗时约 1s 左史，丏删除文件时，磁盘 IO 压力极大，会导致 IO 写入超时。 文件系统局面需要做以下调优措施 文件系统 IO 调度算法需要调整为 deadline，因为 deadline 算法在随机读情冴下，可以合幵读请求为顺序跳跃 方式，从而提高读 IO 吞吏量。 Ext4 文件系统有以下 Bug，请注意 http://blog.donghao.o a) 访问 PAGECACHE 时，即使只访问 1k 的消息，系统也会提前预读出更多数据，在下次读时，就可能命 中内存。 b) 随机访问 Commit Log 磁盘数据，系统 IO 调度算法设置为 NOOP 方式，会在一定程度上将完全的随机 读发成顺序跳跃方式，而顺序跳跃方式读较完全的随机读性能会高 5 倍以上，可参见以下针对各种 IO 方式的性能数据。 http://stblog

API7
使⽤
Radixtree
算法实现⾼性能、灵活路由，在
AWS
8
核⼼服务器中，QPS
约为
140K，延迟约 为
0.2
ms；
全动态能⼒ 6. 修改⽹关配置、增加或修改插件等，⽆需重启⽹关服务即可实时⽣效；⽀持动态加载
SSL
证书；
扩展能⼒强 7. 借助灵活的插件机制，可针对内部业务完成功能定制；⽀持⾃定义负载均衡算法与路由算法，不受限 于
API
⽹关实现；通 ✔
✔
✔
✔
✔
Chash（⼀致性哈希）
✔
✔
✖
✔
✖
Sticky
Session（会话保持）
✔
✔
✖
✖
✖
Least
Connections
✔
✔
✖
✔
✖
EWMA
✔
✖
✖
✖
✖
⽀持⾃定义负载均衡算法
✔
✖
✔
✖
✔
请求改写
启⽤该插件后，将限制请求并发数量。


限流限速

limit-count
启⽤该插件后，在⼀个固定时间窗⼝内，超过预设值的请求 将被拒绝。
limit-req
启⽤该插件后，将使⽤漏桶算法限制请求速率。
traffic-split
该插件允许我们动态控制指向不同上游服务的流量⽐。
灰度
Serv erles s
Serverless
插件在⽹关
access
阶段

的所有消费端（有心跳向所有 broker 注册客户端信息） 选择队列分配策略实例 AllocateMessageQueueStrategy 执行分配算法,获取队列集合 Set mqSet 1） 平均分配算法，其实是类似于分页的算法 将所有 queue 排好序类似于记录 将所有消费端 consumer 排好序，相当于页数 然后获取当前 consumer 所在页面应该分配到的 也就是说在 consumer 启动的时候指定了 queue 3） 按照机房来配置队列 Consumer 启动的时候会指定在哪些机房的消息 获取指定机房的 queue 然后在执行如 1）平均算法 根据分配队列的结果更新 ProccessQueueTable 1) 比对 mqSet 将多余的队列删除， 当 broker 当机或者添加，会导致分配到 中存储单元是一个 20 字节定长的数据，是顺序写顺序读 （1） commitLogOffset 是指这条消息在 commitLog 文件实际偏移量 （2） size 就是指消息大小 （3） 消息 tag 的哈希值 ConsumeQueue 文件组织： (1) topic queueId 来组织的，比如 TopicA 配了读写队列 0, 1,那么 TopicA 和 Queue=0 组 成一个

• lower: 布尔值。是否将文本转换为小写。 • split: 字符串。按该字符串切割文本。 返回 整数词索引列表（唯一性无法保证）。 0 是不会被分配给任何单词的保留索引。 由于哈希函数可能发生冲突，可能会将两个或更多字分配给同一索引。碰撞的概率与散列 空间的维度和不同对象的数量有关。 6.2.3 one_hot keras.preprocessing.text.one_hot(text >= 0. 模糊因子. 若为 None, 默认为 K.epsilon(). • decay: float >= 0. 每次参数更新后学习率衰减值. • amsgrad: boolean. 是否应用此算法的 AMSGrad 变种，来自论文”On the Convergence of Adam and Beyond”. 引用 • Adam - A Method for Stochastic Optimization Adamax(lr=0.002, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0) Adamax 优化器，来自 Adam 论文的第七小节. 它是 Adam 算法基于无穷范数（infinity norm）的变种。默认参数遵循论文中提供的值。 参数 优化器 OPTIMIZERS 142 • lr: float >= 0. 学习率. • beta_1/beta_2:

FIPS 实现还没有提供一个单一的计算哈希函数和验证 基于该哈希的键的函数。在以后的 OpenShift Container Platform 版本中，将继续评估并改进这个 限制。 CRI-O 运行时支持 FIPS。 OpenShift Container Platform 服务支持 FIPS。 FIPS 验证的/Modules in Process 的加密模块和算法， 它们从 RHEL 7 和 RHCOS secret 在进程加密中使用 FIPS 验证的/Modules in Process 模块，请以 FIPS 模 式引导节点。在使用 FIPS 模式安装集群后，您可以使用 FIPS 批准的 aes cbc 加密算法加密 etcd 数据。 OpenShift Container Platform 4.4 安装 安装 6 2.2.2. Storage 对于本地存储，使用 RHEL 提供的磁盘加密或者使用 RHEL

• 固定、滑动时间窗口限流 • 适合微服务接口 • 选定的时间粒度上限流 • 令牌桶、漏桶限流 • 适合阻塞限流 • 超过最大访问频率后，请求阻塞等待或者直接拒绝（等待时间=0） 常用限 流算法25/总页数 治理策略 & 高可用 • 微服务高可用设计手段 - 服务限流 • 基于来源限流（from） • 系统标签 • 自定义标签 • 基于标签匹配（to） • 系统标签 • 自定义标签 治理策略 & 高可用 • 微服务高可用设计手段 • 负载均衡 • 随机 (Random) • 轮询 (RoundRobin) • 响应时间权重 (WeightedResponseTime) • 环哈希 (Ring Hash) • 实例容错 • Fail-fast • Failover • Failresnd34/总页数 治理策略 & 高可用 – 总结 • 从手段看高可用 • 从架构看高可用