Checkpoint 节点异常修复 3 在线机器学习-实时样本生成 • 在线机器学习模型训练：Flink/Blink+WeiPS 样本生成和特征处理 1.配置化 2.多标签样本 3.支持高维HASH 训练预处理 1.标签选择 2.标签UDF 3.样本过滤 4.特征过滤 模型训练 1.支持回归和分类 2.支持LR、FM、 DeepFM等模型 3.支持SGD 、 FTRL 优化算法选择 • FTRL：调节学习率，突出低频特征，非batch优化 • Adagrad : 调节学习率，突出低频特征，实现简单 • SGD： 参数少，效率高，固定学习率 • ID特征处理 • Hash：BKDRhash/CityHash，ID高维度稀疏+实时 3 在线机器学习-实时模型训练 serving serving server server server worker Model 本探测与保存，模型稀疏化分片存储 • 冷备容灾：基于checkpoint机制(Local模式&Remote模式)，实现参数服务的高可用，支持基于模型的异构集群迁移，支持集 群扩缩容 • 性能优化 • 通信优化：数据请求(PULL&PUSH)聚合，同模型多矩阵并发，锁粒度优化，性能提升5-10倍 • 缓存优化：使用堆外内存与LRU过期机制，解决GC引起的性能损耗，性能提升3-5倍 • 分

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149 4.5.1 高维线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 151 4.5.2 从零开始实现 预先设想假设的依赖。数据集的由小变大为现代深度学习的成功奠定基础。在没有大数据集的情况下，许多 令人兴奋的深度学习模型黯然失色。就算一些深度学习模型在小数据集上能够工作，但其效能并不比传统方 法高。 请注意，仅仅拥有海量的数据是不够的，我们还需要正确的数据。如果数据中充满了错误，或者如果数据的 特征不能预测任务目标，那么模型很可能无效。有一句古语很好地反映了这个现象：“输入的是垃圾，输出的 backward() x.grad tensor([1., 1., 1., 1.]) 2.5.2 非标量变量的反向传播 当y不是标量时，向量y关于向量x的导数的最自然解释是一个矩阵。对于高阶和高维的y和x，求导的结果可以 是一个高阶张量。 然而，虽然这些更奇特的对象确实出现在高级机器学习中（包括深度学习中），但当调用向量的反向计算时， 我们通常会试图计算一批训练样本中每个组成部分的损失

由华人陈天奇和李沐等人开发，是亚马逊公司的官方深度学习框架。采用了 命令式编程和符号式编程混合方式，灵活性高，运行速度快，文档和案例也较为丰 富。 ❑ Keras 是一个基于 Theano 和 TensorFlow 等框架提供的底层运算而实现的高层框架， 提供了大量快速训练、测试网络的高层接口。对于常见应用来说，使用 Keras 开发效 率非常高。但是由于没有底层实现，需要对底层框架进行抽象，运行效率不高，灵活 性一般。 预览版202112 1.5 深度学习框架 15 程，也称为动态图模式。PyTorch 是采用动态图模式的深度学习框架，开发效率高，调试 方便，所见即所得。一般认为，动态图模式开发效率高，但是运行效率可能不如静态图模 式，更适合算法设计和开发；静态图模式运行效率高，更适合算法部署。然而并不全是如 此，在很多任务上，PyTorch 的速度都优于 TensorFlow，而且 PyTorch 在工业部署上也有成 ∗，就可以从(部分)实数空间中随机采样?和?，并计算出?和?对应模型的误差值ℒ， 然后从测试过的{ℒ}集合中挑出最好的ℒ∗，它所对应的?和?就可以近似作为最优?∗和?∗。 这种算法固然简单直接，但是面对大规模、高维度数据的优化问题时计算效率极低， 基本不可行。梯度下降算法(Gradient Descent)是神经网络训练中最常用的优化算法，配合 强大的图形处理芯片 GPU(Graphics Processing

索 l处理数万到数十万路，城市范围级别监控、门禁摄 像头数据 l10-100 Billion级别深度学习特征检索 - PB以上级别数据库存储 - 100PB级别抓拍图片存储 - 每秒万次并发检索请求 l大规模推广应用 l某种程度上说，城市内所有市民都是系统的用户 深度学习算法发展为平台系统赋能 首次超过人眼 2014 2015 98.52% 97.35% 97.45% 人眼 CPU manager Device plugin 1.9 volume-awared scheduling Go语言在高性能系统中的实践经验 • 为什么用Go - 比起C++，更易于实践各种并发模式 - 比起Java，更加简洁，更易于与C/C++交互 - 比起脚本语言，类型和内存安全，保证重构效率与产品质量 - 完善的配套工具，如go test, gofmt, go lint, race-detector

，它可以改善或者减少过拟合问题。 4.集成学习方法 集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。 21 通过这张图可以看出， 各种不同算法在输入的 数据量达到一定级数后 ，都有相近的高准确度 。于是诞生了机器学习 界的名言： 成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 22 欠拟合的处理 1.添加新特征 当特 也就是离其期望值的距离。方差越大，数 据的分布越分散，如右图右列所示。 偏差Bias： 描述的是预测值（估计值）的期望与真实 值之间的差距。偏差越大，越偏离真实数 据，如右图第二行所示。 低方差 高方差 高 偏 差 低 偏 差 29 偏差和方差 总体误差 方差 偏差 2 最 优 模 型 复 杂 度 模型复杂度 误 差 方差、偏差和模型复杂度 右图是模型复杂度与误差的关系，一 Good fit Overfitting 31 偏差和方差 1. 获得更多的训练实例——解决高方差 2. 尝试减少特征的数量——解决高方差 3. 尝试获得更多的特征——解决高偏差 4. 尝试增加多项式特征——解决高偏差 5. 尝试减少正则化程度λ——解决高偏差 6. 尝试增加正则化程度λ——解决高方差 x1 x2 32 参考文献 [1] Andrew Ng. Machine Learning[EB/OL]

，它可以改善或者减少过拟合问题。 4.集成学习方法 集成学习是把多个模型集成在一起，来降低单一模型的过拟合风险。 9 通过这张图可以看出， 各种不同算法在输入的 数据量达到一定级数后 ，都有相近的高准确度 。于是诞生了机器学习 界的名言： 成功的机器学习应 用不是拥有最好的 算法，而是拥有最 多的数据！ 数据决定一切 数据大小 准 确 率 10 欠拟合的处理 1.添加新特征 当特 Good fit Overfitting 17 偏差和方差 1. 获得更多的训练实例——解决高方差 2. 尝试减少特征的数量——解决高方差 3. 尝试获得更多的特征——解决高偏差 4. 尝试增加多项式特征——解决高偏差 5. 尝试减少正则化程度λ——解决高偏差 6. 尝试增加正则化程度λ——解决高方差 x1 x2 18 参考文献 1. IAN GOODFELLOW等，《深度学习》，人民邮电出版社，2017

标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 3.工程优化复 杂 4.数据获取困 难 挑战 深度模型是非线性的: • 参数很多 • 参数敏感 • 不同场景的数据上差异大 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 模型效果优 化困难 1.方案复杂 Data Model Compute Platform 要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 参数很多 • 参数敏感 • 不同场景的数据上差异大 从FM到DeepFM rt 增 加了10倍怎么优化？ 手里面只有5张图片， 怎么搞出来一个效果还 不错的模型? ✗ 标注速度慢 ✗ 标注成本高 ✗ 样本分布不均匀 ✗ 隐私保护 • 多个环节 • 多种模型 ✗ 海量参数 ✗ 海量数据 深度学习应用主要的挑战： 2.模型效果优 化困难 1.方案复杂  学习率: 1e-3, 1e-4

达观数据 陈运文 文本智能处理的深度学习技术 达观数据CEO 陈运文 博士 • 中 国 计 算 机 学 会 高 级 会 员 ， A C M 和 I E E E 学 会 会 员 ， 复 旦 大 学 计 算 机 博 士 和 杰 出 毕 业 生 • 原 腾 讯 文 学 高 级 总 监 、 盛 大 文 学 首 席 数 据 官 、 百 度 核 心 技 术 工 程 师 • 三 十 项 国 家 技 术 0, 0, 0, 0, 0, … ] [ 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, … ] one-hot表示 高维，稀疏，正交，无法计算语义相关性 字词表示 威海市 [ -2.0795249939, 1.4055569172, 1.9540510178, … -0.651816964, -6.1333961487 NER 分词 情感分析 文本分类 机器翻译 … 文本分类 传统机器学习 • 选择分类器（朴素贝叶斯，SVM，KNN，LR，决 策树） • 特征工程构造特征 • 不同领域定制优化成本高 • 常需要分类算法融合提升效果 深度学习（CNN，RNN等） • 端到端，无需大量特征工程 • 框架通用性好，满足多领域需求 • 可以使用非监督语料训练字词向量提升效果 文本分类 CNN

模型并行调超参  grid search  random search PS的多模型训练 • 提高内存使用效率  model group内共享特征key的存储 • 超大规模模型 -> 高扇出的分布式PS • 长尾效应：单个分片的抖动（网络、CPU）对请求影响变大  单分片4个9的可用性  16分片整体可用性：99.99% ^ 16 = 99.84%  64分片整体可用性：99 64分片整体可用性：99.99% ^ 64 = 99.36%  128分片整体可用性：99.99% ^ 128 = 98.72% • Backup Request  Jeff Dean在解决BigTable高扇出时提出的方案 PS的长尾效应 Backup Request 副本1 副本2 PS Shard 1 副本1 副本2 PS Shard 2 副本1 副本2 PS Shard N Predictor 无效信息多 样本分布 • 在线、近线、离线全流程解决方案 召回模型通路 • 粗排模型 • 精排模型 排序模型解决方案 • 粗排阶段的特点  候选集大，通常在千到万级别  线上的响应时间要求高，通常在几到十几ms • 简单模型  计算耗时短：线性模型LR、树模型  模型表达能力不足，效果一般 • 复杂模型  DNN模型解决耗时是关键，利用预计算解决耗时问题  效果保障：