构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 …

超大规模深度学习在美团的应用 余建平 美团点评用户平台研究员 自我介绍 自我介绍 2011年硕士毕业于南京大学计算机科学与技术系。毕业后曾在百度凤巢从事机器学习 工程相关的工作，加入美团后，负责超大规模机器学习系统，从无到有搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。 更快数据反馈、更少资源消耗  分钟级的数据反馈  增量训练、避免batch重训带来的资源消耗 关于Online Learning MLX的模型能力 • 支持千亿级特征、千亿级样本 • 支持计算图模式，模型结构灵活多样  支持推荐、搜索、广告场景常用的深度学习模型  FTRL、FM、FFM、WDL、DCN、DeepFM、MTL等 • Optimizer  FTRL、AdaGr • Loss Function  LogLoss、SquareLoss、Cross Entropy、etc • 评估指标  AUC、Loss、MAE、RMSE  支持外部eval工具，计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案，各阶段提供扩展方案，降低算法迭代成本； • 支持Online Learning，提供从近线到在线的模型数据通路； •

• 一键部署 • 基于K8S的deployment模式，一键端口分配与模型服务部署 • 基于ZK的服务发现，一键进行流量灰度与发布 • 性能优化 • 通信优化：特征请求与模型计算单元化，在线样本格式压缩 • 计算优化：基于SSE／AVX 指令优化 3 在线机器学习-模型服务部署 • 模型更新频次效果对比 • FM：数据越新，效果越好 • 相同数据规模，时间越新，效果越好，且时间差距越大，差异越明显 PS&MPI：DistributionStrategy API，统一分布式语义，解耦分布式架构与模型训练框架 • 使用FP16通信，使用FP32做计算，带宽压力降低一倍 • IO优化 • 多线程样本并发读取，样本读取与计算PIPELINE，实现计算与IO的overlap 4 深度学习-深度学习模型训练 • 分布式模型推理框架：WeiServing 异构CPU集群 kubernetes/ol-submit 深度学习-分布式模型推理 • 推理性能优化 • 减少计算量： operator fusion/XLA/TVM/prune/float16/quantization • 加快计算速度： batching/TensorRT/MPS/SSE/AVX/Neon • operator fusion • 针对特定场景重写耗时算子 • 重构tensorflow计算引擎 • batching • 批量调度请求到GPU，增大并发和吞吐量

阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 加了10倍怎么优化？ 2.模型效果优 化困难 1.方案复杂 Data Model Compute Platform 要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 PAI-Rec – 推荐引擎 BE召回/Hologres hot x2i vec 排序 粗排 精排 重排 MaxCompute Datahub 离线特征 样本构造 实时特征 Flink 训练数据 推荐日志 模型发布 在线流程 离线流程 智能推荐解决方案 > PAI-REC 推荐引擎 PAI-REC 推荐引擎 多路召回 曝光/状态过滤 粗排/精排

K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 7 1.无监督学习方法概述 聚类案例 1.医疗 医生可以使用聚类算法来发现疾病。以甲状 腺疾病为例。当我们对包含甲状腺疾病和非 甲状腺疾病的数据集应用无监督学习时，可 银行可以观察到可能的金融欺诈行为，就此 向客户发出警告。在聚类算法的帮助下，保 险公司可以发现某些客户的欺诈行为，并调 查类似客户的保单是否有欺诈行为。 10 1.无监督学习方法概述 聚类案例 4.搜索引擎 百度是人们使用的搜索引擎之一。举个例子，当 我们搜索一些信息，如在某地的超市，百度将为 我们提供不同的超市的选择。这是聚类的结果， 提供给你的结果就是聚类的相似结果。 11 1.无监督学习方法概述 欧氏距离： 16 2.K-means聚类 K-means算法流程 1. 选择K个点作为初始质心。 2. 将每个点指派到最近的质心，形成K个簇。 3. 对于上一步聚类的结果，进行平均计算，得出该簇的新的聚类中心。 4. 重复上述两步/直到迭代结束：质心不发生变化。 17 2.K-means聚类 初始化质心 K-means算法流程 首先，初始化称为簇质心的任意点。初始化

基于深度学习的（Query, Document）分数是Google搜索引擎中第3重要的排序信 号 • 亚马逊（Amazon／A9)电子商务搜索引擎中， 深度学习还在实验阶段， 尚未进入生产线。 8 • 搜索数值矢量化  传统搜索基于文字匹配， 商品包含搜索词或者不包含搜索词  利用深度学习技术， 将搜索词和商品全部数值矢量化， 将文字匹配转化为数值矢量计算  词语矢量化是进一步进行各种深度学习的基础。 Mikolov(Google员工)等人2013发表了两篇关于Word2Vec的文章， 成为词语矢量化表示的基础  Word2vec的优点：  词语矢量考虑了上下文及词语之间的语义关系  复杂词语可以通过矢量计算来实现（如 Vec（北京）＝ vec(东京) – vec(日本) + vec(中国) ）  矢量化模型的现况  词语的矢量化模型已经有开源实现方案  句子和文档的矢量化还在摸索阶段，尚不成熟 基于用户反馈的矢量化 13 基于用户反馈的矢量化模型 用户搜索日志 用户点击日志 用户购物车 日志 用户购买日志 Word2vec模型 计算距离最近 的矢量 产品类别过滤 产品频率过滤 矢量转换回商 品 14 原型评测结果 矢量化搜索引擎与易购传统引擎搜索效果对比 （2016-07-25测试结果） 15 • 该技术不仅召回与搜索词完全匹配的结果，还可召回与搜索词文本不匹配、但含义近似的结果。

据业务需求定制。 Ø 基于团队自研的深度识别引擎，核心算法与基础模型 经过多轮优化，可以准确快速地识别图片中所包含的 各类图标 l 烟雾，吸烟识别 Ø 基于视频直播监管需求， 提供吸烟，烟雾，涉嫌吸毒 等场景的识别能力 SACC2017 深度学习介绍 深度网络训练选择 加快训练 - 分布式训练系统 图像海量数据的积累 02 深度学习技术介绍 加快计算 - 深度学习算法加速 RPN SACC2017 森布拉特 发明 1980 2006 Hinton提出 “深度学习” 的神经网络 2013 深度学习算法在 语音和视觉识别 上有重大突破， 识别率超过99% 和95% 1970 受限于 计算能 力，进 入第一 个寒冬 XCON专 家系统出 现，每年 节约4000 万美元 第1阶段：人工智能起步 期 （1956-1980s） 第2阶段：专家系统推 广 (1980s-1990s) 第3阶段：深度学习 2012 Google的 无人驾驶 汽车上路 （2009年 宣布） 2016 Deepmind团队 AlphaGo&Ma ster运用深度学 习算法战胜围 棋冠军 1990-1991 人工智能计算 机DARPA没 能实现，政府 投入缩减，进 入第二次低谷 深度学习 - 带动的AI浪潮 2016 2016 深度学习全面爆发 2016 - 讯飞，搜 狗，阿里 演示了实 时语音识 别翻译

2.3 Keras 可以轻松将模型转化为产品 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 . . . . . . . . . . 6 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 . . . . . . . . . . . . . . . . . . . . . . 32 3.3.10 在验证集的误差不再下降时，如何中断训练？ . . . . . . . . . . . . . . . . 32 3.3.11 验证集划分是如何计算的？ . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.3.12 在训练过程中数据是否会混洗？ . . . . . . . . 目录中，你会找到更多高级模型：基于记忆网络的问答系统、基于 栈式 LSTM 的文本生成等等。 KERAS: 基于 PYTHON 的深度学习库 3 1.4 安装指引 在安装 Keras 之前，请安装以下后端引擎之一：TensorFlow，Theano，或者 CNTK。我们 推荐 TensorFlow 后端。 • TensorFlow 安装指引。 • Theano 安装指引。 • CNTK 安装指引。

. . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 . . . . . . . . . . . . . . . . . . . . . . . 前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . 10.8 提交Kaggle预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 5 深度学习计算 191 5.1 层和块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

二维矩阵乘法 torch.mm() torch.mm(mat1, mat2, out=None) 其中???1 ∈ ℝ?×?,???2 ∈ ℝ?×?, 输出的??? ∈ ℝ?×? 该函数一般只用来计算两个二维矩阵的矩阵乘法，并且不支持 broadcast操作。 12 1.Tensor张量乘法 2. 三维带batch的矩阵乘法 torch.bmm() 由于神经网络训练一般采用mini-batch，经常输入的时 torch.matmul(input, other, out=None) 支持broadcast操作，使用起来比较复杂。针对多维数据matmul() 乘法，可以认为该乘 法使用使用两个参数的后两个维度来计算，其他的维度都可以认为是batch维度。 假设两个输入的维度分别是input(1000×500×99×11), other(500×11×99)那么我 们可以认为torch.matmul(input 算 图 具体实例可参考书中2.7小节内容 2. Autograd自动求导 18 18  PyTorch 1.x的Tensor不参与求导的几种方式 张量操作 新建/共享内存 留在计算图中 使用场景 tensor.clone() 新建 是 (即tensor与tensor.clone() 的 requires_grad一致） 常用在神经网络中某个单元需要 重复使用，但不参与求导的场景