构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 …

我们实际构建和训练模型的数据集将如下所示： 这被称为连续词袋结构，并在word2vec论文 one of the word2vec papers 中进行过描述。 18 3.Word2Vec 负采样 计算的角度来看，SkipGram非常消耗资源：尤其是我们将在 数据集中为每个训练样本做一次（很可能数千万次）。我们 需要做一些事情来提高效率。 一种方法是将目标分成两个步骤： 1.生成高质量的单词嵌入（不要担心下一个单词预测）。 4个随机选取的负样本，这就是? = 4的情况。所以不使用 一个巨大的10,000维度的softmax，因为计算成本很高， 而是把它转变为10,000个二分类问题，每个都很容易计算 ，每次迭代我们要做的只是训练它们其中的5个，一般而言 就是? + 1个，其中?个负样本和1个正样本。这也是为什么 这个算法计算成本更低，因为只需更新? + 1个逻辑单元， ? + 1个二分类问题，相对而言每次迭代的成本比更新 阵（即使两个矩阵都在我们的词汇表中嵌入了每个单词）。 23 3.Word2Vec 训练流程 现在我们需要一种方法将这些分数转化为看起来像概率的东西 ： 使用sigmoid函数把概率转换为0和1。 然后，我们计算输入嵌入与每个上下文嵌入的点积。在每种情况 下，会产生一个数字，该数字表示输入和上下文嵌入的相似性。 24 3.Word2Vec 训练流程 现在我们可以将sigmoid操作的输出视为这些样本的模型输出。

阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 Model Compute Platform 要求:  准确: 低噪声  全面: 同分布 模型选型:  容量大  计算量小 训练推理:  高qps, 低rt  支持超大模型  性价比 流程长、环节多:  推荐场景: 召回 + 粗排 + 精排 + 多样性/冷启动  实人认证: 卡证识别 + 人脸检测 + 活体检测 + 人脸 识别 … 模型构建: 问题: Frameworks ML Service (PaaS) AI Service (SaaS) 机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe /Alink/…) 计算引擎(MaxCompute / EMR / Flink) 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版 • 所见即所得 交互式建模（DSW）

神经元模型 2.2 优化方法 2.3 线性模型实战 2.4 线性回归 2.5 参考文献 第 3 章 分类问题 3.1 手写数字图片数据集 3.2 模型构建 3.3 误差计算 3.4 真的解决了吗 3.5 非线性模型 3.6 表达能力 3.7 优化方法 3.8 手写数字图片识别体验 3.9 小结 3.10 参考文献 第 4 章 PyTorch MNIST 测试实战 5.9 参考文献 第 6 章 神经网络 6.1 感知机 6.2 全连接层 6.3 神经网络 6.4 激活函数 6.5 输出层设计 6.6 误差计算 6.7 神经网络类型 6.8 油耗预测实战 6.9 参考文献 第 7 章 反向传播算法 7.1 导数与梯度 7.2 导数常见性质 7.3 激活函数导数 7.4 预览版202112 人工智能绪论 我们需要的是一台可以从经验中学习的机器。 −阿兰·图灵 1.1 人工智能 信息技术是人类历史上的第三次工业革命，计算机、互联网、智能家居等技术的普及 极大地方便了人们的日常生活。通过编程的方式，人类可以将提前设计好的交互逻辑交给 机器重复且快速地执行，从而将人类从简单枯燥的重复劳动工作中解脱出来。但是对于需 要

矩阵乘法视为一组向量-向量乘积。 从定义中可以得出：最明显的观点是 的 ， 元素等于 的第 行和 的的 列的内积。如下面的公式所示： 这里的 ， ， ， ， 这里的 ， ， ， ，所以它们可以计算内积。 我们用通常用行表示 而用列表示 。 或者，我们可以用列表 示 ，用行表示 ，这时 是求外积的和。公式如下： 换句话说， 等于所有的 的第 列和 第 行的外积的和。因此，在这种情况下， 和 也就是说，如果： 对于某些标量值 ，要么向量 是线性相关的; 否则，向量是线性无关的。 例如，向量： 是线性相关的，因为： 。 矩阵 的列秩是构成线性无关集合的 的最大列子集的大小。 由于术语的多样性，这通常简称 为 的线性无关列的数量。同样，行秩是构成线性无关集合的 的最大行数。 对于任何矩阵 ，事实证明 的列秩等于 的行秩（尽管我们不会证明这一点），因此两个量统称为 的秩，用 表示。 的“体积”的度量。 比方说：一个 的矩阵(4)： 它的矩阵的行是： 对应于这些行对应的集合 如图1所示。对于二维矩阵， 通常具有平行四边形的形状。 在我们的例子 中，行列式的值是 （可以使用本节后面显示的公式计算），因此平行四边形的面积为7。（请 自己验证！） 在三维中，集合 对应于一个称为平行六面体的对象（一个有倾斜边的三维框，这样每个面都有一个平 行四边形）。行定义 的 矩阵S的行列式的绝对值给出了平行六面体的三维体积。在更高的维度

. . . . . . . . . . . . . . . . 71 2.5.3 分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 . . . . . . . . . . . . . . . . . . . . . . . 前向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162 4.7.1 前向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 163 4.7.2 前向传播计算图 . . . 10.8 提交Kaggle预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 188 5 深度学习计算 191 5.1 层和块 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

超大规模深度学习在美团的应用 余建平 美团点评用户平台研究员 自我介绍 自我介绍 2011年硕士毕业于南京大学计算机科学与技术系。毕业后曾在百度凤巢从事机器学习 工程相关的工作，加入美团后，负责超大规模机器学习系统，从无到有搭建起支持千亿 级别规模的深度学习系统，与推荐、搜索、广告业务深度合作，在算法上提供从召回到 排序的全系统优化方案，在工程上提供离线、近线、在线的全流程解决方案。 更快数据反馈、更少资源消耗  分钟级的数据反馈  增量训练、避免batch重训带来的资源消耗 关于Online Learning MLX的模型能力 • 支持千亿级特征、千亿级样本 • 支持计算图模式，模型结构灵活多样  支持推荐、搜索、广告场景常用的深度学习模型  FTRL、FM、FFM、WDL、DCN、DeepFM、MTL等 • Optimizer  FTRL、AdaGr • Loss Function  LogLoss、SquareLoss、Cross Entropy、etc • 评估指标  AUC、Loss、MAE、RMSE  支持外部eval工具，计算MAP、NDCG MLX的模型能力 • 提供离线、近线、在线全流程解决方案，各阶段提供扩展方案，降低算法迭代成本； • 支持Online Learning，提供从近线到在线的模型数据通路； •

智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 框架之一。 Pytorch 发展至今，其版本跟功能几经迭代，针对不同的场景 任务分裂出不同的分支扩展库，比如针对自然语言处理（NLP） 的 torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaudio，这些库支持快速模型训练与演示应用，可以 帮助开发者快速搭建原型演示。此外在移动端支持、模型部署 的压缩、量化、服务器端云化部署、推理端 if、else、while、for 等关键字， 而在深度学习框架中编程模式主要是基于计算图、张量数据、 自动微分、优化器等组件构成。面向对象编程运行的结果是交 互式可视化的，而深度学习通过训练模型生成模型文件，然后 再使用模型预测，本质数据流图的方式工作。所以学习深度学 习首先必须厘清深度学习编程中计算图、张量数据、自动微分、 优化器这些基本术语概念，下面分别解释如下： ● 张量 张量是深度学习编程框架中需要理解最重要的一个概念，张量 的本质是数据，在深度学习框架中一切的数据都可以看成张量。 深度学习中的计算图是以张量数据为输入，通过算子运算，实 现对整个计算图参数的评估优化。但是到底什么是张量？可以 看下面这张图： 图 1-3（张量表示） PyTorch + OpenVINO 开发实战系列教程 第一篇 5 上图 1-3 中标量、向量、数组、3D、4D、5D

深度学习与机器学习、人工智能的关系 人工智能：机器展现的人类智能 机器学习：计算机利用已有的数 据(经验)，得出了某种模型，并利 用此模型预测未来的一种方法。 深度学习：实现机器学习的一种 技术 5 杨立昆（Yann LeCun） 杰弗里·欣顿（Geoffrey Hinton） 本吉奥（ Bengio ） 共同获得了2018年计算机科学的最高奖项 ——ACM图灵奖。 深度学习界的执牛耳者 Andrew 李航, 现任字节跳动科技有限公司人 工智能实验室总监，北京大学、南京 大学客座教授，IEEE 会士，ACM 杰 出科学家，CCF 高级会员。 代表作：《统计学习方法》 国内泰斗 周志华，南京大学计算机科学与技 术系主任 、人工智能学院院长。 代表作：《机器学习》（西瓜书） 7 陈天奇,陈天奇是机器学习领域著名的青 年华人学者之一，本科毕业于上海交通 大学ACM班，博士毕业于华盛顿大学计 算机系。 市值/估值/融资额 1 Microsoft（微软） 计算机视觉技术、自然语言处理技术 等 办公 美国 1975年 上市 市值1.21万亿美元 2 Google（谷歌） 计算机视觉技术、自然语言处理技术 等 综合 美国 1998年 上市 市值9324亿美元 3 Facebook（脸书） 人脸识别、深度学习等 社交 美国 2004年 上市 市值5934亿美元 4 百度 计算机视觉技术、自然语言处理技 术 、知识图谱等

二维矩阵乘法 torch.mm() torch.mm(mat1, mat2, out=None) 其中???1 ∈ ℝ?×?,???2 ∈ ℝ?×?, 输出的??? ∈ ℝ?×? 该函数一般只用来计算两个二维矩阵的矩阵乘法，并且不支持 broadcast操作。 12 1.Tensor张量乘法 2. 三维带batch的矩阵乘法 torch.bmm() 由于神经网络训练一般采用mini-batch，经常输入的时 torch.matmul(input, other, out=None) 支持broadcast操作，使用起来比较复杂。针对多维数据matmul() 乘法，可以认为该乘 法使用使用两个参数的后两个维度来计算，其他的维度都可以认为是batch维度。 假设两个输入的维度分别是input(1000×500×99×11), other(500×11×99)那么我 们可以认为torch.matmul(input 算 图 具体实例可参考书中2.7小节内容 2. Autograd自动求导 18 18  PyTorch 1.x的Tensor不参与求导的几种方式 张量操作 新建/共享内存 留在计算图中 使用场景 tensor.clone() 新建 是 (即tensor与tensor.clone() 的 requires_grad一致） 常用在神经网络中某个单元需要 重复使用，但不参与求导的场景