构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 … Gray Update Auto Evaluation Log Server Graph Abstraction Data Flow API Manager Pipeline AVA 弹性深度学习平 台 L1 L2 L3 L4 L5 原子API 基础模型 感知层1 API 感知层2 API Vision 综合API 业务逻辑API Argus机器视觉系统 可自定义开发

෍ ?=1 ? (? ? −?)2 ? = 1 ? ෍ ?=1 ? ? ? 处理后的数据均值为0，方差为1 数据归一化的目的是使得各特征对 目标变量的影响一致，会将特征数 据进行伸缩变化，所以数据归一化 是会改变特征数据分布的。 数据标准化为了不同特征之间具备 可比性，经过标准化变换之后的特 征数据分布没有发生改变。 就是当数据特征取值范围或单位差异 较大时，最好是做一下标准化处理。 − ?) ⋅ σ?=1 ? ?? 2) 其中： • λ为正则化系数，调整正则化项与训练误 差的比例，λ>0。 • 1≥ρ≥0为比例系数，调整L1正则化与L2正 则化的比例。 正则化 （弹性网络） 28 L2正则化可以防止过拟合 正则化 L1正则化可以产生稀疏模型 图上面中的蓝色轮廓线是没有正则化损失函数的等高线，中心的蓝色点为最优解，左图、右图分别为L1、L2正则化给出的限制。

based 下游任务:  视频分类  视频打标签  推荐模型特征 解决方案: 小样本学习 小样本结构化模型 在线预测服务（EAS） • 一键部署 • 多模型 • 蓝绿部署 • 弹性扩缩 • 推理优化 ML Frameworks ML Service (PaaS) AI Service (SaaS) 机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe SaaS服务（OCR、语音识别、推荐系统、金融风控、疾病预测等） Infrastructure PAI平台（Platform of Artificial Intelligence） • 一键部署、弹性扩缩 • 多框架、多语言 • 推理优化Blade • 多维度监控+报警 • 自定义镜像 • 全托管+半托管 • 分布式训练优化 • 超大资源池 智能标注 可视化建模(Designer)

1 1 + ?−?) = ?(?)(1 − ? ? ) 7 3.激活函数 tanh函数 ? = ???ℎ(?) = ??−?−? ??+?−? tanh函数是sigmoid的向下平移和伸缩后的结果。对它进行了 变形后，穿过了(0,0)点，并且值域介于+1和-1之间。 tanh函数是总体上都优于sigmoid函数的激活函数。 2 ( ) 1 ( ( )) d d g z tanh z

෍ ?=1 ? (? ? −?)2 ? = 1 ? ෍ ?=1 ? ? ? 处理后的数据均值为0，方差为1 数据归一化的目的是使得各特征对 目标变量的影响一致，会将特征数 据进行伸缩变化，所以数据归一化 是会改变特征数据分布的。 数据标准化为了不同特征之间具备 可比性，经过标准化变换之后的特 征数据分布没有发生改变。 就是当数据特征取值范围或单位差异 较大时，最好是做一下标准化处理。

෍ ?=1 ? (? ? −?)2 ? = 1 ? ෍ ?=1 ? ? ? 处理后的数据均值为0，方差为1 数据归一化的目的是使得各特征对目标变 量的影响一致，会将特征数据进行伸缩变 化，所以数据归一化是会改变特征数据分 布的。 数据标准化为了不同特征之间具备可比性 ，经过标准化变换之后的特征数据分布没 有发生改变。 就是当数据特征取值范围或单位差异较大时 ，最好是做一下标准化处理。

海量存储 海量富媒体数据的业务布局 视觉智能 Vision Intelligence 数据智能 Data Intelligence 海量存储 ���� ���� ���� 弹性计算 ��� ��� 智能网络 API �� �� CDN ��� ������� ��� ����� ������ ��������� ������ ���API ���� ��+��

serve up -n qwen ./serve-72b.yaml 这将启动服务，使用多个副本部署在最经济的可用位置和加速器上。SkyServe 将自动管理这些副本，监控其 健康状况，根据负载进行自动伸缩，并在必要时重启它们。 将返回一个 endpoint，所有发送至该 endpoint 的请求都将被路由至就绪状态的副本。 2. 运行如下命令检查服务的状态： sky serve status qwen

中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速了解大多数现代深度学习应用背后的基本工具。 • 第三部分讨论可伸缩性、效率和应用程序。首先，在 11节 中，我们讨论了用于训练深度学习模型的几 种常用优化算法。下一章 12节 将探讨影响深度学习代码计算性能的几个关键因素。在 13节 中，我们展 示了深度学习在计算机视觉中的主要应用。在 场景布局的草图生成照片级真实图像（(Park et al., 2019) ）。 • 在许多情况下，单个GPU不足以处理可用于训练的大量数据。在过去的十年中，构建并行和分布式训练 算法的能力有了显著提高。设计可伸缩算法的关键挑战之一是深度学习优化的主力——随机梯度下降， 它依赖于相对较小的小批量数据来处理。同时，小批量限制了GPU的效率。因此，在1024个GPU上进行 34 1. 引言 训练，例如每批3 减和暂退法等正则化技术。我们还将讨 论数值稳定性和参数初始化相关的问题，这些问题是成功训练深度网络的关键。在本章的最后，我们将把所 介绍的内容应用到一个真实的案例：房价预测。关于模型计算性能、可伸缩性和效率相关的问题，我们将放 在后面的章节中讨论。 4.1 多层感知机 在 3节中，我们介绍了softmax回归（3.4节），然后我们从零开始实现了softmax回归（3.6节），接着使用高

ValueError: In case dim(x) == 1. 10.2.2 elu elu(x, alpha=1.0) 激活函数 ACTIVATIONS 144 10.2.3 selu selu(x) 可伸缩的指数线性单元 (Klambauer et al., 2017)。 Arguments • x: 一个用来用于计算激活函数的张量或变量。 Returns 与 x 具有相同类型及形状的张量。