. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 537 12.7 参数服务器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 12.7.1 . . . . . . . . . . . . . . . . . 758 16.4 选择服务器和GPU . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 758 16.4.1 选择服务器 . . . . . . . . . . . . . . . . . . . . . . . . tensor(A) type(A), type(B) (numpy.ndarray, torch.Tensor) 要将大小为1的张量转换为Python标量，我们可以调用item函数或Python的内置函数。 a = torch.tensor([3.5]) a, a.item(), float(a), int(a) (tensor([3.5000]), 3.5, 3.5, 3) 小结 •

Uber, Yelp, Instacart, Zocdoc, Square 等众多网站上使用。它尤其受以深度学习作为产品核心的创业公司的欢迎。 Keras 也是深度学习研究人员的最爱，在上载到预印本服务器 arXiv.org 的科学论文中被提 及的次数位居第二。Keras 还被大型科学组织的研究人员采用，特别是 CERN 和 NASA。 2.3 Keras 可以轻松将模型转化为产品 与任何其他深度学习框架相比，你的 • 在 Raspberry Pi 树莓派上。 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 你的 Keras 模型可以基于不同的深度学习后端开发。重要的是，任何仅利用内置层构建的 Keras 模型，都可以在所有这些后端中移植：用一种后端训练模型，再将它载入另一种后端中（比 如为了发布）。支持的后端有： • 谷歌的 TensorFlow 后端 • 微软的 CNTK Google Cloud。 • OpenGL 支持的 GPU, 比如 AMD, 通过 PlaidML Keras 后端。 2.5 Keras 拥有强大的多 GPU 和分布式训练支持 • Keras 内置对多 GPU 数据并行的支持。 • 优步的 Horovod 对 Keras 模型有第一流的支持。 • Keras 模型可以被转换为 TensorFlow 估计器并在 Google Cloud 的

torchtext、针对计算机视觉的 torchvision、针对语音处理 的 torchaudio，这些库支持快速模型训练与演示应用，可以 帮助开发者快速搭建原型演示。此外在移动端支持、模型部署 的压缩、量化、服务器端云化部署、推理端 SDK 支持等方面 Pytorch 也在不断的演化改进。 在操作系统与 SDK 支持方面，Pytorch 从最初的单纯支持 Python 语言到如今支持 Python/C++/Java 构建神经网络（计算图）模型之后，一般都是通 过反向传播进行训练，使用反向传播算法对神经网络中每个参 数根据损失函数功能根据梯度进行参数值的调整。为了计算这 些梯度完成参数调整，深度学习框架中都会自带一个叫做自动 微分的内置模块，来自动计算神经网络模型训练时候的各个参 数梯度值并完成参数值更新，这种技术就是深度学习框架中的 自动微分。 1.4 Pytorch 基础操作 前面我们已经安装并验证好了 Pytorch

Origin 每加 仑燃 油英 里 气缸数 排量 马力 重量 加速度 型号 年份 产地 Auto MPG 数据集一共记录了 398 项数据，我们从 UCI 服务器下载并读取数据集到 DataFrame 对象中，代码如下： import tensorflow as tf from tensorflow import keras import pandas 4 自定义网络 尽管 Keras 提供了很多的常用网络层类，但深度学习可以使用的网络层远远不止这 些。科研工作者一般是自行实现了较为新颖的网络层，经过大量实验验证有效后，深度学 习框架才会跟进，内置对这些网络层的支持。因此掌握自定义网络层、网络的实现非常重 要。 对于需要创建自定义逻辑的网络层，可以通过自定义类来实现。在创建自定义网络层 类时，需要继承自 layers.Layer 基类；创建自定义的网络类时，需要继承自 # 测试网络的输出 x = tf.random.normal([4,224,224,3]) out = resnet(x) # 获得子网络的输出 out.shape 上述代码自动从服务器下载模型结构和在 ImageNet 数据集上预训练好的网络参数。通过设 置 include_top 参数为 False，可以选择去掉 ResNet50 最后一层，此时网络的输出特征图大 小为[?, 7

Serving PS Traing PS Traing Model System Predict Score Sample Data worker worker worker 3 在线机器学习-参数服务器 serving serving serving server server server server server worker worker worker PSscheduler PSserver HA Fault tolerance checkpoint Local HDFS Param Server System Model Serving System 3 在线机器学习-参数服务器 • 参数规模 • 支持百亿特征维度，千亿参数 • 模型版本 • 多模型多版本：多组实验并行执行，提高实验迭代效率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE OD），解决数据倾斜导致的流量热点瓶颈问题，性能提升2-5倍 • 存储优化：自定义存储方式(ByRow&ByKey)，基于row进行矩阵压缩存储，参数内存占用减少90% 3 在线机器学习-参数服务器 模型验证 离线训练 实时训练 模型训练 模型部署 在线服务 离线验证 在线发布 在线验证 在线一致性/ 模型稳定性/… 一键打包 端口探测 蓝绿部署/灰度发布 AUC/准确率/

n 峰值时会达到1500 QPS SACC2017 检测-人脸检测/人形检测 场景多样、人脸小、位置边缘 本页图片均来自公开摄像头 SACC2017 检测-人脸检测/人形检测 手机 服务器 可缩小尺寸 240P 720P CPU ARM（千元机） E5-2630 时间 50ms 120ms GPU 2-5ms(K40) SACC2017 图像技术的三个核心难点>>小、快、准 传输、存储压力 多任务串联 GPU服务框架-图像特点 通用计算（Caffe/Tensorflow/Mxnet） SACC2017 GPU服务框架 人形检测 人脸识别 100台-> 10台服务器 300QPS/台（4*k40） 轮询结果 SACC2017 SACC2017

mean() 换句话说位于某范围的时间序列中，开头的时间戳 包含在内，结尾的时间戳是不包含在内的。 45 降采样 降采样时间颗粒会变 大，数据量是减少的 。为了避免有些时间 戳对应的数据闲置， 可以利用内置方法聚 合数据。 2018-1-1 2018-2-1 2018-3-1 2018-4-1 2018-5-1 2018-6-1 2018-7-1 2018-1-1 2018-4-1

中key不能重复。 56 Python控制流 ⚫顺序结构 ⚫分支结构 ⚫循环结构 ⚫break、continue和pass ⚫列表生成式 57 Python函数 ⚫调用函数 调用内置函数 ⚫定义函数 def 函数名()： 函数内容 ⚫高阶函数 匿名函数：高阶函数传入函数时，不需要显式地定义函数，直接传入匿名函数更方便 （lambda函数）

中key不能重复。 57 Python控制流 ⚫顺序结构 ⚫分支结构 ⚫循环结构 ⚫break、continue和pass ⚫列表生成式 58 Python函数 ⚫调用函数 调用内置函数 ⚫定义函数 def 函数名()： 函数内容 ⚫高阶函数 匿名函数：高阶函数传入函数时，不需要显式地定义函数，直接传入匿名函数更方便 （lambda函数）

⼿动指定机器很繁琐� • 端⼝冲突� • 机器负载不均� TensorFlow使用现状及痛点 • ⼿动分发训练样本� • ⼿动拉取训练模型� TensorFlow使用现状及痛点 • 多⼈多服务器使用混乱，计算资源如何划分？� • 没有GPUs集群资源管理和调度（内存、CPU、GPU、 端⼝），集群资源负载不均� • 训练数据⼿动分发，训练模型⼿动保存� • 进程遗留问题，需要⼿动杀死�