(Vasia) Kalavri
 vkalavri@bu.edu Spring 2020 4/28: Graph Streaming ??? Vasiliki Kalavri | Boston University 2020 Modeling the world as a graph 2 Social networks friend follows The web Actor-movie results for the search term “graph” ??? Vasiliki Kalavri | Boston University 2020 Basics 1 5 4 3 2 “node” or “vertex” “edge” 1 5 4 3 2 undirected graph directed graph 4 ??? Vasiliki Kalavri Kalavri | Boston University 2020 Graph streams Graph streams model interactions as events that update an underlying graph structure 5 Edge events: A purchase, a movie rating, a like on an online post

ai4。当对本书的任何一节有疑问时，请在每一节的末 尾找到相关的讨论页链接。 致谢 感谢中英文草稿的数百位撰稿人。他们帮助改进了内容并提供了宝贵的反馈。感谢Anirudh Dagar和唐源将 部分较早版本的MXNet实现分别改编为PyTorch和TensorFlow实现。感谢百度团队将较新的PyTorch实现改 编为PaddlePaddle实现。感谢张帅将更新的LaTeX样式集成进PDF文件的编译。 特别 的流行 工具，而MNIST数据集的60000个手写数字的数据集被认为是巨大的。考虑到数据和计算的稀缺性，核方法 （kernel method）、决策树（decision tree）和图模型（graph models）等强大的统计工具（在经验上）证明 是更为优越的。与神经网络不同的是，这些算法不需要数周的训练，而且有很强的理论依据，可以提供可预 测的结果。 1.5 深度学习的发展 大约2 （通常通过其高级API Keras27使用）、CNTK28、Caffe 229和Apache MXNet30所取代。第三代工具，即用 于深度学习的命令式工具，可以说是由Chainer31率先推出的，它使用类似于Python NumPy的语法来 描述模型。这个想法被PyTorch32、MXNet的Gluon API33和Jax34都采纳了。 “系统研究人员构建更好的工具”和“统计建模人员构

methodologies. Deep learning is supported by various libraries such as Theano, TensorFlow, Caffe, Mxnet etc., Keras is one of the most powerful and easy to use python library, which is built on top of one. TensorFlow TensorFlow is an open source machine learning library used for numerical computational tasks developed by Google. Keras is a high level API built on top of TensorFlow or Theano. We three important layers:  Convolution layer: It is the primary building block and perform computational tasks based on convolution function.  Pooling layer: It is arranged next to convolution layer

对话引擎 Rekognition 图像分析 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 为客户模型定制的 深度学习框架 人工智能 的托管的 API服务 Amazon AI: 新的深度学习服务 Polly Lex Rekognition 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch Torch 控制力 可用性& 简易性 一键获得的GPU 加速的深度学习 AWS 深度学习AMI 高达 ~40k CUDA cores MXNet TensorFlow Theano Caffe Torch 预配置的 CUDA 驱动 Anaconda, Python3 + CloudFormation 模版 + 容器镜像文件 全新的 EC2 P2 实例 | 高达16 块 GPUs ▪ GiB 20 Gigabit 深度学习框架 – MXNet 概述 MXNet • 节省以及资源效率 • 工程中廉价的GPUs、较小的内存以及网络的限制 • 速度 • 线性的扩展能力 • 简单 • 混合了声明式（declarative）和命令式()代码的特点 为什么选择 MXNet ？ MXNet: 可扩展的深度学习框架 MXNet 框架的特点 命令式 NDArray API

模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow Data Clean Iterative training Semi-supervised Labeling Incremental training Data Data Augment Model comparison Model Fusion Gray Update Auto Evaluation Log Server Graph Abstraction Data Flow API Manager Pipeline AVA 弹性深度学习平 台 L1 L2 L3 L4 L5 原子API 基础模型 感知层1 API

深度学习在搜狗搜索广告的一些应用 方向 用途 相关技术 图像理解 图片物料推荐 CNN 文本相关性 广告召回、创意生成 Word2Vec、CSR、LSTM CTR预估 广告排序、特征挖掘 DNN、MxNet、TensorFlow 基于多模型融合的CTR预估 CTR预估流程 原始数据 领域特征 模型训练 查询日志 点击日志 查询特征 广告特征 匹配特征 线性模型 非线性模型 Data Parameter Server 线性(LR) 非线性(GBDT) 深度(DNN) 实时(FTRL) 特征 训练数据 融合模型 Bagging 级联 特征设计 特征选择 特征组合 MxNet TensorFlow Wide&Deep 去噪 特征自动组合 (FM) 特征设计 离散特征 离散特征 容易设计；刻画细致；特 征稀疏； 特征量巨大；模型复杂度 受限 连续特征 AUC 上线收益 是否一致？ Survival Bias 特征覆盖率 并行化训练 并行化训练 诉求  加大数据量，提 升模型稳定性  加大数据量，提 升模型收益 方案  MxNet支持多机 多卡, 使用成本低  构 建 多 机 多 卡 GPU集群，优化 训练效率，提高 加速比 现状和计划 现状  已经实现LR+DNN融合模型的上线，收益较好  受限于线上计算资源，模型复杂度有限

K8S node Alluxio Worker Pod RAM/SSD/HDD fuse TensorFlow TensorFlow Alluxio Master Pod Pod MXNet MXNet Pod Pod Caffe Caffe oss 阿里云 对象存储 statefulset daemonset 一键式部署Alluxio，中心化配置集群参数 $ cat <<

再将它载入另一种后端中（比 如为了发布）。支持的后端有： • 谷歌的 TensorFlow 后端 • 微软的 CNTK 后端 • Theano 后端 亚马逊也正在为 Keras 开发 MXNet 后端。 如此一来，你的 Keras 模型可以在 CPU 之外的不同硬件平台上训练： • NVIDIA GPU。 • Google TPU，通过 TensorFlow 后端和 Google Cloud。 Keras 的开发主要由谷歌支持，Keras API 以 tf.keras 的形式包装在 TensorFlow 中。此外， 微软维护着 Keras 的 CNTK 后端。亚马逊 AWS 正在开发 MXNet 支持。其他提供支持的公司包 括 NVIDIA、优步、苹果（通过 CoreML）等。 快速开始 8 3 快速开始 3.1 Sequential 顺序模型指引 3.1.1 开始使用 Keras tensorflow.org/api_docs/python/tf/set_random_seed tf.set_random_seed(1234) sess = tf.Session(graph=tf.get_default_graph(), config=session_conf) K.set_session(sess) # 剩余代码 ... 3.3.21 如何在 Keras 中安装 HDF5 或 h5py

of training jobs • TFJob – custom resource to handle drivers and config • Tensorflow, PyTorch, MXNet, Chainer, and more • JupyterHub to create and manage interactive Jupyter notebooks • Model serving

7%的团队之一! SACC2017 输入输出固定，无状态 计算量大、响应->GPU 传输、存储压力 多任务串联 GPU服务框架-图像特点 通用计算（Caffe/Tensorflow/Mxnet） SACC2017 GPU服务框架 人形检测 人脸识别 100台-> 10台服务器 300QPS/台（4*k40） 轮询结果 SACC2017 SACC2017