ai4。当对本书的任何一节有疑问时，请在每一节的末 尾找到相关的讨论页链接。 致谢 感谢中英文草稿的数百位撰稿人。他们帮助改进了内容并提供了宝贵的反馈。感谢Anirudh Dagar和唐源将 部分较早版本的MXNet实现分别改编为PyTorch和TensorFlow实现。感谢百度团队将较新的PyTorch实现改 编为PaddlePaddle实现。感谢张帅将更新的LaTeX样式集成进PDF文件的编译。 特别 的流行 工具，而MNIST数据集的60000个手写数字的数据集被认为是巨大的。考虑到数据和计算的稀缺性，核方法 （kernel method）、决策树（decision tree）和图模型（graph models）等强大的统计工具（在经验上）证明 是更为优越的。与神经网络不同的是，这些算法不需要数周的训练，而且有很强的理论依据，可以提供可预 测的结果。 1.5 深度学习的发展 大约2 （通常通过其高级API Keras27使用）、CNTK28、Caffe 229和Apache MXNet30所取代。第三代工具，即用 于深度学习的命令式工具，可以说是由Chainer31率先推出的，它使用类似于Python NumPy的语法来 描述模型。这个想法被PyTorch32、MXNet的Gluon API33和Jax34都采纳了。 “系统研究人员构建更好的工具”和“统计建模人员构

methodologies. Deep learning is supported by various libraries such as Theano, TensorFlow, Caffe, Mxnet etc., Keras is one of the most powerful and easy to use python library, which is built on top of one. TensorFlow TensorFlow is an open source machine learning library used for numerical computational tasks developed by Google. Keras is a high level API built on top of TensorFlow or Theano. We three important layers:  Convolution layer: It is the primary building block and perform computational tasks based on convolution function.  Pooling layer: It is arranged next to convolution layer

对话引擎 Rekognition 图像分析 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 为客户模型定制的 深度学习框架 人工智能 的托管的 API服务 Amazon AI: 新的深度学习服务 Polly Lex Rekognition 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch Torch 控制力 可用性& 简易性 一键获得的GPU 加速的深度学习 AWS 深度学习AMI 高达 ~40k CUDA cores MXNet TensorFlow Theano Caffe Torch 预配置的 CUDA 驱动 Anaconda, Python3 + CloudFormation 模版 + 容器镜像文件 全新的 EC2 P2 实例 | 高达16 块 GPUs ▪ GiB 20 Gigabit 深度学习框架 – MXNet 概述 MXNet • 节省以及资源效率 • 工程中廉价的GPUs、较小的内存以及网络的限制 • 速度 • 线性的扩展能力 • 简单 • 混合了声明式（declarative）和命令式()代码的特点 为什么选择 MXNet ？ MXNet: 可扩展的深度学习框架 MXNet 框架的特点 命令式 NDArray API

模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow Data Clean Iterative training Semi-supervised Labeling Incremental training Data Data Augment Model comparison Model Fusion Gray Update Auto Evaluation Log Server Graph Abstraction Data Flow API Manager Pipeline AVA 弹性深度学习平 台 L1 L2 L3 L4 L5 原子API 基础模型 感知层1 API

深度学习在搜狗搜索广告的一些应用 方向 用途 相关技术 图像理解 图片物料推荐 CNN 文本相关性 广告召回、创意生成 Word2Vec、CSR、LSTM CTR预估 广告排序、特征挖掘 DNN、MxNet、TensorFlow 基于多模型融合的CTR预估 CTR预估流程 原始数据 领域特征 模型训练 查询日志 点击日志 查询特征 广告特征 匹配特征 线性模型 非线性模型 Data Parameter Server 线性(LR) 非线性(GBDT) 深度(DNN) 实时(FTRL) 特征 训练数据 融合模型 Bagging 级联 特征设计 特征选择 特征组合 MxNet TensorFlow Wide&Deep 去噪 特征自动组合 (FM) 特征设计 离散特征 离散特征 容易设计；刻画细致；特 征稀疏； 特征量巨大；模型复杂度 受限 连续特征 AUC 上线收益 是否一致？ Survival Bias 特征覆盖率 并行化训练 并行化训练 诉求  加大数据量，提 升模型稳定性  加大数据量，提 升模型收益 方案  MxNet支持多机 多卡, 使用成本低  构 建 多 机 多 卡 GPU集群，优化 训练效率，提高 加速比 现状和计划 现状  已经实现LR+DNN融合模型的上线，收益较好  受限于线上计算资源，模型复杂度有限

再将它载入另一种后端中（比 如为了发布）。支持的后端有： • 谷歌的 TensorFlow 后端 • 微软的 CNTK 后端 • Theano 后端 亚马逊也正在为 Keras 开发 MXNet 后端。 如此一来，你的 Keras 模型可以在 CPU 之外的不同硬件平台上训练： • NVIDIA GPU。 • Google TPU，通过 TensorFlow 后端和 Google Cloud。 Keras 的开发主要由谷歌支持，Keras API 以 tf.keras 的形式包装在 TensorFlow 中。此外， 微软维护着 Keras 的 CNTK 后端。亚马逊 AWS 正在开发 MXNet 支持。其他提供支持的公司包 括 NVIDIA、优步、苹果（通过 CoreML）等。 快速开始 8 3 快速开始 3.1 Sequential 顺序模型指引 3.1.1 开始使用 Keras tensorflow.org/api_docs/python/tf/set_random_seed tf.set_random_seed(1234) sess = tf.Session(graph=tf.get_default_graph(), config=session_conf) K.set_session(sess) # 剩余代码 ... 3.3.21 如何在 Keras 中安装 HDF5 或 h5py

7%的团队之一! SACC2017 输入输出固定，无状态 计算量大、响应->GPU 传输、存储压力 多任务串联 GPU服务框架-图像特点 通用计算（Caffe/Tensorflow/Mxnet） SACC2017 GPU服务框架 人形检测 人脸识别 100台-> 10台服务器 300QPS/台（4*k40） 轮询结果 SACC2017 SACC2017

(and advantages) • Preview of Numpy & PyTorch & Tensorflow Numpy Tensorflow PyTorch Computation Graph Advantages (continued) • Which one do you think is better? Advantages (continued) • Which one • It can be considered as NumPy extension to GPUs. • Computational graphs − PyTorch provides an excellent platform which offers dynamic computational graphs. Thus a user can change them during runtime. • Visualization Tools like • TensorboardX (monitor training) • PyTorchViz (visualise computation graph) • Various other functions • loss (MSE,CE etc..) • optimizers Prepare Input Data •Load data •Iterate

accelerates widely-used deep learning frameworks such as PyTorch. PyTorch is a GPU-accelerated tensor computational framework with a Python front end. Functionality can be easily extended with common Python libraries multi-gpu, and multi-node support. Functions are executed immediately instead of enqueued in a static graph, improving ease of use and provides a sophisticated debugging experience. In the container, see /workspace/README GEMMs and convolutions with FP16 inputs can run on Tensor Cores, which provide an 8X increase in computational throughput over FP32 arithmetic. APEX AMP is included to support models that currently rely on

and beer) Medical information mining (e.g. migraines to calcium channel blockers to magnesium) Computational studies of learning may help us understand learning in humans and other biological organisms interesting aspects of the data Examples: Discovering clusters Discovering latent factor Discovering graph structure Matrix completion Feng Li (SDU) Overview September 6, 2023 28 / 57 Unsupervised Learning: Discovering Graph Structures Sometimes we measure a set of correlated variables, and we would like to discover which ones are most correlated with which others This can be represented by a graph, in which