RN-08516-001_v23.07 | 140 Known Issues ‣ Starting in 22.02 the PyTorch container does not build Caffe2 anymore. If scripted models were exported in the legacy format (using our 19.09 or previous NGC containers Neural Network library ™ (cuDNN) 7.4.2 ‣ NCCL 2.3.7 (optimized for NVLink ™ ) ‣ OpenMPI 3.1.3 ‣ Caffe2 ‣ TensorRT 5.0.2 ‣ DALI 0.6 Beta ‣ Tensor Core optimized examples: ‣ Neural Collaborative Filtering Network library ™ (cuDNN) 7.4.1 ‣ NCCL 2.3.7 (optimized for NVLink ™ ) ‣ APEx ‣ OpenMPI 3.1.2 ‣ Caffe2 ‣ TensorRT 5.0.2 ‣ DALI 0.5.0 Beta ‣ Tensor Core Optimized Examples: ‣ ResNet50 v1.5 ‣ GNMT

深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 为客户模型定制的 深度学习框架 人工智能 的托管的 API服务 Amazon AI: 新的深度学习服务 Polly Lex Rekognition 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 控制力 可用性& 简易性 一键获得的GPU 加速的深度学习 加速的深度学习 AWS 深度学习AMI 高达 ~40k CUDA cores MXNet TensorFlow Theano Caffe Torch 预配置的 CUDA 驱动 Anaconda, Python3 + CloudFormation 模版 + 容器镜像文件 全新的 EC2 P2 实例 | 高达16 块 GPUs ▪ 这款新实例类型包含了高达 8个 NVIDIA Tesla

引 发学术界的追捧热潮，成为深度学习研究者与爱好者的首选开 发工具。在 pytorch 发布之后两年的 2018 年 facebook 又把 caffe2 项目整合到 pytorch 框架中，这样 pytorch 就进一步 整合原来 caffe 开发者生态社区，因为其开发效率高、特别容 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 列出了跟本书内容关联密切必须掌握的一些模块功能，希望读 者可以更好的针对性学习，掌握这些知识。 1.1.3 Pytorch 框架现状与趋势 Pytorch 是深度学习框架的后起之秀，它参考了市场上早期框 架包括 torch、caffe、tensorflow 的经验教训，从一开始设 PyTorch + OpenVINO 开发实战系列教程 第一篇 3 计就特别注重开发者体验与生产效率提升，一经发布就引发追 捧热潮，可以说“出道即巅峰”。Pytorch

Pod RAM/SSD/HDD fuse TensorFlow TensorFlow Alluxio Master Pod Pod MXNet MXNet Pod Pod Caffe Caffe oss 阿里云 对象存储 statefulset daemonset 一键式部署Alluxio，中心化配置集群参数 $ cat << EOF > config.yaml properties:

Torch ▪ 2002年 Torch ▪ 2011年 Torch7 ▪ Lua PyTorch ▪ 2016.10 发布0.1，THNN后端 ▪ 2018.12 发布1.0 ， CAFFE2后端 ▪ 2019.5 发布1.1 ▪ Facebook AI Research 同类框架 https://towardsdatascience.com/battle-of-the-d

模型 模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow Data Clean Iterative training Semi-supervised Labeling Incremental training

最早在人脸标准库上LFW达到99.7%的团队之一! SACC2017 输入输出固定，无状态 计算量大、响应->GPU 传输、存储压力 多任务串联 GPU服务框架-图像特点 通用计算（Caffe/Tensorflow/Mxnet） SACC2017 GPU服务框架 人形检测 人脸识别 100台-> 10台服务器 300QPS/台（4*k40） 轮询结果 SACC2017 SACC2017

Native_time (seconds) GaiaGPU_ti me (seconds) Difference (%) Tensorflow 47.82 47.88 0.13 Caffe 22.47 22.50 0.15 PyTorch 69.33 69.64 0.44 CNTK 7.39 7.41 0.27 Number of vGPUs 1 2 3

推理优化 ML Frameworks ML Service (PaaS) AI Service (SaaS) 机器学习框架(PAI-TensorFlow/PAI-PyTorch/Caffe /Alink/…) 计算引擎(MaxCompute / EMR / Flink) 基础硬件（CPU/GPU/FPGA/NPU） 阿里云容器服务(ACK) • 200+组件 • 数十个场景化模版

2 平台架构 计算 机器学习平台 Feed排序 推荐流 文本分类/检测 Hadoop/Spark 集群 数据仓库集群 高性能GPU集群 Hdfs/Odps TensorFlow /Caffe 图像/视频分类 阿里云计算集群 实时计算集群 业务 Storm/Flink Yarn/K8s …… …… …… 调度 Docker 存储 PS/WeiPS 基础/IDE（WeiIDE）