绝赞招聘中 TVM CAFFE 前端 2019·11·16绝赞招聘中 TVM 在平头哥 • 工具链产品 平头哥芯片平台发布的配套软件中， TVM 是工具链产品的重要组成部分： 负责将预训练好的 caffe 或者 tensorflow 的模型，转换到 LLVM IR，最后生成可以在无剑 SoC 平台上 执行的二进制。绝赞招聘中 为何添加 caffe 前端？ 客户需求 评估 评估阶段：客户用于评估芯片的网络，caffe 模型占很大比重。 竞品已支持 caffe 前端 当前各大芯片厂商的部署工具大多数都支持，支持 caffe 前端有利于提高竞争力。 开源社区 存量的开源 caffe 网络模型众多，TVM 直接支持 caffe 让大家更方便尝试 caffe 资源。绝赞招聘中 当前进度 无 caffe 依赖 from_caffe 直接导入 caffe 模型文件，不需要预先安装 模型文件，不需要预先安装 caffe 。 net 已测试网络：alexnet / densenet121 / inception v1 / inception v3 / inception v4 / mobilenet v1 / mobilenet v2 / resnet50 / squeezenet v1 / vgg16 / ssd / fcn-8s op 已测试 op：innerproduct / conv2d

RN-08516-001_v23.07 | 140 Known Issues ‣ Starting in 22.02 the PyTorch container does not build Caffe2 anymore. If scripted models were exported in the legacy format (using our 19.09 or previous NGC containers Neural Network library ™ (cuDNN) 7.4.2 ‣ NCCL 2.3.7 (optimized for NVLink ™ ) ‣ OpenMPI 3.1.3 ‣ Caffe2 ‣ TensorRT 5.0.2 ‣ DALI 0.6 Beta ‣ Tensor Core optimized examples: ‣ Neural Collaborative Filtering Network library ™ (cuDNN) 7.4.1 ‣ NCCL 2.3.7 (optimized for NVLink ™ ) ‣ APEx ‣ OpenMPI 3.1.2 ‣ Caffe2 ‣ TensorRT 5.0.2 ‣ DALI 0.5.0 Beta ‣ Tensor Core Optimized Examples: ‣ ResNet50 v1.5 ‣ GNMT

深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 为客户模型定制的 深度学习框架 人工智能 的托管的 API服务 Amazon AI: 新的深度学习服务 Polly Lex Rekognition 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 控制力 可用性& 简易性 一键获得的GPU 加速的深度学习 加速的深度学习 AWS 深度学习AMI 高达 ~40k CUDA cores MXNet TensorFlow Theano Caffe Torch 预配置的 CUDA 驱动 Anaconda, Python3 + CloudFormation 模版 + 容器镜像文件 全新的 EC2 P2 实例 | 高达16 块 GPUs ▪ 这款新实例类型包含了高达 8个 NVIDIA Tesla

引 发学术界的追捧热潮，成为深度学习研究者与爱好者的首选开 发工具。在 pytorch 发布之后两年的 2018 年 facebook 又把 caffe2 项目整合到 pytorch 框架中，这样 pytorch 就进一步 整合原来 caffe 开发者生态社区，因为其开发效率高、特别容 易构建各种复杂的深度学习模型网络，因此很快得到大量人工 智能开发者的认可与追捧，也成为工业界最受欢迎的深度学习 列出了跟本书内容关联密切必须掌握的一些模块功能，希望读 者可以更好的针对性学习，掌握这些知识。 1.1.3 Pytorch 框架现状与趋势 Pytorch 是深度学习框架的后起之秀，它参考了市场上早期框 架包括 torch、caffe、tensorflow 的经验教训，从一开始设 PyTorch + OpenVINO 开发实战系列教程 第一篇 3 计就特别注重开发者体验与生产效率提升，一经发布就引发追 捧热潮，可以说“出道即巅峰”。Pytorch

Pod RAM/SSD/HDD fuse TensorFlow TensorFlow Alluxio Master Pod Pod MXNet MXNet Pod Pod Caffe Caffe oss 阿里云 对象存储 statefulset daemonset 一键式部署Alluxio，中心化配置集群参数 $ cat << EOF > config.yaml properties:

Torch ▪ 2002年 Torch ▪ 2011年 Torch7 ▪ Lua PyTorch ▪ 2016.10 发布0.1，THNN后端 ▪ 2018.12 发布1.0 ， CAFFE2后端 ▪ 2019.5 发布1.1 ▪ Facebook AI Research 同类框架 https://towardsdatascience.com/battle-of-the-d

模型 模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow Data Clean Iterative training Semi-supervised Labeling Incremental training

最早在人脸标准库上LFW达到99.7%的团队之一! SACC2017 输入输出固定，无状态 计算量大、响应->GPU 传输、存储压力 多任务串联 GPU服务框架-图像特点 通用计算（Caffe/Tensorflow/Mxnet） SACC2017 GPU服务框架 人形检测 人脸识别 100台-> 10台服务器 300QPS/台（4*k40） 轮询结果 SACC2017 SACC2017

com/Xilinx/AI-Model-Zoo (embedded i.e. ZC104/Ultra96) https://github.com/Xilinx/ml-suite/blob/master/examples/caffe/Benchmark_README.md Two measurements we track: Latency & Throughput ˃ ML pipeline contains multiple

Theano (University of Montreal, ~2010), 学院派 Kersa, “Deep Learning library for Theano and TensorFlow” Caffe (Berkeley)，卷积神经网络,贾扬清 TensorFlow (Google) Spark MLLib 深度学习中的开发框架框架 THEANO 学院派血统,Montreal University