构建基于富媒体大数据的弹性深度学 习计算平台 SPEAKER / 土土@七牛 AtLab Mobile —> 富媒体时代 数据存储 数据加速 数据处理 直播 点播 Connect 每天超过10亿图像上传 超过万亿小时的音视频存储 What are they？ 内容审核团队 运营分析团队 AI？ Content 分类 检测 分割 跟踪 描述 搜索 分析 … 描述：事件1-XXXX 事件2-XXXX 人物出现:id1, id2 场景二 … 用户行 为 用户数 据 推理结 果 推理服务 数据抽样 和整理 样本 训练 模型 模型评估 AVA深度学习平台 Caching IO Distributed System Docker Orchestration Storage HDFS SQL NoSQL Caffe MXNet Tensorflow Evaluation Log Server Graph Abstraction Data Flow API Manager Pipeline AVA 弹性深度学习平 台 L1 L2 L3 L4 L5 原子API 基础模型 感知层1 API 感知层2 API Vision 综合API 业务逻辑API Argus机器视觉系统 可自定义开发 Argus现有系统提供 Time to be

年，DeepMind 公司应用深度 神经网络到强化学习领域，提出了 DQN 算法，在 Atari 游戏平台中的 49 个游戏上取得了 与人类相当甚至超越人类的水平；在围棋领域，DeepMind 提出的 AlphaGo 和 AlphaGo Zero 智能程序相继打败人类顶级围棋专家李世石、柯洁等；在多智能体协作的 Dota2 游戏 平台，OpenAI 开发的 OpenAI Five 智能程序在受限游戏环境中打败了 TI8 到端地训 练，获得的模型性能好，适应性强；在 Atria 游戏平台上，DeepMind 设计的 DQN 算法模 型可以在相同的算法、模型结构和超参数的设定下，在 49 个游戏上获得人类相当的游戏水 平，呈现出一定程度的通用智能。图 1.14 是 DQN 算法的网络结构，它并不是针对于某个 游戏而设计的，而是可以控制 Atria 游戏平台上的 49 个游戏。 图 1.14 DQN 算法网络结构示意图 。 预览版202112 第 1 章 人工智能绪论 12 1.4.3 强化学习 虚拟游戏 相对于真实环境，虚拟游戏平台既可以训练、测试强化学习算法，又可以避 免无关因素干扰，同时也能将实验代价降到最低。目前常用的虚拟游戏平台有 OpenAI Gym、OpenAI Universe、OpenAI Roboschool、DeepMind OpenSpiel、MuJoCo

3 提交主要更改 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 764 16.6 d2l API 文档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767 16.6 些情况下，我们通常会提供两个版本的示例：一个是我们从零开始实现一切，仅依赖张量操作和自动微分； 另一个是更实际的示例，我们使用深度学习框架的高级API编写简洁的代码。一旦我们教了您一些组件是如 何工作的，我们就可以在随后的教程中使用高级API了。 内容和结构 全书大致可分为三个部分，在 图1 中用不同的颜色呈现： 目录 3 图1: 全书结构 • 第一部分包括基础知识和预备知识。1节 ine learning，ML）是一类强大的可 以从经验中学习的技术。通常采用观测数据或与环境交互的形式，机器学习算法会积累更多的经验，其性能 17 也会逐步提高。相反，对于刚刚所说的电子商务平台，如果它一直执行相同的业务逻辑，无论积累多少经验， 都不会自动提高，除非开发人员认识到问题并更新软件。本书将带读者开启机器学习之旅，并特别关注深度 学习（deep learning，DL）的基础

阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 Mobile SDK API + customer 示例: e-Know Your Customer eKYC eKYC Server eKYC SDK/API  多语言、国际化  多种证件版式  准确率领先同类产品  集成方便 标准化: Standard Solutions 智能推荐解决方案: 推荐请求 PAI-Studio–建模平台 召 回 模 型 EasyRec AB实验 实验工具 拉取配置 监控报警 Prometheus Grafana 读取metric 消息队列(datahub/kafka) PAI-REC平台 自动化降级 负载均衡 灰度发布 超时控制 平台支持 日志SLS 在线存储 Hologres/OTS BE Redis 读取数据 向量引擎 BE/Hologres/Faiss/Milvus 向量检索

微博在线机器学习和深度学习实践 黄波 @黄波_WB 资深技术专家 2019.5 目录 1.推荐篇 2.平台篇 3.总结篇 1 目录 • 推荐场景 • 推荐 • 在线机器学习 • 深度学习 • 平台背景 • 平台架构 • 平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • 视频推荐流 1 推荐场景 • 推荐 • 在特定场景下，根据用户行为和特点，向用户推荐感兴趣的对象集 • 模型： • 趋势 • 实时化：在线机器学习 • 深度化：深度学习 • 平台化：机器学习平台 2 推荐 • 实时化 • 特征实时化：更及时反馈用户行为，更细粒度刻画用户 • 模型实时化：根据线上样本实时训练模型，及时地反映对象的线上变化 模型推理 预测服务 实时特征 实时数据 PS：BSP/SSP/ASP多种通信模式支持 • MPI&RingAllreduce：Horovod，使用 MPI替换grpc，同步通信模式；带宽优化，增加延时； • PS&MPI：DistributionStrategy API，统一分布式语义，解耦分布式架构与模型训练框架 • 使用FP16通信，使用FP32做计算，带宽压力降低一倍 • IO优化 • 多线程样本并发读取，样本读取与计算PIPELINE，实现计算与IO的overlap

下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API 服务。 首先，确保你已经安装 vLLM>=0.3.0 ： pip install vllm 运行以下代码以构建 vllm 服务。此处我们以 Qwen1.5-7B-Chat 为例： python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen1.5-7B-Chat OpenAI's API key and API base to use vLLM's API server. openai_api_key = "EMPTY" openai_api_base = "http://localhost:8000/v1" client = OpenAI( (续下页) 1.2. 快速开始 5 Qwen (接上页) api_key=openai_api_key, b base_url=openai_api_base, ) chat_response = client.chat.completions.create( model="Qwen/Qwen1.5-7B-Chat", messages=[ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content":

on Yarn设计� Ø TensorFlow on Yarn技术细节揭秘� Ø 深度学习平台演进及SparkFlow介绍� 背景 坐标：360-系统部-⼤数据团队� 专业：Yarn、Spark、MR、HDFS …� 挑战：深度学习空前⽕爆，各种深度学习框架层出不穷，业务部门 拥抱新兴技术。平台怎么应对？� 机遇：Maybe 深度学习 + ⼤数据 � � TensorFlow使用现状及痛点 设备亲和性影响较大 TensorFlow on Yarn技术细节揭秘 Yarn支持GPU调度ResourceManager端实现：� 扩展org.apache.hadoop.yarn.api.records.Resource抽象类及其实现，增加：� � public abstract int getGpuCores();� � public abstract void setGpuCores(int 2 + 2 + 2 + 2 = 8� � � TensorFlow on Yarn技术细节揭秘 NodeManager端GPU亲和性调度：� 后序、递归、深度优先分配算法 深度学习平台演进 SparkFlow介绍 SparkFlow：360系统部⼤数据团队设计的TensorFlow on Spark解决⽅案� • Coordinator负责协调生成ClusterSpec（扩展的TensorFlow

Testing Vocab Sequence labeling Huawei tokenizer word2vec Elmo pb ckpt H5 (Keras) RESTful API RPC API Function test Concurrence test Security test Multi class Multi label preprocessor Traditional 9 0.95 人工标注 系统标注 效果：F1 未标注集合 ???????????? ???????????? 种子语料 机器学习模型 人工标注 15 华为云主动学习平台 16 华为云主动学习平台 17 1 2 4 3 分类 算法 简史 深度 学习 架构 难点 应用 案例 目录 18 情感分析 0.00% 20.00% 40.00% 60.00% 80

Release)、Beta 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 上支持向后兼容的版本；Beta 版本是基于用户反馈的改动版 本，可能有 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 Pytorch 的开发环境搭建十分的简洁，它的依赖只有 Python 语 言 SDK， 只 要 有 了 Python 语 言 包 支 持， 无 论 是 在 windows 平台、ubuntu 平台还是 Mac 平台都靠一条命令 行就可以完成安装。首先是安装 Python 语言包支持，当前 Pytorch 支持的 Python 语言版本与系统对应列表如下： 表 -1（参考 Pytorch

TensorFlow 生产级AI方案 TensorFlow 2 核心模块 TensorFlow 2 核心模块概览 tf.keras：分布式和高性能的 Keras • 构建和训练模型的高层次 API • API 完全兼容原生 Keras • 支持保存和加载 TensorFlow SavedModel • 支持 Eager Execution • 支持分布式训练 tf.data：功能强大的数据管理模块 distribute：一行代码实现分布式 Training API MirroredStrategy TPUStrategy MultiWorkerMirro redStrategy CentralStorageSt rategy ParameterServer Strategy OneDeviceStrate gy Keras API Supported Experimental support support Support planned post 2.0 Support planned post 2.0 No support yet Supported Estimator API Limited Support Not supported Limited Support Limited Support Limited Support Limited Support SavedModel：生产级