《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� �� 2 ������ ��PA� ������ 3 4 5 6 ���L ������ ��PA� ����� ���L ��������� ������L 大规模视频训练框架 结构化策略 ���� ������ ���� ���� 主题分类-特征提取 DPN SENet ResNeXt NASNet 主题分类-模型训练 模型融合 a) Early

启了深度学习的第三次复兴之路。 1.2.1 浅层神经网络 1943 年，心理学家 Warren McCulloch 和逻辑学家 Walter Pitts 根据生物神经元(Neuron) 结构，提出了最早的神经元数学模型，称为 MP 神经元模型。该模型的输出?(?) = ℎ(?(?))，其中?(?) = ∑ ?? ? , ?? ∈ {0,1}，模型通过?(?)的值来完成输出值的预测，如图 感知机模型 预览版202112 1.2 神经网络发展简史 5 图 1.6 Frank Rosenblatt 和 Mark 1 感知机① 图 1.7 Mark 1 感知机网络结构② 1969 年，美国科学家 Marvin Minsky 等人在出版的《Perceptrons》一书中指出了感知 机等线性模型的主要缺陷，即无法处理简单的异或 XOR 等线性不可分问题。这直接导致 等并行加速芯片训练模型参数。如围棋程序 AlphaGo Zero 在 64 块 GPU 上从 零开始训练了 40 天才得以超越所有的 AlphaGo 历史版本；自动网络结构搜索算法使用了 800 块 GPU 同时训练才能优化出较好的网络结构。 目前普通消费者能够使用的深度学习加速硬件设备主要来自 NVIDIA 的 GPU 显卡， 图 1.12 例举了从 2008 年到 2017 年 NVIDIA

分离计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 2.5.4 Python控制流的梯度计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72 2.6 概率 . . . . . . . . . 另一个是更实际的示例，我们使用深度学习框架的高级API编写简洁的代码。一旦我们教了您一些组件是如 何工作的，我们就可以在随后的教程中使用高级API了。 内容和结构 全书大致可分为三个部分，在 图1 中用不同的颜色呈现： 目录 3 图1: 全书结构 • 第一部分包括基础知识和预备知识。1节 提供深度学习的入门课程。然后在 2节 中，我们将快速介绍实 践深度学习所需的前提条件，例如如何存储和处理数 network，CNN），这是构成大多数现代计算机视觉系统骨干的强大工具。随后，在 8节 和 9节 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 10节 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将 帮助读者快速

. . . . . . . . . . . . . . . . . . . . . . . . 28 3.3.6.1 保存/加载整个模型（结构 + 权重 + 优化器状态） . . . . . . . . . 28 3.3.6.2 只保存/加载模型的结构 . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.6.3 只保存/加载模型的权重 Python 代码中，这 些代码紧凑，易于调试，并且易于扩展。 1.3 快速开始：30 秒上手 Keras Keras 的核心数据结构是 model，一种组织网络层的方式。最简单的模型是 Sequential 顺 序模型，它是由多个网络层线性堆叠的栈。对于更复杂的结构，你应该使用 Keras 函数式 API， 它允许构建任意的神经网络图。 Sequential 顺序模型如下所示： from optimizer='sgd', metrics=['accuracy']) 如果需要，你还可以进一步地配置你的优化器。Keras 的核心原则是使事情变得相当简单， 同时又允许用户在需要的时候能够进行完全的控制（终极的控制是源代码的易扩展性）。 model.compile(loss=keras.losses.categorical_crossentropy, optimizer=keras.optimizers

计算机视觉技术等 安防 中国 2011年 D轮融资 估值40亿美元 8 科大讯飞 智能语音技术 综合 中国 1999年 上市 市值108亿美元 9 Automation Anywhere 自然语言处理技术、非结构化数据认知 企业管理 美国 2003年 B轮融资 估值68亿美元 10 IBM Watson（IBM沃森） 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 11 松鼠AI 可能会导致 “过拟合”的问题。 为此，我们再原有基础上加上用于控制模型复杂度的正则项(Regularizer)，得到结构最小化准 则。具体定义是： 其中，?(?)代表对模型复杂度的惩罚。模型越复杂，?(?)越大，模型越简单，?(?)就越小。?是 一个正的常数，也叫正则化系数，用于平衡经验风险和模型复杂度。 一般来说，结构风险小的模型需要经验风险和模型复杂度同时小，因此对训练数据和测试数据 的目录，这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 54 Python 的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 55 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组

多模型多版本：多组实验并行执行，提高实验迭代效率 • 在线版本切换：基于ZK的版本感知机制，动态进行版本切换，实现BASE模型的热更新，实时训练与离线训练周期模型融合 • 模型结构训练与推理兼容：在线PS与离线PS模型结构兼容，自动模型参数转换 • 稳定性优化 • 模型快照：基于ps-scheduler的周期模型版本探测与保存，模型稀疏化分片存储 • 冷备容灾：基于checkpoint机制( 阿里云计算集群 实时计算集群 业务 Storm/Flink Yarn/K8s …… …… …… 调度 Docker 存储 PS/WeiPS 基础/IDE（WeiIDE） 开发套件 控制台 控制中心 算法/模型（WeiFlow） 模型训练/评估 样本库 模型库 模型服务/推荐引擎 数据/特征（WeiData） 数据/特征生成 数据/特征存储 数据/特征服务 2 平台架构 活跃…… 特征数据 数据样本 模型参数求解： 损失函数误差最小： 梯度下降等迭代求解 模型训练 WeiFlow 控制台 实时计算 实时统计，…… 特征计算 微博特征 9点发布，带视频，北 京，奥运，时事新闻 ，高热度…… 批量计算 静态特征，批量统计 ，…… 控制中心 WeiIDE 数据计算 模型 Y=f(x1,x2……,xn) 模型服务 特征服务 微博机器学习平台 灰度系统

中的多层感知机  为了使整个网络可微，拿掉了CNN 中的池化层  将全连接层以全局池化层替代以减轻计算量。 1.生成式深度学习简介 5 自编码（AE）结构图 1.生成式深度学习简介 6 变分自编码（VAE）结构图 1.生成式深度学习简介 7 变分自编码（VAE）生成图像 1.生成式深度学习简介 8 03 GAN 的应用 01 生成式深度学习简介 02 为了取得游戏胜利，这两个游戏参与者需要不断优 化， 各自提高自己的生成能力和判别能力，这个学 习优化过程就是寻找二者之间的一个纳什均衡。 GAN的理论与实现模型 2. GAN的理论与实现模型 14 生成式对抗网络（GAN）结构图 2. GAN的理论与实现模型 15 GAN的学习方法 GAN的理论与实现模型 首先, 在给定生成器 G 的情况下, 我们考虑最优化判别器 D. 2. GAN的理论与实现模型 16 条件生成对抗网络的结构 2. GAN的理论与实现模型 19 GAN的衍生模型 GAN的理论与实现模型 （2）DCGAN--深度卷积生成对抗网络，提出了能稳定训练的网络结构， 更易 于工程实现。 图 深度卷积生成对抗网络的结构 2. GAN的理论与实现模型 20 GAN的衍生模型 GAN的理论与实现模型 （3）InfoGAN--信息最大化生成对抗网 络，通过隐变量控制语义变化。 图

多路召回 曝光/状态过滤 粗排/精排 策略[类目打散、流量控制、…] 实时采集后端日志 PAI-REC 配置中心 AB实验 实验工具 拉取配置 监控报警 Prometheus Grafana 读取metric 消息队列(datahub/kafka) PAI-REC平台 自动化降级 负载均衡 灰度发布 超时控制 平台支持 日志SLS 在线存储 Hologres/OTS Tran sform er decoder 解决方案: 多模态预训练 Vit based 下游任务:  视频分类  视频打标签  推荐模型特征 解决方案: 小样本学习 小样本结构化模型 在线预测服务（EAS） • 一键部署 • 多模型 • 蓝绿部署 • 弹性扩缩 • 推理优化 ML Frameworks ML Service (PaaS) AI Service OpenAPI AI能力 体验中心 开源 PAI平台（Platform of Artificial Intelligence） Deep Learning Container 数据量大而全 先进的模型结构 业务场景复杂 计算力强、性价比高 提供 支撑 支撑 支撑 促进 促进 开源生态 系统 硬件 模型 生态系统 外循环 内循环 贡献 对接 PAI平台的优势 1.

计算机视觉技术等 安防 中国 2011年 D轮融资 估值40亿美元 8 科大讯飞 智能语音技术 综合 中国 1999年 上市 市值108亿美元 9 Automation Anywhere 自然语言处理技术、非结构化数据认知 企业管理 美国 2003年 B轮融资 估值68亿美元 10 IBM Watson（IBM沃森） 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 11 松鼠AI 的目录，这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 55 Python 的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 56 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器，列表用[ ]来表示，其中元素的类型可不相同。 ⚫元组(tuple) 元组类似列表，元组里面的元素也是进行索引计算。列表里面的元素的值可以修改，而元组 字典dict也叫做关联数组，用大括号{ }括起来，在其他语言中也称为map，使用键-值（ key-value）存储，具有极快的查找速度，其中key不能重复。 57 Python控制流 ⚫顺序结构 ⚫分支结构 ⚫循环结构 ⚫break、continue和pass ⚫列表生成式 58 Python函数 ⚫调用函数 调用内置函数 ⚫定义函数 def 函数名()： 函数内容

0 码力 | 80 页 | 5.38 MB | 1 年前

3

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 2.1 基本网络结构 11 2.2 使用 cuda 来训练网络 13 3 更完善的神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 的能力。此时，最好的方法就是给我们一个由简及难的程序示例，我们能够快速搭建出一个网络， 我们可以开始训练，以及指导如何计算训练后的结果准确率等信息。 这也是我要开始写这么一本小书的初衷，我会把本小书控制在 3 小时的学习时间之内。也就 是说，只知道一丁点 python 知识和神经网络的概念，而从未使用过 pytorch 的读者，只需要三个 小时，就可以用 pytroch 搭建一个有模有样的神经网络系统了。 pytorch 的，我也开始转战 pytorch。 pytorch 其实更为简单，只是很多教程会一次性给出过多内容，导致读者难以区分什么是必要 的，什么是非必要的。这构成了我写这本书的初衷——从基础到模型结构的步步递进。我们不会 一次性给出一大堆可选择的内容导致学习变得复杂化，而是用到什么就讲什么。本书不可避免要 参考 [2] 的讲解方式，但我们对讲解顺序和内容，以及程序代码都做了大量的改进。说了那么多，