《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� �� 2 ������ ��PA� ������ 3 4 5 6 ���L ������ ��PA� ����� ���L ��������� ������L 大规模视频训练框架 结构化策略 ���� ������ ���� ���� 主题分类-特征提取 DPN SENet ResNeXt NASNet 主题分类-模型训练 模型融合 a) Early

架构概述 Hadoop Distributed File System，简称 HDFS，是一个分布式文件系统。 HDFS架构概述 1）NameNode（nn）：存储文件的元数据，如文件名，文件目录结构，文件属性（生成时间、副本数、 文件权限），以及每个文件的块列表和块所在的DataNode等。 2）DataNode(dn)：在本地文件系统存储文件块数据，以及块数据的校验和。 3）Secondary ss1505_wuma.a vi Container MapTask SecondaryNa meNode 1.6 大数据技术生态体系 大数据技术生态体系 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。 8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运 行。其优点是学习成本低，可以通过类

编写人：MaxCompute 产品团队 日 期：2019.05 Alibaba Cloud MaxCompute 解决方案 2 目录 1 概要 .......................................................................................... 的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 数据进 行长 时间 处理 分析 Streaming、Storm 等。  机器学习：满足机器学习工作负载的服务。如当前流行的 Spark MLib/ML、Tensorflow 等。  分析型数据存储：对数据进行处理加工后，面向应用场景，将数据以结构化的方式进行存储， 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问，利用 Hbase 实现低延迟的在线服务等  分析与报表：对数据进行分析和展现以获取洞察。如

标准化开发测试和生产环境 12. 安全 i. 内核名字空间 ii. 控制组 iii. 服务端防护 iv. 内核能力机制 v. 其它安全特性 vi. 总结 13. Dockerfile i. 基本结构 ii. 指令 iii. 创建镜像 14. 底层实现 i. 基本架构 ii. 名字空间 iii. 控制组 iv. 联合文件系统 v. 容器格式 vi. 网络 15. Docker 来扩展一个镜像比较简单，但是不方便在一个团队中分享。我们可以使用 docker build 来创建一个新的镜像。为此，首先需要创建一个 Dockerfile，包含一些如何创建镜像的指令。 新建一个目录和一个 Dockerfile $ mkdir sinatra $ cd sinatra $ touch Dockerfile Dockerfile 中每一条指令都创建镜像的一层，例如： # This 5e9d0065c1f7 Successfully built 324104cde6ad 其中 -t 标记来添加 tag，指定新的镜像的用户信息。 “.” 是 Dockerfile 所在的路径（当前目录），也可以 替换为一个具体的 Dockerfile 的路径。 可以看到 build 进程在执行操作。它要做的第一件事情就是上传这个 Dockerfile 内容，因为所有的操作都要 依据 Dockerfile

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目 目录 录 第 第 1 章 章 OPERATOR 概述 概述 1.1. 对于开发人员 1.2. 对于管理员 1.3. 后续步骤 第 第 2 章 章 了解 了解 OPERATOR 2.1. 什么是 OPERATOR FRAMEWORK 常用术语表 2.4. OPERATOR LIFECYCLE MANAGER (OLM) 2.5. 了解 OPERATORHUB 2.6. 红帽提供的 OPERATOR 目录 2.7. 多租户集群中的 OPERATOR 2.8. CRD 第 第 3 章 章 用 用户 户任 任务 务 3.1. 从已安装的 OPERATOR 创建应用程序 3.2. 在命名空间中安装 OPERATOR 6. 查看 OPERATOR 状态 4.7. 管理 OPERATOR 条件 4.8. 允许非集群管理员安装 OPERATOR 4.9. 管理自定义目录 4.10. 在受限网络中使用 OPERATOR LIFECYCLE MANAGER 4.11. 目录源 POD 调度 4.12. 管理平台 OPERATOR （技术预览） 4.13. TROUBLESHOOTING OPERATOR 的问题 第

1.6.7 1.7 1.7.1 1.7.2 1.7.3 1.7.4 1.7.5 1.7.6 1.7.6.1 1.7.6.2 1.7.6.3 1.7.6.4 1.7.6.5 目录 前言 修订记录 如何贡献 Docker 简介 什么是 Docker 为什么要用 Docker 基本概念 镜像 容器 仓库 安装 Docker Ubuntu Debian WORKDIR 指定工作目录 USER 指定当前用户 HEALTHCHECK 健康检查 ONBUILD 为他人作嫁衣裳 参考文档 Dockerfile 多阶段构建 其它制作镜像的方式 实现原理 操作容器 启动 守护态运行 终止 进入容器 导出和导入 删除 访问仓库 Docker Hub 私有仓库 私有仓库高级配置 数据管理 数据卷 监听主机目录 使用网络 外部访问容器 ls 替换 docker images 命令为 docker image ls 修改 安装 Docker 一节中部分文字表述 移除历史遗留文件和错误的文件 优化文字排版 调整目录结构 修复内容逻辑错误 修复 404 链接 0.9.0-rc1: 2017-11-29 根据最新版本（v17.09）修订内容 增加 Dockerfile 多阶段构建( multistage

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目 目录 录 第 第 1 章 章 概述 概述 第 第 2 章 章 CLI 入 入门 门 2.1. 概述 2.2. 先决条件 2.3. 安装 CLI 2.3.1. 对于 Windows 2.3.2 22 22 22 22 22 22 23 23 23 23 24 24 24 24 24 25 25 25 25 25 25 27 27 27 28 28 28 28 目 目录 录 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Loader 7.3.1.1. 搜索顺序 7.4. 编写插件 7.4.1. plugin.yaml Descriptor 7.4.2. 建议的目录结构 7.4.3. 访问运行时属性 37 38 38 38 39 39 40 目 目录 录 3 OpenShift Container Platform 3.11 CLI 参考 参考 4 第 1 章 概述 使用 OpenShift

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 目 目录 录 第 第 1 章 章 RED HAT OPENSHIFT LOGGING 发 发行注 行注记 记 1.1. 使开源包含更多 1.2. 支持的版本 1.2.1. OpenShift Logging 15 16 16 16 16 17 18 18 18 18 18 19 19 19 19 19 19 19 19 19 19 20 20 20 20 22 23 23 目 目录 录 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102 104 106 110 110 110 113 115 115 119 119 123 128 128 128 130 135 135 135 137 138 目 目录 录 3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .

used for commercial purposes. Otherwise, the contributor is not responsible for the consequences. 目录 I 目录 1 Keras: 基于 Python 的深度学习库 1 1.1 你恰好发现了 Keras . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 3.2.6 层「节点」的概念 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 目录 II 3.2.7 更多的例子 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 3.2.7.1 . . . . . . . . . . . . . . . . . . . . . . . . 28 3.3.6.1 保存/加载整个模型（结构 + 权重 + 优化器状态） . . . . . . . . . 28 3.3.6.2 只保存/加载模型的结构 . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.6.3 只保存/加载模型的权重

启了深度学习的第三次复兴之路。 1.2.1 浅层神经网络 1943 年，心理学家 Warren McCulloch 和逻辑学家 Walter Pitts 根据生物神经元(Neuron) 结构，提出了最早的神经元数学模型，称为 MP 神经元模型。该模型的输出?(?) = ℎ(?(?))，其中?(?) = ∑ ?? ? , ?? ∈ {0,1}，模型通过?(?)的值来完成输出值的预测，如图 感知机模型 预览版202112 1.2 神经网络发展简史 5 图 1.6 Frank Rosenblatt 和 Mark 1 感知机① 图 1.7 Mark 1 感知机网络结构② 1969 年，美国科学家 Marvin Minsky 等人在出版的《Perceptrons》一书中指出了感知 机等线性模型的主要缺陷，即无法处理简单的异或 XOR 等线性不可分问题。这直接导致 等并行加速芯片训练模型参数。如围棋程序 AlphaGo Zero 在 64 块 GPU 上从 零开始训练了 40 天才得以超越所有的 AlphaGo 历史版本；自动网络结构搜索算法使用了 800 块 GPU 同时训练才能优化出较好的网络结构。 目前普通消费者能够使用的深度学习加速硬件设备主要来自 NVIDIA 的 GPU 显卡， 图 1.12 例举了从 2008 年到 2017 年 NVIDIA