《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1����� �� �� 2 ������ ��PA� ������ 3 4 5 6 ���L ������ ��PA� ����� ���L ��������� ������L 大规模视频训练框架 结构化策略 ���� ������ ���� ���� 主题分类-特征提取 DPN SENet ResNeXt NASNet 主题分类-模型训练 模型融合 a) Early

Qwen Qwen Team 2024 年 05 月 11 日 快速开始 1 文档 3 i ii Qwen Qwen is the large language model and large multimodal model series of the Qwen Team, Alibaba Group. Now the large language models have been ModelScope • Qwen1.5 Collection 加入社区，加入 Discord 和 微信群 。很期待见到你们！ 快速开始 1 Qwen 2 快速开始 CHAPTER1 文档 1.1 安装 要快速上手 Qwen1.5，您可以从 Hugging Face 安装 transformers 库，并使用 Qwen1.5 Collection 中的模型。 我们建议您安装最新版本的 generate() 配合 tokenizer 中的 apply_chat_template() 方法。 如果你想使用 Flash Attention 2，你可以用下面这种方式读取模型： 4 Chapter 1. 文档 Qwen model = AutoModelForCausalLM.from_pretrained( "Qwen/Qwen1.5-7B-Chat", torch_dtype="auto", device_map="auto"

便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由 此引发一切后果贡献者概不负责。 The main reason of organizing PDF version . . . . . . . . . . . . . . . . . . . . . . . . 28 3.3.6.1 保存/加载整个模型（结构 + 权重 + 优化器状态） . . . . . . . . . 28 3.3.6.2 只保存/加载模型的结构 . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.6.3 只保存/加载模型的权重 Keras： • 允许简单而快速的原型设计（由于用户友好，高度模块化，可扩展性）。 • 同时支持卷积神经网络和循环神经网络，以及两者的组合。 • 在 CPU 和 GPU 上无缝运行。 查看文档，请访问 Keras.io。 Keras 兼容的 Python 版本: Python 2.7-3.6。 1.2 指导原则 • 用户友好。Keras 是为人类而不是为机器设计的 API。它把用户体验放在首要和中心位置。

MI3资质认 证、ISO9001质量管理体系认证、双软认证等最全面的企业服务资质。 权威认证的人工智能服务，可充分保障客户业务实践与业务安全 l 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 以文本分类过程举例，常见 的特征提取算法包括： 词频 TF-IDF 互信息 信息增益 期望交叉熵 主成分分析 … 特征工程需要手工寻找特 征，花费大量人力，特征的 好坏往往决定最终结果 深度学习基础结构 基础神经元结构 多个神经元连接组成神经网络 字词表示 计算机 电脑 [ 0, 0, 0, 0, 1, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, … ] 平 台 错 误 智 能 纠 正 功 能 文 档 智 能 比 对 功 能 常见应用场景 智能文档审阅系统：抽取核心算法 智能文档审阅系统：段落分析 PDF格式文本数据丢失段落信息 使用深度学习进行段落分析 生成式摘要 生成式摘要的深度学习网络基本结构 l 编码器/解码器结构，都是神经网络结构 l 输入的原文经过编码器编码变成向量 l 解码器从向量里面提取关键信息，组合成生成式摘要

6.3 期望和方差 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80 2.7 查阅文档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81 2.7.1 提交主要更改 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 764 16.6 d2l API 文档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767 16.6.1 模型 关于本书 这本书代表了我们的尝试——让深度学习可平易近人，教会人们概念、背景和代码。 1 一种结合了代码、数学和HTML的媒介 任何一种计算技术要想发挥其全部影响力，都必须得到充分的理解、充分的文档记录，并得到成熟的、维护 良好的工具的支持。关键思想应该被清楚地提炼出来，尽可能减少需要让新的从业者跟上时代的入门时间。 成熟的库应该自动化常见的任务，示例代码应该使从业者可以轻松地修改、应用和扩展常见的应用程序，以

词语矢量考虑了上下文及词语之间的语义关系  复杂词语可以通过矢量计算来实现（如 Vec（北京）＝ vec(东京) – vec(日本) + vec(中国) ）  矢量化模型的现况  词语的矢量化模型已经有开源实现方案  句子和文档的矢量化还在摸索阶段，尚不成熟  已经有一些在词语相似度，舆情分析等方面的应用 矢量化搜索模型 9 词语矢量化模型 CBOW: 通过上下文词语 来预测词语本身出现的概 率 Skip-gram: 概率 10 基于词语聚类的矢量化模型 • Word2vec等工具可以有效地将词语转化为向量 • 将句子／段落／文章有效转化为向量则有很大的挑战。  简单平均／加权平均容易失去句子等的语义／结构信息  直接以句子为单位进行训练， 则训练文本严重不足 • 电商搜索中遇到的主要是句子／短文分析， 可以将短文中的词语聚类， 挑选具有代表 性的词语聚类结果， 来表示整个短文 • 传统聚类（ 词语i 与cluster j的余弦相似度 Random: 生成一个0 – 1之间的随机数 基于词语聚类的矢量化模型 12 • 把搜索词和商品文档各自作为整体看待，直接学习训练各自的矢量值 • 通过分析用户每次访问的行为顺序， 构建有“搜索词”和“商品文档”组成的句子 • 训练集是采用苏宁易购的用户搜索日志作为来源。在经过数据清理之后，按照搜索的 时间顺序，结合商品的点击，商品放入购物车，商品的购买这些用户行为，而建立的

al array object）是储存单一数据类型的 多维数组。 ufunc：全称（universal function object）它是一种能够对数组进行处 理的函数。 NumPy的官方文档： https://docs.scipy.org/doc/numpy/reference/ NumPy是什么？ 7 Anaconda里面已经安装过NumPy。 原生的Python安装： · #上面方法对于数组的切片都 是共享原数组的储存空间的。 21 多维数组 如果我们想创立原数组的副本，我们可以用整数元组，列表，整数数组， 布尔数组进行切片。 22 结构数组 C语言中可以通过struct关键字定义结构类型。NumPy中也有类似的结构数组。 > persontype = np.dtype({ 'names':['name', 'age', 'weight'], 'formats':['S30' 'i', 'f']}) > a = np.array([("Zhang", 32, 75.5), ("Wang", 24, 65.2)], dtype=persontype) 我们就创建了一个结构数组，并且可以通过索引得到每一行。 name age weight 0 zhang 32 75.5 1 wang 24 65.2 > print a[0] ('Zhang', 32, 75.5)

基本建模流程 9 2.Scikit-learn主要用法 ✓Scikit-learn支持以NumPy的arrays对象、Pandas对象、SciPy的稀 疏 矩阵及其他可转换为数值型arrays的数据结构作为其输入，前提是 数据必须是数值型的 ✓sklearn.datasets模块提供了一系列加载和获取著名数据集如鸢尾 花、波士顿房价、Olivetti人脸、MNIST数据集等的工具，也包括了一 些toy org/stable/tutorial/basic/tutorial.html ，scikit-learn (sklearn) 官方文档 2. https://sklearn.apachecn.org/ ，scikit-learn (sklearn) 官方 文档中文版 31 谢 谢！

onv1d、Conv3d）激 活函数、序贯模型 (Sequential)、功能函数 (functional)、损 失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 pytorch 自带的模型库、模型训练时候可视化支持组件、检查 点与性能相关的组件功能。重要的类有数据集类（Dataset） Pytorch 基础术语与概念 很多人开始学习深度学习框架面临的第一个问题就是专业术语 理解跟基本的编程概念与传统面向对象编程不一样，这个是初 学者面临的第一个学习障碍。在主流的面向对象编程语言中， 结构化代码最常见的关键字是 if、else、while、for 等关键字， 而在深度学习框架中编程模式主要是基于计算图、张量数据、 自动微分、优化器等组件构成。面向对象编程运行的结果是交 互式可视 复杂、多数都是以矩阵计算的形式存在，最常见的矩阵操作就 是加减乘除、此外卷积、池化、激活、也是模型构建中非常有 用的算子 / 操作数。Pytorch 支持自定义算子操作，可以通过 自定义算子实现复杂的网络结构，构建一些特殊的网络模型。 张量跟算子 / 操作数一起构成了计算图，它们是也是计算图的 基本组成要素。 ● 计算图 深度学习是基于计算图完成模型构建，实现数据在各个计算图 节点之间流动，最终输出，因此计算图又被称为数据流图。

很多客户经常上网购物，根据他们的浏览商品的习惯，给他们推荐 什么商品呢？ 主要的无监督学习方法 6 1.无监督学习方法概述 主要算法 K-means、密度聚类、层次聚类 聚类 主要应用 市场细分、文档聚类、图像分割、图像压缩、聚类分析、特征学习或者词 典学习、确定犯罪易发地区、保险欺诈检测、公共交通数据分析、IT资产 集群、客户细分、识别癌症数据、搜索引擎应用、医疗应用、药物活性预 测…… 混合FindPort算法 典型的单拖船一年的轨迹图 FindPort算法计算的渔港图 密度聚类应用 通过单拖船轨迹推算港口范围 38 层次聚类 层次聚类 ⚫ 层次聚类假设簇之间存在层次结构，将样本聚到 层次化的簇中。 ⚫ 层次聚类又有聚合聚类（自下而上）、分裂聚类 （自上而下）两种方法。 ⚫ 因为每个样本只属于一个簇，所以层次聚类属于 硬聚类。 背景知识：如果一个聚类方