深度学习下的图像视频处理技术 沈小勇 优图X-Lab视觉AI负责人 专家研究员 自我介绍 自我介绍 2006.9 – 2012.7 浙江大学数学系本科硕士 2012.8 – 2016.6 香港中文大学博士 2016.6 – 2017.5 香港中文大学 Research Fellow 2017.5 – 现在 腾讯优图X-Lab 视觉AI负责人，专家研究员 个人主页：http://xiaoyongshen

达观数据 陈运文 文本智能处理的深度学习技术 达观数据CEO 陈运文 博士 • 中 国 计 算 机 学 会 高 级 会 员 ， A C M 和 I E E E 学 会 会 员 ， 复 旦 大 学 计 算 机 博 士 和 杰 出 毕 业 生 • 原 腾 讯 文 学 高 级 总 监 、 盛 大 文 学 首 席 数 据 官 、 百 度 核 心 技 术 工 程 师 • 三 十 项 国 家 技 术 法 》 专 注 于 企 业 文 本 挖 掘 技 术 和 相 关 应 用 系 统 的 服 务 个人简介——达观数据CEO 陈运文 达观数据：全球领先的文本智能处理专家 l 为企业提供文本挖掘、知识图谱、搜索引擎和个性化推荐等文本智能处理技术服 务，是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司 专注于文本挖掘的国际领军人工智能企业 l 获得全球三十大最佳AI企业等荣誉，拥有国家级高新技术企业、CMMI3资质认 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 文本处理任务 什么是NLP 概念：Natural Language Processing 自然语言处理 目的：让机器理解人类的语言，是人工智能领域的重要

1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT GPT 4 1.词汇表征和文本数据处理 5 1.词汇表征和文本数据处理 6 1.词汇表征和文本数据处理 7 1.词汇表征和文本数据处理 8 2.词嵌入 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 9 2.词嵌入 “Sally Johnson is an orange farmer 2.词嵌入 嵌入矩阵 14 3.Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。

Microsoft（微软） 计算机视觉技术、自然语言处理技术 等 办公 美国 1975年 上市 市值1.21万亿美元 2 Google（谷歌） 计算机视觉技术、自然语言处理技术 等 综合 美国 1998年 上市 市值9324亿美元 3 Facebook（脸书） 人脸识别、深度学习等 社交 美国 2004年 上市 市值5934亿美元 4 百度 计算机视觉技术、自然语言处理技 术 、知识图谱等 综合 中国 2001年 Anywhere 自然语言处理技术、非结构化数据认知 企业管理 美国 2003年 B轮融资 估值68亿美元 10 IBM Watson（IBM沃森） 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 11 松鼠AI 1对1 智适应学习技术、机器学习 教育 中国 2015年 A轮融资 估值11亿美元 12 字节跳动 跨媒体分析推理技术、深度学习、自 然 语言处理、图像识别 资讯 度 预处理 对图像做一 种或一些预 处理，使图 像满足后继 处理的要 求 ，如：二次 取样保证图 像坐标的正 确，平滑、 去噪等 特征提取 从图像中提取 各种复杂度的 特征，如：线 ，边缘提取和 脊侦测，边角 检测、斑点检 测等局部化的 特征点检测 检测/分割 对图像进行分割 ，提取有价值的 内容，用于后继 处理， 如：筛 选特征点，分割 含有特定目标的 部分 高级处理 验证得到的

Microsoft（微软） 计算机视觉技术、自然语言处理技术 等 办公 美国 1975年 上市 市值1.21万亿美元 2 Google（谷歌） 计算机视觉技术、自然语言处理技术 等 综合 美国 1998年 上市 市值9324亿美元 3 Facebook（脸书） 人脸识别、深度学习等 社交 美国 2004年 上市 市值5934亿美元 4 百度 计算机视觉技术、自然语言处理技 术 、知识图谱等 综合 中国 2001年 Anywhere 自然语言处理技术、非结构化数据认知 企业管理 美国 2003年 B轮融资 估值68亿美元 10 IBM Watson（IBM沃森） 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 11 松鼠AI 1对1 智适应学习技术、机器学习 教育 中国 2015年 A轮融资 估值11亿美元 12 字节跳动 跨媒体分析推理技术、深度学习、自 然 语言处理、图像识别 资讯 omega omiga 欧米 29 3. 机器学习的背景知识-数学基础 高等数学 导数、微分、泰勒公式…… 线性代数 向量、矩阵、行列式、秩、线性方程组、特征值和特征向量…… 概率论与数理统计 随机事件和概率、概率的基本性质和公式、常见分布、期望、协 方差…… 30 高等数学-导数 导数(Derivative)，也叫导函数值。又名微商， 是微积分中的重要基础概念。当函数? = ?(?) 的自变量

个分支：测 度论。在这篇笔记中，我们提供了概率的一些基本处理方法，但是不会涉及到这些更复杂的细节。 1. 概率的基本要素 为了定义集合上的概率，我们需要一些基本元素， 样本空间 ：随机实验的所有结果的集合。在这里，每个结果 可以被认为是实验结束时现 实世界状态的完整描述。 事件集（事件空间） ：元素 的集合（称为事件）是 的子集（即每个 是一个实 验可能结果的集合）。 是互不相交的事件 (即 当 时， ), 那么： 以上三条性质被称为概率公理。 举例： 考虑投掷六面骰子的事件。样本空间为 ， ， ， ， ， 。最简单的事件空间是平凡事件空间 .另一个事件空间是 的所有子集的集合。对于第一个事件空间，满足上述要求的唯一概率 度量由 ， 给出。对于第二个事件空间，一个有效的概率度量是将事件空间中每个事 件的概率分配为 ，这里 是这个事件集合中元素的数量；例如 (全概率定律)：如果 ， ， 是一些互不相交的事件并且它们的并集是 ，那么它们的概率之 和是1 1.1 条件概率和独立性 假设 是一个概率非0的事件，我们定义在给定 的条件下 的条件概率为： 换句话说， )是度量已经观测到 事件发生的情况下 事件发生的概率，两个事件被称为独立事件 当且仅当 （或等价地， )。因此，独立性相当于是说观察到事 件 对于事件 的概率没有任何影响。 2. 随机变量

46 2.1.6 转换为其他Python对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.2 数据预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47 2.2.1 读取数据集 读取数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 2.2.2 处理缺失值 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48 2.2.3 转换为张量格式 6.1 基本概率论 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 2.6.2 处理多个随机变量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 2.6.3 期望和方差 . .

在机器学习中，有一个通过神经网络来学习复杂、抽象逻辑的研究方向，称为神经网 络。神经网络方向的研究经历了两起两落。从 2012 年开始，由于算法效果极为显著，深层 神经网络技术在计算机视觉、自然语言处理、机器人等领域取得了重大突破，部分任务上 甚至超越了人类智能水平，开启了以深层神经网络为代表的人工智能的第三次复兴。深层 神经网络也有了一个新名字，叫作深度学习。一般来讲，神经网络和深度学习的区别并不 图 1.7 Mark 1 感知机网络结构② 1969 年，美国科学家 Marvin Minsky 等人在出版的《Perceptrons》一书中指出了感知 机等线性模型的主要缺陷，即无法处理简单的异或 XOR 等线性不可分问题。这直接导致 了以感知机为代表的神经网络的相关研究进入了低谷期，一般认为 1969 年~1982 年为人工 智能发展的第一次寒冬。 尽管处于 AI 发展的低谷 算法网络结构示意图 [1] 1.4 深度学习应用 深度学习算法已经广泛应用到人们生活的角角落落，例如手机中的语音助手、汽车上 的智能辅助驾驶、人脸支付等。下面将从计算机视觉、自然语言处理和强化学习 3 个领域 入手，为大家介绍深度学习的一些主流应用。 1.4.1 计算机视觉 图片识别(Image Classification) 是常见的分类问题。神经网络的输入为图片数据，输出

. . . . . . . 29 3.3.6.3 只保存/加载模型的权重 . . . . . . . . . . . . . . . . . . . . . . . . 29 3.3.6.4 处理已保存模型中的自定义层（或其他自定义对象） . . . . . . . 30 3.3.7 为什么训练误差比测试误差高很多？ . . . . . . . . . . . . . . . . . . 31 3.3.8 如何获取中间层的输出？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.3.9 如何用 Keras 处理超过内存的数据集？ . . . . . . . . . . . . . . . . . . . . 32 3.3.10 在验证集的误差不再下降时，如何中断训练？ . . . . . . . . . 编写你自己的 Keras 层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117 6 数据预处理 118 6.1 序列预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118 6.1.1

方法专门用于绘制3维的散点图。 数据归一化（3D） 数据处理：NumPy NumPy 是一个 BSD 开源协议许可的，面向 Python 用户的基础科学计算库，在多 维数组上实现了线性代数、傅立叶变换和其他丰富的函数运算。 X y 创建线性回归模型（数据流图） 创建会话（运行环境） 使用 TensorBoard 可视化模型数据流图 TensorBoard 可视化工具 在数据处理过程中，用户通常想要可视化地直观查看数据集分布情况。 TensorBoard 使用流程 可视化的数据是数据流图和张量，它们需要在会话中加载或执行操作后才能获取。然后， 用户需要使用 FileWriter 实例将这些数据写入事件文件。最后，启动 TensorBoard 程序， 加载事件文件中的序列化数据，从而可以在各个面板中展示对应的可视化对象。 tf.summary 模块介绍 前述流程中使用的 FileWriter 实例和汇总操作（Summary VS ✅ 名字作用域与抽象节点 创建 FileWriter 实例 启动 TensorBoard 实战 TensorFlow 房价预测 实战 TensorFlow 房价预测 工作流 数据处理 设计模型 (数据流图) 可视化 数据流图 训练模型 “Hello TensorFlow” Try it 扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程