深度学习下的图像视频处理技术 沈小勇 优图X-Lab视觉AI负责人 专家研究员 自我介绍 自我介绍 2006.9 – 2012.7 浙江大学数学系本科硕士 2012.8 – 2016.6 香港中文大学博士 2016.6 – 2017.5 香港中文大学 Research Fellow 2017.5 – 现在 腾讯优图X-Lab 视觉AI负责人，专家研究员 个人主页：http://xiaoyongshen Scholar： https://scholar.google.com/citations?user=P eMuphgAAAAJ&hl=en 看得更清，看得更懂 目录 1. 夜景增强 2. 图像视频去模糊 3. 视频超分辨率 1. 夜景图像增强 Taking photos is easy Amateur photographers typically create underexposed photos More Results Input iPhone Lightroom Our result More Results Input iPhone Lightroom Our result 2. 视频超分辨率 Old and Fundamental Several decades ago [Huang et al, 1984] → near recent Many Applications HD

白皮书 2011 年 1 月 通过 Oracle 并行处理集成 Hadoop 数据 1 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 引言 许 作为示例，但这里的策略同样适用于其他分 布式存储机制。本文中介绍了各种访问方法，还通过一个具体示例说明了其中一 种访问方法的实现。 2 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外 问 HDFS 文件。FUSE（File System in Userspace）项目针对这种情况提供了解决方法。有多种 FUSE 驱动程序支持用户挂 载 HDFS 存储，并将其作为常规文件系统处理。通过使用一个此类驱动程序，并在数据库实 例上挂载 HDFS（如果是 RAC 数据库，则在其所有实例上挂载 HDFS），即可使用外部表基 础架构轻松访问 HDFS 文件。 图

Flink 批处理理及其应⽤用 What is Apache Flink * Apache Flink 是⼀一个分布式⼤大数据处理理引擎 * 可对有限数据流和⽆无限数据流进⾏行行有状态计算 * 可部署在各种集群环境 * 对各种⼤大⼩小的数据规模进⾏行行快速计算 为什什么Flink能做批处理理 Table Stream Bounded Data Unbounded Data ⽣生态 实时计算 StreamC ompute 1 3 4 2 Flink 实时计算 商业化版本 阿⾥里里云实时计算产品⽅方向 存储计算分离 架构 ⾼高性能 全托管架构 全功能⼤大数据 处理理能⼒力力 Thanks

��������������� ������� 目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 视频搜索的挑战 1�����/���——���� 2����/�����——���� 3������——������ ��������������� 1������������ 1������������ 2�����/���� 3������ 内容理解——基q视频内容的召回 ������������ 1����� 2���/���� 3���/���� 4���/OCR/ASR��NLP�� �������� ����������� 内容理解——自动分类技术 • 目的a输入v意视频，通过内容理解的方法对视 频进行类目和标签预测 • 方法a采用1::+8ST9的UHSuHPFH-VQ- 方法a采用1::+8ST9的UHSuHPFH-VQ- UHSuHPFH RTHGLFVLQP的方法 • 效果a • 基类目平均准确率.8(% ������ pu/行i检测技术 • 目的a给定e定长视频，定x感兴趣行i发生的时间段并给出 对应行i类标 • 方法a采取1QPvQNuVLQP 32+5DVHG >HFuTTHPV APLVU 5>A) 算法，结合SLPgNH ShQV 2HVHFVQT SS2)框架实现行i检测功

《基于深度学习的视频结构化实践》 七牛云 AI实验室首席架构师／姚唐仁� • 围绕海量数据提供创新的云服务，帮助客户缩短想法到产品的距离 • 创立6年，每年超过300%的业绩增长 • 已完成5轮融资，累计超过20亿 • 长期服务70多万企业用户和开发者 • 文件数超过2000亿，每日新增文件20亿 • 覆盖全球300个节点 • 覆盖金融、公安、广电媒体、互联网等行业 �������2007������������� 视觉-最重要的信息感知 2017中国网络视频用户情况 ����2017������������� 传统视频摘要 vs AI视频结构化 内容不完整 依赖经验 实时性差 时效性差 识别范围广 效率高 可迭代 创新基础 传统手工摘要 AI视频结构化 视频结构化场景 视频分解 基础模型要素 ��1�01:02:03-01:10:05� ��1�01:02:03-01:10:05� ��1����� �� �� �� ���XX�� ���� �� ��(��)� 视频描述-标签 视频处理 Frames Flows Audio …….� Others 节省了80%的人力成本，缩短了50%的实现周期 七牛云深度学习平台 1 ��P ���� 2 ���� 3 ����� 4 ���� ����� 5 1 ��P

1 © 2015 The MathWorks, Inc. MATLAB与Spark/Hadoop相集成：实现大 数据的处理和价值挖 马文辉 2 内容 ▪ 大数据及其带来的挑战 ▪ MATLAB大数据处理 ➢ tall数组 ➢ 并行与分布式计算 ▪ MATLAB与Spark/Hadoop集成 ➢ MATLAB访问HDFS(Hadoop分布式文件系统） ➢ 在Spark/Hadoop集群上运行MATLAB代码 价值密度的高低与数据总量的大小成反比 ▪ Velocity - 数据处理速度，数据处理速度需要快速 数据处理速度是决定大数据应用的关键 4 大数据带来的挑战 ▪ 传统的工具和方法不能有效工作 – 访问和处理数据变得困难； – 需要学习使用新的工具和新的编程方式； – 不得不重写算法以应对数据规模的增大； ▪ 现有处理或计算方法下的结果质量受到影响 – 被迫只能处理一部分数据（数据子集）； – 采用新的工具或重写算法会对现有生产力产生影响； 采用新的工具或重写算法会对现有生产力产生影响； ▪ 数据处理与分析所需时间增长 – 数据规模增大、数据复杂度增加，增加处理难度和所需时间； 5 MATLAB的大数据处理 ▪ 编程 ▪ Streaming ▪ Block Processing ▪ Parallel-for loops ▪ GPU Arrays ▪ SPMD and Distributed Arrays ▪ MapReduce

达观数据 陈运文 文本智能处理的深度学习技术 达观数据CEO 陈运文 博士 • 中 国 计 算 机 学 会 高 级 会 员 ， A C M 和 I E E E 学 会 会 员 ， 复 旦 大 学 计 算 机 博 士 和 杰 出 毕 业 生 • 原 腾 讯 文 学 高 级 总 监 、 盛 大 文 学 首 席 数 据 官 、 百 度 核 心 技 术 工 程 师 • 三 十 项 国 家 技 术 法 》 专 注 于 企 业 文 本 挖 掘 技 术 和 相 关 应 用 系 统 的 服 务 个人简介——达观数据CEO 陈运文 达观数据：全球领先的文本智能处理专家 l 为企业提供文本挖掘、知识图谱、搜索引擎和个性化推荐等文本智能处理技术服 务，是国内首家将自动语义分析技术应用于企业数据化运营的人工智能公司 专注于文本挖掘的国际领军人工智能企业 l 获得全球三十大最佳AI企业等荣誉，拥有国家级高新技术企业、CMMI3资质认 覆盖金融、制造、法律、电商、传媒等行业，提升企业文档自动化处理能力 为数百家中国知名客户提供完善的文本智能处理服务 01 文本智能处理背景简介 7 文本 语音 图像 人工智能 Voice Image Text 达观专注于人工智能中的文本处理细分领域 文本处理任务 什么是NLP 概念：Natural Language Processing 自然语言处理 目的：让机器理解人类的语言，是人工智能领域的重要

1 2023年05月 深度学习-自然语言处理和词嵌入 黄海广 副教授 2 03 Word2Vec 04 GloVe 本章目录 01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT GPT 4 1.词汇表征和文本数据处理 5 1.词汇表征和文本数据处理 6 1.词汇表征和文本数据处理 7 1.词汇表征和文本数据处理 8 2.词嵌入 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 9 2.词嵌入 “Sally Johnson is an orange farmer 2.词嵌入 嵌入矩阵 14 3.Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。

Tango Google的Tango项目演示视频 Tango为终端开发者提供了从硬件到软件的整套AR开发套件 SLAM应用介绍 • 混合现实：微软HoloLens HoloLens融合了场景位置感知和头盔显示技术，并提供了完整的软硬件解决方案。 Hololens部分传感器 左右双目+前视RGB摄像头+深度传感器 Hololens宣传视频 视觉SLAM • 主要传感器 • 单目摄像头 相机姿态恢复与场景三维结构恢复 • 求解相机参数和三维点云 • 如何处理循环回路序列和多视频序列？ • 如何高效高精度地处理大尺度场景？ • 如何处理动态场景？ • 如何处理快速运动和强旋转？ 复杂环境下的主要挑战 我们课题组的工作 • 面向大尺度场景的运动恢复结构 • ENFT-SFM：能够高效地处理大尺度场景下拍摄的循环回路和多 视频序列。 • 单目视觉的同时定位与地图构建 • ENF ； • RDSLAM：能在动态场景下稳定工作； • RKSLAM：可以实时运行在移动设备上，并能处理快速运动和强 旋转 。 ENFT-SFM: Efficient Non- Consecutive Feature Tracking for Robust SFM 循环回路序列和多视频序列 • 如何将不同子序列上的相同特征点高效地匹配上？ • 如何高效地进行全局优化，消除重建漂移问题？

平台效果 • 微博技术里程碑 • 微博业务生态 推荐篇 APPLICATION 推荐场景、在线机器学习和深度学习 11 1 推荐场景 • 信息流 热门流 视频流 关系流 • 推荐流 图片推荐流 正文推荐流 视频推荐流 1 推荐场景 • 推荐 • 在特定场景下，根据用户行为和特点，向用户推荐感兴趣的对象集 • 模型： • 趋势 • 实时化：在线机器学习 • 深度化：深度学习 实时特征 实时数据 3 在线机器学习 实时样本 实时模型训练 实时更新参数 Task 训练预处理 Node 实时样本拼接 Node 在线模型训练 Node 离线样本拼接 Node 在线模型评估 Node 模型上线 Node 实时特征处理 Node 离线特征处理 Task Kafka输入 input process process output WeiFlow WeiFlow 工作流 Task 模型训练 Task 模型训练 Task Metrics输出 3 在线机器学习-工作流 互动行为日志 数据处理 点击行为日志 阅读行为日志 曝光行为日志 数据过滤 样本拼接 定时轮询 Kafka Hdfs 样本输出 3 在线机器学习-实时样本生成 • 多流拼接 • 曝光，互动，点击，真实阅读等多种数据流接入并多流拼接 • 如何解决日志延时问题