了类人甚至超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 项实用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕，尽 管目前能达到的智能水平离通用人工智能(Artificial General Intelligence，简称 在他的博士论文中第一次提 出可以将 BP 算法应用到神经网络上，遗憾的是，这一成果并没有获得足够重视。直至 1986 年，David Rumelhart 等人在 Nature 上发表了通过 BP 算法来进行表征学习的论文， BP 算法才获得了广泛的关注。 1982 年，随着 John Hopfild 的循环连接的 Hopfield 网络的提出，开启了 1982 年~1995 年的第二次人工智能复兴的 游戏而设计的，而是可以控制 Atria 游戏平台上的 49 个游戏。 图 1.14 DQN 算法网络结构示意图 [1] 1.4 深度学习应用 深度学习算法已经广泛应用到人们生活的角角落落，例如手机中的语音助手、汽车上 的智能辅助驾驶、人脸支付等。下面将从计算机视觉、自然语言处理和强化学习 3 个领域 入手，为大家介绍深度学习的一些主流应用。 1.4.1 计算机视觉 图片识别(Image Classification)

GAN 的应用 01 生成式深度学习简介 02 GAN的理论与实现模型 04 GAN的思考与前景 3. GAN的应用 25 GAN的应用 ⚫ 图像和视觉领域 ⚫ 语音和语言领域 ⚫ 其他领域 作为一个具有 “无限” 生成能力的模型, GAN的直接应用就是建 模, 生成与真实数据分布一致的数据样本，GAN 可以用于解决标注数据 不足时的学习问题。 其可以应用于： 网络作为判别器，用参数化的残差网络表示生成器，实验结果如 图所示，可以看到 GAN 生成了细节丰富的图像。 图 基于GAN的图像生成示例 3. GAN的应用 27 GAN的应用 语音和语言领域 a. 用 GAN 来表征对话之间的隐式关联性，从而生成对话文本。 b. 用 CNN 作为判别器, 判别器基于拟合 LSTM 的输出，用矩匹配来解决优化 问题；在训练时，和传统更新多次判别器参数再更新一次生成器不同 时为了利用文本编码信息，也将其作为判别器特定层的额外信息输入来改进判 别器，判别是否满足文本描述的准确率。 3. GAN的应用 28 GAN的应用 其他领域 除了将 GAN 应用于图像和视觉、语音和语言等领域，GAN 还可以与强 化学习、模仿学习等相合。 a. 有人提出用MalGAN 帮助检测恶意代码，用 GAN生成具有对抗性的病毒代 码样本，实验结果表明基于 GAN 的方法可以比传统基于黑盒检测模型的方法

1 深度卷积神经网络（AlexNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 7.1.1 学习表征 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248 7.1.2 AlexNet 的学科，在现 实世界的应用范围很窄。而那些应用，例如语音识别和计算机视觉，需要大量的领域知识，以至于它们通常 被认为是完全独立的领域，而机器学习对这些领域来说只是一个小组件。因此，神经网络——我们在本书中 关注的深度学习模型的前身，被认为是过时的工具。 就在过去的五年里，深度学习给世界带来了惊喜，推动了计算机视觉、自然语言处理、自动语音识别、强化学 习和统计建模等领域的快速发展。有了这些 Jassy对撰写本书的慷慨支持。如果没有可用的时间、资源、与同事的讨论和不断的鼓励，这本书就不会出版。 小结 • 深度学习已经彻底改变了模式识别，引入了一系列技术，包括计算机视觉、自然语言处理、自动语音识 别。 • 要成功地应用深度学习，必须知道如何抛出一个问题、建模的数学方法、将模型与数据拟合的算法，以 及实现所有这些的工程技术。 • 这本书提供了一个全面的资源，包括文本、图表、数学和代码，都集中在一个地方。

01 词汇表征和文本数据处理 02 词嵌入 05 GPT 3 1.词汇表征 01 词汇表征和文本数据处理 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 4 1.词汇表征和文本数据处理 5 1.词汇表征和文本数据处理 6 1.词汇表征和文本数据处理 7 1.词汇表征和文本数据处理 8 8 2.词嵌入 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 9 2.词嵌入 “Sally Johnson is an orange farmer.” “Robert Lin is an apple farmer.” 10 2.词嵌入 如何用词嵌入做迁移学习的步骤。 第一步，先从大量的文本集中学习词嵌入。 嵌入矩阵 13 2.词嵌入 嵌入矩阵 14 3.Word2Vec 03 Word2Vec 04 GloVe 02 词嵌入 05 GPT 01 词汇表征和文本数据处理 15 3.Word2Vec 语言模型的训练机制就是这样 1.我们获得了大量文本数据（例如，所 有维基百科文章）。然后 2.我们有一个窗口（比如说三个单词） ，我们会对所有文本进行滑动。

��������������� ������� 目录 1、视频搜索的挑战 %、深度学m在视频内容理解h的应用——召回 3、深度学m在语k搜索h的应用——语k表征 4、深度学m在排序h的应用——g性化表征 视频搜索的挑战 1�����/���——���� 2����/�����——���� 3������——������ ��������������� 1������������ ����� billion�� ��������� • bi-LSTM + attention • ��pai-tensorflow������ 语k模型——总结 排序应用——g性化表征 排序应用——g性化表征 ����������� � ���������������������q������R�����yd���� � ��s�ui��������o�e�s�������������

模型算法殊途同归 • 业务和数据决定模型算法的应用场景 • 计算力和算法架构是保障 总结展望 Ø 未来工作 • 更多的融合网络结构适用于CTR预估场景 • 多模态—更好的对非结构化内容进行表征 • 用户行为序列embedding

先用拉格朗日乘子法得到拉格朗日函数，再求其对偶问题。 18 3.线性支持向量机 ? 为"松弛变量" ?? = max(0,1 − ??(?T?? + ?)) 即hinge损失函数。每一个样本都有一个对应 的松弛变量，表征该样本不满足约束的程度。 损失函数hinge loss (0,1) (1,0) (0,0) 合页损失函数 0-1损失 函数间隔?(? ∙ ? + ?) 损失 蓝色线代表hinge损失函数，黄色线代表0-1

统计研究,2019,36(01) 1.PCA(Principal Component Analysis，主成分分析) PCA 是降维最经典的方法，它旨在是找到数据中的主成分，并利 用这些主成分来表征原始数据，从而达到降维的目的。 PCA 的思想是通过坐标轴转换，寻找数据分布的最优子空间。 对 样本 数据进 行中心化处理 求样本协方差 矩阵 对协方差矩阵进 行特征值分解， 将特征值从大到

机器学习& 人工智能 大数据 更多的用户 更好的产品 更多的数据 更好的分析 围绕数据的“飞轮” 算法 数据 程序模型 GPUs & 计算加速 深度学习的爆发 图像理解 自然语言处理 语音识别 机器自主 AWS 之上的人工智能应用 Zillow • Zestimate (using Apache Spark) Howard Hughes Corp • Lead scoring 工智能应用 (1995) AWS 可以帮助客户把人工智能应用于每个应 用程序的核心&业务之中吗? Amazon AI 构建于深度学习之上的智能服务 Amazon AI: 新的深度学习服务 生活化的语音服务 Polly Lex 对话引擎 Rekognition 图像分析 深度学习框架 MXNet, TensorFlow, Theano, Caffe, Torch 为客户模型定制的 深度学习框架 d MXNet 演示： https://35.161.116.218/notebooks/money_predict.ipynb 将文本转化为 生活化语音 47 种语音 24 种语言 低延迟、实时 全托管 Polly: 生活化的语音服务 Voice Quality & Pronunciation 1. 自动化、精准的文本处理 2. 智能化的且易于理解 3. 将语义加入文本当中 4

阿里云深度学习实践 程孟力 花名: 杨熙 阿里巴巴-计算平台-PAI 个性化推荐 视频理解 智能对话系统 图像检索 更多场景  OCR识别  人脸核身  智能风控  自动驾驶  语音助手 • • • 优势: 效果 显著超越 传统模型(线性层模型 / 树模型 / SVM模型 / … ) 深度学习应用场景 沙漠 湖泊 旅行 深度学习应用主要的挑战： 2.模型效果优 化困难 识别 … 模型构建: 问题: ✗ 方案复杂周期长/见效慢 ✗ 细节多难免踩坑 解决方案: 标准化  标准化模型库  标准化解决方案 1.方案复杂 图像 搜索 推荐 语音 视频理解 NLP 广告 CNN RNN GNN MLP Tensorflow PyTorch Parameter Server MPI TreeModel SQL MapReduce Blink • JupyterLab、WebIDE • 多框架兼容 • 可视化+tensorboard • 图像、视频、文本、 语音标注 • 多场景模板：物体检 测、语音识别 • 数据集管理 • 主动学习 • 智能标注 itags AI SaaS服务（OCR、语音识别、推荐系统、金融风控、疾病预测等） Infrastructure PAI平台（Platform of Artificial