. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 300 8.2.4 整合所有功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 302 8.3 语言模型和数据集 . . . 354 9.4.3 双向循环神经网络的错误应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.5 机器翻译与数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 357 9.5.1 下载和预处理数据集 满足他们的需求。以动态网页应用为例。尽管许多公司，如亚马逊，在20世纪90年代开发了成功的数据库驱 动网页应用程序。但在过去的10年里，这项技术在帮助创造性企业家方面的潜力已经得到了更大程度的发挥， 部分原因是开发了功能强大、文档完整的框架。 测试深度学习的潜力带来了独特的挑战，因为任何一个应用都会将不同的学科结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法；

•图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 12 深度学习-CV典型应用案例 翻译 传统翻译采用人工查词的方式，不但耗时长 ，而且错误率高。图像识别技术(OCR)的出 现大大提升了翻译的效率和准确度，用户通 过简单的拍照、截图或划线就能得到准确的 翻译结果。 体育赛事 计算机视觉还有助于比赛和策略分 析、球员表现和评级，以及跟踪体育 节目中品牌赞助的可见性。 机科学、数学等领域的交叉学科。自然语 言处理，是指用计算机对自然语言 的形、音、义等信息进行处理 ，即对字、词、句、篇章的输入、输出、识别、 分析、理解、生 成等的操作和加工。自然语言处理的具体表现形式包括机器 翻译 、文本摘要、文本分类、文本校对、信息抽取、语音合成、语音识 别等。 可以说，自然语言处理就是要计算机理解自然语言，自然 语言处理机制涉及 两个流程，包括自然语言理解和自然语言生成 ，自然语言理解是让计算机把 基于规则的方法 2008 • 深度学习 未来 深度学习入门-NLP（自然语言处理） 19 深度学习入门-NLP（自然语言处理） 1.短文本相似 2.文本分类 3.QA机器人 4.语义标注 5.机器翻译 6.…… 20 2020 2013 2017 2019 2018 • ELECTRA • ALBERT • GPT-3 • BERT • GPT • ELMo 2014 • word2vec

部分，主要介绍神经网络的核心理论和共性知识，让读者理解深 度学习的本质；第 10~15 章为模型算法应用部分，主要介绍常见的算法与模型，让读者能够 学有所用。 在本书中编写时，很多英文词汇尚无法在业界找到一个共识翻译名，因此作者备注翻译 的英文原文，供读者参考，同时也方便读者日后阅读相关英文文献时，不至于感到陌生。 尽管每天都有深度学习相关算法论文的发布，但是作者相信，深度学习的核心思想和基 础理论是共通的。本书 链式法则 7.7 反向传播算法 7.8 Himmelblau 函数优化实战 7.9 反向传播算法实战 7.10 参考文献 第 8 章 PyTorch 高级用法 8.1 常见功能模块 8.2 模型装配、训练与测试 8.3 模型保存与加载 8.4 自定义类 8.5 模型乐园 8.6 测量工具 8.7 可视化 8.8 参考文献 第 9 章 过拟合 超人的智力水平， 如在围棋上 AlphaGo 智能程序已经击败人类最强围棋专家之一柯洁，在 Dota2 游戏上 OpenAI Five 智能程序击败世界冠军队伍 OG，同时人脸识别、智能语音、机器翻译等一项 项实用的技术已经进入到人们的日常生活中。现在我们的生活处处被人工智能所环绕，尽 管目前能达到的智能水平离通用人工智能(Artificial General Intelligence，简称 AGI)还有一

pytorch 会依赖于不同的 cuda 工具，二是因为官网资料非常齐全，也有很多博客来 介绍，因此没有必要赘述。 1.1 导入 pytorch 首先我们需要明白一个术语：tensor。这个词被翻译为中文叫张量。1 维标量是一种 tensor； 向量也是一种 tensor；而一些微分量，例如梯度、导数等也都是 tensor；矩阵也是张量；多张矩 阵或者多张图像也是张量（3 维张量）。我们在做实验时，可以将 Dataset 存储样本以及它们的标签等信息，Dataset 可以使用预加载的数据集（例如 mnist）， 也可以使用自定义的数据集；而 DataLoader 是把样本进行访问和索引的工具，它实现了迭代器 功能，也就是说它可以依次将 batch_size 数量的样本导出。 注意，前面已经导入过的 python 包我们就不再重复导入了。 from torch . u t i l s . data import from torch . u t i l s . data import DataLoader 前面说过，Dataset 可以存储自定义数据，我们可以继承 Dataset 类，在子类中实现一些固定 功能的函数，这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见，我们先描述如何 使用预加载数据，然后第二章就开始构建神经网络模型。等第四章我们再描述如何自定义数据集。 我们一次写一个完整的程序来把数据可视化一下：

ot设置下测试其 性能），GPT-3都是在没有任何梯度更新或微调的情况下应用的，仅通过与模型的文本交互来指定任务和few-shot演示。 ✓ GPT-3在许多NLP数据集上都有很强的性能（包括翻译、问题解答和完形填空任务），以及一些需要动态推理或领域适应的任务（如解 译单词、在句子中使用一个新单词或执行三位数算术）。 GPT-3可以生成新闻文章样本（已很难将其与人类撰写的文章区分开来）。 InstructGPT使用来自人类反馈的强化学习方案RLHF（reinforcement learning from human feedback）， 通过对大语言模型进行微调，从而能够在参数减少的情况下，实现优于GPT-3的 功能 ✓ InstructGPT提出的背景：使语言模型更大并不意味着它们能够更好地遵循用户的意图，例如大型语言模型可以生成不真实、有毒或对 用户毫无帮助的输出，即这些模型与其用户不一致。另外，GP 图37：人工智能的发展呈现同质化的过程 随着机器学习的引入，任务是如何执行的 （自动推断）从例子中显现出来 随着深度学习， 用于预测的高级 特征出现 有了基础模型，甚至出现了情境学习等高级 功能 ChatGPT核心技术优势 42 ChatGPT以基础模型为杠杆，可适用多类下游任务 ◼ ChatGPT采用了GPT3.5（InstructGPT）大规模预训练模型，在 自然语言理解和作品生成上取得极大性能提升

应用场景：快递单据，广告识别等。 l 手写体OCR以及通用OCR识别 l 落地应用： Ø 微云相册识别，广点通广告识别，顺丰快递单据识别，微云文本 识别等 SACC2017 更多图像定制识别功能 l 图标识别 Ø 图标形式：水印、二维码、条形码、logo等。并可根 据业务需求定制。 Ø 基于团队自研的深度识别引擎，核心算法与基础模型 经过多轮优化，可以准确快速地识别图片中所包含的 机DARPA没 能实现，政府 投入缩减，进 入第二次低谷 深度学习 - 带动的AI浪潮 2016 2016 深度学习全面爆发 2016 - 讯飞，搜 狗，阿里 演示了实 时语音识 别翻译 2016 优图实时 美颜美妆 在众多直 播，小视 频场景大 量应用 深度学习实现 的图像风格化， 带动时光相册 等一大批风格 化软件流行 SACC2017 深度学习 – 相对于传统机器学习方法的突破

Keras 深度学习库时方 便本地查阅，下载最新 PDF 版本请访问: https://github.com/wanzhenchn/keras-docs-zh。 感谢 keras-team 所做的中文翻译工作，本文档制作基于此处。 严正声明：本文档可免费用于学习和科学研究，可自由传播，但切勿擅自用于商业用途，由 此引发一切后果贡献者概不负责。 The main reason of organizing 漏洞报告 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 21.3 请求新功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 21.4 请求贡献代码 你可以提出问题并参与开发讨论： • Keras Google group。 • Keras Slack channel。使用 这个链接 向该频道请求邀请函。 你也可以在 Github issues 中张贴漏洞报告和新功能请求（仅限于此）。注意请先阅读规范 文档。 KERAS: 基于 PYTHON 的深度学习库 4 1.7 为什么取名为 Keras? Keras (κέρας) 在希腊语中意为 号角。它来自古希腊和拉丁文学中的一个文学形象，首先出

1.Transformer介绍 Seq2Seq任务 Seq2Seq 任务指的是输入和输出都是 序列的任务，输出的长度不确定时采 用的模型，这种情况一般是在机器翻 译的任务中出现，将一句中文翻译成 英文，那么这句英文的长度有可能会 比中文短，也有可能会比中文长，所 以输出的长度就不确定了。 上图，输入的中文长度为4，输出的英文长度为2 6 1.Transformer介绍 Encoder-Decoder模型 息会被弱化，就好像记忆能力弱的人，记不住过去的事情是一样的。 10 2017年google的机器翻译团队在 NIPS上发表了Attention is all you need的文章，开创性地提出了 在序列转录领域，完全抛弃 CNN和RNN，只依赖Attention-注 意力结构的简单的网络架构， 名为Transformer；论文实现的 任务是机器翻译。 Transformer结构 Multi-Head Attention Transformer的训练 02 Transformer的工作流程 04 BERT 14 2.Transformer的工作流程 从宏观的视角开始 首先将这个模型看成是一个黑箱操作。在机器翻译中，就 是输入一种语言，输出另一种语言。 15 2.Transformer的工作流程 那么拆开这个黑箱，我们可以看到它是由编码组件、解码组件和它们之间的 连接组成。 16 2.Transformer的工作流程

机交流 应用：智能问答，机器翻译，文本分类，文本摘要，标 签提取，情感分析，主题模型 NLP发展简史 1950S 1980s 1990s 2006~至今 以机器翻译为开端，作 为早期尝试，但不是很 成功 基于统计机器学习技术 及语料库，使用统计模 型，NLP发展产生革新 多数自然语言处理系统 基于规则，人工修订等 方式，包括问答、翻译、 搜索等 深度学习起步、发展及 深度学习用于各类型文本应用的实践方法 文本挖掘各种类型应用的处理框架 文本数据 结果 预处理 输出层 表示层 隐层 不同深度学习模型 后处理 NER 分词 情感分析 文本分类 机器翻译 … 文本分类 传统机器学习 • 选择分类器（朴素贝叶斯，SVM，KNN，LR，决 策树） • 特征工程构造特征 • 不同领域定制优化成本高 • 常需要分类算法融合提升效果 深度学习（CNN，RNN等）

本文是斯坦福大学CS 229机器学习课程的基础材料，原始文件下载 原文作者：Zico Kolter，修改：Chuong Do， Tengyu Ma 翻译：黄海广 备注：请关注github的更新，线性代数和概率论已经更新完毕。 CS229 机器学习课程复习材料-线性代数 CS229 机器学习课程复习材料-线性代数 线性代数复习和参考 1. 基础概念和符号 1.1 基本符号 2 我们将第一种情况表示为 ，第二种情况表示为 。 保持符号清晰是非常重要的，以后完成课程作业时候你就会发现。 4.2 黑塞矩阵 假设 是一个函数，它接受 中的向量并返回实数。那么关于 的黑塞矩阵（也有翻译作海 森矩阵），写做： ，或者简单地说， 是 矩阵的偏导数： 换句话说， ，其： 注意：黑塞矩阵通常是对称阵： 与梯度相似，只有当 为实值时才定义黑塞矩阵。 很自然地认为梯度与向量函数的一 处为零（这不是唯一的条件，但它是必需的）。也就是说， 请注意，这只是线性方程 。 这表明假设 ，可能最大化（或最小化） 的唯一点是 的特征向量。 线性代数和概率论都已经翻译完毕，请关注github的更新，若有修改将在github上更新 欢迎大家提交PR，对语言进行润色。 翻译：黄海广