21.1 关于 Github Issues 和 Pull Requests . . . . . . . . . . . . . . . . . . . . . . . . . . 242 21.2 漏洞报告 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 21.3 请求新功能 你可以提出问题并参与开发讨论： • Keras Google group。 • Keras Slack channel。使用 这个链接 向该频道请求邀请函。 你也可以在 Github issues 中张贴漏洞报告和新功能请求（仅限于此）。注意请先阅读规范 文档。 KERAS: 基于 PYTHON 的深度学习库 4 1.7 为什么取名为 Keras? Keras (κέρας) 在希腊语中意为 号 模型导入。 • 在 Raspberry Pi 树莓派上。 2.4 Keras 支持多个后端引擎，并且不会将你锁定到一个生态系统中 你的 Keras 模型可以基于不同的深度学习后端开发。重要的是，任何仅利用内置层构建的 Keras 模型，都可以在所有这些后端中移植：用一种后端训练模型，再将它载入另一种后端中（比 如为了发布）。支持的后端有： • 谷歌的 TensorFlow 后端 • 微软的 CNTK

同的学科结合在一起。应用深度学习需 要同时了解（1）以特定方式提出问题的动机；（2）给定建模方法的数学； （3）将模型拟合数据的优化算法； （4） 能够有效训练模型、克服数值计算缺陷并最大限度地利用现有硬件的工程方法。同时教授表述问题所需的批 判性思维技能、解决问题所需的数学知识，以及实现这些解决方案所需的软件工具，这是一个巨大的挑战。 在我们开始写这本书的时候，没有资源能够同时满足一些条 作的例子——使用真实的数据集。这带来了组织上的挑战。某些模型可能在逻辑上组合在单节中。而一些想 法可能最好是通过连续允许几个模型来传授。另一方面，坚持“一个工作例子一节”的策略有一个很大的好 处：这使你可以通过利用我们的代码尽可能轻松地启动你自己的研究项目。只需复制这一节的内容并开始修 改即可。 我们将根据需要将可运行代码与背景材料交错。通常，在充分解释工具之前，我们常常会在提供工具这一方 面犯错误（我 network，CNN），这是构成大多数现代计算机视觉系统骨干的强大工具。随后，在 8节 和 9节 中，我们引入了循环神经网络(recurrent neural network，RNN)，这是一种利用数据中的时间或序列 结构的模型，通常用于自然语言处理和时间序列预测。在 10节 中，我们介绍了一类新的模型，它采用 了一种称为注意力机制的技术，最近它们已经开始在自然语言处理中取代循环神经网络。这一部分将

首次提出深度学习的概念。2012 年，8 层的深层神经网络 AlexNet 发布，并在图片识别竞赛中取得了巨大的性能提升，此后几十层、数百层、甚至 上千层的神经网络模型相继提出，展现出深层神经网络强大的学习能力。业界一般将利用 深层神经网络实现的算法称作深度学习，本质上神经网络和深度学习可认为是相同的。 现在简单来比较一下深度学习算法与其它算法的特点。如图 1.3 所示。基于规则的系 统一般会编写显式的检测逻辑，这 ILSVRC挑战赛ImageNet数据集分类任务 网络模型层数 Top-5错误率 图 1.13 网络层数变化趋势 1.3.4 通用智能 过去，为了提升某项任务上的算法性能，往往需要利用先验知识手动设计相应的特 预览版202112 第 1 章 人工智能绪论 10 征，以帮助算法更好地收敛到最优解。这类特征提取方法通常是与某些具体任务场景强相 关的，一旦场景发生了 深度学习框架的三大核心功 能，从而帮助我们理解框架在算法设计中扮演的角色。 1) 加速计算 神经网络本质上由大量的矩阵相乘、矩阵相加等基本数学运算构成，TensorFlow 的重 要功能就是利用 GPU 方便地实现并行计算加速功能。为了演示 GPU 的加速效果，我们通 过完成多次矩阵?和矩阵?的矩阵相乘运算，并测量其平均运算时间来比对。其中矩阵?的 shape 为[1,?]，矩阵?的 shape

?) ?(?) = ?(?|?)?(?) ?(?) 朴素贝叶斯法是典型的生成学习方法。生成方法由训练数据学习联合概率 分布 ?(?, ?)，然后求得后验概率分布?(?|?)。 具体来说，利用训练数据学习?(?|?)和?(?)的估计，得到联合概率分布： ?(?, ?)＝?(?|?) ?(?) 7 2.朴素贝叶斯原理 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 的产生模型，直接研究预测模型。 即：直接估计?(?|?) 由训练数据学习联合概率分布 ?(?, ?)，然后求 得后验概率分布?(?|?)。具体来说，利用训练数 据学习?(?|?)和?(?)的估计，得到联合概率分布： ?(?, ?)＝?(?)?(?|?)，再利用它进行分类。 即：估计?(?|?) 然后推导?(?|?) 线性回归、逻辑回归、感知机、决策树、支持向 量机…… 朴素贝叶斯、HMM、深度信念网络(DBN)…… Model)。 2.朴素贝叶斯原理 9 2.朴素贝叶斯原理 1．朴素贝叶斯法是典型的生成学习方法。 生成方法由训练数据学习联合概率分布 ?(?, ?)，然后求得后验概率分 布?(?|?)。具体来说，利用训练数据学习?(?|?)和?(?)的估计，得到 联合概率分布： ?(?, ?)＝?(?)?(?|?) 概率估计方法可以是极大似然估计或贝叶斯估计。 10 2.朴素贝叶斯原理 2．朴素贝叶斯法的基本假设是条件独立性。

基本用法 你只需借助 transformers 库编写几行代码，就能与 Qwen1.5-Chat 进行对话。实质上，我们通过 from_pretrained 方法构建 tokenizer 和模型，然后利用 generate 方法，在 tokenizer 提供的 chat template 的辅助下进行 chat。以下是一个如何与 Qwen1.5-7B-Chat 进行对话的示例： from transformers 比特，并将其放入 GGUF 文件中。这里的 q4_0 表示 4 比特量化。 现在，这个量化后的模型可以直接通过 llama.cpp 运行。 18 Chapter 1. 文档 Qwen 1.9.2 利用 AWQ scales 来量化你的模型 要提升量化模型的质量，一种可能的解决方案是应用 AWQ scales。具体操作步骤如下：首先，在使用 AutoAWQ 运行 model.quantize() openai.api_server \ --model Qwen/Qwen1.5-7B-Chat 你无需担心 chat 模板，因为它默认会使用由 tokenizer 提供的 chat 模板。 然后，您可以利用 create chat interface 来与 Qwen 进行对话： curl http://localhost:8000/v1/chat/completions -H "Content-Type:

向量并且彼此正交。 设 是包含 作为列的正交矩阵： 设 是包含 作为对角线上的元素的对角矩阵。 使用2.3节的方程（2）中 的矩阵 - 矩阵向量乘法的方法，我们可以验证： 考虑到正交矩阵 满足 ，利用上面的方程，我们得到： 这种 的新的表示形式为 ，通常称为矩阵 的对角化。术语对角化是这样来的：通过这种表示， 我们通常可以有效地将对称矩阵 视为对角矩阵 , 这更容易理解。关于由特征向量 定义的基础， “对角化”矩阵向量乘法。 通过上面的设置，我们将看到左乘矩阵 可以被视为左乘以对角矩阵关于特征 向量的基。 假设 是一个向量， 表示 的基。设 为矩阵向量积。现在让我们计算关于 的基 ： 然后，再利用 和方程 ，我们得到： 我们可以看到，原始空间中的左乘矩阵 等于左乘对角矩阵 相对于新的基，即仅将每个坐标缩放相应 的特征值。 在新的基上，矩阵多次相乘也变得简单多了。例如，假设 。根据 的元素导出 的分析形式，使用原始的基可能是一场噩梦，但使用新的基就容易多了： “对角化”二次型。作为直接的推论，二次型 也可以在新的基上简化。 (回想一下，在旧的表示法中， 涉及一个 项的和，而不是上面等式中的 项。)利用这个观点，我们还可以证明矩阵 的正定性完全取决于其特征值的符号： 1. 如果所有的 ，则矩阵 正定的，因为对于任意的 , 2. 如果所有的 ，则矩阵 是为正半定，因为对于任意的 , 3. 同样，如果所有

ih v dh v 1 j w 2 j w hj w qj w . . . . . . kx ˆky 20 3.BP算法 第三步，计算输出层阈值??的梯度 ??? ??? 利用链式法则，可得 其中， 所以， 更新公式 1h v 输入层 输出层 隐层 ,1 nx , k i x , k d x 1b 2b hb qb . . . . . . = ො?? ? 1 − ො?? ? ?? ? − ො?? ? ?? ≔ ?? − ??? 21 3.BP算法 第四步，计算隐层到输出层连接 权值???的梯度 ??? ??ℎ? 利用链式法则，可得 其中， 可得 综上可得 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b hb qb . . . . . . . ? ??ℎ? = ො?? ? ⋅ ො?? ? − ?? ? ⋅ 1 − ො?? ? ⋅ ?ℎ = −???ℎ 22 3.BP算法 第五步，计算隐层阈值??的梯度 ??? ??ℎ 利用链式法则，可得 其中， 所以有 令 更新公式 1h v 输入层 输出层 隐层 ,1 kx , k i x , k d x 1b 2b hb qb . . . . .

们有一个实际的目标标签要比较，那么让我们计算模型预测中 的误差。为此，我们只从目标标签中减去sigmoid分数 25 3.Word2Vec 训练流程 这是“机器学习”的“学习”部分。现在，我们可以利用这个误差 分数调整`not`，`thou`，`aaron`和`taco`的嵌入,使下一次我们做出 这一计算，结果会更接近目标分数。 26 3.Word2Vec 训练流程 训练步骤到此结束。我们 存在的问题02： GPT的发展 38 GPT-3（2020.5）取得突破性进展，任务结果难以与人类作品区分开来 ◼ GPT-3对GPT-2追求无监督与零次学习的特征进行了改进 ◼ GPT-3利用了过滤前45TB的压缩文本，在诸多NLP数据集中实现了强大性能 ✓ GPT-3是一个具有1750亿个参数的自回归语言模型，比之前的任何非稀疏语言模型多10倍。对于所有任务（在few-shot设置下测试其 uctGPT的基础上增加了Chat属性，且开放了公众测试 ◼ ChatGPT提升了理解人类思维的准确性的原因在于利用了基于人类反馈数据的系统进行模型训练 （注：根据官网介绍，GhatGPT也是基于InstructGPT构建，因而可以从InstructGPT来理解ChatGPT利用人类意图来增强模型效果） 步骤1：搜集说明数据，训练监督策略 图：基于人类反馈强化的核心训练流程如下所示： 步骤2：搜集比较数据，训练一个奖励模型

号 • 亚马逊（Amazon／A9)电子商务搜索引擎中， 深度学习还在实验阶段， 尚未进入生产线。 8 • 搜索数值矢量化  传统搜索基于文字匹配， 商品包含搜索词或者不包含搜索词  利用深度学习技术， 将搜索词和商品全部数值矢量化， 将文字匹配转化为数值矢量计算  词语矢量化是进一步进行各种深度学习的基础。 • 矢量化模型介绍  Mikolov(Google员工)等人201 则训练文本严重不足 • 电商搜索中遇到的主要是句子／短文分析， 可以将短文中的词语聚类， 挑选具有代表 性的词语聚类结果， 来表示整个短文 • 传统聚类（如Kmeans)在几何距离的基础上进行聚类， 效果不好。 利用随机过程做词 语聚类可以解决这一问题 11 具体的生成cluster的流程如图： V[i]: 为产品信息里每个词的词语向量(word vector)分数 C[i]: 为聚类(cluster)的vector分数 美研方案返回64个相关结果 现有方案 原型系统 16 • 首先进行词语的矢量化 • 词语矢量作为各种深度学习模型的输入值 • 示例深度学习架构： dual RNN ( dual LSTM) • 利用用户反馈数据来补充训练样本 正在进行的探索 17 聊天机器人(chatbot) • 聊天机器人是一种聊天代理，它通过电脑程序设计与人类通过音频或文本进行 智力对话。 --维基百科 • 未来