. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 354 9.4.3 双向循环神经网络的错误应用 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 356 9.5 机器翻译与数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 497 12 计算性能 503 12.1 编译器和解释器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503 12.1.1 处：这使你可以通过利用我们的代码尽可能轻松地启动你自己的研究项目。只需复制这一节的内容并开始修 改即可。 我们将根据需要将可运行代码与背景材料交错。通常，在充分解释工具之前，我们常常会在提供工具这一方 面犯错误（我们将在稍后解释背景）。例如，在充分解释随机梯度下降为什么有用或为什么有效之前，我们可 以使用它。这有助于给从业者提供快速解决问题所需的弹药，同时需要读者相信我们的一些决定。 这本书将从头开始

请 注 意， 原 Qwen 仓 库 中 的 旧 方 法 chat() 现 在 已 被 generate() 方 法 替 代。 这 里 使 用 了 apply_chat_template() 函数将消息转换为模型能够理解的格式。其中的 add_generation_prompt 参数用于在输入中添加生成提示，该提示指向 <|im_start|>assistant\n 。尤其需要注意的是，我们 遵循先前实践，对 apply_chat_template(msg, tokenize=False, add_generation_ �→prompt=False) data.append(text.strip()) 其中每个 msg 是一个典型的聊天消息，如下所示： [ {"role": "system", "content": "You are a helpful assistant."}, {"role": "user", "content": 选字段。messages 字段是一个 JSON 对象列表，每个对象都包含两个字段：role 和 content 。其中，role 可以是 system 、user 或 assistant ，表示消息的角色；content 则是消息的文本内容。而 source 字 段代表了数据来源，可能包括 self-made 、alpaca 、open-hermes 或其他任意字符串。 你需要用 json 将一个字典列表存入

用户友好。Keras 是为人类而不是为机器设计的 API。它把用户体验放在首要和中心位置。 Keras 遵循减少认知困难的最佳实践：它提供一致且简单的 API，将常见用例所需的用户 操作数量降至最低，并且在用户错误时提供清晰和可操作的反馈。 • 模块化。模型被理解为由独立的、完全可配置的模块构成的序列或图。这些模块可以以尽 可能少的限制组装在一起。特别是神经网络层、损失函数、优化器、初始化方法、激活函 优先考虑开发人员的经验 • Keras 是为人类而非机器设计的 API。Keras 遵循减少认知困难的最佳实践: 它提供一致且 简单的 API，它将常见用例所需的用户操作数量降至最低，并且在用户错误时提供清晰和 可操作的反馈。 • 这使 Keras 易于学习和使用。作为 Keras 用户，你的工作效率更高，能够比竞争对手更快 地尝试更多创意，从而帮助你赢得机器学习竞赛。 • 这种易用性并不以降低灵活性为代价：因为 model.save()。 关键点：为每个任务使用正确的 API。Model 子类化 API 可以为实现复杂模型提供更大的灵 活性，但它需要付出代价（比如缺失的特性）：它更冗长，更复杂，并且有更多的用户错误机会。 如果可能的话，尽可能使用函数式 API，这对用户更友好。 4.2 Sequential 顺序模型 API 4.2.1 Sequential 顺序模型 API 在阅读这片文档前，请先阅读

深度学习—深入理解人工智能算法》一书 进行二次撰写，代码部分完全基于 PyTorch 进行实现。考虑到本人能力有限、行文仓促，可 以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学 者快速上手深度学习算法，另一方面也能汇聚众多行业专家们的力量，修正测试版中的谬误 之处，让本书变得更为完善。 本书虽然免费开放电子版 本书虽然免费开放电子版，供个人学习使用，但是未经许可，不能用于任何个人或者企 业的商业用途，违法盗版和销售，必究其法律责任。 龙龙老师 2021 年 10 月 19 日 预览版202112 配 套 资 源 ❑ 提交错误或者修改等反馈意见，请在 Github Issues 页面提交： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book/issues 1.2.2 深度学习 2006 年，Geoffrey Hinton 等人发现通过逐层预训练的方式可以较好地训练多层神经网 络，并在 MNIST 手写数字图片数据集上取得了优于 SVM 的错误率，开启了第三次人工智 能的复兴。在论文中，Geoffrey Hinton 首次提出了 Deep Learning 的概念，这也是(深层)神 经网络被叫作深度学习的由来。2011 年，Xavier Glorot

对每一个非叶子节点，评估用一个最佳叶子节点去代 替这课子树是否有益。如果剪枝后与剪枝前相比其错 误率是保持或者下降，则这棵子树就可以被替换掉。 C4.5 通过训练数据集上的错误分类数量来估算未知样 本上的错误率。 后剪枝决策树的欠拟合风险很小，泛化性能往往优于 预剪枝决策树。 25 C4.5的剪枝 后剪枝 后剪枝的决策树 剪枝方法 在已经生成的决策树上进行剪枝，从而得到简化版的 对每一个非叶子节点，评估用一个最佳叶子节点去代 替这课子树是否有益。如果剪枝后与剪枝前相比其错 误率是保持或者下降，则这棵子树就可以被替换掉。 C4.5 通过训练数据集上的错误分类数量来估算未知样 本上的错误率。 后剪枝决策树的欠拟合风险很小，泛化性能往往优于 预剪枝决策树。 平坦 色泽 好瓜 坏瓜 根蒂 脐部 坏瓜 坏瓜 好瓜 好瓜 好瓜 凹陷 硬挺 蜷曲 稍蜷

•目标跟踪 •OCR文字识别 •图像滤波与降噪 •图像增强 •风格迁移 •三维重建 •图像检索 •GAN 12 深度学习-CV典型应用案例 翻译 传统翻译采用人工查词的方式，不但耗时长 ，而且错误率高。图像识别技术(OCR)的出 现大大提升了翻译的效率和准确度，用户通 过简单的拍照、截图或划线就能得到准确的 翻译结果。 体育赛事 计算机视觉还有助于比赛和策略分 析、球员表现和评级，以及跟踪体育 如果有edu邮箱，那么推荐使用专业版，edu邮箱是可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。 注意：安装路径尽量不使用带有 中文或空格 的目录，这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 55 Python 的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 56 Python 的数据结构 ⚫列表(list) 2D绘图库，它以各种硬拷贝格 式和跨平台的交互式环境生成 出版质量级别的图形 。 通过 Matplotlib，开发者可以 仅需要几行代码，便可以生成 绘图，直方图，功率谱，条形 图，错误图，散点图等。 https://matplotlib.org/gallery/index.html 71 Python模块-Matplotlib 图形的各元素名称如下： 绘图框 是图形的最高容器，所

DeepID时代 99.55% 99.15% 30万张人脸训练 DeepID3 DeepID2 8位密码时代 20亿张人脸， 2亿个体训练 1/1亿 错误概率 97% 通过率 6位密码时代 1/100万 错误概率 95% 通过率 6000万张人脸训练 2016 2017 What’s Next? 2018 自我演化的异构人工智能云 云原生的深度学习数据闭环 自进化深度学习系统

数据建模 8 2.数据清洗 什么是数据清洗？ 数据清洗是指发现并纠正数据文件中可识别的错误的最后一道程序，包 括检查数据一致性，处理无效值和缺失值等。与问卷审核不同，录入后 的数据清理一般是由计算机而不是人工完成。 9 2.数据清洗 不合法值 空 值 异常检测 重复处理 拼写错误 命名习惯 数理统计技术 数据挖掘技术 脏数据 数据清理策略、规则 满足数据质量要求的数据

支持向量机概述 硬间隔、软间隔和非线性 SVM 假如数据是完全的线性可分的，那么学习到的模型可以称为硬间隔支持向 量机。换个说法，硬间隔指的就是完全分类准确，不能存在分类错误的情 况。软间隔，就是允许一定量的样本分类错误。 软间隔 硬间隔 线性可分 线性不可分 6 支持向量 1.支持向量机概述 算法思想 找到集合边缘上的若干数据（称为 支持向量（Support Vector））

1. 正确肯定（True Positive,TP）： 预测为真，实际为真 2. 正确否定（True Negative,TN）：预测为假，实际为假 3. 错误肯定（False Positive,FP）： 预测为真，实际为假 4. 错误否定（False Negative,FN）：预测为假，实际为真 混淆矩阵（confusion_matrix） 评价指标 准确率 Accuracy = TP