PyTorch 为基础开发，可见掌握 PyTorch 框架在人工智能行 业中的重要地位。 本书基于清华大学出版社出版的《TensorFlow 深度学习—深入理解人工智能算法》一书 进行二次撰写，代码部分完全基于 PyTorch 进行实现。考虑到本人能力有限、行文仓促，可 以预见地，本书会存在部分语句表达不准确、部分素材尚未创作完成、部分参考引用未能及 时补充、甚至一些错误出现，因此本书以开源、免费地方式发布，希望一方面能够帮助初学 Github Issues 页面提交： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book/issues ❑ 本书主页，以及源代码，电子书下载，正式版也会在此同步更新： https://github.com/dragen1860/Deep-Learning-with-PyTorch-book ❑ 姊妹书《TensorFlow 1970 年代，科学家们尝试通过知识库加推理的方式解决人工智能，通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题， 就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理 解过程，根本无法通过既定规则模拟实现。为了解决这类问题，一门通过让机器自动从数 据中学习规则的研究学科诞生了，称为机器学习，并在 1980 年代成为人工智能中的热门学

������������������������������������������������������������������������������������� 9 1.5.2 线性回归代码演示 ������������������������������������������������������������������������������������������������ Pytorch 的的历史与发展，主要模 块构成与基础操作代码演示。重点介绍 Pytorch 的各个组件、编程方式、环境 搭建、基础操作代码演示。本章对有 Pytorch 开发经验的读者来说可以直接跳 过；对初次接触 Pytorch 的读者来说，通过本章学习认识 Pytorch 框架，搭建 好 Pytorch 的开发环境，通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch 框架的感性认知。 框架的感性认知。 本书内容以 Python 完成全部代码构建与程序演示。本章的主要目标是帮助初 次接触 Python 与 Pytorch 的读者搭建好开发环境，认识与理解 Pytorch 框架 中常见的基础操作函数、学会使用它们完成一些基础的数据处理与流程处理， 为后续内容学习打下良好基础。 好了，下面就让我们来一起开启这段 Pytorch 框架的深度学习破冰之旅。 PyTorch + OpenVINO

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 194 iv 5.1.3 在前向传播函数中执行代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195 5.1.4 效率 . . . . . . . . . . . Adadelta算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486 11.9.2 代码实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 486 11.10 Adam算法 14.3.5 小批量加载训练实例 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 663 14.3.6 整合代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 664 14.4 预训练word2vec

ModelScope 要快速上手 Qwen1.5，我们建议您首先尝试使用 transformers 进行推理。请确保已安装了 transformers>=4. 37.0 版本。以下是一个非常简单的代码片段示例，展示如何运行 Qwen1.5-Chat 模型，其中包含 Qwen1. 5-7B-Chat 的实例： from transformers import AutoModelForCausalLM device_map="auto", attn_implementation="flash_attention_2", ) 为了解决下载问题，我们建议您尝试从 ModelScope 进行下载，只需将上述代码的第一行更改为以下内容： from modelscope import AutoModelForCausalLM, AutoTokenizer 借助 TextStreamer ，chat 的流式 推理和服务的快速且易于使用的框架。以 下，我们将展示如何使用 vLLM 构建一个与 OpenAI API 兼容的 API 服务。 首先，确保你已经安装 vLLM>=0.3.0 ： pip install vllm 运行以下代码以构建 vllm 服务。此处我们以 Qwen1.5-7B-Chat 为例： python -m vllm.entrypoints.openai.api_server --model Qwen/Qwen1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 13.2 图像分类模型的示例代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 158 13.2.1 使用 ResNet50 进行 ImageNet 详细配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 171 14.4 使用抽象 Keras 后端编写新代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172 14.5 后端函数 . . . . . . . . . . . . . 请求新功能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242 21.4 请求贡献代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243 21.5 Pull Requests

pytroch 搭建一个有模有样的神经网络系统了。 几年前，我在 Mooc 的《人工智能实战——Tensorflow 笔记》这门课上入门了 tensorflow，我 很喜欢这种讲授的风格。尽管这门课讲到后面，代码量也因为过于巨大从而导致上课节奏不好控 制，但它的目的达到了——学习者可以快速入门 tensorflow。而后来，因为很多项目的源码都是基 于 pytorch 的，我也开始转战 pytorch。 杂化，而是用到什么就讲什么。本书不可避免要 参考 [2] 的讲解方式，但我们对讲解顺序和内容，以及程序代码都做了大量的改进。说了那么多， 总之，我们的目标是写一个最好的最容易上手的 pytorch 入门教程——从全连接网络开始。 书中的示例代码在网站页面可以找到。每节末尾会提示“本节代码见 chapterX.py”。 20211006：完成本书第一版。 5 1. 准备章节 1.1 导入 有时候我们希望将训练了一定轮数的模型参数保存起来，这个时候我们就需要保存和恢复模 型了。 model.state_dict() 函数可以得到模型的状态字典，里面包含了模型的参数权重与 bias 等信 息，我们可以用下面的代码来保存和恢复模型： # 保 存 模 型 torch . save ( model . state_dict () , path ) # 恢 复 模 型 model . load_state_dict

副教授 2 本章目录 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 3 1.贝叶斯方法 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 4 1.贝叶斯方法-背景知识 先验概率： 后验概率： 贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为 基础，故统称为贝叶斯分类。 )的估计，得到联合概率分布： ?(?, ?)＝?(?|?) ?(?) 7 2.朴素贝叶斯原理 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 8 判别模型和生成模型 判别模型（Discriminative Model) 生成模型（Generative Model） 由数据直接学习决策函数Y=f(X)或者条件概率分 布P(Y =1 ? ? ? ? = ? ? ? = ?? ? ? = ?? 18 3.朴素贝叶斯案例 01 贝叶斯方法 02 朴素贝叶斯原理 03 朴素贝叶斯案例 04 朴素贝叶斯代码实现 19 3.朴素贝叶斯案例 假设我们正在构建一个分类器，该分类器说明文本是否与运动(Sports)有 关。我们的训练数据有5句话： 文本 标签 A great game Sports

模型训练策略 本章目录 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 3 1.背景知识 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 4 1.背景知识 图片分类的原理 5 2017年google的机器翻译团队在 NIPS上发表了Attention 是Transformer的encode网络。 1.背景知识 8 2.模型介绍 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 9 模型思路 2.模型介绍 1.图片切分为patch 2.patch转化为embedding 3.位置embedding和tokensembedding相加 4.输入到Transformer模型 即patch的个数。 2.模型介绍 24 3.模型训练策略 03 模型训练策略 01 背景知识 02 模型介绍 04 模型的缺点与改进 05 模型的代码实现 25 3.模型训练策略 训练策略 模型在Dataset A上预训练，在Dataset B上精调，在Dataset B上评估 26 数据集介绍 在ImageNet(small)预训练，ViT的效果低于Resnet。

黄海广 副教授 2 本章目录 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 3 1.分类问题 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 4 监督学习的最主要类型 ✓ 分类（Classification） ✓ 身高1.85m，体重100kg的男人穿什么尺码的T恤？ 步骤：①->②->③->…… ① ② ③ 一对多 (一对余) 7 2.Sigmoid函数 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 8 ? ? 代表一个常用的逻辑函数（logistic function）为?形函数（Sigmoid function） 则：? ? = ? ? = 1 1+?−? 合起来，我们得到逻辑回归模型的假设函数： (1 + ?−?)) = ?(?)(1 − ?(?)) ? ? 11 3.逻辑回归求解 01 分类问题 02 Sigmoid函数 03 逻辑回归求解 04 逻辑回归代码实现 12 3.逻辑回归求解 假设一个二分类模型： ?(? = 1|?; ?) = ℎ(?) ?(? = 0|?; ?) = 1 − ℎ(?) 则： ?(?|?; ?) = (ℎ(?))

Web的⽅式查看作业的运⾏状况和作业日志� • 在线查看Tensorboard� • HistoryServer支持查看结束作业的日志和状态信息� • 控制已有的TensorFlow作业的迁移成本（最多改三⾏ 代码）� 扩展目标：� TensorFlow on Yarn设计 tensorflow-submit \� --app-name “tfdemo” \#作业名� --files tfTestDemo 启动Tensorboard服务：� TensorFlow on Yarn技术细节揭秘 降低已有tensorflow程序迁移成本：� （1）单机模式 不需要修改代码 （2）分布式模式（最多修改三行代码） cluster = !.train.ClusterSpec(json.loads(os.environ[“TF_CLUSTER_DEF”])) job_name ResourceManager统计计数并按数量 分配 ResourceManager统计计数并按数量 分配 作业必须占用CPU资源 作业可以不需要GPU资源 系统自动分配物理CPU核心 需要知道具体GPU卡号，代码分配 计算任务到指定GPU设备 设备亲和性影响较小 设备亲和性影响较大 TensorFlow on Yarn技术细节揭秘 Yarn支持GPU调度ResourceManager端实现：�