【PyTorch深度学习-龙龙老师】-测试版202112一 步步地提出设想、分析方案以及实现方案,重温当年科研工作者的发现之路,让读者身临其 境式的感受算法设计思想,从而掌握分析问题、解决问题的能力。这种方式也是对读者的基 础要求较少的,读者在学习本书的过程中会自然而然地了解算法的相关背景知识,体会到知 识是为了解决问题而生的,避免陷入为了学习而学习的窘境。 尽管作者试图将读者的基础要求降到最低,但是人工智能不可避免地需要使用正式化的 数学符号推 年代,科学家们尝试通过知识库加推理的方式解决人工智能,通过构建庞大复杂 的专家系统来模拟人类专家的智能水平。这些明确指定规则的方式存在一个最大的难题, 就是很多复杂、抽象的概念无法用具体的代码实现。比如人类对图片的识别、对语言的理 解过程,根本无法通过既定规则模拟实现。为了解决这类问题,一门通过让机器自动从数 据中学习规则的研究学科诞生了,称为机器学习,并在 1980 年代成为人工智能中的热门学 预览版202112 第 1 章 人工智能绪论 虽然深度学习框架数量众多,但是大体上可以分为两类:基于静态图的和基于动态图 的。基于静态图的代表性框架是 TensorFlow 1,特点是建立计算图过程和实际计算过程是 分开的;PyTorch 是基于动态图的流行框架,特点是计算图的建图过程和计算过程是同时 进行的。 下面以简单的2.0 + 4.0的加法运算为例,介绍静态图和动态图的主要区别。首先介绍 静态图,以 TensorFlow 1.x0 码力 | 439 页 | 29.91 MB | 1 年前3
动手学深度学习 v2.0内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 12.4.3 存储器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 518 12.4.4 CPU 多机训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 545 12.7.4 键值存储 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 547 13 计算机视觉 549 图1 中用不同的颜色呈现: 目录 3 图1: 全书结构 • 第一部分包括基础知识和预备知识。1节 提供深度学习的入门课程。然后在 2节 中,我们将快速介绍实 践深度学习所需的前提条件,例如如何存储和处理数据,以及如何应用基于线性代数、微积分和概率基 本概念的各种数值运算。3节 和 4节 涵盖了深度学习的最基本概念和技术,例如线性回归、多层感知机 和正则化。 • 接下来的五章集中讨论现代深度学习技术。5节0 码力 | 797 页 | 29.45 MB | 1 年前3
机器学习课程-温州大学-01机器学习-引言2016年 C轮融资 估值20亿美元 9 机器学习的范围 10 • 给定数据的预测问题 ✓ 数据清洗/特征选择 ✓ 确定算法模型/参数优化 ✓ 结果预测 • 不能解决什么 ✓ 大数据存储/并行计算 ✓ 做一个机器人 机器学习可以解决什么问题 11 机器学习发展史 总的来说,人工智能经历了逻辑推理、知识工程、机器 学习三个阶段。 机器学习伴随着人工智能的发展而诞生,它是人工智能 如何将将原高维空间中的数据点映射到低维度的 空间中? 2. 机器学习的类型-无监督学习 18 ✓ 强化学习(Reinforcement Learning) ✓ 用于描述和解决智能体(agent)在与环境的交 互过程中通过学习策略以达成回报最大化或实现 特定目标的问题 。 2. 机器学习的类型-强化学习 19 ✓ 机器学习方法 ✓ 模型 ✓ 损失函数 ✓ 优化算法 ✓ 模型评估指标 机器学习的概念 可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。 注意:安装路径尽量不使用带有 中文或空格 的目录,这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 54 Python 的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 55 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器,列表用[ ]来表示,其中元素的类型可不相同。0 码力 | 78 页 | 3.69 MB | 1 年前3
《TensorFlow 快速入门与实战》6-实战TensorFlow验证码识别扫描二维码 试看/购买《TensorFlow 快速入门与实战》视频课程 • 准备模型开发环境 • 生成验证码数据集 • 输入与输出数据处理 • 模型结构设计 • 模型损失函数设计 • 模型训练过程分析 • 模型部署与效果演示 第六部分 目录 准备模型开发环境 第三方依赖包 数据集生成 • Pillow • captcha 模型可视化 • pydot 模型服务部署 • flask PIL 的图像工具库。 至今,社区依然非常活跃,Pillow 仍在快速迭代。 Pillow提供广泛的文件格式支持,高效的内部表示和相当强大的图像处理功能。 核心图像库旨在快速访问以几种基本像素格式存储的数据, 它应该为一般的图像处理工 具提供坚实的基础。 https://github.com/python-pillow/Pillow captcha Catpcha 是一个生成图像和音频验证码的开源工具库。 generate('1234’) audio.write('1234', 'out.wav’) pydot pydot 是用纯 Python 实现的 GraphViz 接口,支持使用 GraphViz 解析和存储 DOT语言 (graph description language)。其主要依赖 pyparsing 和 GraphViz 这两个工具库。 pyparsing:仅用于加载DOT文件,在 pydot0 码力 | 51 页 | 2.73 MB | 1 年前3
Keras: 基于 Python 的深度学习库. . . 32 3.3.11 验证集划分是如何计算的? . . . . . . . . . . . . . . . . . . . . . . . . . . . 32 3.3.12 在训练过程中数据是否会混洗? . . . . . . . . . . . . . . . . . . . . . . . . 32 3.3.13 如何在每个 epoch 后记录训练集和验证集的误差和准确率? 3.3.19 Keras 配置文件保存在哪里? . . . . . . . . . . . . . . . . . . . . . . . . . . 36 3.3.20 如何在 Keras 开发过程中获取可复现的结果? . . . . . . . . . . . . . . . . 36 3.3.21 如何在 Keras 中安装 HDF5 或 h5py 来保存我的模型? . . . . . input_dim=100)) model.add(Dense(units=10, activation='softmax')) 在完成了模型的构建后, 可以使用 .compile() 来配置学习过程: model.compile(loss='categorical_crossentropy', optimizer='sgd', metrics=['accuracy']) 如果需要,你还可以进一步地配置你的优化器。Keras0 码力 | 257 页 | 1.19 MB | 1 年前3
AI大模型千问 qwen 中文文档max_new_tokens=512, streamer=streamer, ) 除了使用 TextStreamer 之外,我们还可以使用 TextIteratorStreamer ,它将可打印的文本存储在一 个队列中,以便下游应用程序作为迭代器来使用: # Repeat the code above before model.generate() # Starting here, we add streamer "}, {"role": "assistant", "content": "I am a large language model named Qwen..."} ] 然后只需通过一行代码运行校准过程: model.quantize(tokenizer, quant_config=quant_config, calib_data=data) 最后,保存量化模型: 14 Chapter 1. "}, {"role": "assistant", "content": "I am a large language model named Qwen..."} ] 然后只需通过一行代码运行校准过程: 1.8. GPTQ 17 Qwen import logging logging.basicConfig( format="%(asctime)s %(levelname)s [%(name)s]0 码力 | 56 页 | 835.78 KB | 1 年前3
机器学习课程-温州大学-01深度学习-引言可以免费使用专业版的。 安装过程照着提示一步步操作就可以了。 注意:安装路径尽量不使用带有 中文或空格 的目录,这样在之后的使用过程 中减少一些莫名的错误。 Python 的环境的安装 55 Python 的主要数据类型 ⚫字符串 ⚫整数与浮点数 ⚫布尔值 ⚫日期时间 ⚫其它 56 Python 的数据结构 ⚫列表(list) 用来存储一连串元素的容器,列表用[ ]来表示,其中元素的类型可不相同。 集合主要有两个功能,一个功能是进行集合操作,另一个功能是消除重复元素。 集合的格式 是:set( ),其中()内可以是列表、字典或字符串,因为字符串是以列表的形式存储的 ⚫字典(dict) 字典dict也叫做关联数组,用大括号{ }括起来,在其他语言中也称为map,使用键-值( key-value)存储,具有极快的查找速度,其中key不能重复。 57 Python控制流 ⚫顺序结构 ⚫分支结构 ⚫循环结构 ⚫break、continue和pass0 码力 | 80 页 | 5.38 MB | 1 年前3
机器学习课程-温州大学-12机器学习-关联规则5}–{5})表示5–>1和3 置信度=支持度(1,3,5)/支持度(5)=2/4=50%<60% 规则6被拒绝 24 2.Apriori算法 Apriori算法缺点 Apriori 在计算的过程中有以下几个缺点: 可能产生大量的候选集。因为采用排列组合的方式,把可能的项集都 组合出来了; 每次计算都需要重新扫描数据集,来计算每个项集的支持度。 25 3.FP-Growth算法 01 FP-growth算法是基于Apriori原理的,通过将数据集存储在FP(Frequent Pattern)树上发现频繁项集,但不能发现数据之间的关联规则。 FP-growth算法只需要对数据库进行两次扫描,而Apriori算法在求每个潜在 的频繁项集时都需要扫描一次数据集,所以说Apriori算法是高效的。其中 算法发现频繁项集的过程是: (1)构建FP树; (2)从FP树中挖掘频繁项集。 必然包括这商品本身) 40 3.FP-Growth算法 FP-Growth算法的优点 1.与Apriori算法相比,该算法只需对数据库进行两次扫描 2.该算法不需要对项目进行配对,因此速度更快。 3.数据库存储在内存中的压缩版本中。 4.对长、短频繁模式的挖掘具有高效性和可扩展性。 FP-Growth算法的缺点 1.FP-Tree比Apriori更麻烦,更难构建。 2.可能很耗资源。 3.当数据库较大时,算法可能不适合共享内存0 码力 | 49 页 | 1.41 MB | 1 年前3
机器学习课程-温州大学-03深度学习-PyTorch入门dtype # torch.float32 查看Tensor维度和形状 tensor1.shape #查看形状或尺寸 tensor1.ndim #查看维度 查看Tensor是否存储在GPU上 tensor1.is_cuda 查看Tensor的梯度 tensor1.grad 1.Tensors张量的概念 7 Tensor在CPU和GPU之间转换,以及numpy之间的转换 支持,①对变量求导示例 v=tf.Variable([3.2, 4.3], dtype=tf.float16), #TensorFlow一 般使用梯度磁 带tf.GradientTape来记 录正向 运算过程,然后反播磁带自动 得到梯度值。 ②对常量也可求导,需要增加 watch。 ③对tf.Variable可以通过参数 trainable 控制是否可学习,缺 省是True。 是否支持GPU 不支持 换言之,如果一个节点依赖的所有节点都不需要求导,那么它的 requires_grad也会是False。在反向传播的过程中,该节点所在的子图会被 排除在外。 21 2. Autograd自动求导 Function类 我们已经知道PyTorch使用动态计算图(DAG)记录计算的全过程,DAG的节 点是Function对象,边表示数据依赖,从输出指向输入。因此Function类 在PyTorc0 码力 | 40 页 | 1.64 MB | 1 年前3
全连接神经网络实战. pytorch 版型训练很有好处。pytorch 中有两个 模块是用来导入数据的:torch.utils.data.Dataset 以及 torch.utils.data.DataLoader。 Dataset 存储样本以及它们的标签等信息,Dataset 可以使用预加载的数据集(例如 mnist), 也可以使用自定义的数据集;而 DataLoader 是把样本进行访问和索引的工具,它实现了迭代器 功能,也就是说它可以依次将 . u t i l s . data import Dataset from torch . u t i l s . data import DataLoader 前面说过,Dataset 可以存储自定义数据,我们可以继承 Dataset 类,在子类中实现一些固定 功能的函数,这样就相当于封装了自己的数据为 Dataset 类型。为了方便起见,我们先描述如何 使用预加载数据,然后第二章就开 ) print ( ”Done ! ” ) 在训练中,可以看到,准确率在波动中不断上升,最终准确率能达到 98% 左右。我们下一节 把训练过程中准确率的变化与最终在测试集上的分类结果可视化一下。 4.2 准确率的可视化 我们定义一个存放训练过程的 list: Chapter 4. 构建自己的数据集 23 correctCurve = [ ] 然后在 test_loop 函数中把每次计算好的0 码力 | 29 页 | 1.40 MB | 1 年前3
共 52 条
- 1
- 2
- 3
- 4
- 5
- 6













