的bash脚 本，并执行以下操作： # 文件名可能会更改 sh Miniconda3-py39_4.12.0-Linux-x86_64.sh -b 接下来，初始化终端Shell，以便我们可以直接运行conda。 ~/miniconda3/bin/conda init 现在关闭并重新打开当前的shell。并使用下面的命令创建一个新的环境： 8 https://conda.io/en/latest/miniconda Siri”）。我们试 着用一台计算机和一个代码编辑器编写代码，如 图1.1.1中所示。问题看似很难解决：麦克风每秒钟将收集大 约44000个样本，每个样本都是声波振幅的测量值。而该测量值与唤醒词难以直接关联。那又该如何编写程 序，令其输入麦克风采集到的原始音频片段,输出{是, 否}（表示该片段是否包含唤醒词）的可靠预测呢？我 们对编写这个程序毫无头绪，这就是需要机器学习的原因。 图1.1.1: error），即预测值与实际值之差的平方。 当试图解决分类问题时，最常见的目标函数是最小化错误率，即预测与实际情况不符的样本比例。有些目标 函数（如平方误差）很容易被优化，有些目标（如错误率）由于不可微性或其他复杂性难以直接优化。在这 些情况下，通常会优化替代目标。 通常，损失函数是根据模型参数定义的，并取决于数据集。在一个数据集上，我们可以通过最小化总损失来 学习模型参数的最佳值。该数据集由一些为训练而收集的样

感知机网络结构② 1969 年，美国科学家 Marvin Minsky 等人在出版的《Perceptrons》一书中指出了感知 机等线性模型的主要缺陷，即无法处理简单的异或 XOR 等线性不可分问题。这直接导致 了以感知机为代表的神经网络的相关研究进入了低谷期，一般认为 1969 年~1982 年为人工 智能发展的第一次寒冬。 尽管处于 AI 发展的低谷期，仍然有很多意义重大的研究相继发表，这其中最重要的 一。2012 年， Alex Krizhevsky 提出了 8 层的深层神经网络 AlexNet，它采用了 ReLU 激活函数，并使用 Dropout 技术来防止过拟合，同时抛弃了逐层预训练的方式，直接在两块 NVIDIA GTX580 GPU 上训练网络。AlexNet 在 ILSVRC-2012 图片识别比赛中获得了第一名的成绩，比第二 名在 Top-5 错误率上降低了惊人的 10.9%。 import torch # 导入 pytorch 库 # 1.创建输入张量，并赋初始值 a = torch.tensor(2.) b = torch.tensor(4.) # 2.直接计算，并打印结果 print('a+b=',a+b) 可以看到，计算过程非常简洁，没有多余的计算步骤，并且和 Python 语言的编程方式非常 接近，代码简单易读。 这种运算时同时创建计算图

e)[0] 以前，我们使用 model.chat() （有关更多详细信息，请参阅先前 Qwen 模型中的 modeling_qwen. py ）。现在，我们遵循 transformers 的实践，直接使用 model.generate() 配合 tokenizer 中的 apply_chat_template() 方法。 如果你想使用 Flash Attention 2，你可以用下面这种方式读取模型： tokenizer.batch_decode() 函数对响应进行解码。关于输入部分，上述的 messages 是一个 示例，展示了如何格式化对话历史记录和系统提示。默认情况下，如果您没有指定系统提示，我们将直接使 用 You are a helpful assistant. 作为系统提示。 1.3.2 流式输出 借助 TextStreamer ，您可以将与 Qwen 的对话切换到流式传输模式。下面是一个关于如何使用它的示例： qwen:7b • ollama run qwen:14b • ollama run qwen:72b 1.5.2 在 Ollama 运行你的 GGUF 文件 有时您可能不想拉取模型，而是希望直接使用自己的 GGUF 文件来配合 Ollama。假设您有一个名为 qwen1_5-7b-chat-q4_0.gguf 的 Qwen 的 GGUF 文件。在第一步中，您需要创建一个名为 Modelfile

大家好，本章是主要介绍一下深度学习框架 Pytorch 的的历史与发展，主要模 块构成与基础操作代码演示。重点介绍 Pytorch 的各个组件、编程方式、环境 搭建、基础操作代码演示。本章对有 Pytorch 开发经验的读者来说可以直接跳 过；对初次接触 Pytorch 的读者来说，通过本章学习认识 Pytorch 框架，搭建 好 Pytorch 的开发环境，通过一系列的基础代码练习与演示建立起对深度学习 与 Pytorch ，理论 上支持向后兼容的版本；Beta 版本是基于用户反馈的改动版 本，可能有 API/SDK 函数改动，性能有进一步需要提升的空间； 原型版本是新功能还不可以，需要开发不能通过 pip 方式直接 安装。 1.1.2 Pytorch 的模块与功能 Pytorch 当前支持绝大数的深度学习常见的算子操作，基于相 关的功能模块可以快速整合数据、构建与设计模型、实现模型 训练、导出与部署等操作。这些功能的相关模块主要有如下： 根据构建计算图的方式不同还可以分为静态图与动态图， Pytorch 默认是基于动态图的方式构建计算图，动态图采用类 似 python 语法，可以随时运行，灵活修改调整；而静态图则 是效率优先，但是在图构建完成之前无法直接运行。可以看出 动态图更加趋向于开发者平时接触的面向对象的编程方式，也 更容易被开发者理解与接受。下图是一个简单的计算图示例： 图 1-4（计算图示意） 图 1-4 中最底层三个节点表示计算图的输入张量数据节点（a、

向量积。公式如下： 这里第 行的 由左边的向量的矩阵向量乘积给出： 将矩阵乘法剖析到如此大的程度似乎有点过分，特别是当所有这些观点都紧跟在我们在本节开头给出的 初始定义（在一行数学中）之后。 这些不同方法的直接优势在于它们允许您在向量的级别/单位而不是标量上进行操作。 为了完全理解线 性代数而不会迷失在复杂的索引操作中，关键是要用尽可能多的概念进行操作。 实际上所有的线性代数都处理某种矩阵乘法，花一些 例如，为了检查矩阵乘法的相关性，假设 ， ， 。 注意 ，所以 。 类似地， ，所以 。 因此，所得矩阵的维度一致。 为了表明矩阵乘法是相关的，足 以检查 的第 个元素是否等于 的第 个元素。 我们可以使用矩阵乘法的定义直接 验证这一点： 3 运算和属性 在本节中，我们介绍矩阵和向量的几种运算和属性。 希望能够为您复习大量此类内容，这些笔记可以作 为这些主题的参考。 3.1 单位矩阵和对角矩阵 单位矩阵 相对于新的基，即仅将每个坐标缩放相应 的特征值。 在新的基上，矩阵多次相乘也变得简单多了。例如，假设 。根据 的元素导出 的分析形式，使用原始的基可能是一场噩梦，但使用新的基就容易多了： “对角化”二次型。作为直接的推论，二次型 也可以在新的基上简化。 (回想一下，在旧的表示法中， 涉及一个 项的和，而不是上面等式中的 项。)利用这个观点，我们还可以证明矩阵 的正定性完全取决于其特征值的符号： 1. 如果所有的

from_numpy(numpy_test )  CPU tensor转为numpy数据  cpu_tensor.numpy()  注意：  GPU tensor不能直接转为numpy数组，必须先转到CPU tensor。  如果tensor是标量的话，可以直接使用 item() 函数（只能是标量）将值取出来：loss_output.item() 1.Tensors张量的概念 8  Tensor与NumPy的异同 我们已经知道PyTorch使用动态计算图(DAG)记录计算的全过程,DAG的节 点是Function对象，边表示数据依赖，从输出指向输入。因此Function类 在PyTorch自动求导中位居核心地位，但是用户通常不会直接去使用。 每当对Tensor施加一个运算的时候，就会产生一个Function对象，它产生 运算的结果，记录运算的发生，并且记录运算的输入。Tensor使用 .grad_fn属性记录这个计算图的 Autograd自动求导 grad属性 backward函数本身没有返回值，它计算出来的梯度存放在叶子节点的grad属性中。 PyTorch文档中提到，如果grad属性不为空，新计算出来的梯度值会直接加到旧值 上面。 为什么不直接覆盖旧的结果呢？ 这是因为有些Tensor可能有多个输出，那么就需要调用多个backward。叠加的处理 方式使得backward不需要考虑之前有没有被计算过导数，只需要加上去就行了，这

时间间隔 由起始时间戳和 结束时间戳表示 8 创建时间序列 Pandas中，时间戳使用Timestamp（Series派生的子 类）对象表示。 该对象与datetime具有高度的兼容性，可以直接通过 to_datetime()函数将datetime转换为TimeStamp对象。 pd.to_datetime('20180828') 9 创建时间序列 如果传入的是多个datetime组成的列表，则Pandas会 最简单的选取子集的方式，是直接使用位置 索引来获取具体的数据。 # 根据位置索引获取数据 time_se[3] 14 通过时间戳索引选取子集 还可以使用datetime构建的日期获取其对应 的数据。 date_time = datetime(2015, 6, 1) date_se[date_time] 15 通过时间戳索引选取子集 还可以在操作索引时，直接使用一个日期字 符串（符合可以被解析的格式）进行获取。 符串（符合可以被解析的格式）进行获取。 date_se['20150530'] date_se['2018/01/23'] 16 通过时间戳索引选取子集 如果希望获取某年或某个月的数据，则可以 直接用指定的年份或者月份操作索引。 date_se['2015'] 17 通过时间戳索引选取子集 除了使用索引的方式以外，还可以通过 truncate()方法截取 Series或DataFrame对象。

function([model.layers[0].input], [model.layers[3].output]) layer_output = get_3rd_layer_output([x])[0] 同样，你可以直接建立一个 Theano 或 TensorFlow 函数。 注 意， 如 果 你 的 模 型 在 训 练 和 测 试 阶 段 有 不 同 的 行 为 （例 如， 使 用 Dropout, BatchNormalization 如何在 Keras 中使用 HDF5 输入？ 你可以使用 keras.utils.io_utils 中的 HDF5Matrix 类。有关详细信息，请参阅 HDF5Matrix 文档。 你也可以直接使用 HDF5 数据集： import h5py with h5py.File('input/file.hdf5', 'r') as f: x_data = f['x_data'] model Fashion-MNIST 时尚物品数据集 训练集为 60,000 张 28x28 像素灰度图像，测试集为 10,000 同规格图像，总共 10 类时尚物品 标签。该数据集可以用作 MNIST 的直接替代品。类别标签是： 常用数据集 DATASETS 157 类别 描述 中文 0 T-shirt/top T 恤/上衣 1 Trouser 裤子 2 Pullover 套头衫 3 Dress

 t t H 第二道匹配 • 根据估计的平面运动进行匹配 Epipolar constraint Homography constraint 匹配结果比较 第一道匹配 (53个匹配对) 直接极线上搜索 (增加了11个匹配对) 第二道匹配 (增加了346个匹配对) 非连续帧上的特征点轨迹匹配 • 快速匹配矩阵估计 • 检测有公共内容的子序列进行特征轨迹匹配 快速匹配矩阵估计 KITTI数据集上的定量比较 TUM数据集上的定量比较 ENFT-SLAM: ENFT-based Large- Scale Monocular SLAM ENFT-SLAM • 特征跟踪 • 直接采用ENFT特征跟踪 • 回路检测与闭合 • 对原来的非连续特征轨迹匹配进行修改 • 计算当前帧与历史关键帧的相似度，并选择相似度高的关键帧进行匹 配 • 采用基于分段的集束调整进行优化 net/acts/acts.html 总结与讨论 • 极度缺乏特征和大量重复纹理场景 下还工作得不好 • 结合边跟踪或直接稠密跟踪 • 融合其它传感器 • 目前只能实现实时的稀疏重建 • 加速稠密深度恢复 • 采用RGB-D相机 视觉SLAM技术发展趋势 • 缓解特征依赖 • 结合边的跟踪 • 直接图像跟踪或半稠密跟踪 • 朝实时稠密三维重建发展 • 单目实时三维重建 • 多目实时三维重建 •

方法：经验、属性分割和 结合 操作：使用混合属性或者 组合属性来创建新的特征 ，或是分解或切分原有的 特征来创建新的特征 2. 特征构建 在原始数据集中的特征 的形式不适合直接进行 建模时，使用一个或多 个原特征构造新的特征 可能会比直接使用原有 特征更为有效。 9 归一化（最大 - 最小规范化） ?∗ = ? − ?min ?max − ?min 将数据映射到[0,1]区间 Z-Score标准化 特征选择 32 许永洪,吴林颖.中国各地区人口特征和房价波动的动态关系[J].统计研究,2019,36(01) 原理：包裹式特征选择直接把最终将要使用的学习器的性能作为 特征子集的评价原则。其目的就是为给定学习器选择最有利于其 性能、量身定做的特征子集。 优点：直接针对特定学习器进行优化，考虑到特征之间的关联性 ，因此通常包裹式特征选择比过滤式特征选择能训练得到一个更 好性能的学习器。