"content": "Tell me something about large language models."} ], }' 或者您可以按照下面所示的方式，使用 openai Python 包中的 Python 客户端： from openai import OpenAI # Set OpenAI's API key and API base to use vLLM's API server requirements 中的 bitsandbytes 和 llama-cpp-python ，我建议您直接通过 pip 进行安装。但 是，暂时请不要使用 GGUF，因为其与 TGW 配合时的性能表现不佳。在完成所需包的安装之后，您需要 准备模型，将模型文件或目录放在 “./models“文件夹中。例如，您应按照以下方式将 “transformers“模型目录 Qwen1.5-7B-Chat 放置到相应位置。例如，您应该将 1.7 AWQ 对于量化模型，我们推荐使用 AWQ 结合 AutoAWQ 。AWQ 即激活感知权重量化，是一种针对 LLM 的低比 特权重量化的硬件友好方法。而 AutoAWQ 是一个易于使用的工具包，专门用于 4 比特量化模型。相较于 FP16，AutoAWQ 能够将模型的运行速度提升 3 倍，并将内存需求降低至原来的 1/3。AutoAWQ 实现了激活 感知权重量化（AWQ）算法，可用于 LLM

效率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 5.2 参数管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197 5.2 码，向读者展示如何解决实践中的问题；（4）允许我们和社区 的快速更新;（5）由一个论坛2作为补充，用于技术细节的互动讨论和回答问题。 这些目标经常是相互冲突的。公式、定理和引用最好用LaTeX来管理和布局。代码最好用Python描述。网页 原生是HTML和JavaScript的。此外，我们希望内容既可以作为可执行代码访问、作为纸质书访问，作为可下 载的PDF访问，也可以作为网站在互联网上访 法提供的地方提供见解。 有时，为了避免不必要的重复，我们将本书中经常导入和引用的函数、类等封装在d2l包中。对于要保存到包 中的任何代码块，比如一个函数、一个类或者多个导入，我们都会标记为#@save。我们在 16.6节 中提供了这 些函数和类的详细描述。d2l软件包是轻量级的，仅需要以下软件包和模块作为依赖项： #@save import collections import hashlib

语言到如今支持 Python/C++/Java 主流编程语言， 目前已经支持 Linux、Windows、MacOS 等主流的操作系统、 同时全面支持 Android 与 iOS 移动端部署。 在版本发布管理方面，Pytorch 分为三种不同的版本分别是稳 定版本 (Stable Release)、Beta 版本、原型版本（Prototype）。 其中稳定版本长期支持维护没有明显的性能问题与缺陷，理论 如下： 1）torch.nn 包，里面主要包含构建卷积神经网络的各种算子 操作，主要包括卷积操作（Conv2d、Conv1d、Conv3d）激 活函数、序贯模型 (Sequential)、功能函数 (functional)、损 失功能、支持自定义的模型类（Module）等。通过它们就可 以实现大多数的模型结构搭建与生成。 2）torch.utils 包，里面主要包括训练模型的输入数据处理类、 点与性能相关的组件功能。重要的类有数据集类（Dataset）, 数据加载类 (DataLoader)、自定义编程的可视化支持组件 tensorboard 相关类。 3）torch 开头的一些包与功能，主要包括支持模型导出功能 的 torch.onnx 模块、优化器 torch.optim 模块、支持 GPU 训 练 torch.cuda 模块，这些都是会经常用的。 4）此外本书当中还会重点关注的

2011年 D轮融资 估值40亿美元 8 科大讯飞 智能语音技术 综合 中国 1999年 上市 市值108亿美元 9 Automation Anywhere 自然语言处理技术、非结构化数据认知 企业管理 美国 2003年 B轮融资 估值68亿美元 10 IBM Watson（IBM沃森） 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 11 松鼠AI 1对1 智适应学习技术、机器学习 NumPy是一个用Python实现的科学计算的扩展程序库，包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专 Python模块-SciPy ⚫SciPy SciPy是构建在NumPy的基础之上的，它 提供了许多的操作NumPy的数组的函数。 SciPy是一款方便、易于使用、专为科学和 工程设计的Python工具包，它包括了统计 、优化、整合以及线性代数模块、傅里叶 变换、信号和图像图例，常微分方差的求 解等 scipy.cluster 向量量化 scipy.constants 数学常量 scipy

2011年 D轮融资 估值40亿美元 8 科大讯飞 智能语音技术 综合 中国 1999年 上市 市值108亿美元 9 Automation Anywhere 自然语言处理技术、非结构化数据认知 企业管理 美国 2003年 B轮融资 估值68亿美元 10 IBM Watson（IBM沃森） 深度学习、智适应学习技术 计算机 美国 1911年 上市 市值1198亿美元 11 松鼠AI 1对1 智适应学习技术、机器学习 NumPy是一个用Python实现的科学计算的扩展程序库，包括： 1、一个强大的N维数组对象Array； 2、比较成熟的（广播）函数库； 3、用于整合C/C++和Fortran代码的工具包； 4、实用的线性代数、傅里叶变换和随机数生成函数。numpy和稀疏矩阵运算包scipy 配合使用更加方便。 NumPy（Numeric Python）提供了许多高级的数值编程工具，如：矩阵数据类型、 矢量处理，以及精密的运算库。专 Python模块-SciPy ⚫SciPy SciPy是构建在NumPy的基础之上的，它 提供了许多的操作NumPy的数组的函数。 SciPy是一款方便、易于使用、专为科学和 工程设计的Python工具包，它包括了统计 、优化、整合以及线性代数模块、傅里叶 变换、信号和图像图例，常微分方差的求 解等 scipy.cluster 向量量化 scipy.constants 数学常量 scipy

代码文件(.py 格式)。 这里选择安装集成了 Python 解释器和虚拟环境等一系列辅助功能的 Anaconda 软件， 用户通过安装 Anaconda 软件，可以同时获得 Python 解释器、包管理和虚拟环境等一系列 便捷功能，何乐而不为呢。首先从 https://www.anaconda.com/distribution/#download-section 网址进入 Anaconda 下载页面，选择 1-download- archive，这里选择使用 CUDA 10.1 版本(读者可根据需求自行选择最新版)，依次选择 Windows 平台，x86_64 架构，10 系统，exe(local)本地安装包，再选择 Download 即可下载 CUDA 安装软件。下载完成后，打开安装软件。如图 1.23 所示，选择“Custom”选项， 点击 NEXT 按钮进入图 1.26 安装程序选择列表，在这里选择需要安装和取消不需要安装 28 CUDA 安装结果测试-1 图 1.29 CUDA 安装结果测试-2 1.6.3 PyTorch 安装 PyTorch 和其他的 Python 库一样，使用 Python 包管理工具 pip install 命令即可安装。 官方推荐采用 conda install 命令安装。打开 https://pytorch.org/网页，选择 Windows 操作系 统、Conda 安装方式、Python

Base + Delta方式  增量提供ACK机制，确保模型正确性 Parameter Server • 模型数据的统一管理  模型结构  模型参数 PS的参数放置策略 • Ps分布式分片的均衡，避免分片大小不一致  NN网络矩阵按行切分，解决请求包不均衡问题  特征按照Hash方式分布式存储 • 模型并行调超参  grid search  random search

也可以使用自定义的数据集；而 DataLoader 是把样本进行访问和索引的工具，它实现了迭代器 功能，也就是说它可以依次将 batch_size 数量的样本导出。 注意，前面已经导入过的 python 包我们就不再重复导入了。 from torch . u t i l s . data import Dataset from torch . u t i l s . data import DataLoader s s X = X. cuda () 14 2.2. 使用 cuda 来训练网络 y = y . cuda () . . . . . . 我们不用担心数据释放的问题，因为 cuda 会自动管理不再引用它的内存空间，因此每轮训 练完以后，cuda 内的内存都会被重新赋值使用，而不会使 cuda 的内存不断增长。 需要注意的是，把数据移动到 cuda 中也是比较浪费时间的，所以实际情况如何选择网络训

Tensors张量 02 Autograd自动求导 03 神经网络 04 训练一个分类器 27 3. 神经网络 可以使用torch.nn包来构建神经网络. 你已知道autograd包,nn包依赖autograd 包来定义模型并求导.一个nn.Module包含各个层和一个forward(input)方法,该 方法返回output。 典型的神经网络 28  神经网络关键组件及相互关系 在PyTorch中，包nn 完成了同样的功能。nn包中定义一组大致等价于层的模块。 一个模块接受输入的tesnor，计算输出的tensor，而且 还保存了一些内部状态比 如需要学习的tensor的参数等。nn包中也定义了一组损失函数（loss functions） ，用来训练神经网络。 38 4. 训练一个分类器 torch.optim # 使用optim包定义优化器（Optimi zer）。Optimizer将会为我们更新模型的 权重。 # 这里我们使用Adam优化方法；optim包还包含了许多别的优化算法。 # Adam构造函数的第一个参数告诉优化器应该更新哪些张量。 learning_rate = 1e-4 optimizer = torch.optim.Adam(model.parameters(), lr=learning_rate) 39 参考文献 1. IAN

993 来源网站：链滴 许可协议：署名-相同方式共享 4.0 国际 (CC BY-SA 4.0) 前言 本节主要内容是如何使用 torch.nn 包来构建神经网络。 上一讲已经讲过了 autograd，nn 包依赖 autograd 包来定义模型并求导。 一个 nn.Module 包含各个层和一个 forward(input) 方法，该方法返回 output。 例如： 它是一个简单 将所有参数的梯度缓存清零，然后进行随机梯度的的反向传播： net.zero_grad() out.backward(torch.randn(1, 10)) note torch.nn 只支持小批量输入。整个 torch.nn 包都只支持小批量样本，而不支持单个样本。 例如，nn.Conv2d 接受一个4维的张量，每一维分别是 sSamples * nChannels * Height * Width（ 本数 * 通道数 * 神经网络 损失函数 一个损失函数接受一对 (output, target) 作为输入，计算一个值来估计网络的输出和目标值相差多少。 译者注：output 为网络的输出，target 为实际值 nn 包中有很多不同的损失函数。 nn.MSELoss是一个比较简单的损失函数，它计算输出和目标间的均方误差， 例如： output = net(input) target = torch.rand(10)