流量控制，正在消费队列中消息的跨度超过阀值（默认 2000），稍后在消费 5. 根据 topic 获取订阅关系 6. 构建拉消息回调对象 PullBack, 从 broker 拉取消息（异步拉取）返回结果是回调 7. 从内存中获取 commitOffsetValue //TODO 这个值跟 pullRequest.getNextOffset 区别 8. 构建 sysFlag pull 接口用到的 flag 9 但是消费消息的时候一旦遇到消费消息失败直接放回，根据 ackIndex 来标记 成功消费到哪里了 消费失败， ackIndex 设置为-1 广播模式发送失败的消息丢弃， 广播模式对于失败重试代价过高，对整个集 群性能会有较大影响，失败重试功能交由应用处理 集群模式， 将消费失败的消息一条条的发送到 broker 的重试队列中去，如果 此时还有发送到重试队列发送失败的消息，那就在 cosumer 的本地线程定时 5 秒钟以后重试重新消费消息， 在走一次上面的消费流程。 删除正在消费的队列 processQueue 中本次消费的消息，放回消费进度 更新消费进度， 这里的更新只是一个内存 offsetTable 的更新，后面有定时任务定 时更新到 broker 上去 五：push 消费-顺序消费消息

4 索引和切片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45 2.1.5 节省内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46 2.1.6 转换为其他Python对象 计算机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 12.4.2 内存 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517 12.4.3 存储器 org/wiki/Alan_Turing 22 https://en.wikipedia.org/wiki/Donald_O._Hebb 1.5. 深度学习的发展 33 表1.5.1: 数据集vs计算机内存和计算能力 年代 数据规模 内存 每秒浮点运算 1970 100 （鸢尾花卉） 1 KB 100 KF (Intel 8080) 1980 1 K （波士顿房价） 100 KB 1 MF (Intel 80186)

3.3.8 如何获取中间层的输出？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 3.3.9 如何用 Keras 处理超过内存的数据集？ . . . . . . . . . . . . . . . . . . . . 32 3.3.10 在验证集的误差不再下降时，如何中断训练？ . . . . . . . . . . . “sample”, “batch”, “epoch” 分别是什么？ • 如何保存 Keras 模型？ • 为什么训练误差比测试误差高很多？ • 如何获取中间层的输出？ • 如何用 Keras 处理超过内存的数据集？ • 在验证集的误差不再下降时，如何中断训练？ • 验证集划分是如何计算的？ • 在训练过程中数据是否会混洗？ • 如何在每个 epoch 后记录训练集和验证集的误差和准确率？ • get_3rd_layer_output([x, 0])[0] # 测试模式 = 1 时的输出 layer_output = get_3rd_layer_output([x, 1])[0] 3.3.9 如何用 Keras 处理超过内存的数据集？ 你可以使用 model.train_on_batch(x，y) 和 model.test_on_batch(x，y) 进行批量训练 与测试。请参阅 模型文档。 或 者， 你 可 以

0]，图片 2 的 One- hot 编码为[0,0,1, … ,0]，图片 9 的 One-hot 编码为[0,0,0, … ,1]。One-hot 编码是非常稀疏 (Sparse)的，相对于数字编码来说，占用较多的存储空间，因此一般在存储时还是采用数字 编码方式，仅在计算时，根据需要把数字编码转换成 One-hot 编码，通过 one_hot 函数即可 实现。 In [1]: def one_hot(label 4.2 数值精度 对于数值类型的张量，可以保存为不同字节长度的精度，如浮点数 3.14 既可以保存为 16 位(Bit)长度，也可以保存为 32 位甚至 64 位的精度。位越长，精度越高，同时占用的内 预览版202112 第 4 章 PyTorch 基础 4 存空间也就越大。常用的精度类型有 torch.int16、torch.int32、torch.int64、torch 0.9067]]) 注意到这里 shape 为[4,2]的?和 shape 为[2]的?张量可以直接相加，读者可以思考下为什么 呢？原因将在 Broadcasting 一节为大家揭秘。 通过高层接口类 Linear()方式创建的网络层，张量?和?存储在类的内部，由类自动创 建并管理。可以通过全连接层的 bias 成员变量查看偏置变量?，例如创建输入节点数为 4， 输出节点数为 3 的线性层网络，那么它的偏置向量

构， 可以自由伸缩，并自动故障转移，采用读写分离，适应 高负荷的场景。另外也需要进一步将计算和内存分离出 来，使得计算层彻底变为无状态，可以做到灵活的拓展 能力和故障恢复能力。这样在计算层也实现了Serverless 模式。 • 通过RDMA，绕过CPU，直接和远端内存通信，在计算与 存储分离、计算与内存分离架构上，提升网络利用率和 性能，也能得到传统数据库网络和性能上一样的体验。 • 底层Data 按需分别订购计算与存储，成本低、故障恢复快 利用HTAP模式，可以将查询和分析合并 起来，更加节约成本，并提高了性能 高级能力-云原生数据库-应用的基石-4-端到端安全 DB计算层 分布式共享 存储 分布式 内存 DB计算层 分布式共享 存储 分布式 内存 TDE透明加密 SSL • 在SSL和TDE保护下，好像数据在传输和存储过程中得到了保护，但是TDE 是存储时加密、计算层读取时解密，否则计算层无法进行计算。 • 计算层 或者篡改数据。如果计算层获得的数据也加密，计算层将无法进行计算。 所以云原生数据的安全是要实现“可用但不可见”的能力。 • 可信执行环境（TEE)采用Intel SGX技术实现的密文数据上的计算操作，TEE 中的内存是受保护的，用户查询语句在客户端应用加密后发送给云数据库， 云数据库执行检索操作时进入TEE环境，拿到的结果是密文状态，然后返 回给客户端，数据面从传输、计算到存储全链条都是处于加密的，只有可 信执行环境内才进行明文计算。

NameNode 内存生产配置 1）NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿 G MB KB Byte 2）Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m，如果服务器内存 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m 3）Hadoop3.x 系列，配置 NameNode 内存 （1）hadoop-env.sh 中描述 Hadoop 的内存是动态分配的 # The maximum amount of heap to # memory size. # export HADOOP_HEAPSIZE_MIN= HADOOP_NAMENODE_OPTS=-Xmx102400m （2）查看 NameNode 占用内存 [atguigu@hadoop102 ~]$ jps 3088 NodeManager 2611 NameNode 3271 JobHistoryServer 2744 DataNode

先地位，并确保我们的客 户获得无与伦比的性能和可靠性。 表 1. 各虚拟化管理程序的比较 虚拟化管理程序属性 VMware ESX Microsoft Hyper-V 1.0 占用磁盘空间小 � 32 MB 磁盘空间 (VMware ESXi) � 必需的 Server Core 模式安装 需 2.6 GB 磁盘空间 独立于操作系统 � 无控制台操作系统 � 依赖于 Windows 2008 加强型驱动程序 � 针对硬件供应商进行了优化 � 通用 Windows 驱动程序 高级内存管理 � 能够回收不再使用的内存，消除重复内存页 � 不能回收不再使用的物理内存 高级存储管理 � VMware vStorage VMFS � 缺少集成的群集文件系统 高 I/O 扩展性 � 直接驱动程序模型 RVI、大型内存页面、 通用 4 路 vSMP、VMI 半虚拟化 � 没有 AMD-RVI，没有大型内存页面， 仅在 Windows 2008 虚拟机上支持 4 路 vSMP 虚拟化安全技术 � VMware VMsafe™ 安全 API � 没有同类技术 4 Hyper-V、Xen 和 KVM：代码太多 就虚拟化而言，越小越好。虚拟化占用的空间越小

作为一种新兴的虚拟化方式，Docker 跟传统的虚拟化方式相比具有众多的优势。 更高效的利用系统资源 由于容器不需要进行硬件虚拟以及运行完整操作系统等额外开销，Docker 对系统资源的利用 率更高。无论是应用执行速度、内存损耗或者文件存储速度，都要比传统虚拟机技术更高 效。因此，相比虚拟机技术，一个相同配置的主机，往往可以运行更多数量的应用。 更快速的启动时间 传统的虚拟机技术启动应用服务往往需要数分钟，而 Docker ID 、 创建时间 以及 所占用的空间 。 其中仓库名、标签在之前的基础概念章节已经介绍过了。镜像 ID 则是镜像的唯一标识，一个 镜像可以对应多个标签。因此，在上面的例子中，我们可以看到 ubuntu:16.04 和 ubuntu:latest 拥有相同的 ID，因为它们对应的是同一个镜像。 镜像体积 如果仔细观察，会注意到，这里标识的所占用空间和在 Docker Hub 上看到的镜像大小不同。 ，更关心的是本地磁盘空间占用的大小。 另外一个需要注意的问题是， docker image ls 列表中的镜像体积总和并非是所有镜像实际硬 盘消耗。由于 Docker 镜像是多层存储结构，并且可以继承、复用，因此不同镜像可能会因为 使用相同的基础镜像，从而拥有共同的层。由于 Docker 使用 Union FS，相同的层只需要保 存一份即可，因此实际镜像硬盘占用空间很可能要比这个列表镜像大小的总和要小的多。

降维：PCA降维，减少内存消耗并一定程度上避免过拟合 模型 • DNN模型 - DNN深度神经网络学习；通过引入非线性映射，并包含多层感知器，海量的出餐时间训练数据，DNN 更好地学习自身有用的特征 - DNN对特征工程要求较低，自身可以学习有用的特征，PCA降维影响较小，但时间复杂度较高 • XGBoost模型 - 采用近似求解算法，找出可能的分裂点，避免选用贪心算法的过高时间复杂度 -

一个纯 C/C++ 实现，不依赖任何外部库，并且针对 x86 架构提供了 AVX、AVX2 和 AVX512 加速支持。此 外，它还提供了 2、3、4、5、6 以及 8 位量化功能，以加快推理速度并减少内存占用。对于大于总 VRAM 容量的大规模模型，该库还支持 CPU+GPU 混合推理模式进行部分加速。本质上，llama.cpp 的用途在于运行 GGUF（由 GPT 生成的统一格式）模型。欲了解更多详情，请参阅官方 即激活感知权重量化，是一种针对 LLM 的低比 特权重量化的硬件友好方法。而 AutoAWQ 是一个易于使用的工具包，专门用于 4 比特量化模型。相较于 FP16，AutoAWQ 能够将模型的运行速度提升 3 倍，并将内存需求降低至原来的 1/3。AutoAWQ 实现了激活 感知权重量化（AWQ）算法，可用于 LLM 的量化处理。在本文档中，我们将向您展示如何在 Transformers 框 架下使用量化模型，以及如何对您自己的模型进行量化。 、q6_k 和 q8_0 。欲了解更多信息，请访问 llama.cpp 。 1.10 vLLM 我们建议您在部署 Qwen 时尝试使用 vLLM 。它易于使用，且具有最先进的服务吞吐量、高效的注意力键值 内存管理（通过 PagedAttention 实现）、连续批处理输入请求、优化的 CUDA 内核等功能。要了解更多关于 vLLM 的信息，请参阅 论文 和 文档 。 1.10.1 安装 默认情况下，你可以通过