从稀疏数据结构到量化数据类型 by 彭于斌（ @archibate ） 往期录播： https://www.bilibili.com/video/BV1fa411r7zp 课程 PPT 和代码： https://github.com/parallel101/course 本课涵盖：稀疏矩阵、 unordered_map 、空间稀 疏网格、位运算、浮点的二进制格式、内存带宽优 化 面向人群：图形学、 ：每个占据 8 字节 • 如果用更大的数据类型，用时会直接提升两倍！ • 这是因为 i % 2 的计算时间，完全隐藏在内存 的超高延迟里了。 • 可见，当数据量足够大，计算量却不多时，读写 数据量的大小唯一决定着你的性能。 • 特别是并行以后，计算量可以被并行加速，而访 存却不行。 使用 int8_t ：每个占据 1 字节 • 因此我们可以把数据类型变小，这样所需的内存 量就变小，从而内存带宽也可以减小！ 对于右边这种内存瓶颈的循环体，从 4 字节的 int 改成 int8_t ，理论上可以增加 4 倍速度！ • 这就是量化数据类型的思想，把占空间大的数据 类型转换成较小的（损失一定精度，换来性能） 。 • 因此如果你的程序不需要那么高精度，可以考虑 用小点的数据类型。 8 个 bit 合并进一个 int8_t ：每个占据 1/8 字节 • 考虑到我们的 i % 2 只可能是 0 和 1

0.1.2. 内容结构 本书主要内容有： ‧ 复杂度分析：数据结构与算法的评价维度、算法效率的评估方法。时间复杂度、空间复杂度，包括推算 方法、常见类型、示例等。 ‧ 数据结构：常用的基本数据类型，数据在内存中的存储方式、数据结构分类方法。数组、链表、栈、队列、 散列表、树、堆、图等数据结构，内容包括定义、优劣势、常用操作、常见类型、典型应用、实现方法等。 ‧ 算法：查找算法、排序算法 root->right = buildTree(n - 1); return root; } Figure 2‑13. 满二叉树产生的指数阶空间复杂度 对数阶 ?(log ?) 对数阶常见于分治算法、数据类型转换等。 例如「归并排序」，长度为 ? 的数组可以形成高度为 log ? 的递归树，因此空间复杂度为 ?(log ?) 。 再例如「数字转化为字符串」，输入任意正整数 ? ，它的位数为 log10 (?) , ?(?2) , ?(2?) 。 37 3. 数据结构简介 3.1. 数据与内存 3.1.1. 基本数据类型 谈到计算机中的数据，我们能够想到文本、图片、视频、语音、3D 模型等等，这些数据虽然组织形式不同，但 都是由各种基本数据类型构成的。 「基本数据类型」是 CPU 可以直接进行运算的类型，在算法中直接被使用。 ‧「整数」根据不同的长度分为 byte, short, int

0.1.2. 内容结构 本书主要内容有： ‧ 复杂度分析：数据结构与算法的评价维度、算法效率的评估方法。时间复杂度、空间复杂度，包括推算 方法、常见类型、示例等。 ‧ 数据结构：常用的基本数据类型，数据在内存中的存储方式、数据结构分类方法。数组、链表、栈、队列、 散列表、树、堆、图等数据结构，内容包括定义、优劣势、常用操作、常见类型、典型应用、实现方法等。 ‧ 算法：查找算法、排序算法 root->right = buildTree(n - 1); return root; } Figure 2‑13. 满二叉树产生的指数阶空间复杂度 对数阶 ?(log ?) 对数阶常见于分治算法、数据类型转换等。 例如「归并排序」，长度为 ? 的数组可以形成高度为 log ? 的递归树，因此空间复杂度为 ?(log ?) 。 再例如「数字转化为字符串」，输入任意正整数 ? ，它的位数为 log10 (?) , ?(?2) , ?(2?) 。 37 3. 数据结构简介 3.1. 数据与内存 3.1.1. 基本数据类型 谈到计算机中的数据，我们能够想到文本、图片、视频、语音、3D 模型等等，这些数据虽然组织形式不同，但 都是由各种基本数据类型构成的。 「基本数据类型」是 CPU 可以直接进行运算的类型，在算法中直接被使用。 ‧「整数」根据不同的长度分为 byte, short, int

3.1. 数据结构分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 3.2. 基本数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 3.3. 数字编码 * . . . . 码。 0.1.2. 内容结构 本书主要内容包括： ‧ 复杂度分析：数据结构和算法的评价维度，算法效率的评估方法。时间复杂度、空间复杂度的推算方 法、常见类型、示例等。 ‧ 数据结构：基本数据类型，数据结构的分类方法。数组、链表、栈、队列、散列表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。 ‧ 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤、 2. 复杂度 hello‑algo.com 34 return root; } Figure 2‑13. 满二叉树产生的指数阶空间复杂度 对数阶 ?(log ?) 对数阶常见于分治算法和数据类型转换等。 例如“归并排序”算法，输入长度为 ? 的数组，每轮递归将数组从中点划分为两半，形成高度为 log ? 的递 归树，使用 ?(log ?) 栈帧空间。 再例如“数字转化为字符串”，输入任意正整数

3.1 数据结构分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.2 基本数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.3 数字编码 * . . . 码。 0.1.2 内容结构 本书的主要内容如图 0‑1 所示。 ‧ 复杂度分析：数据结构和算法的评价维度与方法。时间复杂度和空间复杂度的推算方法、常见类型、示 例等。 ‧ 数据结构：基本数据类型和数据结构的分类方法。数组、链表、栈、队列、哈希表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。 ‧ 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 一定的“动态性”。 Tip 如果你感觉物理结构理解起来有困难，建议先阅读下一章，然后再回顾本节内容。 3.2 基本数据类型 当谈及计算机中的数据时，我们会想到文本、图片、视频、语音、3D 模型等各种形式。尽管这些数据的组织 形式各异，但它们都由各种基本数据类型构成。 基本数据类型是 CPU 可以直接进行运算的类型，在算法中直接被使用，主要包括以下几种。 ‧ 整数类型 byte、short、int、long

3.1 数据结构分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.2 基本数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.3 数字编码 * . . . 码。 0.1.2 内容结构 本书的主要内容如图 0‑1 所示。 ‧ 复杂度分析：数据结构和算法的评价维度与方法。时间复杂度和空间复杂度的推算方法、常见类型、示 例等。 ‧ 数据结构：基本数据类型和数据结构的分类方法。数组、链表、栈、队列、哈希表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。 ‧ 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 度进行调整。 � 如果你感觉物理结构理解起来有困难，建议先阅读下一章，然后再回顾本节内容。 3.2 基本数据类型 当谈及计算机中的数据时，我们会想到文本、图片、视频、语音、3D 模型等各种形式。尽管这些数据的组织 形式各异，但它们都由各种基本数据类型构成。 基本数据类型是 CPU 可以直接进行运算的类型，在算法中直接被使用，主要包括以下几种。 ‧ 整数类型 byte、short、int、long

3.1 数据结构分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 50 3.2 基本数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.3 数字编码 * . . . 代码。 0.1.2 内容结构 本书主要内容如图 0‑1 所示。 ‧ 复杂度分析：数据结构和算法的评价维度与方法。时间复杂度、空间复杂度的推算方法、常见类型、示 例等。 ‧ 数据结构：基本数据类型，数据结构的分类方法。数组、链表、栈、队列、哈希表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。 ‧ 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤、 对其长度进行调整。 � 如果你感觉物理结构理解起来有困难，建议先阅读下一章“数组与链表”，然后再回顾本节内 容。 3.2 基本数据类型 谈及计算机中的数据，我们会想到文本、图片、视频、语音、3D 模型等各种形式。尽管这些数据的组织形式 各异，但它们都由各种基本数据类型构成。 基本数据类型是 CPU 可以直接进行运算的类型，在算法中直接被使用，主要包括以下几种类型。 ‧ 整数类型 byte、short、int、long

3.1 数据结构分类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52 3.2 基本数据类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 54 3.3 数字编码 * . . . 码。 0.1.2 内容结构 本书的主要内容如图 0‑1 所示。 ‧ 复杂度分析：数据结构和算法的评价维度与方法。时间复杂度和空间复杂度的推算方法、常见类型、示 例等。 ‧ 数据结构：基本数据类型和数据结构的分类方法。数组、链表、栈、队列、哈希表、树、堆、图等数据 结构的定义、优缺点、常用操作、常见类型、典型应用、实现方法等。 ‧ 算法：搜索、排序、分治、回溯、动态规划、贪心等算法的定义、优缺点、效率、应用场景、解题步骤 一定的“动态性”。 Tip 如果你感觉物理结构理解起来有困难，建议先阅读下一章，然后再回顾本节内容。 3.2 基本数据类型 当谈及计算机中的数据时，我们会想到文本、图片、视频、语音、3D 模型等各种形式。尽管这些数据的组织 形式各异，但它们都由各种基本数据类型构成。 基本数据类型是 CPU 可以直接进行运算的类型，在算法中直接被使用，主要包括以下几种。 ‧ 整数类型 byte、short、int、long

倍。但是如果你的算法不 适合 SIMD ，则可能加速达不到 4 倍；也有因为 SIMD 让访问内存更有规律，节约了指 令解码和指令缓存的压力等原因，出现加速超过 4 倍的情况。 第 1 章：化简 编译器优化：代数化简 编译器优化：常量折叠 编译器优化：举个例子 编译器优化：我毕竟不是万能的 结论：尽量避免代码复杂化，避免使用会造 成 new/delete 的容器。 简单的代码，比什么优化手段都强。

我们只不过是以一个简单而基本的工具，也就是一个文字编辑器，重制我们的程序代码。 今天，C++ 提供给我们一个更好的繁殖方法：template。 复制一段既有程序代码的一个最平常的理由就是为了改变数据类型。举个例子，假设你写 了一个绘图函数，使用整数x, y 坐标；突然之间你需要相同的程序代码，但坐标值改采 第２章 C++ 的重要性質 101 #0001 int power(int base (--exponent) result *= base; #0007 return result; #0008 } long。你当然可以使用一个文字编辑器把这段码拷贝一份，然后把其中的数据类型改变 过来。有了C++，你甚至可以使用多载（overloaded）函数，那么你就可以仍旧使用相 同的函数名称。函数的多载的确使我们有比较清爽的程序代码，但它们意味着你还是必须 在你的程序的许多地方维护完全相同的算法。 这样的函数声明是以一个特殊的template 前缀开始，后面紧跟着一个参数列（本例只一 个参数）。容易让人迷惑的是其中的"class" 字眼，它其实并不一定表示C++ 的class， 它也可以是一个普通的数据类型。 只不过是表示：T 是一种类型，而此一类型 将在调用此函数时才给予。 下面就是power 函数的template 版本： 传回值必须确保为类型T，以吻合template 函数的声明。