内部引入了一片极小的存储 器——虽然小，但是读写速度却特别快。这片小而快的 存储器称为缓存（ cache ）。 • 当 CPU 访问某个地址时，会先查找缓存中是否有对应的 数据。如果没有，则从内存中读取，并存储到缓存中； 如果有，则直接使用缓存中的数据。 • 这样一来，访问的数据量比较小时，就可以自动预先加 载到这个更高效的缓存里，然后再开始做运算，从而避 免从外部内存读写的超高延迟。 缓存的分级结构 回缓存中的数据。如果找不到，则向主内存发送请求，等读 取到该地址的数据，就创建一个新条目。 • 在 x86 架构中每个条目的存储 64 字节的数据，这个条目 又称之为缓存行（ cacheline ）。 • 当访问 0x0048~0x0050 这 4 个字节时，实际会导致 0x0040~0x0080 的 64 字节数据整个被读取到缓存中。 • 这就是为什么我们喜欢把数据结构的起始地址和大小对齐到 64 如有多级缓存，则一级缓存失效后会丢给二级缓存。 连续访问与跨步访问 • 如果访问数组时，按一定的间距跨步访问，则效率如何？ • 从 1 到 16 都是一样快的， 32 开始才按 2 的倍率变慢，为什么？ • 因为 CPU 和内存之间隔着缓存，而缓存和内存之间传输数据的最小 单位是缓存行（ 64 字节）。 16 个 float 是 64 字节，所以小于 64 字节的跨步访问，都会导致数据全部被读取出来。而超过

空间占用尽可能小，节省计算机内存。 ‧ 数据操作尽量快，包括数据访问、添加、删除、更新等。 1. 引言 hello‑algo.com 10 ‧ 提供简洁的数据表示和逻辑信息，以便算法高效运行。 数据结构的设计是一个充满权衡的过程，这意味着如果获得某方面的优势，则往往需要在另一方面做出妥协。 例如，链表相对于数组，数据添加删除操作更加方便，但牺牲了数据的访问速度；图相对于链表，提供了更多 的逻辑信息，但需要占用更多的内存空间。 表格，其中每个单元格都可以存储 1 byte 的数据，在算法运 行时，所有数据都被存储在这些单元格中。 系统通过「内存地址 Memory Location」来访问目标内存位置的数据。计算机根据特定规则给表格中每个 单元格编号，保证每块内存空间都有独立的内存地址。自此，程序便通过这些地址，访问内存中的数据。 Figure 3‑2. 内存条、内存空间、内存地址 内存资源是设计数据结构与算法的重要考虑因素。内存是所有程序的公共资源，当内存被某程序占用时，不能 数据结构简介 hello‑algo.com 42 「物理结构」反映了数据在计算机内存中的存储方式。从本质上看，分别是 数组的连续空间存储 和 链表的离散 空间存储。物理结构从底层上决定了数据的访问、更新、增删等操作方法，在时间效率和空间效率方面呈现出 此消彼长的特性。 Figure 3‑4. 连续空间存储与离散空间存储 所有数据结构都是基于数组、或链表、或两者组合实现的。例如栈和队列，既可以使用数组实现、也可以使用

空间占用尽可能小，节省计算机内存。 ‧ 数据操作尽量快，包括数据访问、添加、删除、更新等。 1. 引言 hello‑algo.com 10 ‧ 提供简洁的数据表示和逻辑信息，以便算法高效运行。 数据结构的设计是一个充满权衡的过程，这意味着如果获得某方面的优势，则往往需要在另一方面做出妥协。 例如，链表相对于数组，数据添加删除操作更加方便，但牺牲了数据的访问速度；图相对于链表，提供了更多 的逻辑信息，但需要占用更多的内存空间。 表格，其中每个单元格都可以存储 1 byte 的数据，在算法运 行时，所有数据都被存储在这些单元格中。 系统通过「内存地址 Memory Location」来访问目标内存位置的数据。计算机根据特定规则给表格中每个 单元格编号，保证每块内存空间都有独立的内存地址。自此，程序便通过这些地址，访问内存中的数据。 Figure 3‑2. 内存条、内存空间、内存地址 内存资源是设计数据结构与算法的重要考虑因素。内存是所有程序的公共资源，当内存被某程序占用时，不能 数据结构简介 hello‑algo.com 42 「物理结构」反映了数据在计算机内存中的存储方式。从本质上看，分别是 数组的连续空间存储 和 链表的离散 空间存储。物理结构从底层上决定了数据的访问、更新、增删等操作方法，在时间效率和空间效率方面呈现出 此消彼长的特性。 Figure 3‑4. 连续空间存储与离散空间存储 所有数据结构都是基于数组、或链表、或两者组合实现的。例如栈和队列，既可以使用数组实现、也可以使用

仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。 动画在 PDF 内的展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 hello‑algo.com 14 ‧ 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 ‧ 提供简洁的数据表示和逻辑信息，以便算法高效运行。 数据结构设计是一个充满权衡的过程。如果想在某方面取得提升，往往需要在另一方面作出妥协。下面举两 个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 来模拟面向对象编程，与结构体相关联的函数就相当于其他编程语言中的方法。 ‧ Java 和 C# 是面向对象的编程语言，代码块（方法）通常作为某个类的一部分。静态方法的行为类似于 函数，因为它被绑定在类上，不能访问特定的实例变量。 ‧ C++ 和 Python 既支持过程式编程（函数），也支持面向对象编程（方法）。 Q：图解“常见的空间复杂度类型”反映的是否是占用空间的绝对大小？ 不是，该图展示的是空间

仍有许多错误，恳请 各位老师和同学批评指正。 本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的 展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 hello‑algo.com 14 ‧ 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 ‧ 提供简洁的数据表示和逻辑信息，以便算法高效运行。 数据结构设计是一个充满权衡的过程。如果想在某方面取得提升，往往需要在另一方面作出妥协。下面举两 个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 来模拟面向对象编程，与结构体相关联的函数就相当于其他编程语言中的方法。 ‧ Java 和 C# 是面向对象的编程语言，代码块（方法）通常作为某个类的一部分。静态方法的行为类似于 函数，因为它被绑定在类上，不能访问特定的实例变量。 ‧ C++ 和 Python 既支持过程式编程（函数），也支持面向对象编程（方法）。 Q：图解“常见的空间复杂度类型”反映的是否是占用空间的绝对大小？ 不是，该图展示的是空间

仍有许多错误，恳请各位老师和同学批评 指正。 本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。 动画在 PDF 内的展示效果受限，可访问 www.hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读！” ——邓俊辉，清华大学计算机系教授 空间占用尽量少，以节省计算机内存。 ‧ 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 ‧ 提供简洁的数据表示和逻辑信息，以便算法高效运行。 数据结构设计是一个充满权衡的过程。如果想在某方面取得提升，往往需要在另一方面作出妥协。下面举两 个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 来模拟面向对象编程，与结构体相关联的函数就相当于其他编程语言中的方法。 ‧ Java 和 C# 是面向对象的编程语言，代码块（方法）通常作为某个类的一部分。静态方法的行为类似于 函数，因为它被绑定在类上，不能访问特定的实例变量。 ‧ C++ 和 Python 既支持过程式编程（函数），也支持面向对象编程（方法）。 Q：图解“常见的空间复杂度类型”反映的是否是占用空间的绝对大小？ 不是，该图展示的是空间

线程，用于处理大吞吐量的数据。 获取线程编号 • 可以通过 threadIdx.x 获取当前线程的编 号，我们打印一下试试看。 • 这是 CUDA 中的特殊变量之一，只有在 核函数里才可以访问。 • 可以看到线程编号从 0 开始计数，打印出 了 0 ， 1 ， 2 。这也是我们指定了线程数 量为 3 的缘故。 • 等等，为什么后面有个 .x ？稍后再说明。 获取线程数量 • 还可以用 int 。 • 可以通过 cudaGetErrorName 获取该 enum 的具体名 字。这里显示错误号为 77 ，具体名字是 cudaErrorIllegalAddress 。意思是我们访问了非法的地 址，和 CPU 上的 Segmentation Fault 差不多。 封装好了： helper_cuda.h • 其实 CUDA toolkit 安装时，会默认附带一系列案例代码， 报告出错所在的行号，函数名等，很方便。 堆上分配试试？ • 那你可能会想，难道是因为我的 ret 创建 在栈上，所以 GPU 不能访问，才出错的 ？ • 于是你试图用 malloc 在堆上分配一个 int 来给 GPU 访问，结果还是失败了。 原因： GPU 使用独立的显存，不能访问 CPU 内存 • 原来， GPU 和 CPU 各自使用着独立的内 存。 CPU 的内存称为主机内存 (host)

你可以更加自如地应对刷题和阅读文献，逐步构建起完整的知识体系。 本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的 展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 致谢 本书在开源社区众多贡献者的共同努力下不断成长。感谢每一位投入时间与精力的撰稿人，他们 是（按照 GitHub 自动生成的顺序）：krahets 空间占用尽量减少，节省计算机内存。 ‧ 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 1. 初识算法 hello‑algo.com 10 ‧ 提供简洁的数据表示和逻辑信息，以便使得算法高效运行。 数据结构设计是一个充满权衡的过程，这意味着要在某方面取得优势，往往需要在另一方面作出妥协。例如， 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度；图相较于链表，提供了更丰 富的逻辑信息，但需要占用更大的内存空间。 1 byte 的数据，在 算法运行时，所有数据都被存储在这些单元格中。 系统通过「内存地址 Memory Location」来访问目标内存位置的数据。计算机根据特定规则为表格中的每 个单元格分配编号，确保每个内存空间都有唯一的内存地址。有了这些地址，程序便可以访问内存中的数 据。 Figure 3‑2. 内存条、内存空间、内存地址 内存是所有程序的共享资源，当内存被某个程序占用时，其他

你可以更加自如地应对刷题和阅读文献，逐步构建起完整的知识体系。 本书中的代码附有可一键运行的源文件，托管于 github.com/krahets/hello‑algo 仓库。动画在 PDF 内的 展示效果受限，可访问 hello‑algo.com 网页版以获得更优的阅读体验。 推荐语 “一本通俗易懂的数据结构与算法入门书，引导读者手脑并用地学习，强烈推荐算法初学者阅读。” ——邓俊辉，清华大学计算机系教授 hello‑algo.com 13 ‧ 数据操作尽可能快速，涵盖数据访问、添加、删除、更新等。 ‧ 提供简洁的数据表示和逻辑信息，以便使得算法高效运行。 数据结构设计是一个充满权衡的过程。如果想要在某方面取得提升，往往需要在另一方面作出妥协。下面举 两个例子。 ‧ 链表相较于数组，在数据添加和删除操作上更加便捷，但牺牲了数据访问速度。 ‧ 图相较于链表，提供了更丰富的逻辑信息，但需要占用更大的内存空间。 ，与结构体相关联的函数就相当于其他语言中的 方法。 ‧ Java 和 C# 是面向对象的编程语言，代码块（方法）通常都是作为某个类的一部分。静 态方法的行为类似于函数，因为它被绑定在类上，不能访问特定的实例变量。 ‧ C++ 和 Python 既支持过程式编程（函数），也支持面向对象编程（方法）。 第 2 章 复杂度分析 hello‑algo.com 48 � 图“常见的空间复杂度类型”反映的是否是占用空间的绝对大小？

面向人群：图形学、 CFD 仿真、深度学习编程人 员 第 0 章：稀疏矩阵 稠密数组存储矩阵 用 foreach 包装一下枚举的过程 改用 map 来存储 分离 read/write/create 三种访问模式 foreach 直接给出当前坐标指向的值 改用 unordered_map 来存储 unordered_map 手动 read(i, j) 也一样速度 索性把坐标和值打包成 tuple Python 的模运算 a % b 的值始终是 [0, b) 区间内的正数，非常方便。 对稀疏数据结构造成的问题 • 如果这里的 x 是负数，则 x % B 也是负数，会造成对 m_block 的越界访问。 • 因此 % 会返回负数对 CFD 用户来说是个很大的坑点，很多人想当然地用 % 做循环边界， 然而这对负方向会不起作用。 解决： (a % b + b) % b • 我看一些 CFD 用户喜欢写 pdf 第 4 章：并行与随机访问 回到指针的数组 试图并行地访问：出错了 为什么？因为多个核心同时访问了 m_block ，造成数据竞争。所 以有的指针被重复分配了两遍，写入了那个地址却没有实际被存到 m_data 这个指针数组里。因此结果不对，还造成了内存泄露。 解决：使用互斥量和原子变量 暴力解决方案就是用 std::mutex 避免多个线程同时访问。 然而这样会严重影响性能，锁和原子多了，就根本并行不起来。