个缓存行，而不是一个。 • 这样一次随机访问之后会伴随着 64 次顺序访问， 能被 CPU 检测到，从而启动缓存行预取，避免了 等待数据抵达前空转浪费时间。 页对齐的重要性 • 为什么要 4KB ？原来现在操作系统管理内存是用分页 （ page ），程序的内存是一页一页贴在地址空间中的， 有些地方可能不可访问，或者还没有分配，则把这个页设 为不可用状态，访问他就会出错，进入内核模式。 • 因此硬件出 int[n]{} ：后面加个花括号，就和 vector 一样，两次一样快了 结论 • 原理，当调用 malloc 时，操作系统并不会实际分配那一块内存，而是将这一段内存标记 为“不可用”。当用户试图访问（写入）这一片内存时，硬件就会触发所谓的缺页中断 （ page fault ），进入操作系统内核，内核会查找当前进程的 malloc 历史记录。如果发 现用户写入的地址是他曾经 malloc 过的地址区间，则执行实际的内存分配，并标记该段 sizeof(int)) 、 new int[n] 不会初始化数组为 0 。 • 初始化数组时，内存被写入，所以操作系统这时候才开始实际分配内存。 • 刚才的案例里，不会初始化的 malloc ，第一次往里面赋值时，因为这时操作系统还没有给 这个数组分配内存，所以会触发缺页中断，进入操作系统内核给数组分配内存，是内核执 行内存分配的这个动作，花费了额外的时间。而第二次因为内存已经被分配上了，所以再

用于定义核函数，他在 GPU 上执行，从 CPU 端通过三重尖括号语法调 用，可以有参数，不可以有返回值。 • 而 __device__ 则用于定义设备函数，他在 GPU 上执行，但是从 GPU 上调用的，而 且不需要三重尖括号，和普通函数用起来一 样，可以有参数，有返回值。 • 即： host 可以调用 global ； global 可以调 用 device ； device 可以调用 device 上的函数。 同时定义在 CPU 和 GPU 上 • 通过 __host__ __device__ 这样的双重修 饰符，可以把函数同时定义在 CPU 和 GPU 上，这样 CPU 和 GPU 都可以调 用。 让 constexpr 函数自动变成 CPU 和 GPU 都可以调用 • 这样相当于把 constexpr 函数自动变成修饰 __host__ __device__ ，从而两边都可以调用。 比如这里设置了 RTX3000 系列的架构版 本号 86 ，在 RTX2080 上就运行不出结 果。 • 最坑的是他不会报错！也不输出任何东西 ！就像没有那个 kernel 一样！所以一定 要注意调对你的版本号。否则就会这样 kernel 好像没有执行过一样，只有 CPU 上的代码被执行了。 指定多个版本号 • 可以指定多个版本号，之间用分号分割。 • 运行时可以自动选择最适合当前显卡的版

PPT 和代码： https://github.com/parallel101/course 本课涵盖：稀疏矩阵、 unordered_map 、空间稀 疏网格、位运算、浮点的二进制格式、内存带宽优 化 面向人群：图形学、 CFD 仿真、深度学习编程人 员 第 0 章：稀疏矩阵 稠密数组存储矩阵 用 foreach 包装一下枚举的过程 改用 map 来存储 分离 read/write/create ）不一定就是完美解决方案，要根据实际情况判断。 真正的解决： tbb::spin_mutex 其实主要的瓶颈在于 std::mutex 会切换到操作系统内核中去调度 ，非常低效。而 tbb::spin_mutex 则是基于硬件原子指令的，完全 用户态的实现。区别： std::mutex 的陷入等待会让操作系统挂起 该线程，以切换到另一个；而 tbb::spin_mutex 的陷入等待是通过 不断地 while (locked); 发现结果不对了……说明 int8_t 太小了（可以容纳 - 128 到 127 ），容纳不下 97*100 这么大的数，发生 了溢出导致结果错误。 试图解决：用 uint8_t 表示，定点数系数调小到 2 • 注意到我们的值始终是正数，因此可以用无符号的 uint8_t （可以容纳 0 到 255 ），然后把刚刚的系数 100 改小到 2 ，成功算对结果了，代价是精度损失了 不少。

最基本观念讲起。深入浅出MFC 前半本都在描述(或说仿真) MFC 的内部技术，甚至挖 出MFC 部份原始程序代码来说明，透过这本书来学MFC 会学得很扎实，不过自己要先 对Windows 这个操作系统的运作方式有一程度的了解，不然会看不懂，以某方面来说， 也不是初学者用的书。基本上侯俊杰写的书不论文笔或是内容都相当的好，相当有购买 的价值，不过你别期望会是「初学用书」。 刚学MFC 程序 framework 的 包装是其四。初学MFC programming 时，我的脑袋犹如网目过大的筛子，什么东西都留不住； 各个类别及其代表意义，过眼即忘。 8 初初接触MFC 时，我对Windows 操作系统以及SDK 程序设计技术的掌握，实已处在众 人金字塔的顶端，困顿犹复如斯。实在是因为，对传统程序员而言，application framework 和 MFC 的运作机制太让人陌生了。 目前市面上有不少讲解MFC 或VisualAge C++。 你需要什么软硬件环境 一套Windows 95（或Windows NT）操作系统当然是必须的，中英文皆可。此外，你需 要一套Visual C++ 32 位版。目前的最新版本是Visual C++ 5.0，也是我使用的版本。 深入淺出 MFC 30 硬件方面，只要能跑上述两种操作系统就算过关。内存（RAM）是影响运作速度的主 因，多多益善。厂商宣称16MB RAM 是一个能够使你工作舒适的数字，但我因此怀疑

，需要注意以下几点。 ‧ C 和 C++ 未明确规定基本数据类型大小，而因实现和平台各异。表 3‑1 遵循 LP64 数据模型，其用于包 括 Linux 和 macOS 在内的 Unix 64 位操作系统。 ‧ 字符 char 的大小在 C 和 C++ 中为 1 字节，在大多数编程语言中取决于特定的字符编码方法，详见“字 符编码”章节。 ‧ 即使表示布尔量仅需 1 位（0 或 1），它在内存中通常被存储为 位的编码就足够表 示所有的 Unicode 字符了。 ‧ C# 使用 UTF‑16 编码，主要因为.NET 平台是由 Microsoft 设计的，而 Microsoft 的很多技术，包括 Windows 操作系统，都广泛地使用 UTF‑16 编码。 由于以上编程语言对字符数量的低估，它们不得不采取“代理对”的方式来表示超过 16 位长度的 Unicode 字符。这是一个不得已为之的无奈之举。一方面，包含代理对的字符串中，一个字符可能占用 算法：在缓存淘汰算法（LRU）中，我们需要快速找到最近最少使用的数据，以及支持快速地添 加和删除节点。这时候使用双向链表就非常合适。 循环链表常被用于需要周期性操作的场景，比如操作系统的资源调度。 ‧ 时间片轮转调度算法：在操作系统中，时间片轮转调度算法是一种常见的 CPU 调度算法，它需要对一 组进程进行循环。每个进程被赋予一个时间片，当时间片用完时，CPU 将切换到下一个进程。这种循 环的操作就可以通过循环链表来实现。

今天，双核或者四核机器在多线程应用方面，其性能不见得的是单核机器的两倍或者四倍。 这一问题一直伴随 CPU 发展至今。 并发和并行的区别 • 运用多线程的方式和动机，一般分为两种。 • 并发：单核处理器，操作系统通过时间片调 度算法，轮换着执行着不同的线程，看起来 就好像是同时运行一样，其实每一时刻只有 一个线程在运行。目的：异步地处理多个不 同的任务，避免同步造成的阻塞。 • 并行：多核处理器，每个处理器执行一个线 核心数量，让系统调度保证各个核心始终饱和 • 因此，最好不是按照图像大小均匀等分，而是按照工 作量大小均匀等分。然而工作量大小我们没办法提前 知道……怎么办？ • 最简单的办法：只需要让线程数量超过 CPU 核心数量 ，这时操作系统会自动启用时间片轮换调度，轮流执 行每个线程。 • 比如这里分配了 16 个线程，但是只有 4 个处理器核心。 那么就会先执行 1,2,3,4 号线程，一段时间后自动切换 到 5,6,7,8 5.98 倍 并行筛选 6 使用 tbb::spin_mutex 替代 std::mutex 。 spin_mutex （基 于硬件原子指令）会让 CPU 陷入循环等待，而不像 mutex （操作系统提供调度）会让线程进入休眠状态的等待 。 若上锁的区域较小，可以用轻量级的 spin_mutex 。若上锁 的区域很大，则循环等待只会浪费 CPU 时间。这里锁的区 域是 std::copy ，比较大，所以

• 爱思考：为什么这里 Func 为 4 字节 ？ lambda 表达式：如何避免用模板参数 • 虽然 这样可以让编译器对 每个不同的 lambda 生成一次，有助于优 化。 • 但是有时候我们希望通过头文件的方式分 离声明和实现，或者想加快编译，这时如 果再用 template class 作为参数就不行了 。 • 为了灵活性，可以用 std::function 语言的 API 比如 pthread 和 atexit 。 lambda + 模板：双倍快乐 • 可以将 lambda 表达式的参数声明为 auto ，声明为 auto 的参数会自动根据调 用者给的参数推导类型，基本上和 template 等价。 • auto const & 也是同理，等价于模板函数 的 T const & 。 • 带 auto 参数的

毕业论文、投递简历、准备笔试和面试已经消耗了大部分精 力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， ，用于表示各种语言的字母、标点符号甚至表情符号等。 ‧ 布尔类型 bool ，用于表示“是”与“否”判断。 基本数据类型以二进制的形式存储在计算机中。一个二进制位即为 1 比特。在绝大多数现代操作系统中，1 字节（byte）由 8 比特（bit）组成。 基本数据类型的取值范围取决于其占用的空间大小。下面以 Java 为例。 ‧ 整数类型 byte 占用 1 字节 = 8 比特，可以表示 28 的字符串 str 。 ‧ C 和 C++ 未明确规定基本数据类型的大小，而因实现和平台各异。表 3‑1 遵循 LP64 数据模型，其用于 包括 Linux 和 macOS 在内的 Unix 64 位操作系统。 ‧ 字符 char 的大小在 C 和 C++ 中为 1 字节，在大多数编程语言中取决于特定的字符编码方法，详见“字 符编码”章节。 ‧ 即使表示布尔量仅需 1 位（0 或 1），它在内存中通常也存储为

std::milli> 的别名 跨平台的 sleep ： std::this_thread::sleep_for • 可以用 std::this_thread::sleep_for 替代 Unix 类操作系统专有的的 usleep 。他可 以让当前线程休眠一段时间，然后继续。 • 而且单位也可以自己指定，比如这里是 milliseconds 表示毫秒，也可以换成 microseconds 表示微秒， 除了接受一个时间段的 sleep_for ，还有 接受一个时间点的 sleep_until ，表示让当 前线程休眠直到某个时间点。 第 1 章：线程 进程与线程 • 进程是一个应用程序被操作系统拉起来加载到内存之后从开始执行到执行结束的这样一个 过程。简单来说，进程是程序（应用程序，可执行文件）的一次执行。比如双击打开一个 桌面应用软件就是开启了一个进程。 • 线程是进程中的一个实体 owns_lock() 判断是否上锁成功。 std::unique_lock ：用 std::adopt_lock 做参数 • 如果当前 mutex 已经上锁了，但是之后 仍然希望用 RAII 思想在解构时候自动调 用 unlock() ，可以用 std::adopt_lock 作 为 std::unique_lock 或 std::lock_guard 的第二个参数，这时他们会默认 mtx 已经 上锁。

毕业论文、投递简历、准备笔试和面试已经消耗了大部分精 力，啃厚重的书往往变成了一项艰巨的挑战。 如果你也面临类似的困扰，那么很幸运这本书“找”到了你。本书是我对这个问题给出的答案，即使不是最 优解，也至少是一次积极的尝试。本书虽然不足以让你直接拿到 Offer，但会引导你探索数据结构与算法的 “知识地图”，带你了解不同“地雷”的形状、大小和分布位置，让你掌握各种“排雷方法”。有了这些本领， ，用于表示各种语言的字母、标点符号甚至表情符号等。 ‧ 布尔类型 bool ，用于表示“是”与“否”判断。 基本数据类型以二进制的形式存储在计算机中。一个二进制位即为 1 比特。在绝大多数现代操作系统中，1 字节（byte）由 8 比特（bit）组成。 基本数据类型的取值范围取决于其占用的空间大小。下面以 Java 为例。 ‧ 整数类型 byte 占用 1 字节 = 8 比特，可以表示 28 的字符串 str 。 ‧ C 和 C++ 未明确规定基本数据类型的大小，而因实现和平台各异。表 3‑1 遵循 LP64 数据模型，其用于 包括 Linux 和 macOS 在内的 Unix 64 位操作系统。 ‧ 字符 char 的大小在 C 和 C++ 中为 1 字节，在大多数编程语言中取决于特定的字符编码方法，详见“字 符编码”章节。 ‧ 即使表示布尔量仅需 1 位（0 或 1），它在内存中通常也存储为