Git 2.x （作业上传到 GitHub ） CUDA Toolkit 10.0 以上（ GPU 专题） 第 0 章：从并发到并行 摩尔定律：停止增长了吗？ • 晶体管的密度的确仍在指数增长，但处理器主 频却开始停止增长了，甚至有所下降。 • 很长时间之前我们就可以达到 2GHz （ 2001 年 8 月），根据 2003 年的趋势，在 2005 年 初我们就应该研发出 10GHz 的芯片。 3GHz < 6GHz • 一个由双核组成的 3GHz 的 CPU 实际上提供了 6GHz 的处理能力，是吗？ • 显然不是。甚至在两个处理器上同时运行两个线程也不见得可以获得两倍的性能。相似的 ，大多数多线程的应用不会比双核处理器的两倍快。他们应该比单核处理器运行的快，但 是性能毕竟不是线性增长。 • 为什么无法做到呢？首先，为了保证缓存一致性以及其他握手协议需要运行时间开销。在 今天，双 发展至今。 并发和并行的区别 • 运用多线程的方式和动机，一般分为两种。 • 并发：单核处理器，操作系统通过时间片调 度算法，轮换着执行着不同的线程，看起来 就好像是同时运行一样，其实每一时刻只有 一个线程在运行。目的：异步地处理多个不 同的任务，避免同步造成的阻塞。 • 并行：多核处理器，每个处理器执行一个线 程，真正的同时运行。目的：将一个任务分 派到多个核上，从而更快完成任务。

了能访问的内存地址的范围。 • 这是因为内存是一维排列的，假如内存容量是 65536 字节，那所谓的内存地址实际上就 是一个从 0 到 65535 范围的整数，也就是两个字节组成的字。 • 处理器去读写内存的时候靠的是寄存器提供的地址，因此寄存器的大小（也就是字的大 小）决定了他能读写的内存大小，例如： • 由于 16 位计算机的寄存器只能存储 16 位，他只能访问 65536 字节（ 64 位的内存地址（ 64GB ） 。 • 64 位计算机反而是因为 16777216 TB 太大，内存地址被阉割到了 39 位（ 512GB ）。 • 64 位计算机：小丑竟是我自己 lscpu 命令查看处理器相关信息 C 语言中的整数类型 C 语言的基础整数类型 类型 Unix 32 位 Unix 64 位 Windows 32 位 Windows 64 位 char 8 位 8 位 8 位 8

这还得从 GPU 的硬件架构说起。 SM （ Streaming Multiprocessors ）与板块（ block ） • GPU 是由多个流式多处理器（ SM ）组成的。每个 SM 可以处理一个或多个板块。 • SM 又由多个流式单处理器（ SP ）组成。每个 SP 可以处理一个或多个线程。 • 每个 SM 都有自己的一块共享内存（ shared memory ），他的性质类似于 CPU

但是这样造成一个问题，就是如果多个头文件都引用了 MyClass.h ，那么 MyClass 会被 重复定义两遍： • 解决方案：在头文件前面加上一行： #pragma once • 这样当预处理器第二次读到同一个文件时，就会自动跳过 • 通常头文件都不想被重复导入，因此建议在每个头文件前加上这句话 头文件进阶 - 递归地使用头文件（再续） （自动跳过） CMake 中的子模块 •