No-Force Force: 事务提交时，所修改的页面必须强制刷回到持久存储中 No-Force: 事务提交时，所修改的页面不需要强制刷回到持久存储中 ■ Steal / No-Steal Steal: 允许Buffer Pool里未提交事务所修改的脏页刷回到持久存储 No-steal: 不允许Buffer Pool里未提交事务所修改的脏页刷到持久存储中 缓冲区管理策略Buffer Management 有更好的性能，但是怎么保证事务的原子性和持久 性？ ❏ No-Force: 事务提交，所修改的数据页没有刷回至持久存储，如果发生断电 或者系统崩溃。 ❏ Steal: Buffer Pool中未提交的事务所修改的脏页刷回到持久存储，如果发生 断电或者系统崩溃。 缓冲区管理策略 14 ■ No-Force → Redo Log 事务提交时，数据页不需要刷回持久存储，为了保证持久性，先把Redo Log写 入日志文件。Redo 入日志文件。Redo log记录修改数据对象的新值(After Image, AFIM) ■ Steal → Undo Log 允许Buffer Pool未提交事务所修改的脏页刷回到持久存储，为了保证原子性， 先把Undo Log写入日志文件。Undo Log记录修改数据对象的旧值(Before Image, BFIM) Solution: Logging 15 缓冲区管理策略和事务恢复的关系 Force

新一代财富管理平台是支撑光大银行理财公司运营的核心系统，提供理财业务的全流程管理。依托私有 云基础设施与平台 4.0 开发框架，光大银行定制了分布式批处理方案，设计目标是余额宝每小时理财交易 2000 万笔，零钱通单日 5000 万笔，同时还要满足未来 3-5 年业务发展和接入更多互联网代销渠道需求。 光大银行在同城两数据中心构建 TiDB 双活集群，采用 5副本 TiKV，设计 40TB 运辑容量，同时将 TiDB

查询固定的数据，或者外部表的数据有周期性变化，编者认为，通过物化视图来加速外 部表的访问并不是物化视图特有的功能，在外部表上创建物化视图同样需要读取外部表 的全部数据，这与，把数据加载到一张普通的数据表，没有任何差异。而物化视图的刷 新与普通数据表的TRUNCATE并重新INSERT效果相同。 如果一种SQL查询只是在个别语句中用到，可以使用SELECT命令的WITH子句来实 现，可能不需要为此而创建一张很少用到的视图。编者再次提醒，不要乱用视图，更不 完全放 弃了filerep的机制，使用了WAL同步策略，这将从根本上避免了损毁page被同步到 Mirror的情况发生。 GP数据库对数据的修改操作是在内存中完成的，之后，数据会被刷入磁盘，在将 数据刷入磁盘时，数据库会自动计算checksum的值，并与数据一同保存到page中， checksum的值将会作为page的header被一同存储到磁盘上。当从磁盘读取page时， 会根据chec 文件中的ignore_checksum_failure参数为on，这样，数据库在发现checksum校 验异常时，只是输出警告信息，而不会中断事务，并继续将磁盘上的数据读取到内存中。 之后，如果损毁的数据被再次修改，修改后的数据会被刷入磁盘，并且一定会被扩散到 Mirror(虽然在6版本是基于WAL同步，但由于更新的是错误的数据，WAL同步的也是 错误的更新结果)，这可能会导致更严重的数据损坏或者数据丢失，所以，仅应该在进 行数据的灾难性恢复时考虑开启该参数。

Prometheus pushgateway 的地址 45. address = "" 46. job = "tikv" 47. 48. [raftstore] 49. # 默认为 true，表示强制将数据刷到磁盘上。如果是非金融安全级别的业务场景，建议设置成 false， 50. # 以便获得更高的性能。 51. sync-log = true 52. 53. # Raft RocksDB 目录。默认值是 裂，分裂后的信息会汇报给 PD。 是的，TiKV 单机的存储引擎目前使用两个 RocksDB 实例，其中一个存储 raft-log，TiKV 有个 sync-log 参 数，在 ture 的情况下，每次提交都会强制刷盘到 raft-log，如果发生 crash 后，通过 raft-log 进行 KV 数据的恢复。 WAL 属于顺序写，目前我们并没有单独对他进行配置，建议 SSD，RAID 如果允许的话，最好是 RAID ReadPool 优化读性能， raw_get/get/batch_get 提升 30% 提升 metrics 的性能 Raft snapshot 处理完之后立即通知 PD，加快调度速度 解决 RocksDB 刷盘导致性能抖动问题 提升在数据删除之后的空间回收 加速启动过程中的垃圾清理过程 使用 DeleteFilesInRanges 减少副本迁移时 I/O 开销 稳定性 解决在 PD leader 发送切换的情况下

REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD（获取读锁 将表数据刷到磁盘，进行 一些操作后，再释放读锁 对表进行解锁） 无 本地写 磁盘 Load 无 SELECT（查询 checkpoint 历史） CREATE（创建数 据库或表） DELETE（删除 结构又被称作 MemTable）。LSM-tree 引擎由于将用户的随机修改（插入）转化为了对 WAL 文件的顺序写，因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后，会刷到磁盘上生成 SST 文件 (Sorted String Table)，SST 又分为多层（默认至多 6 层），每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层，每一层的数据是上一层的 10 5GB。这部分占用内存较少，不建议用户自行更改。 2021 14.2.2.3 RocksDB 的空间占用 • 多版本：RocksDB 作为一个 LSM-tree 结构的键值存储引擎，MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠（因为文件顺序是按照生成的顺序排列），因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候，会按照一定大小（默认是

结构又被称作 MemTable）。LSM-tree 引擎由于将用户的随机修改（插入）转化为了对 WAL 文件的顺序写，因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后，会刷到磁盘上生成 SST 文件 (Sorted String Table)，SST 又分为多层（默认至多 6 层），每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层，每一层的数据是上一层的 10 5GB。这部分占用内存较少，不建议用户自行更改。 993 12.2.2.3 RocksDB 的空间占用 • 多版本：RocksDB 作为一个 LSM-tree 结构的键值存储引擎，MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠（因为文件顺序是按照生成的顺序排列），因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候，会按照一定大小（默认是 参数，来保证提交数据不丢失？ 是的。TiKV 单机的存储引擎目前使用两个 RocksDB 实例，其中一个存储 raft-log。TiKV 有个 sync-log 参数，在 true 的情况下，每次提交都会强制刷盘到 raft-log，如果发生 crash 后，通过 raft-log 进行 KV 数据的恢复。 13.3.4.4.14 对 WAL 存储有什么推荐的硬件配置，例如 SSD，RAID 级别，RAID

结构又被称作 MemTable）。LSM-tree 引擎由于将用户的随机修改（插入）转化为了对 WAL 文件的顺序写，因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后，会刷到磁盘上生成 SST 文件 (Sorted String Table)，SST 又分为多层（默认至多 6 层），每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层，每一层的数据是上一层的 10 5GB。这部分占用内存较少，不建议用户自行更改。 959 12.2.2.3 RocksDB 的空间占用 • 多版本：RocksDB 作为一个 LSM-tree 结构的键值存储引擎，MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠（因为文件顺序是按照生成的顺序排列），因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候，会按照一定大小（默认是 参数，来保证提交数据不丢失？ 是的，TiKV 单机的存储引擎目前使用两个 RocksDB 实例，其中一个存储 raft-log，TiKV 有个 sync-log 参数，在 true 的情况下，每次提交都会强制刷盘到 raft-log，如果发生 crash 后，通过 raft-log 进行 KV 数据的恢复。 13.3.4.4.14 对 WAL 存储有什么推荐的硬件配置，例如 SSD，RAID 级别，RAID

REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD（获取读锁 将表数据刷到磁盘，进行 一些操作后，再释放读锁 对表进行解锁） 无 本地写 磁盘 Load 无 SELECT（查询 checkpoint 历史） CREATE（创建数 据库或表） DELETE（删除 结构又被称作 MemTable）。LSM-tree 引擎由于将用户的随机修改（插入）转化为了对 WAL 文件的顺序写，因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后，会刷到磁盘上生成 SST 文件 (Sorted String Table)，SST 又分为多层（默认至多 6 层），每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层，每一层的数据是上一层的 10 5GB。这部分占用内存较少，不建议用户自行更改。 14.2.2.3 RocksDB 的空间占用 • 多版本：RocksDB 作为一个 LSM-tree 结构的键值存储引擎，MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠（因为文件顺序是按照生成的顺序排列），因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候，会按照一定大小（默认是

REPLICATION CLIENT (show master status, show slave status) 无 本地 读/写 磁盘 Dump SELECTRELOAD（获取读锁 将表数据刷到磁盘，进行 一些操作后，再释放读锁 对表进行解锁） 无 本地写 磁盘 Load 无 SELECT（查询 checkpoint 历史） CREATE（创建数 据库或表） DELETE（删除 结构又被称作 MemTable）。LSM-tree 引擎由于将用户的随机修改（插入）转化为了对 WAL 文件的顺序写，因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后，会刷到磁盘上生成 SST 文件 (Sorted String Table)，SST 又分为多层（默认至多 6 层），每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层，每一层的数据是上一层的 10 5GB。这部分占用内存较少，不建议用户自行更改。 14.2.2.3 RocksDB 的空间占用 • 多版本：RocksDB 作为一个 LSM-tree 结构的键值存储引擎，MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠（因为文件顺序是按照生成的顺序排列），因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候，会按照一定大小（默认是

结构又被称作 MemTable）。LSM-tree 引擎由于将用户的随机修改（插入）转化为了对 WAL 文件的顺序写，因此具有比 B 树类 存储引擎更高的写吞吐。 内存中的数据达到一定阈值后，会刷到磁盘上生成 SST 文件 (Sorted String Table)，SST 又分为多层（默认至多 6 层），每一层的数据达到一定阈值后会挑选一部分 SST 合并到下一层，每一层的数据是上一层的 10 5GB。这部分占用内存较少，不建议用户自行更改。 1028 12.2.2.3 RocksDB 的空间占用 • 多版本：RocksDB 作为一个 LSM-tree 结构的键值存储引擎，MemTable 中的数据会首先被刷到 L0。L0 层的 SST 之间的范围可能存在重叠（因为文件顺序是按照生成的顺序排列），因此同一个 key 在 L0 中可能存 在多个版本。当文件从 L0 合并到 L1 的时候，会按照一定大小（默认是 参数，来保证提交数据不丢失？ 是的。TiKV 单机的存储引擎目前使用两个 RocksDB 实例，其中一个存储 raft-log。TiKV 有个 sync-log 参数，在 true 的情况下，每次提交都会强制刷盘到 raft-log，如果发生 crash 后，通过 raft-log 进行 KV 数据的恢复。 13.3.4.4.14 对 WAL 存储有什么推荐的硬件配置，例如 SSD，RAID 级别，RAID