· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1882 17 11.2.6 TiKV MVCC In-Memory Engine· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1885 11.2.7 Tune · · · · · · · · · · · · · · · · · · · · · · · · · 6726 17.10.2 Multi-version concurrency control (MVCC) · · · · · · · · · · · · · · · · · · · · · · · · 6726 17.11 O · · · · · · · · · · · · · · · · · · to help you troubleshoot errors. 4.11.3.1 GC timeout TiDB’s transaction implementation uses the MVCC (Multiple Version Concurrency Con- trol) mechanism. When the newly written data overwrites the old

replication is asynchronous ● Read operation guarantees strong consistency ● Raft Learner read protocol + MVCC do the trick ○ Check readIndex on read and wait for necessary log ○ Read according to Timestamp LSM-Tree like design) In memory, rowbased (raft, transaction, cache) Versioned rows (MVCC) On disk, columnar (MVCC, AP performance) } } TiFlash is beyond columnar format ● An HTAP database needs like distributed join. MPP Support Performance ● Underlying Storage Engine supports Multi-Raft + MVCC ● Still comparable performance against Parquet ● Benchmark against Apache Spark 2.3 on Parquet

Spanner / F1 - The First NewSQL ● 全球级别分布式 / 跨数据中心复制 ○ Paxos ● ACID 事务支持 ○ 两阶段提交 ● 无锁快照读 / 无锁只读事务 ○ MVCC ● External Consistency ○ TrueTime API ● SQL 支持 ● the Next BigTable Powered By Jeff Dean 我们在做什么 Spanner 实现 ● 基于 Raft 多副本一致性算法 ○ 使用Multi Raft支持Dynamic Scale ● 支持类 Percolator 分布式事务 ● 提供 MVCC 支持 ○ RocksDB RocksDB Raft KV MVCC Transaction API RPC Store4 Raft groups RPC RPC Client Store1 TiKV Node1 Region group for region 3 中间件 [0- 10] [10- 20] [20- 30] [30- 40] SQL Layer Transaction API MVCC NewKV NewSQL - 数据库无限水平扩展的完美解决方案 DB Sharding NewSQL | Ti Project 大数据时代，当单机数据 库容量及处理能力达到瓶 颈时，由于没有完美的分

从以上的分析来看，chubaofs 的方案是可行的，参照其实现就行 方案二：事务方案 前言（关于 MVCC）： MVCC ( ) ，即多版本并发控制，主要解决的是并发读写时的冲突问题，利用该机制在读写时候可以去除锁机制 Multi-version Concurrency Controller (备注：我认为利用 MVCC 可以保证事务 ACID 中的 C(一致性) 和 I(隔离性)) 方案主要借鉴 leveldb 与 etcd(boltdb) 中事务的实现（主要利用 mvcc），方案设计如下：© XXX Page 7 of 15 整体思路如下： 在 MDS 所有 copyset 中增加一个 txid 字段，保存当前 copyset 已成功的事务 id（该事务 id 顺序递增，事务每成功一次则加一） 每次 rename 开始时， （其实就是创建副本，不管是删除/创建/更改都是创建相应

11.3.1 GC 超时 TiDB 的事务的实现采用了 MVCC（多版本并发控制）机制，当新写入的数据覆盖旧的数据时，旧的数据不会被 替换掉，而是与新写入的数据同时保留，并以时间戳来区分版本。TiDB 通过定期 GC 的机制来清理不再需要的 旧数据。 • TiDB v4.0 之前的版本： 默认情况下，TiDB 可以确保每个 MVCC 版本（一致性快照）保存 10 分钟。读取时间超过 10 分钟的事务， 过以下方式调大 MVCC 版本保留时间： • TiDB v5.0 之前的版本：调整 mysql.tidb 表中的 tikv_gc_life_time。 • TiDB v5.0 及之后的版本：调整系统变量tidb_gc_life_time。 需要注意的是，此变量的配置是立刻影响全局的，调大它会增加当前所有快照的生命时长，调小它也会立即 缩短所有快照的生命时长。过多的 MVCC 版本会影响 TiDB 的多版本并发控制 (MVCC) 以及 PD 默认的 compaction 间隔是 1 小时，TiCDC 占用的 PD 存储空间与 1 小时内元数据的版本数量成正比。在 v4.0.5、v4.0.6、 v4.0.7 三个版本中 TiCDC 存在元数据写入频繁的问题，如果 1 小时内有 1000 张表创建或调度，就会用尽 etcd 的 存储空间，出现 etcdserver: mvcc: database

· · · · · · · · · · · · · · · · · · · · · · · · · 6702 17.7.2 Multi-version concurrency control (MVCC) · · · · · · · · · · · · · · · · · · · · · · · · 6702 17.8 O · · · · · · · · · · · · · · · · · · to help you troubleshoot errors. 4.11.3.1 GC timeout TiDB’s transaction implementation uses the MVCC (Multiple Version Concurrency Con- trol) mechanism. When the newly written data overwrites the old old data that is no longer needed. • For TiDB versions earlier than v4.0: 626 By default, each MVCC version (consistency snapshots) is kept for 10 minutes. Trans- actions that take longer than 10 minutes

· · · · · · · · · · · · · · · · · · · · · · · · · 6546 17.7.2 Multi-version concurrency control (MVCC) · · · · · · · · · · · · · · · · · · · · · · · · 6546 17.8 O · · · · · · · · · · · · · · · · · · to help you troubleshoot errors. 4.10.3.1 GC timeout TiDB’s transaction implementation uses the MVCC (Multiple Version Concurrency Con- trol) mechanism. When the newly written data overwrites the old old data that is no longer needed. • For TiDB versions earlier than v4.0: 542 By default, each MVCC version (consistency snapshots) is kept for 10 minutes. Trans- actions that take longer than 10 minutes

· · · · · · · · · · · · · · · · · · · · · · · · · 6603 17.7.2 Multi-version concurrency control (MVCC) · · · · · · · · · · · · · · · · · · · · · · · · 6603 17.8 O · · · · · · · · · · · · · · · · · · to help you troubleshoot errors. 4.10.3.1 GC timeout TiDB’s transaction implementation uses the MVCC (Multiple Version Concurrency Con- trol) mechanism. When the newly written data overwrites the old old data that is no longer needed. • For TiDB versions earlier than v4.0: 545 By default, each MVCC version (consistency snapshots) is kept for 10 minutes. Trans- actions that take longer than 10 minutes

· · · · · · · · · · · · · · · · · · · · · · · · · 6476 17.7.2 Multi-version concurrency control (MVCC) · · · · · · · · · · · · · · · · · · · · · · · · 6476 17.8 O · · · · · · · · · · · · · · · · · · to help you troubleshoot errors. 4.10.3.1 GC timeout TiDB’s transaction implementation uses the MVCC (Multiple Version Concurrency Con- trol) mechanism. When the newly written data overwrites the old old data that is no longer needed. • For TiDB versions earlier than v4.0: 542 By default, each MVCC version (consistency snapshots) is kept for 10 minutes. Trans- actions that take longer than 10 minutes

使用percolator事务模型，当事务启动时会获取全局读时间戳，事务提交时也会获取全局提交时间戳，并以 此确定事务的执行顺序，如果想了解 TiDB 事务模型的实现可以详细阅读以下两篇文章：TiKV 的 MVCC（Multi- Version Concurrency Control）机制，Percolator 和 TiDB 事务算法。 可以通过以下命令设置 session 或者 global 的事务的隔离级别： 所在机器的本地时间相差较大，需要以 PD 的时间为准。 当读取历史版本操作结束后，可以结束当前 Session 或者是通过 Set 语句将 tidb_snapshot 变量的值设为 ”“，即可读取最新版本的数据。 TiDB 使用 MVCC 管理版本，当更新/删除数据时，不会做真正的数据删除，只会添加一个新版本数据，所以可以保 留历史数据。历史数据不会全部保留，超过一定时间的历史数据会被彻底删除，以减小空间占用以及避免历史版本过 多引入的性能开销。 +------+ 9. 3 rows in set (0.00 sec) 历史数据回溯 - 192 - 本文档使用 书栈(BookStack.CN) 构建 垃圾回收 (GC) TiDB 采用 MVCC 的方式来进行并发控制。当对数据进行更新或者删除时，原有的数据不会被立刻删除，而是会被保 留一段时间，并且在这段时间内这些旧数据仍然可以被读取。这使得写入操作和读取操作不必互斥，并使读取历史数 据成为可能。