joins Postgres Conference China 2016 中国用户大会 Global Transaction Manager (GTM) • Handles necessary MVCC tasks • Transaction IDs • Snapshots • Manages cluster wide values • Timestamps • Sequences • GTM Postgres Conference China 2016 中国用户大会 Multiversion Concurrency Control (MVCC) Postgres Conference China 2016 中国用户大会 MVCC  Readers do not block writers  Writers do not block readers  Transaction contain a list of running XIDs July 12th, 2012 Postgres-XC 50 Postgres Conference China 2016 中国用户大会 MVCC – Regular PostgreSQL Example: T1 Begin... INSERT… T2 Begin; INSERT...; Commit; T3

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1882 17 11.2.6 TiKV MVCC In-Memory Engine· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1885 11.2.7 Tune · · · · · · · · · · · · · · · · · · · · · · · · · 6726 17.10.2 Multi-version concurrency control (MVCC) · · · · · · · · · · · · · · · · · · · · · · · · 6726 17.11 O · · · · · · · · · · · · · · · · · · to help you troubleshoot errors. 4.11.3.1 GC timeout TiDB’s transaction implementation uses the MVCC (Multiple Version Concurrency Con- trol) mechanism. When the newly written data overwrites the old

replication is asynchronous ● Read operation guarantees strong consistency ● Raft Learner read protocol + MVCC do the trick ○ Check readIndex on read and wait for necessary log ○ Read according to Timestamp LSM-Tree like design) In memory, rowbased (raft, transaction, cache) Versioned rows (MVCC) On disk, columnar (MVCC, AP performance) } } TiFlash is beyond columnar format ● An HTAP database needs like distributed join. MPP Support Performance ● Underlying Storage Engine supports Multi-Raft + MVCC ● Still comparable performance against Parquet ● Benchmark against Apache Spark 2.3 on Parquet

Spanner / F1 - The First NewSQL ● 全球级别分布式 / 跨数据中心复制 ○ Paxos ● ACID 事务支持 ○ 两阶段提交 ● 无锁快照读 / 无锁只读事务 ○ MVCC ● External Consistency ○ TrueTime API ● SQL 支持 ● the Next BigTable Powered By Jeff Dean 我们在做什么 Spanner 实现 ● 基于 Raft 多副本一致性算法 ○ 使用Multi Raft支持Dynamic Scale ● 支持类 Percolator 分布式事务 ● 提供 MVCC 支持 ○ RocksDB RocksDB Raft KV MVCC Transaction API RPC Store4 Raft groups RPC RPC Client Store1 TiKV Node1 Region group for region 3 中间件 [0- 10] [10- 20] [20- 30] [30- 40] SQL Layer Transaction API MVCC NewKV NewSQL - 数据库无限水平扩展的完美解决方案 DB Sharding NewSQL | Ti Project 大数据时代，当单机数据 库容量及处理能力达到瓶 颈时，由于没有完美的分

从以上的分析来看，chubaofs 的方案是可行的，参照其实现就行 方案二：事务方案 前言（关于 MVCC）： MVCC ( ) ，即多版本并发控制，主要解决的是并发读写时的冲突问题，利用该机制在读写时候可以去除锁机制 Multi-version Concurrency Controller (备注：我认为利用 MVCC 可以保证事务 ACID 中的 C(一致性) 和 I(隔离性)) 方案主要借鉴 leveldb 与 etcd(boltdb) 中事务的实现（主要利用 mvcc），方案设计如下：© XXX Page 7 of 15 整体思路如下： 在 MDS 所有 copyset 中增加一个 txid 字段，保存当前 copyset 已成功的事务 id（该事务 id 顺序递增，事务每成功一次则加一） 每次 rename 开始时， （其实就是创建副本，不管是删除/创建/更改都是创建相应

�→ ts.scan �→ -lock- �→ pool- �→ size Newly added The number of threads that TiKV uses to scan the MVCC (multi- version concurrency control) lock data when initializing the resolved- �→ ts. The default scheduler-pending �→ -write-threshold (100MB). You can verify the cause by viewing the metric corresponding to MVCC_CONFLICT_COUNTER. – Slow write causes write tasks to pile up. The data being written to TiKV ex- Coprocessor has processed. Compared with total_keys, processed_keys does not include the old versions of MVCC. A great difference between processed_keys and total_keys indicates that many old versions exist.

the cgroup information from some platforms #10980 – Fix the issue of poor scan performance because MVCC Deletion versions are not dropped by compaction filter GC #11248 • PD – Fix the issue that PD incorrectly scheduler-pending �→ -write-threshold (100MB). You can verify the cause by viewing the metric corresponding to MVCC_CONFLICT_COUNTER. – Slow write causes write tasks to pile up. The data being written to TiKV ex- Coprocessor has processed. Compared with total_keys, processed_keys does not include the old versions of MVCC. A great difference between processed_keys and total_keys indicates that many old versions exist.

scheduler-pending �→ -write-threshold (100MB). You can verify the cause by viewing the metric corresponding to MVCC_CONFLICT_COUNTER. – Slow write causes write tasks to pile up. The data being written to TiKV ex- Coprocessor has processed. Compared with total_keys, processed_keys does not include the old versions of MVCC. A great difference between processed_keys and total_keys indicates that many old versions exist. Coprocessor has processed. Compared with total_keys, processed_keys does not include the old versions of MVCC. A great difference between processed_keys and total_keys indicates that many old versions exist.

11.3.1 GC 超时 TiDB 的事务的实现采用了 MVCC（多版本并发控制）机制，当新写入的数据覆盖旧的数据时，旧的数据不会被 替换掉，而是与新写入的数据同时保留，并以时间戳来区分版本。TiDB 通过定期 GC 的机制来清理不再需要的 旧数据。 • TiDB v4.0 之前的版本： 默认情况下，TiDB 可以确保每个 MVCC 版本（一致性快照）保存 10 分钟。读取时间超过 10 分钟的事务， 过以下方式调大 MVCC 版本保留时间： • TiDB v5.0 之前的版本：调整 mysql.tidb 表中的 tikv_gc_life_time。 • TiDB v5.0 及之后的版本：调整系统变量tidb_gc_life_time。 需要注意的是，此变量的配置是立刻影响全局的，调大它会增加当前所有快照的生命时长，调小它也会立即 缩短所有快照的生命时长。过多的 MVCC 版本会影响 TiDB 的多版本并发控制 (MVCC) 以及 PD 默认的 compaction 间隔是 1 小时，TiCDC 占用的 PD 存储空间与 1 小时内元数据的版本数量成正比。在 v4.0.5、v4.0.6、 v4.0.7 三个版本中 TiCDC 存在元数据写入频繁的问题，如果 1 小时内有 1000 张表创建或调度，就会用尽 etcd 的 存储空间，出现 etcdserver: mvcc: database

后面的请求的等 待时间都会增加。 281 • Process_keys：表示 Coprocessor 处理的 key 的数量。相比 total_keys，processed_keys 不包含 MVCC 的旧版本。 如果 processed_keys 和 total_keys 相差很大，说明旧版本比较多。 • Cop_proc_avg：cop-task 的平均执行时间。 • Cop_proc_p90：cop-task total_keys：Coprocessor 扫过的 key 的数量。 • processed_keys：Coprocessor 处理的 key 的数量。与 total_keys 相比，processed_keys 不包含 MVCC 的旧版本。 如果 processed_keys 和 total_keys 相差很大，说明旧版本比较多。 • num_cop_tasks：该语句发送的 Coprocessor 请求的数量。 • key 的最大数量 • AVG_PROCESSED_KEYS：Coprocessor 处理的 key 的平均数量。相比 avg_total_keys，avg_processed_keys 不 包含 MVCC 的旧版本。如果 avg_total_keys 和 avg_processed_keys 相差很大，说明旧版本比较多 • MAX_PROCESSED_KEYS：Coprocessor 处理的 key