processing ○ Based on ClickHouse with tons of proprietary modifications ● Data sync via extended Raft consensus algorithm ○ Strong consistency ○ Trivial overhead ● Clear workload isolation for not replicates log via Raft consensus protocol ● TiFlash replicates data in columnstore via Raft Learner ● Learner is a special read-only role in Raft ● Data is replicated to learner asynchronously ○ Write Write operation does not wait for learner finish replicating data ● Introduce almost zero latency for the OLTP workload Low-cost Data Replication Region A Region A Region A TiKV TiKV TiKV TiFlash R

· · · · · · · · · · · · · · · 394 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 395 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Data Centers in One City Deployment · · · · · · · · · · · · · · · · · · · · · · · · · · 702 10.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2994 15.2.1 leader/follower/learner · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2994 15.3 O ·

· · · · · · · · · · · · · · · 363 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 363 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Data Centers in One City Deployment · · · · · · · · · · · · · · · · · · · · · · · · · · 652 10.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2743 15.2.1 leader/follower/learner · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2743 15.3 O ·

· · · · · · · · · · · · · · · 378 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 378 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Data Centers in One City Deployment · · · · · · · · · · · · · · · · · · · · · · · · · · 676 10.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2846 15.2.1 leader/follower/learner · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2846 15.3 O ·

· · · · · · · · · · · · · · · 939 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 940 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Multiple Availability Zones in One Region Deployment · · · · · · · · · · · · · · · · · · · · 1356 12.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4485 17.6.1 leader/follower/learner · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4485 17.7 O ·

· · · · · · · · · · · · · · 1133 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1134 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Multiple Availability Zones in One Region Deployment · · · · · · · · · · · · · · · · · · · · 1725 12.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3062 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3066 14

· · · · · · · · · · · · · · 1130 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1131 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Multiple Availability Zones in One Region Deployment · · · · · · · · · · · · · · · · · · · · 1704 12.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3003 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3007 14

· · · · · · · · 865 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 866 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1316 12.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2331 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · 1148 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1149 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Multiple Availability Zones in One Region Deployment · · · · · · · · · · · · · · · · · · · · 1744 12.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3100 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3106 14

· · · · · · · · · · · · · · · 488 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 489 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Data Centers in One City Deployment · · · · · · · · · · · · · · · · · · · · · · · · · · 810 10.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3648 15.4.1 leader/follower/learner · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3648 15.5 O ·