r a f t 在 C u r v e 存 储 中 的 工 程 实 践 陈威Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化项目背景 Curve是一个 高性能、更稳定、易运维 的 云原生 分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 • 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 获客 用户 开发者 操作系统 芯片 数据库 云原生 AI训练 大数据 社区生态Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 什么是raft • raft 是一种新型易于理解的分布式一致性复制协议，由斯坦福大学的Diego Ongaro和John Ousterhout提出，《In

processing ○ Based on ClickHouse with tons of proprietary modifications ● Data sync via extended Raft consensus algorithm ○ Strong consistency ○ Trivial overhead ● Clear workload isolation for not replicates log via Raft consensus protocol ● TiFlash replicates data in columnstore via Raft Learner ● Learner is a special read-only role in Raft ● Data is replicated to learner asynchronously ○ Write Write operation does not wait for learner finish replicating data ● Introduce almost zero latency for the OLTP workload Low-cost Data Replication Region A Region A Region A TiKV TiKV TiKV TiFlash R

· · · · · · · · · · · · · · · 394 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 395 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Data Centers in One City Deployment · · · · · · · · · · · · · · · · · · · · · · · · · · 702 10.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2994 15.2.1 leader/follower/learner · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2994 15.3 O ·

· · · · · · · · · · · · · · · 363 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 363 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Data Centers in One City Deployment · · · · · · · · · · · · · · · · · · · · · · · · · · 652 10.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2743 15.2.1 leader/follower/learner · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2743 15.3 O ·

· · · · · · · · · · · · · · · 378 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 378 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Data Centers in One City Deployment · · · · · · · · · · · · · · · · · · · · · · · · · · 676 10.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2846 15.2.1 leader/follower/learner · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2846 15.3 O ·

· · · · · · · · · · · · · · · 939 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 940 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Multiple Availability Zones in One Region Deployment · · · · · · · · · · · · · · · · · · · · 1356 12.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4485 17.6.1 leader/follower/learner · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 4485 17.7 O ·

· · · · · · · · · · · · · · 1133 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1134 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Multiple Availability Zones in One Region Deployment · · · · · · · · · · · · · · · · · · · · 1725 12.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3062 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3066 14

· · · · · · · · · · · · · · 1130 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1131 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Multiple Availability Zones in One Region Deployment · · · · · · · · · · · · · · · · · · · · 1704 12.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3003 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3007 14

· · · · · · · · 865 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 866 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1316 12.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2331 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · 1148 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1149 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · Multiple Availability Zones in One Region Deployment · · · · · · · · · · · · · · · · · · · · 1744 12.1.1 Raft protocol · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3100 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 3106 14