r a f t 在 C u r v e 存 储 中 的 工 程 实 践 陈威Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化项目背景 Curve是一个 高性能、更稳定、易运维 的 云原生 分布式存储系统，支持 块存储 和 文件存储 2018~2021 Curve块存储 2021~2022 Curve文件存储 • 稳定性挑战 • 算力平台kubernetes的迅速发展 • AI/大数据业务的快速增长 • 存储使用Ceph文件存储/HDFS • 成本/性能挑战 Curve块存储和文件存储均采用raft协议整体架构 • 对接OpenStack平台为云主机提供高性能块 存储服务 • 对接Kubernetes为其提供RWO、RWX等类 型的持久化存储卷 • 对接PolarFS作为云原生数据库的高性能存储 获客 用户 开发者 操作系统 芯片 数据库 云原生 AI训练 大数据 社区生态Curve介绍 01 02 raft和braft 03 raft在Curve中的应用 05 Q&A 04 Curve对raft的优化RAFT协议简介 什么是raft • raft 是一种新型易于理解的分布式一致性复制协议，由斯坦福大学的Diego Ongaro和John Ousterhout提出，《In

· · · · · · · · 278 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 278 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 506 10.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2259 15.5.1 Region/Peer/Raft Group · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · 291 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 291 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 529 10.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2373 15.5.1 Region/Peer/Raft Group · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

● 分层 ● Make it right and make it fast. ● 测试很重要 ● 简单易用 ● 和社区结合 架构 TiKV TiKV TiKV TiKV Raft Raft Raft TiDB TiDB TiDB ... ... ... ... ... Placement Driver (PD) Control flow: Balance / Failover Physically, data is stored in RocksDB ● We build a Raft layer on top of RocksDB ○ What is Raft? ● Written in Rust! TiKV API (gRPC) Transaction MVCC Raft (gRPC) RocksDB Raw KV API (https://github.com/pingc Region 4:[p-t] Raft group Storage stack 2/2 ● Data is organized by Regions ● Region: a set of continuous key-value pairs RPC (gRPC) Transaction MVCC Raft RocksDB ··· Raft ● 复制/分裂/负载均衡 Region

· · · · · · · · 269 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 269 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 491 10.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2189 15.5.1 Region/Peer/Raft Group · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

appspot.com/github.com/huangnauh/slides/upone.slide#3 24/36 高可用 通过 Raft 分布式一致性协议实现高可用 hashicorp/raft (https://github.com/hashicorp/raft) 领导选举: 心跳机制来触发选举, term 充当逻辑时钟的作用 日志复制: 领导者把一条指令(能被复制状态机执行)附加到日志中，发起附加条目 slide#3 25/36 raft 领导选举 Image credit: the Raft paper (https://raft.github.io/raft.pdf) 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 26/36 raft 日志复制 Image Image credit: the Raft paper (https://raft.github.io/raft.pdf) 2017/8/3 基于 mesos 的容器调度框架 http://go-talks.appspot.com/github.com/huangnauh/slides/upone.slide#3 27/36 raft 可视化 Image generated by RaftScope

· · · · · · · · 357 7.6.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 357 7.6.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 606 10.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2851 15.8 Raft Engine · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2851 15.8.1 Region/Peer/Raft Group · · · · ·

· · · · · · · · 865 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 866 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1316 12.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2331 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · 869 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 870 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1335 12.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2376 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · 875 9.7.3 TiFlash_raft_read_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 876 9.7.4 TiFlash_raft_wait_index_duration · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1364 12.1.1 了解 Raft 协议 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2460 14.2.5 Partitioned Raft KV · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·