clup-server 数据中心1 CLup管理节点1 clup-server 数据中心2 CLup管理节点2 clup-server 数据中心1 CLup管理节点2 高可用机制自动切换  数据一致性保证 数据可用性  提供读写VIP  读写高可用 读写分离  多个读库之间负载均衡 负载均衡  读线性扩展  支持分库分表 高扩展性 写 VIP 读 VIP PG

构建强⼀一致性分布式数据库 TiDB 沈泰宁 R & D Engineer @ PingCAP ⾃自我介绍 ⾃自我介绍 • 沈泰宁 • R&D Engineer @ PingCAP • Maintainer • rust-prometheus • grpc-rs • … ⽬目录 • What is TiDB? • How to test? What is TiDB? Single

和平统一 微服务场景下的数据一致性解决方案 殷湘 华为PaaS微服务架构师 开源能力中心 大纲 •离 数据一致性的起因 •合 数据一致性的解决方案 •断 方案选择建议 离 数据一致性的起因 单体应用 • 单体应用由于所有模块(A/B/C)使用同一个数据库 • 数据一致性通过数据库事务保证 A B C commit rollback 微服务场景 MySQL MongoDB MongoDB Cassandra 数据一致性无法完全通过数据库保证 离 独立进程 独立部署 独立技术 独立团队 合 数据一致性的解决方案 T1 T2 T3 C2 C1 • 1987年Hector & Kenneth 发表论文 Sagas • Saga = Long Live Transaction (LLT) • LLT = T1 + T2 + T3 + ... + Tn • 每个本地事务Tx 有对应的补偿 transact transact transact B C A Saga compensate compensate 和平统一 减少业务代码集成／运维难度 剥离业务与数据一致性复杂度 和平：低侵入 让运维监控更加简单 可视化事务、调用链 统一：集中式 无状态、可集群、可分片 Event Sourcing架构 高可用 系统架构 – 基于图形 requests

数据分布 —— 无中心节点/中心节点 均 衡 地址空间的每段数据会分布在不同机器的磁盘上，如 何找到这些数据？ 可靠性 & 可用性 —— 多副本/EC 服务不可用时 间 数据一致性 —— 一致性协议 如何保证数据不丢？如何保证各种硬件故障的时候读 写都正常？ 可扩展性 —— 和数据分布的方式相关 所用容量都用完后，可以新增机器扩展容量分布式存储的要素 — 8MB) 60 (8MB, 16MB) 50分布式存储的要素 — 一致性协议 多副本： 写三次？ 一致性协议 一致性：WARO（Write-all-read-one）、Quorum WARO • 所有副本写成功 • 读可用性高：可以读任一副本 • 写可用性较低，任一副本异常写失败 Quorum • 大多数副本写成功 • 读写服务可用性做一个折中 • 写性能提升，速度取决于写的较快的大多数 object：存储单元 PG：Placement Groups 归置组 归置组中的成员为副本 OSD：Object Storage Device, 管理一个磁盘的进程架构简介 — 数据放置 使用多级哈希的方式 使用CRUSH算法根据pgid获得指定的副本个数的id osd.1, osd.2, osd.3 对ObjectID进行哈希并取模（复制组数量）得到pgid

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 330 4.7.8 读取副本数据· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 743 8.4.3 基于多副本的单集群容灾方案 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 753 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 825 8.12.5 第 5 步：使用 redo log 确保数据一致性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 825 8.12.6 第 6 步：恢复主集群及业务

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 324 4.7.8 读取副本数据· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 697 8.4.3 基于多副本的单集群容灾方案 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 707 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 769 8.11.5 第 5 步：使用 redo log 确保数据一致性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 769 8.11.6 第 6 步：恢复主集群及业务

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 358 8.13.2 TiFlash 副本始终处于不可用状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 358 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1938 12.15 通过拓扑 label 进行副本调度 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者 缩容过程中对应用运维人员透明。 • 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能提交，确 保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 377 8.14.2 TiFlash 副本始终处于不可用状态 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 377 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 2029 12.15 通过拓扑 label 进行副本调度 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩容或者 缩容过程中对应用运维人员透明。 • 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft 协议同步事务日志，多数派写入成功事务才能提交，确 保数据强一致性且少数副本发生故障时不影响数据的可用性。可按需配置副本地理位置、副本数量等 策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 330 4.7.8 读取副本数据· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 760 8.4.3 基于多副本的单集群容灾方案 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 770 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 851 8.12.5 第 5 步：使用 redo log 确保数据一致性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 851 8.12.6 第 6 步：恢复主集群及业务

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 315 4.7.8 读取副本数据· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 744 8.4.3 基于多副本的单集群容灾方案 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 754 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 835 8.12.5 第 5 步：使用 redo log 确保数据一致性· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 835 8.12.6 第 6 步：恢复主集群及业务