携程 Redis 多数据中心 双向同步实践 祝辰 祝辰 目前任职携程框架架构部门资深 研发工程师 负责框架Redis团队的开发工作 目录 1 业务背景 2 3 双向同步 4 CRDT 高可用 开篇 & 背景 Redis 在携程的规模 25,000,0 00 QPS 2000+Clust er 200TB + 跨公网同步 SHANGHAI CANADA 仓位信息供应商 国内 海外 单向同步 • 单向同步可以解决 海外重复收费的问 题 • 无法解决上海重复 收费的问题 业务痛点 仓位信息供应商 国内 海外 双向同步 • 我们希望可以通过 Redis的双向同步 解决重复收费的问 题 双向同步 Redis双向同步 双向同步 Redis Master Redis Master Redis双向同步 1. slaveof • slaveof命令 • redis变成slave， 同步数据 • Slave无法写入 Redis双向同步 1. peerof 2. Sync data • 新的命令“peerof” • 同步数据 • 继续保持Master的 角色 如何解决 • 新的协议支持 双向同步 • 兼容Slaveof命 令 slaveof slaveof

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 561 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 619 6.5.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 619 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 821 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 521 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 576 6.4.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 576 6.4.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 765 8.11.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 556 6.4.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 556 6.4.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 676 8.10.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 817 10.16.6 TiFlash 数据不同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 818 10.16.7 TiFlash 数据同步卡住 · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 547 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 612 6.5.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 612 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 825 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 548 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 613 6.5.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 613 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 831 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 564 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 629 6.5.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 629 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 847 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 559 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 624 6.5.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 624 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 837 8.12.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 554 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 620 6.5.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 620 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 867 8.13.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 612 6.1.5 TiDB 集群增量数据同步 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 678 6.5.1 上游使用 pt-osc/gh-ost 工具的持续同步场景 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 678 6.5.2 下游存在更多列的迁移场景· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 933 8.13.3 第 3 步：迁移增量数据 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·