Redis 多数据中心双向同步 祝辰 • 携程框架架构部门 • 资深研发工程师 • 专注于 Redis 高可用系统的 研发工作 • 对分布式存储系统有所涉猎 讲师介绍 祝辰 1 开篇 2 3 4 5 目 录 CONTENTS 携程的Redis架构 分布式理论 双向/多向同步的问题 CRDT 19 世纪的通讯 “At 12:30 am on April 4th 支持主 从架构 缓存服务 分布式锁 消息队列 计数器 目前携程的 Redis 部署架构 通过携程的 X-Pipe 项目, 来达到 Redis 跨站点和跨区域的数据同步问题 目前已经支持上海到美国和德国的 Redis 数据同步 • 到德国法兰克福站点, 平均延迟在 176ms 左右 • 到美西站点, 平均延迟在 160ms 左右 携程业务开发的需求, 对于 Redis 的数 据存储有着强依赖 据共享的一个需求. 多站点部署的架构, 对于单元化部署的 应用来讲, 跨数据中心的数据访问一直 是一个最大的痛点. 目前很多用户 • 抑或是采取了同一份写入到两个站 点的数据库 • 抑或是跨站点写入数据库同时同步 回来(例如 AWS 的AURORA) 这两种方式都没有从根本上解决问题, DRC 概念的出现, 让大家对分布式存储 又有了新的期待 Data Replication Center 目前携程的应用也在进行单元化的部署模

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 837 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 838 17.9 contextvars 法应当返回一个假值以表明方法已成功完 成并且不希望屏蔽被引发的异常。这允许上下文管理代码方便地检测__exit__() 方法是否确实已失 败。 Python 定义了一些上下文管理器来支持简易的线程同步、文件或其他对象的快速关闭，以及更方便地操作活 动的十进制算术上下文。除了实现上下文管理协议以外，不同类型不会被特殊处理。请参阅contextlib 模 块查看相关的示例。 Python 的generator autojunk 形参。 class difflib.Differ 这个类的作用是比较由文本行组成的序列，并产生可供人阅读的差异或增量信息。Differ 统一使 用SequenceMatcher 来完成行序列的比较以及相似（接近匹配）行内部字符序列的比较。 Differ 增量的每一行均以双字母代码打头： 6.3. difflib --- 计算差异的辅助工具 125 The Python Library

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 782 17.9 contextvars --- 法应当返回一个假值以表明方法已成 功完成并且不希望屏蔽被引发的异常。这允许上下文管理代码方便地检测__exit__() 方法是否 确实已失败。 Python 定义了一些上下文管理器来支持简易的线程同步、文件或其他对象的快速关闭，以及更方便 地操作活动的十进制算术上下文。除了实现上下文管理协议以外，不同类型不会被特殊处理。请参 阅contextlib 模块查看相关的示例。 Python 的generator autojunk 形参。 class difflib.Differ 这个类的作用是比较由文本行组成的序列，并产生可供人阅读的差异或增量信息。Differ 统一使 用SequenceMatcher 来完成行序列的比较以及相似（接近匹配）行内部字符序列的比较。 Differ 增量的每一行均以双字母代码打头： 双字母代码 含意 '- ' 行为序列 1 所独有 '+ ' 行为序列 2 所独有 ' '

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 780 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 782 17.9 contextvars --- 法应当返回一个假值以表明方法已成 功完成并且不希望屏蔽被引发的异常。这允许上下文管理代码方便地检测__exit__() 方法是否 确实已失败。 Python 定义了一些上下文管理器来支持简易的线程同步、文件或其他对象的快速关闭，以及更方便 地操作活动的十进制算术上下文。除了实现上下文管理协议以外，不同类型不会被特殊处理。请参 阅contextlib 模块查看相关的示例。 Python 的generator autojunk 形参。 class difflib.Differ 这个类的作用是比较由文本行组成的序列，并产生可供人阅读的差异或增量信息。Differ 统一使 用SequenceMatcher 来完成行序列的比较以及相似（接近匹配）行内部字符序列的比较。 Differ 增量的每一行均以双字母代码打头： 双字母代码 含意 '- ' 行为序列 1 所独有 '+ ' 行为序列 2 所独有 ' '

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 740 17.7 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 742 17.8 _thread --- 底层多线程 法应当返回一个假值以表明方法已成 功完成并且不希望屏蔽被引发的异常。这允许上下文管理代码方便地检测__exit__() 方法是否 确实已失败。 Python 定义了一些上下文管理器来支持简易的线程同步、文件或其他对象的快速关闭，以及更方便 地操作活动的十进制算术上下文。除了实现上下文管理协议以外，不同类型不会被特殊处理。请参 阅contextlib 模块查看相关的示例。 Python 的generator autojunk 形参。 class difflib.Differ 这个类的作用是比较由文本行组成的序列，并产生可供人阅读的差异或增量信息。Differ 统一使 用SequenceMatcher 来完成行序列的比较以及相似（接近匹配）行内部字符序列的比较。 Differ 增量的每一行均以双字母代码打头： 双字母代码 含义 '- ' 行为序列 1 所独有 '+ ' 行为序列 2 所独有 ' '

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 784 17.7 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 786 17.8 _thread --- 法应当返回一个假值以表明方法已成功完 成并且不希望屏蔽被引发的异常。这允许上下文管理代码方便地检测__exit__() 方法是否确实已失 败。 Python 定义了一些上下文管理器来支持简易的线程同步、文件或其他对象的快速关闭，以及更方便地操作活 动的十进制算术上下文。除了实现上下文管理协议以外，不同类型不会被特殊处理。请参阅contextlib 模 块查看相关的示例。 4.11. 上下文管理器类型 autojunk 形参。 class difflib.Differ 这个类的作用是比较由文本行组成的序列，并产生可供人阅读的差异或增量信息。Differ 统一使 用SequenceMatcher 来完成行序列的比较以及相似（接近匹配）行内部字符序列的比较。 Differ 增量的每一行均以双字母代码打头： 6.3. difflib --- 计算差异的辅助工具 119 The Python Library

文件压缩和解压 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 506 13.3.2 增量压缩和解压 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 507 13.3.3 一次性压缩或解压缩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 886 17.8.1 Queue 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 912 18.1.3 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 919 18.1

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767 17.7 queue —一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769 17.8 dummy_threading 法应当返回一个假值以表明方法已成功完 成并且不希望屏蔽被引发的异常。这允许上下文管理代码方便地检测__exit__() 方法是否确实已失 败。 Python 定义了一些上下文管理器来支持简易的线程同步、文件或其他对象的快速关闭，以及更方便地操作活 动的十进制算术上下文。除了实现上下文管理协议以外，不同类型不会被特殊处理。请参阅contextlib 模 块查看相关的示例。 Python 的generator autojunk 形参。 class difflib.Differ 这个类的作用是比较由文本行组成的序列，并产生可供人阅读的差异或增量信息。Differ 统一使 用SequenceMatcher 来完成行序列的比较以及相似（接近匹配）行内部字符序列的比较。 Differ 增量的每一行均以双字母代码打头： 6.3. difflib —计算差异的辅助工具 117 The Python Library

. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 767 17.7 queue —一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 769 17.8 dummy_threading 法应当返回一个假值以表明方法已成功完 成并且不希望屏蔽被引发的异常。这允许上下文管理代码方便地检测__exit__() 方法是否确实已失 败。 Python 定义了一些上下文管理器来支持简易的线程同步、文件或其他对象的快速关闭，以及更方便地操作活 动的十进制算术上下文。除了实现上下文管理协议以外，不同类型不会被特殊处理。请参阅contextlib 模 块查看相关的示例。 Python 的generator autojunk 形参。 class difflib.Differ 这个类的作用是比较由文本行组成的序列，并产生可供人阅读的差异或增量信息。Differ 统一使 用SequenceMatcher 来完成行序列的比较以及相似（接近匹配）行内部字符序列的比较。 Differ 增量的每一行均以双字母代码打头： 6.3. difflib —计算差异的辅助工具 117 The Python Library

3.1 文件压缩和解压 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 473 13.3.2 增量压缩和解压 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 474 13.3.3 一次性压缩或解压缩 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 825 17.8 queue --- 一个同步的队列类 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 826 17.8.1 Queue 对象 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 849 18.1.3 同步原语 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 856 18.1.4 子进程集