Conference China 2016 中国用户大会 实现PostgreSQL逻辑复制实战 王青松 神州飞象(北京)数据科技有限公司 Your Logo 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 简介 逻辑复制的功能是从PG的WAL日志中，读取数 据库更新信息，然后“翻译”（Decode）成逻 辑的形式，可发送到远程从库做数据同步。 辑的形式，可发送到远程从库做数据同步。 PG WAL Other DB 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 为什么要选择逻辑复制？ 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 数据库总体架构 PostgreSQL 主库 数据库中间件 逻辑复制 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 SQL语句 数据 MYSQL PG ORACLE LOGICAL Broker M1 M2 M3 Mn Master 逻辑解码 产生SQL+数据 MQ消息队列 DB重放语句 逻辑复制架构图

流（Stream） 第⼆部分：附加功能 11. 数据库* 12. ⾃动过期* 13. 流⽔线与事务* 14. Lua 脚本 15. 持久化 16. 发布与订阅 17. 模块 第三部分：多机功能 18. 复制* 19. Sentinel 20. 集群 附录 附录 A ：Redis 安装⽅法* 附录 B ：redis-py 安装⽅法* 前⾔ 时光荏苒， 距离我的第⼀本书《Redis设计与实现》出版已经过去了整整五年。 ⽐如⾃动过期、流⽔线、 事务、数据持久化等， 这些功能能够帮助⽤户将 Redis 应⽤在更多不同的场景中， 或者给予⽤户以⽅便。 更重要的是， Redis 不仅可以单机使⽤， 还可以多机使⽤： 通过 Redis ⾃带的复制、Sentinel 和集群功 能， ⽤户可以将⾃⼰的数据库扩展⾄任意⼤⼩。 ⽆论你运营的是⼀个⼩型的个⼈⽹站， 还是⼀个为上千万 消费者服务的热⻔站点， 你都可以在 Redis 找到你想要的功能， 并将其部署到你的服务器⾥⾯。 读者可以通过阅读这⼀部分来学会如何将 Redis 应⽤在更 多场景中。 多机功能部分介绍了 Redis 的三项多机功能， 它们分别是复制、Sentinel 和集群。 其中复制⽤于创建多个 Redis 服务器的副本， 并藉此提升整个 Redis 系统的读性能以及容灾能⼒。 ⾄于 Sentinel 则在复制的基础上， 为 Redis 系统提供了⾃动的故障转移功能， 从⽽使得整个系统可以更健壮地运⾏。 最后， 通过使⽤ Redis

Copyright @ 2021 Oracle and/or its affiliates. 6 / 55 7 / 55 "过去" - 手动 • 设置复制拓扑通常是手动完成的，需要执行许多步骤 包括用户管理、恢复备份、配置复制... • MySQL 只提供技术部分，让用户来设置（始终自定义 的）架构。 • 甚至需要其他软件... 为DBA 和专家带来了大量工作，他 们花时间自动化和集成他们的定制架构 Oracle and/or its affiliates. 8 / 55 Present - Solutions! 2016 - M ySQL InnoDB Cluster MySQL 组复制:自动成员身份更改、网络分区处理、一致性... MySQL Shell 提供强大的界面，有助于自动化和集成所有组件 InnoDB 克隆以自动生成成员，完全集成在InnoDB 中 MySQL Router and/or its affiliates. 9 / 55 Present - Solutions! 2020 - MySQL InnoDB Replicaset • "经典"、"异步"的基于复制的解决方案，完全集成 • MySQL Shell • MySQL Router • MySQL Server RPO !=0 RTO =minutes (manual failover)

产品的任何特性或功能的开发、发行和时间规划均由 Oracle 自行决定。 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 3 MySQL 复制 MySQL 半同步 复制 Windows/ Solaris/ Clusterware 群集或 Oracle VM Group Replication MySQL Cluster MySQL 高可用性解决方案 线程：接收复制事件，并将其存储在从 数据库的中继日志中 • SQL 线程：读取从数据库的中继日志中的复 制事件，然后将其应用到从数据库 MySQL 复制工作流 会话 二进制 日志 主数据库 转储 I/O 中继 日志 SQL 4/16/2017 8 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 为何进行复制？ •将数据库从“主服务器”复制到“从服务器” ” – 数据的冗余副本奠定了高可用性的基础 – 通过在复制场中进行分布式查询来扩展 主 从 Web/应用服务器 写入和读取 读取 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 9 •异步 – MySQL 默认设置 – 并行：主数据库向应 用程序发送确认，在 存储引擎上提交，然 后将事务发送到从数 据库 • 快速 • 如果主数据库停机有可

在 GP 系统中，Instance 才是承担数据存储和查询处理的角色。用户数据表和相 应的索引都分布在 GP 系统中各个 Instance 上，每个 Instance 存储着一部分数据 (对于复制表来说，每个 Instance 存储一份完整的数据，这是 6 版本新引入的分布策 略)，Instance 才是真正进行数据处理的地方。缺省情况下，用户不能跳过 Master 直接访问 Instance，而只能通过 可以在系统处于运行状态下被恢复回来。恢复进程仅仅复制失败期间发 生变化的增量差异，当然，如果失败时间太久或者因失败的 Instance 文件有损毁， 将需要全量恢复或者需要选择全量恢复。在 6 之前的版本，GP 的 Primary 和 Mirror 之间采用的是 filerep 的方式进行 block 级别的变化同步的机制，从 6 版本开始， 使用 WAL 复制，这将可以从根本上解决以往的 block 损毁被复制到 Mirror 不可用时，Standby 可以被激活以 接替 Master 的角色。Standby 与 Master 之间保持 WAL 同步，保证与 Master 之 间的实时一致性。 在 Master 失效时，WAL 同步的复制进程会自动停止，同时，Standby 可以被激 活。在 Standby 上，冗余的 WAL 日志会被用来将状态恢复到最后成功提交(commit) 时的状态。激活的 Standby 实际上会成为 GP

//redis启动初始化以后占用内存 6) (integer) 9942928 7) "replication.backlog" //主从复制断开重连时会用到，默认10MB 8) (integer) 1048576 9) "clients.slaves" // 主从复制用到的内存 10) (integer) 16858 11) "clients.normal" //普通用户客户端的读写缓冲区 12) (integer) ，服务可用性相比双副本模式并未下降。同时，通过减少一个数据库节点，可以大幅节省用户成本 ，售价约为双副本高可用版的一半。 高性能 由于标准版-双副本架构的备库仅用于故障转移恢复，并没有对外提供服务，并且数据库复制也给主库 带来了额外的性能开销，因此从这个角度分析，单副本版本的性能不仅不会低于双机高可用版，甚至 还会有所提升。 使用场景 云数据库 Redis 版 产品简介 10 纯缓存类业务场景 故障等问题导致的服务异常，及时进行主备切换从而保证服务高可用。 主备复制机制 阿里云针对 Redis 主从复制机制进行了定制修改，采用增量日志格式进行复制传输。当主备 复制中断后，对系统性能及稳定性影响极低，有效避免 Redis 原生复制的弊端。 Redis 原生复制弊端简要如下： Redis 复制中断后，Slave 会立即发起 psync，psync 尝试部署同步不成功，就会

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 831 8.12 搭建双集群主从复制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 • TiCDC 支持通过双向复制模式 (Bi-Directional Replication, BDR) 同步 DDL 语句（实验特性）#10301 #48519 @okJiang @asddongmen 从 v7.6.0 开始，TiCDC 支持在配置了双向复制的情况下同步 DDL 语句。以前，TiCDC 不支持复制 DDL 语句， 因此要使用 TiCDC 双向复制必须将 DDL 语句分别应用到两个

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 841 8.12 搭建双集群主从复制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 增加在创建和恢复 changefeed 任务时验证 start-ts 参数是否合法 #10499 @3AceShowHand – TiDB Data Migration (DM) * 在 MariaDB 主从复制的场景中，即 MariaDB 主实例 -> MariaDB 从实例 -> DM -> TiDB 的迁移场景， 当 gtid_strict_mode = off 且 MariaDB 从实例的 GTID

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 825 8.12 搭建双集群主从复制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 TiCDC 支持保存数据到存储服务 (Amazon S3/GCS/Azure Blob Storage/NFS) Y Y Y E N N N N N TiCDC 支持在两个 TiDB 集群之间进行双向复制 Y Y Y Y N N N N N TiCDC OpenAPI v2 Y Y Y N N N N N N DM 支持迁移 MySQL 8.0 Y E E E E N N N N 2.3.11

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 815 8.12 搭建双集群主从复制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 Region 的问题 #6426 @nolouch – 修复 TiKV 或 TiFlash 重启后部分已有 label 丢失的问题 #6467 @JmPotato – 修复复制模式存在 learner 节点时可能无法切换复制状态的问题 #14704 @nolouch • TiFlash – 修复开启延迟物化 (Late Materialization) 后查询 TIMESTAMP 或者 TIME