Conference China 2016 中国用户大会 实现PostgreSQL逻辑复制实战 王青松 神州飞象(北京)数据科技有限公司 Your Logo 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 简介 逻辑复制的功能是从PG的WAL日志中，读取数 据库更新信息，然后“翻译”（Decode）成逻 辑的形式，可发送到远程从库做数据同步。 辑的形式，可发送到远程从库做数据同步。 PG WAL Other DB 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 为什么要选择逻辑复制？ 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 数据库总体架构 PostgreSQL 主库 数据库中间件 逻辑复制 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 SQL语句 数据 MYSQL PG ORACLE LOGICAL Broker M1 M2 M3 Mn Master 逻辑解码 产生SQL+数据 MQ消息队列 DB重放语句 逻辑复制架构图

在 GP 系统中，Instance 才是承担数据存储和查询处理的角色。用户数据表和相 应的索引都分布在 GP 系统中各个 Instance 上，每个 Instance 存储着一部分数据 (对于复制表来说，每个 Instance 存储一份完整的数据，这是 6 版本新引入的分布策 略)，Instance 才是真正进行数据处理的地方。缺省情况下，用户不能跳过 Master 直接访问 Instance，而只能通过 可以在系统处于运行状态下被恢复回来。恢复进程仅仅复制失败期间发 生变化的增量差异，当然，如果失败时间太久或者因失败的 Instance 文件有损毁， 将需要全量恢复或者需要选择全量恢复。在 6 之前的版本，GP 的 Primary 和 Mirror 之间采用的是 filerep 的方式进行 block 级别的变化同步的机制，从 6 版本开始， 使用 WAL 复制，这将可以从根本上解决以往的 block 损毁被复制到 Mirror 不可用时，Standby 可以被激活以 接替 Master 的角色。Standby 与 Master 之间保持 WAL 同步，保证与 Master 之 间的实时一致性。 在 Master 失效时，WAL 同步的复制进程会自动停止，同时，Standby 可以被激 活。在 Standby 上，冗余的 WAL 日志会被用来将状态恢复到最后成功提交(commit) 时的状态。激活的 Standby 实际上会成为 GP

策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 • 简化 Data Migration (DM) 工具运维 DM v2.0.6 支持自动识别使用 VIP 的数据源实例切换事件（failover/计划切换），自动连接上新的数据源实 例，减少数据复制的延迟和减少运维操作步骤 • TiDB Lightning 支持自定义 CSV 数据的终止符，兼容 MySQL LOAD DATA CSV 数据格式。使得 TiDB Lightning 可以 直接 Y Y JSON 类型 实验特性 实验特性 实验特性 实验特性 控制流程函数 Y Y Y Y 字符串函数 Y Y Y Y 数值函数与操作符 Y Y Y Y 日期和时间函数 Y Y Y Y 位函数和操作符 Y Y Y Y Cast 函数和操作符 Y Y Y Y 加密和压缩函数 Y Y Y Y 信息函数 Y Y Y Y JSON 函数 实验特性 实验特性 实验特性 实验特性 聚合函数

策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 Region 长时间处于非活跃状态，即被自动设置为静默状态，可以降低 Leader 和 Follower 之间心跳信 息的系统开销。 用户文档，#10266 2.2.2.4 稳定性 • TiCDC 复制稳定性问题解决 – 改善 TiCDC 内存使用，避免在以下场景出现 OOM * 同步中断期间积累大量数据，超过 1TB，重新同步出现 OOM 问题 * 大量数据写入造成 TiCDC 出现 OOM 修复 Table GC 时会引发空指针的问题 – 修复向已被删除的表写数据时 TiFlash 进程崩溃的问题 – 修复当使用 BR 恢复数据时 TiFlash 进程可能崩溃的问题 – 修复并发复制共享 Delta 索引导致结果错误的问题 – 修复 TiFlash 在 Compaction Filter 特性开启时可能崩溃的问题 – 修复了从 Async Commit 回退的锁无法被 TiFlash

策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 数据共享订阅 • TiCDC 支持灾备场景下的最终一致性复制 在主从灾备架构下，当生产集群（即 TiCDC 同步的上游集群）发生灾难、且短时间内无法恢复对外提供 服务时，TiCDC 具备保证从集群数据一致性的能力，并允许业务快速的将流量切换至从集群，避免数据 库长时间不可用而对业务造成影响。 该功能支持 TiCDC 将 TiDB 集群的增量数据复制到备用关系型数据库 TiDB/Aurora/MySQL/MariaDB，在 关于所收集的信息详情及如何禁用该行为，参见遥测文档。 2.2.4 移除功能 从 TiCDC v5.3.0 版本开始，TiDB 集群之间的环形同步功能（v5.0 实验特性）被移除。如果在升级 TiCDC 前已经使 用过环形同步功能复制数据，升级后此部分数据的环形同步不受影响。 2.2.5 提升改进 • TiDB – 当 coprocessor 遇到锁时，在调试日志中显示受影响的 SQL 语句帮助诊断问题 #27718 –

策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 修复 config.Metadata.Timeout 没有正确配置而导致的同步停止问题 #3352 – TiDB Data Migration (DM) * 修复 CREATE VIEW 语句中断复制任务的问题 #4173 * 修复 skip DDL 后需要重置 Schema 的问题 #4177 * 修复 skip DDL 后未及时更新表检查点的问题 #4184 * 修复 TiDB 和 Parser 实验特性 实验特性 实验特性 实验特性 控制流程函数 Y Y Y Y Y Y 字符串函数 Y Y Y Y Y Y 数值函数与操作符 Y Y Y Y Y Y 日期和时间函数 Y Y Y Y Y Y 位函数和操作符 Y Y Y Y Y Y Cast 函数和操作符 Y Y Y Y Y Y 加密和压缩函数 Y Y Y Y Y Y 信息函数 Y Y Y Y Y Y JSON 函数 实验特性 实验特性

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 670 8.10 搭建双集群主从复制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 支持按需触发物理数据整理（Compaction） • MPP 实现窗口函数框架 • TiCDC 支持将 changelogs 以 Avro 协议输出到 Kafka • TiCDC 支持在数据复制过程中拆分大事务，能够有效降低大事务带来的复制延迟 • DM 合库合表迁移场景的乐观 DDL 协调模式 GA 2.2.1 新功能 2.2.1.1 SQL • List 和 List COLUMNS 分区方式正式 GA，与

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 815 8.12 搭建双集群主从复制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 Region 的问题 #6426 @nolouch – 修复 TiKV 或 TiFlash 重启后部分已有 label 丢失的问题 #6467 @JmPotato – 修复复制模式存在 learner 节点时可能无法切换复制状态的问题 #14704 @nolouch • TiFlash – 修复开启延迟物化 (Late Materialization) 后查询 TIMESTAMP 或者 TIME

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 759 8.11 搭建双集群主从复制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 策略满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 TiDB 快照备份支持断点续传，此外PITR 的恢复性能提升了 50%，通用场景下 RPO 降低到 5 分钟。 • TiCDC 同步数据到 Kafka，吞吐从 4000 行每秒提升到 35000 行每秒，复制延迟降低到 2 秒。 • 提供行级别Time to live (TTL) 管理数据生命周期（实验特性）。 • TiCDC 支持 Amazon S3、Azure Blob Storage、NFS 的对象存储（实验特性）。

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 841 8.12 搭建双集群主从复制· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 策略，满足不同容灾级别的要求。 • 实时 HTAP 提供行存储引擎TiKV、列存储引擎TiFlash 两款存储引擎，TiFlash 通过 Multi-Raft Learner 协议实时从 TiKV 复制 数据，确保行存储引擎 TiKV 和列存储引擎 TiFlash 之间的数据强一致。TiKV、TiFlash 可按需部署在不同的 机器，解决 HTAP 资源隔离的问题。 • 云原生的分布式数据库 专为云而设计的分布式数据库，通过 @yibin87 MySQL 8.0 增加了变量 div_precision_increment，用于指定除法 / 运算结果增加的小数位数。在 v8.0.0 之 前，TiDB 不支持该变量，而是按照 4 位小数进行除法计算。从 v8.0.0 开始，TiDB 支持该变量，你可以根 据需要指定除法运算结果增加的小数位数。 更多信息，请参考用户文档。 2.2.1.6 数据库管理 • PITR 支持 Amazon