2008年至2013年 2008年以前 • 背景：应用最为广泛的数据库；能 很好的解决复杂的数据运算及表 间处理；多用于银行、电信等传 统行业复杂业务逻辑场景中，以 Oracle 为代表 • 挑战：成本高，随着数据量增加， 只能通过购买更贵更好的服务器 ；无法线性扩容，海量数据下处 理能力大幅下降 单机关系型（SQL） 分布式非关系型（NoSQL） 分布式关系型（NewSQL） • 背景：随着搜索 / 社交的发展，数 据量爆发增长，传统数据库高成 本，无法线性扩容问题日益突显 ；分布式及 NoSQL 开始快速发 展，如 MongoDB • 挑战：擅长简单读写，无法处理 交易类数据及复杂业务逻辑的特 性限制其在非互联网领域的发展 • 背景：随着互联网向银行、电信、电 力等方向的渗透，传统行业数据量 迅速提升，需要同时满足低成本、线 性扩容及能够处理交易类事务的新 型数据库，大数据的存储刚需不可 避免 • 挑战：基于 Google Spanner/F1

随着两地三中心的建设，光 太银行计划采用分布式的方案对外提供服务。 数据库作为金融科技的重器，需要匹配银行业务的发展，不 断提升的处理性能，并且满足金融监管的要求。 在分布式数据库技术日渐成熟的背景下，光大银行在关键业务系统引入 TiDB，进行一系列应用开发、 测试与运维实践，有效解决原有数据库面临的性能、可用性和业务多活问题。 分布式数据库实践 新一代财富管理平台是支撑光大银行理财公司运营 打造面向未来的商业银行业分布式核心系统 北京银行是中国最早成立的城市商业银行之一，公司价值位列中国区域性发展银行的首位，一级资本排名 全球干家大银行第 62 位，连续七年跻身全球银行业百强。 建设背景 随着互联网金融时代的到来，基于移动互联的高频访问场景成为常态，面对海量数据、高并发的挑战，北 京银行分布式核心系统采用“微服务架构 + 分布式数据库”的建设方案，构建起一套支持高并发、高可用 、可横向扩展的分布式核心系统解决方案。 美团点评是中国领先的生活服务电子商务平台, 拥有美团.大众点评、美团外卖等 App, 截至2020年6月 30 日止十二个月, 美团年度交易用户总数达 4.6 亿, 平台活跃商户总数达 630 万。 业务背景 美团点评在 2018年引入TiDB 分布式数据库, 服务于配送,出行,闪付、酒旅等业务场景。为了降低数据库 脚本的维护成本, 进一步提升资源利用率, 美团点评基于 TiDB Operator 实现从传统运维向云原生运维的

罗瑞星 2018 / 05 / 26 ⾃自我介绍 罗瑞星 ⼤大数据⾼高级⼯工程师@51job ⼤大数据架构师@易易果集团 负责易易果集团⼤大数据⽅方向架构设计，优化；数据⼯工具及产品的开发 • 背景介绍. • TiDB的应⽤用 • 未来规划 1 2 3 ⽬目录 CONTENTS 易易果集团介绍 易易果⽣生鲜电商易易果创⽴立于2005年年， 易易果集团由易易果⽣生鲜成⽴立，未来将 着⼒力力打

变更超过 1024 个版本数。 – 解决方法：前 2 种原因都不会导致业务问题，相应的 DML 会在失败后重试；第 3 种原因需要检查 TiDB 实例和 PD 及 TiKV 的网络情况。 – 背景知识：schema version 的增长数量与每个 DDL 变更操作的 schema state 个数一致，例如 create table 操作会有 1 个版本变更，add column 操作会有 后新创建的表也应当有 (a, b, c) 三列。 • 由于已经收到 DDL 语句的 DM-worker 会暂停任务以等待其他 DM-worker 收到对应的 DDL 语句，因此数据 迁移延迟会增加。 背景 目前，DM 使用 ROW 格式的 binlog 进行数据迁移，且 binlog 中不包含表结构信息。在 ROW 格式的 binlog 迁移过 程中，如果不需要将多个上游表合并迁移到下游的同一个表，则只存在一个上游表的 实例中结构 相同/不同的表迁移到下游 TiDB 的同一个表中。 999 注意： 在没有深入了解乐观模式的原理和使用限制的情况下不建议使用该模式，否则可能造成迁移 中断甚至数据不一致的严重后果。 背景 DM 支持在线上执行分库分表的 DDL 语句（通称 Sharding DDL），默认使用 “悲观模式”，即当上游一个分表执 行某一 DDL 后，这个分表的迁移会暂停，等待其他所有分表都执行了同样的

日志中报 information schema is changed 的错误： – 报错的详细原因以及解决办法参见触发 Information schema is changed 错误的原因。 – 背景知识：schema version 的增长数量与每个 DDL 变更操作的 schema state 个数一致，例如 create table 操作会有 1 个版本变更，add column 操作会有 后新创建的表也应当有 (a, b, c) 三列。 • 由于已经收到 DDL 语句的 DM-worker 会暂停任务以等待其他 DM-worker 收到对应的 DDL 语句，因此数据 迁移延迟会增加。 背景 目前，DM 使用 ROW 格式的 binlog 进行数据迁移，且 binlog 中不包含表结构信息。在 ROW 格式的 binlog 迁移过 程中，如果不需要将多个上游表合并迁移到下游的同一个表，则只存在一个上游表的 MySQL/MariaDB 实例中结构 相同/不同的表迁移到下游 TiDB 的同一个表中。 注意： 在没有深入了解乐观模式的原理和使用限制的情况下不建议使用该模式，否则可能造成迁移 中断甚至数据不一致的严重后果。 背景 DM 支持在线上执行分库分表的 DDL 语句（通称 Sharding DDL），默认使用 “悲观模式”，即当上游一个分表执 行某一 DDL 后，这个分表的迁移会暂停，等待其他所有分表都执行了同样的

日志中报 information schema is changed 的错误： – 报错的详细原因以及解决办法参见触发 Information schema is changed 错误的原因。 – 背景知识：schema version 的增长数量与每个 DDL 变更操作的 schema state 个数一致，例如 create table 操作会有 1 个版本变更，add column 操作会有 后新创建的表也应当有 (a, b, c) 三列。 • 由于已经收到 DDL 语句的 DM-worker 会暂停任务以等待其他 DM-worker 收到对应的 DDL 语句，因此数据 迁移延迟会增加。 背景 目前，DM 使用 ROW 格式的 binlog 进行数据迁移，且 binlog 中不包含表结构信息。在 ROW 格式的 binlog 迁移过 程中，如果不需要将多个上游表合并迁移到下游的同一个表，则只存在一个上游表的 MySQL/MariaDB 实例中结构 相同/不同的表迁移到下游 TiDB 的同一个表中。 注意： 在没有深入了解乐观模式的原理和使用限制的情况下不建议使用该模式，否则可能造成迁移 中断甚至数据不一致的严重后果。 背景 DM 支持在线上执行分库分表的 DDL 语句（通称 Sharding DDL），默认使用 “悲观模式”，即当上游一个分表执 行某一 DDL 后，这个分表的迁移会暂停，等待其他所有分表都执行了同样的

日志中报 information schema is changed 的错误： – 报错的详细原因以及解决办法参见触发 Information schema is changed 错误的原因。 – 背景知识：schema version 的增长数量与每个 DDL 变更操作的 schema state 个数一致，例如 create table 操作会有 1 个版本变更，add column 操作会有 后新创建的表也应当有 (a, b, c) 三列。 • 由于已经收到 DDL 语句的 DM-worker 会暂停任务以等待其他 DM-worker 收到对应的 DDL 语句，因此数据 迁移延迟会增加。 背景 目前，DM 使用 ROW 格式的 binlog 进行数据迁移，且 binlog 中不包含表结构信息。在 ROW 格式的 binlog 迁移过 程中，如果不需要将多个上游表合并迁移到下游的同一个表，则只存在一个上游表的 MySQL/MariaDB 实例中结构 相同/不同的表迁移到下游 TiDB 的同一个表中。 注意： 在没有深入了解乐观模式的原理和使用限制的情况下不建议使用该模式，否则可能造成迁移 中断甚至数据不一致的严重后果。 背景 DM 支持在线上执行分库分表的 DDL 语句（通称 Sharding DDL），默认使用 “悲观模式”，即当上游一个分表执 行某一 DDL 后，这个分表的迁移会暂停，等待其他所有分表都执行了同样的

日志中报 information schema is changed 的错误： – 报错的详细原因以及解决办法参见触发 Information schema is changed 错误的原因。 – 背景知识：schema version 的增长数量与每个 DDL 变更操作的 schema state 个数一致，例如 create table 操作会有 1 个版本变更，add column 操作会有 后新创建的表也应当有 (a, b, c) 三列。 • 由于已经收到 DDL 语句的 DM-worker 会暂停任务以等待其他 DM-worker 收到对应的 DDL 语句，因此数据 迁移延迟会增加。 背景 目前，DM 使用 ROW 格式的 binlog 进行数据迁移，且 binlog 中不包含表结构信息。在 ROW 格式的 binlog 迁移过 程中，如果不需要将多个上游表合并迁移到下游的同一个表，则只存在一个上游表的 实例中结构 相同/不同的表迁移到下游 TiDB 的同一个表中。 1365 注意： 在没有深入了解乐观模式的原理和使用限制的情况下不建议使用该模式，否则可能造成迁移 中断甚至数据不一致的严重后果。 背景 DM 支持在线上执行分库分表的 DDL 语句（通称 Sharding DDL），默认使用 “悲观模式”，即当上游一个分表执 行某一 DDL 后，这个分表的迁移会暂停，等待其他所有分表都执行了同样的

日志中报 information schema is changed 的错误： – 报错的详细原因以及解决办法参见触发 Information schema is changed 错误的原因。 – 背景知识：schema version 的增长数量与每个 DDL 变更操作的 schema state 个数一致，例如 create table 操作会有 1 个版本变更，add column 操作会有 后新创建的表也应当有 (a, b, c) 三列。 • 由于已经收到 DDL 语句的 DM-worker 会暂停任务以等待其他 DM-worker 收到对应的 DDL 语句，因此数据 迁移延迟会增加。 背景 目前，DM 使用 ROW 格式的 binlog 进行数据迁移，且 binlog 中不包含表结构信息。在 ROW 格式的 binlog 迁移过 程中，如果不需要将多个上游表合并迁移到下游的同一个表，则只存在一个上游表的 MySQL/MariaDB 实例中结构 相同/不同的表迁移到下游 TiDB 的同一个表中。 注意： 在没有深入了解乐观模式的原理和使用限制的情况下不建议使用该模式，否则可能造成迁移 中断甚至数据不一致的严重后果。 背景 DM 支持在线上执行分库分表的 DDL 语句（通称 Sharding DDL），默认使用 “悲观模式”，即当上游一个分表执 行某一 DDL 后，这个分表的迁移会暂停，等待其他所有分表都执行了同样的

日志中报 information schema is changed 的错误： – 报错的详细原因以及解决办法参见触发 Information schema is changed 错误的原因。 – 背景知识：schema version 的增长数量与每个 DDL 变更操作的 schema state 个数一致，例如 create table 操作会有 1 个版本变更，add column 操作会有 后新创建的表也应当有 (a, b, c) 三列。 1575 • 由于已经收到 DDL 语句的 DM-worker 会暂停任务以等待其他 DM-worker 收到对应的 DDL 语句，因此数据 迁移延迟会增加。 背景 目前，DM 使用 ROW 格式的 binlog 进行数据迁移，且 binlog 中不包含表结构信息。在 ROW 格式的 binlog 迁移过 程中，如果不需要将多个上游表合并迁移到下游的同一个表，则只存在一个上游表的 MySQL/MariaDB 实例中结构 相同/不同的表迁移到下游 TiDB 的同一个表中。 注意： 在没有深入了解乐观模式的原理和使用限制的情况下不建议使用该模式，否则可能造成迁移 中断甚至数据不一致的严重后果。 背景 DM 支持在线上执行分库分表的 DDL 语句（通称 Sharding DDL），默认使用 “悲观模式”，即当上游一个分表执 行某一 DDL 后，这个分表的迁移会暂停，等待其他所有分表都执行了同样的