光大银行 分布式数据库在光大银行关键业务系统的应用 中国光大银行是全国性股份制商业银行，在英国《银行家》杂志 2018 年发布的“全球 1000 家大银行 排名中，中国光大银行位列第 39 位。 业务挑战 传统集中式数据库受到单点架构的限制，造成处理能力的受限与风险的集中。随着两地三中心的建设，光 太银行计划采用分布式的方案对外提供服务。 数据库作为金融科技的重器，需要匹配银行业务的发展，不 断提升的处理性能，并且满足金融监管的要求。 位列中国区域性发展银行的首位，一级资本排名 全球干家大银行第 62 位，连续七年跻身全球银行业百强。 建设背景 随着互联网金融时代的到来，基于移动互联的高频访问场景成为常态，面对海量数据、高并发的挑战，北 京银行分布式核心系统采用“微服务架构 + 分布式数据库”的建设方案，构建起一套支持高并发、高可用 、可横向扩展的分布式核心系统解决方案。 2018 年起，该分布式核心系统对接网联支付清算平 同步 Binlog 的形式进行数据同步。 北京银行首先在网联支付清算平台和银联无卡快捷支付系统引入 TiDB 分布式数据库，以便更好地迎接 互联网金融带来的大数据量和高并发的挑战。系统投产之后，已经成功应对两次双十一挑战，2019 年 双十一闫峰的 QPS 达到 7500，是平时 QPS 的十倍以上。 在双十一期间，北京银行 IT 团队进行多次线上的运维操作，包括版本升级、打补丁等，利用TiDB

Oracle 为代表 • 挑战：成本高，随着数据量增加， 只能通过购买更贵更好的服务器 ；无法线性扩容，海量数据下处 理能力大幅下降 单机关系型（SQL） 分布式非关系型（NoSQL） 分布式关系型（NewSQL） • 背景：随着搜索 / 社交的发展，数 据量爆发增长，传统数据库高成 本，无法线性扩容问题日益突显 ；分布式及 NoSQL 开始快速发 展，如 MongoDB • 挑战：擅长简单读写，无法处理 性限制其在非互联网领域的发展 • 背景：随着互联网向银行、电信、电 力等方向的渗透，传统行业数据量 迅速提升，需要同时满足低成本、线 性扩容及能够处理交易类事务的新 型数据库，大数据的存储刚需不可 避免 • 挑战：基于 Google Spanner/F1 论 文，基础软件最前沿的领域之一，技 术门槛最高 资料来源：公开资料整理 数据库技术发展演进 Google - 大规模分布式计算领域的领跑者 2003 20988-2007 ）最高等级 第六级的要求（RTO = 0，RPO = 0） NewSQL - 大数据量下高压力实时处理的完美解决方案 随着业务增长，需要处理的数据量不断增加，系统架构师面临多种挑战： ● 传统的关系型数据库无法满足高并发写入？ ● 传统的关系型数据库查询缓慢？ ● 想引入 NoSQL 获取水平扩展能力，但是又不愿牺牲 SQL 和事务处理？ ● 分库分表又进入另外一个坑 NewSQL

HTAP：基于TiDB Docker的聚合⽀支付私有化部署⽅方案 • 关于TiDB的线上运维 - TiDB体系 - 业务零感知运维 Ping++原数据架构及瓶颈 实时数仓数据源挑战： • 数⼗十亿交易易量量 • 多维度联合分析 • 实时分析+报表下载 场景⼀一：实时数仓数据源⽀支撑 数仓数据源选型过程： • RDS快速上线
 最⼤大承载3个⽉月交易易量量分析

扩缩容 TiDB Operator – 故障转移 2021/07/03 子闻之曰：再，斯可以 - 你认为 Kubernetes 会成为 Database 的操作系统吗 - 你准备好迎接未来的挑战了吗 二、TiDB 在 AWS 上的最佳实践 在 TiDB Operator 上更进一步 —— TiDB Cloud 2021/07/03 成本 - Kubernetes 维护成本

DBA：没有啊，我看数据库响应时间也就几 ms，肯定是你的应用写得? 后端开发：....（事后一看果然是） Logging / Tracing / Metrics 分布式 Tracing 面临的挑战 ● 领域知识和业务强相关 ○ 工程师不会熟悉每个模块 ● 跨越多团队 / 语言 / 服务 / 模 块 / 物理机 ● 业务侵入性和性能损耗 ● 实时，秒级别有效性 行业现状 ● 起点：《Dapper

中引入了新的 DDL 架构，批量建表的性能提高了 10 倍。 �→ 这一重大改进极大地缩短了创建大量表所需的时间。特别是在 SaaS 场景中，快速创建大量表（ �→ 从数万到数十万不等）是一个常见的挑战，使用该特性能显著提升 SaaS 场景的建表速度。 0 码力 | 4807 页 | 101.31 MB | 1 年前

3

8 数据迁移 • 对齐不同 changefeed 的 Syncpoint #11212 @hongyunyan 在 v8.2.0 之前，对齐多个 changefeed 的 Syncpoint 很有挑战性。在创建 changefeed 时，必须谨慎选择 changefeed 的 startTs，以便与其他 changefeed 的 Syncpoint 对齐。从 v8.2.0 开始，为 changefeed • 需要短时间内读取大量数据 这就对 TiDB 提出了以下挑战： • 写入/读取能力是否可以线性水平扩展 • 随着数据持续大并发写入，数据库性能是否稳定不衰减 对于分布式数据库来说，除了本身的基础性能外，最重要的就是充分利用所有节点能力，避免让单个节点成 为瓶颈。 12.5.4.3 TiDB 数据分布原理 如果要解决以上挑战，需要从 TiDB 数据切分以及调度的原理开始讲起。这里只作简单说明，详情可参阅谈调 模块根据下游的类型将数据变更同步到下游。 由于 TiCDC 的上游是支持事务的分布式关系型数据库 TiDB，在同步数据的时候，如何保证数据的一致性，以 2234 及在同步多张表的时候，如何保证事务的一致性，都是很大的挑战。下面的章节会介绍 TiCDC 在确保事务特 性时所使用的关键技术和概念。 13.9.4.4.4 TiCDC 关键概念 当 TiCDC 对应的下游系统是关系型数据库时，TiCDC 在同步数据的时候会确保单表事务的数据一致性，以及多

• 需要短时间内读取大量数据 这就对 TiDB 提出了以下挑战： • 写入/读取能力是否可以线性水平扩展 • 随着数据持续大并发写入，数据库性能是否稳定不衰减 对于分布式数据库来说，除了本身的基础性能外，最重要的就是充分利用所有节点能力，避免让单个节点成 为瓶颈。 12.5.4.3 TiDB 数据分布原理 如果要解决以上挑战，需要从 TiDB 数据切分以及调度的原理开始讲起。这里只作简单说明，详情可参阅谈调 模块根据下游的类型将数据变更同步到下游。 由于 TiCDC 的上游是支持事务的分布式关系型数据库 TiDB，在同步数据的时候，如何保证数据的一致性，以 2299 及在同步多张表的时候，如何保证事务的一致性，都是很大的挑战。下面的章节会介绍 TiCDC 在确保事务特 性时所使用的关键技术和概念。 13.9.4.4.4 TiCDC 关键概念 当 TiCDC 对应的下游系统是关系型数据库时，TiCDC 在同步数据的时候会确保单表事务的数据一致性，以及多 支持哪些认证协议？过程是怎样的？ TiDB 和 MySQL 一样，在用户登录认证时使用 SASL 认证协议对密码进行处理。 客户端连接 TiDB 的时候，使用 challenge-response（挑战 -应答）的认证模式，过程如下： 1. 客户端连接服务器。 2. 服务器发送随机字符串 challenge 给客户端。 3. 客户端发送 username + response 给服务器。 4

模块根据下游的类型将数据变更同步到下游。 由于 TiCDC 的上游是支持事务的分布式关系型数据库 TiDB，在同步数据的时候，如何保证数据的一致性，以 802 及在同步多张表的时候，如何保证事务的一致性，都是很大的挑战。下面的章节会介绍 TiCDC 在确保事务特 性时所使用的关键技术和概念。 7.6.1.4 TiCDC 关键概念 当 TiCDC 对应的下游系统是关系型数据库时，TiCDC 在同步数据的时候会确保单表事务的数据一致性，以及多 • 需要短时间内读取大量数据 这就对 TiDB 提出了以下挑战： • 写入/读取能力是否可以线性水平扩展 • 随着数据持续大并发写入，数据库性能是否稳定不衰减 对于分布式数据库来说，除了本身的基础性能外，最重要的就是充分利用所有节点能力，避免让单个节点成 为瓶颈。 12.5.4.3 TiDB 数据分布原理 如果要解决以上挑战，需要从 TiDB 数据切分以及调度的原理开始讲起。这里只作简单说明，详情可参阅谈调 支持哪些认证协议？过程是怎样的？ TiDB 和 MySQL 一样，在用户登录认证时使用 SASL 认证协议对密码进行处理。 客户端连接 TiDB 的时候，使用 challenge-response（挑战 -应答）的认证模式，过程如下： 1. 客户端连接服务器。 2. 服务器发送随机字符串 challenge 给客户端。 3. 客户端发送 username + response 给服务器。 4

书栈(BookStack.CN) 构建 这一层跟 MySQL 一样，走的 SASL 认证协议，用于用户登陆认证，对密码的处理流程。 客户端连接 TiDB 的时候，走的是 challenge / response（挑战-应答）的认证模式，过程如下： 第一步：客户端连接服务器； 第二步：服务器发送随机字符串 challenge 给客户端； 第三步：客户端发送 username + response 给服务器； 第四步：服务器验证