Online/Spring 9 TiDB とは TiDB は HTAP ワークロードをサポートするオープンソースの NewSQLデータベースです TiDB は MySQL と互換性があり、水平方向のスケーラビリ ティ、強力な一貫性、および高可用性を備えています 主に PingCAP 社によって開発されています https://github.com/pingcap/tidb ※ TiDB 技術トレーニングとコンサルティング コミュニティエディション Open Source Conference 2022 Online/Spring 11 TiDB の特徴 Horizontal Scalability (水平拡張) MySQL Compatible Syntax (MySQL 互換) Distributed Transactions (分散トランザクション) Cloud Native (クラウドネイティブ志向) Availability (高可用性) Open Source Conference 2022 Online/Spring 12 TiDB の特徴 Horizontal Scalability (水平拡張) MySQL Compatible Syntax (MySQL 互換) Distributed Transactions (分散トランザクション) Cloud Native (クラウドネイティブ志向)

效、安全可告、开放兼容 的新型数据基础设施，解放企业生产力，加速企业数字化转型升级。 由PingCAP 创立的分布式关系型数据库 TiDB，为企业关键业务打造，具备 分布式强一致性事务、在 线弹性水平扩展、故障自恢复的高可用、跨数据中心多活」 等企业级核心特性，帮助企业最大化发挥数 据价值，充分释放企业增长空间。 目前，PingCAP 已经向包括中国、美国、欧洲、日本、东南亚等国家和地区，超过 TiDB 是一款同时支持在线事务处理与在线分析处理 (Hybrid Transactional and Analytical Processing, HTAP) 的开源分布式关系型数据库产品, 具备水平扩容或者编容、金融级高可用、实时 HTAP,云原生的分 布式数据库、兼容 MySQL 5.7协议和 MySQL 生态等重要特性, 向用户提供一站式 OLTP.OLAPHTAP 解决 方案,适用于对高 mv Applcadonvi po oseds ash Ts Storage chester TSpark PingCAP.COM 晤。 一键水平扩容或者纺容 得瘟于 TiDB 存储计算分离的架构的设计，可按需对计算、存储分别进行在线扩容或者缩容，扩 容或者缩容过程中对应用运维人员透明。 金融级高可用 数据采用多副本存储，数据副本通过 Multi-Raft

(Hybrid Transactional and Analytical Processing) 数据库，结合了传统的 RDBMS 和 NoSQL 的最佳特性。 TiDB 兼容 MySQL，支持无限的水平扩展，具备强一致性和高可用性。TiDB 的目标是为 OLTP (Online Transactional Processing) 和 OLAP (Online Analytical Processing) 具备如下核心特性： 高度兼容 MySQL 大多数情况下，无需修改代码即可从 MySQL 轻松迁移至 TiDB，分库分表后的 MySQL 集群亦可通过 TiDB 工具进行实时迁移。 水平弹性扩展 通过简单地增加新节点即可实现 TiDB 的水平扩展，按需扩展吞吐或存储，轻松应对高并发、海量数据场景。 分布式事务 TiDB 100% 支持标准的 ACID 事务。 真正金融级高可用 相比于传统主从 (M-S) 复制方案，基于 要深入了解 TiDB 的水平扩展和高可用特点，首先需要了解 TiDB 的整体架构。 TiDB 集群主要分为三个组件： TiDB Server 负责接收 SQL 请求，处理 SQL 相关的逻辑，并通过 PD 找到存储计算所需数据的 TiKV 地址， 与 TiKV 交互获取数据，最终返回结果。 TiDB Server 是无状态的，其本身并不存储数据，只负责计算，可以无限水平扩展，可以通过负载均衡组件（如

. . . 14 垂直分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15 水平分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 3.1.2 挑战 . . document, v5.2.0 1.1.2 产品功能 特性 定义 数 据 分片 数据分片，是应对海量数据存储与计算的有效手段。ShardingSphere 提供基于底层数据库之 上，可计算与存储水平扩展的分布式数据库解决方案。 分 布 式 事 务 事务能力，是保障数据库完整、安全的关键技术，也是数据库的核心技术之一。ShardingSphere 提供在单机数据库之上的分布式事务能力，可实现跨底层数据源的数据安全。 提供一套完整的、透明化、安全的、 低改造成本的数据加密解决方案。 影 子 库 在全链路压测场景下，ShardingSphere 通过影子库功能支持在复杂压测场景下数据隔离，压 测获得测试结果可准确反应系统真实容量和性能水平。 1.1.3 产品优势 • 极致性能 驱动程序端历经长年打磨，效率接近原生 JDBC，性能极致。 • 生态兼容 代理端支持任何通过 MySQL/PostgreSQL 协议的应用访问，驱动程序端可对接任意实现

. . 8 垂直分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 i 水平分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 3.1.2 挑战 . . ShardingSphere 是一套开源的分布式数据库解决方案组成的生态圈，它由 JDBC、Proxy 和 Sidecar （规划中）这 3 款既能够独立部署，又支持混合部署配合使用的产品组成。它们均提供标准化的数据水平 扩展、分布式事务和分布式治理等功能，可适用于如 Java 同构、异构语言、云原生等各种多样化的应用 场景。 Apache ShardingSphere 旨在充分合理地在分布式的场景下利用关系型数据库的计算和存储能力，而并 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 8 Apache ShardingSphere document, v5.0.0-beta 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数

. . . 18 垂直分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 水平分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 8.1.2 挑战 . . Apache ShardingSphere 环境。 4.2 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 供计算能力水平扩展和高可用等分布式系统必备的能力，集群环境需要通过独立部署的注册中心来存储 元数据和协调节点状态。 在生产环境建议使用集群模式。 10 5 线路规划 11 6 如何参与 ShardingSphere 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到

. . . 18 垂直分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 水平分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 8.1.2 挑战 . . Apache ShardingSphere 环境。 4.2 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 供计算能力水平扩展和高可用等分布式系统必备的能力，集群环境需要通过独立部署的注册中心来存储 元数据和协调节点状态。 在生产环境建议使用集群模式。 10 5 线路规划 11 6 如何参与 ShardingSphere 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到

sorted map. 回顾: 稀疏的, ⾏行行和列列⽐比较随意, 不不需要固定的schema, 没有值的位置不不占空间 分布式的, 本身hdfs的是分布式的容错的, 在借助region和cf的⽔水平垂直分表, 整个数据可以很好的分散 持久化的, ⼤大部分数据都是基于hdfs的持久化,(btw 顺序写磁盘, 速度不不慢) Sorted map. 整个数据模型就是⼀一个按key排序的⼤大Map 就要有node. 如图可以看出RegionServer和Datanode尽量量在同⼀一台机器器上. • ⽔水平 按rowkey分开 region • Pre-split: 0-5 6-10 • Auto-split: size • 垂直 按CF分开 系统组成 Region ⽔水平按rowkey分. 这个分两步, 第⼀一个是在建表的时候指定分的⽅方式. ⽐比如两个split, 0-5 6-10 6-10 ⾃自动分区是指⼀一个region⼤大⼩小超了了 region的概念. 这个很类似关系数据库⾥里里我们说⽔水平/垂直分表的意思. • 读缓存: BlockCache • 写缓存: Memstore • 写操作⽇日志: WAL • 数据⽂文件: HFile 系统组成 RegionServer 深⼊入RegionServer内部. 有两个Cache和两种⽂文件 • 先写WAL做故障恢复⽤用

. . . 18 垂直分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 水平分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20 8.1.2 挑战 . . Apache ShardingSphere 环境。 4.2 集群模式 提供了多个 Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。它能够提 供计算能力水平扩展和高可用等分布式系统必备的能力，集群环境需要通过独立部署的注册中心来存储 元数据和协调节点状态。 在生产环境建议使用集群模式。 10 5 线路规划 11 6 如何参与 ShardingSphere 的避免数据单点，从而提升数据架构的可用性。 通过分库和分表进行数据的拆分来使得各个表的数据量保持在阈值以下，以及对流量进行疏导应对高访 问量，是应对高并发和海量数据系统的有效手段。数据分片的拆分方式又分为垂直分片和水平分片。 垂直分片 按照业务拆分的方式称为垂直分片，又称为纵向拆分，它的核心理念是专库专用。在拆分之前，一个数 据库由多个数据表构成，每个表对应着不同的业务。而拆分之后，则是按照业务将表进行归类，分布到

Project （TiDB + TiKV） ● 基于 2013 年 Google Spanner / F1 论文 ● 基于 2014 年 Stanford 工业级分布式一致性协议实现 Raft 论文 概括： 无限水平线性扩展、高并发高吞吐、跨数据中心多活、MySQL 兼容的真正意义上的分布式数据库 ● 我们是全球仅有的在该领域进行技术创新的两家公司之一（对标美国 CockroachDB） ● 完全从头打造，并非基于 或数据库中间件进行改造、封装 ● 体系架构完全不同于传统的单机型数据库的理论，真正意义上的分布式架构 ● 开源模式保证技术创新、高效和领先性，天然的国际化基因 我们的数据库能解决什么问题 - 1 ● 无限线性水平扩展（Scale Out） 无论多大的数据量，都可以轻松通过增加节点来解决，写入和读取时延固定（毫 秒级别），无需分库分表或者搭建复杂的 Hadoop 集群，完整的 MySQL 兼容接 口轻松处理高 中间件 [0- 10] [10- 20] [20- 30] [30- 40] SQL Layer Transaction API MVCC NewKV NewSQL - 数据库无限水平扩展的完美解决方案 DB Sharding NewSQL | Ti Project 大数据时代，当单机数据 库容量及处理能力达到瓶 颈时，由于没有完美的分 布式解决方案，业界普遍 采用妥协的数据库分库分