TiDB: HBase分布式事务与SQL实现 About me ● TiDB & Codis founder ● Golang expert ● Distributed database developer ● Currentlly, CEO and co-founder of PingCAP liuqi@pingcap.com https://github.com/pingcap/tidb

项目 全新的问答论坛 分布式事务和 两阶段提交协议 6 ● 事务实现原理和Write Ahead Logging（WAL） ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性：ACID 属性 含义 数据库系统的实现 Atomic 原子性 事务中的操作要么全部正确执行，要么完全不 执行。 Write Ahead Logging，分布式事务：两阶段提交协议 Consistency 一致性 数据库系统必须保证事务的执行使得数据库 从一个一致性状态转移到另一个一致性状态。 （满足完整性约束） 实现对A、I、D三个属性的支持 Isolation 隔离性 多个事务并发地执行，对每个事务来说，它并 不会感知系统中有其他事务在同时执行。 多版本并发控制Multi-Version 2PL）、乐观并发控制 （OCC） Durability 持久性 一个事务在提交之后，该事务对数据库的改变 是持久的。 Write Ahead Logging + 存储管理 Jim Gray于1981年VLDB描述了事务的原子性、一致性和持久性，在此基础上，Haerder和Reuter在1983年中提出了事务的隔离性并提出术语 “ACID”，自此，事务的ACID四个性质成为业内标准术语 8 Disk-Oriented

联合打造的分布式事务解决方案 京东数科-潘娟 panjuan@apache.org 2 github.com/apache?q=servicecomb servicecomb.apache.org Apache ShardingSphere生态 1 Apache ShardingSphere事务体系 2 Apache ServiceComb-saga 3 分布式事务解决方案的合作与探索 Apache ShardingSphere简介 完全开源 Apache的首个分布式数据库中间件 gitHub近8000star，近百家公司的成功落地案例 核心功能：数据分片&分布式事务&数据库治理 多接入端选择 京东主导，多公司&社区参与推动 4 github.com/apache?q=servicecomb servicecomb.apache.org Apache org 分布式事务的需求体现 垂直拆分 水平拆分 混合拆分 本地事务 分布式事务 单机部署 10 github.com/apache?q=servicecomb servicecomb.apache.org 分布式事务概述 金融 CAP原则 Consistency 2PC事务 XA Availability BASE事务 saga TCC 基于可靠消息 的事务 Partition

4 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.4.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 本地事务 . . . . . 43 两阶段提交 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.4.2 挑战 . . . . . . . . . . . . . . . . . . . . . . . . . . 44 XA 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . .

4 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.4.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 本地事务 . . . . . 43 两阶段提交 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.4.2 挑战 . . . . . . . . . . . . . . . . . . . . . . . . . . 44 XA 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . .

4 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 4.4.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42 本地事务 . . . . . 43 两阶段提交 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43 4.4.2 挑战 . . . . . . . . . . . . . . . . . . . . . . . . . . 44 XA 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . .

3 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 4.3.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37 本地事务 . . . . . 37 两阶段提交 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38 4.3.2 挑战 . . . . . . . . . . . . . . . . . . . . . . . . . . 39 XA 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39 柔性事务 . . . . . . . . . . . . . . . . . . . . . . . . . . .

1.8 附录 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.2 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25 3.2.1 背景 . 26 LOCAL 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 XA 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26 BASE 事务 . . . . . ShardingSphere XA 事务使用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . 28 ShardingSphere BASE 事务使用场景 . . . . . . . . . . . . . . . . . . . . . . . . . 28 ShardingSphere LOCAL 事务使用场景 . . . . . .

1.8 附录 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 8.2 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 8.2.1 背景 . 31 LOCAL 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 XA 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 BASE 事务 . . . . . ShardingSphere XA 事务使用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . 33 ShardingSphere BASE 事务使用场景 . . . . . . . . . . . . . . . . . . . . . . . . . 33 ShardingSphere LOCAL 事务使用场景 . . . . . .

1.8 附录 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29 8.2 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30 8.2.1 背景 . 31 LOCAL 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 XA 事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31 BASE 事务 . . . . . ShardingSphere XA 事务使用场景 . . . . . . . . . . . . . . . . . . . . . . . . . . 33 ShardingSphere BASE 事务使用场景 . . . . . . . . . . . . . . . . . . . . . . . . . 33 ShardingSphere LOCAL 事务使用场景 . . . . . .