. . . 10 弹性分布式实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 注册中心数据结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 config 节点 . . . . . . . 11 leader 节点 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 流程图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14 i 5.3 失效转移 . 作业依赖 (TODO) – 基于有向无环图（DAG）的作业间依赖 – 基于有向无环图（DAG）的作业分片间依赖 • 作业开放生态 – 可扩展的作业类型统一接口 – 丰富的作业类型库，如数据流、脚本、HTTP、文件、大数据等 – 易于对接业务作业，能够与 Spring 依赖注入无缝整合 • 可视化管控端 – 作业管控端 – 作业执行历史数据追踪 – 注册中心管理 3 3 环境要求

3 2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 8 功能 18 8.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 8.1.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . .

3 2.1 连接：打造数据库上层标准 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.2 增强：数据库计算增强引擎 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 2.3 可插拔：构建数据库功能生态 . . . . 操作步骤 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 8 功能 18 8.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 8.1.1 背景 . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据高并发的 OLTP 场景 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21 海量数据实时分析 OLAP 场景 . . . . . . . . . . . . . . . . . . . . . . . .

1.2.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.2 分布式事务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 1.2.3 数据库治理 . . 2 2. 规则配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.1.3 3. 创建数据源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.2 ShardingSphere‐Proxy 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 3.1.1 背景

zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导，多公司参与  应用广泛，已知70+公司的应用案例 发展历程 2015.10 项目启劢 2016.01 正式开源 2016.08 star突破1000 2018.05 成立社区 2018.11 进入Apache孵化器 2018.08 star突破5000 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 自劢化部署&管理 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 分布式数据库中间优势  底层数据库成熟性  增量持续革新  接入与运维成本低 数据库中间件应具备的能力

云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导，多公司参与 u 应用广泛，已知70+公司的应用案例 2018年PostgreSQL中国技术大会 发展历程 2015.10 Ø 项目启动 2016.01 Ø 正式开源 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 2018年PostgreSQL中国技术大会 互联网数据库需求发展 RDBMS NoSQL NewSQL 键值数据库 文档数据库 列族数据库 列族数据库 图数据库 …… 分布式数据库 分布式数据库中间件 云数据库 MySQL Oracle PostgreSQL SQLServer …… 2018年PostgreSQL中国技术大会 分布式数据库中间优势 ü 底层数据库成熟性 ü 增量持续革新 ü 接入与运维成本低 2018年PostgreSQL中国技术大会 数据库中间件应具备的能力 1 数据分片 2 3 分布式事务

用于指定传入参数的类型。 sql 语句中使用#{}字符： 它代表占位符，相当于原来 jdbc 部分所学的?，都是用于执行语句时替换实际的数据。 具体的数据是由#{}里面的内容决定的。 #{}中内容的写法： 由于数据类型是基本类型，所以此处可以随意写。 2.1.3 在测试类添加测试 /** * *

Title: MybastisCRUDTest

close(); } } 2.2 保存操作 2.2.1 在持久层接口中添加新增方法 /** * 保存用户 * @param user * @return 影响数据库记录的行数 */ int saveUser(User user); 2.2.2 在用户的映射配置文件中配置 数据。 具体的数据是由#{}里面的内容决定的。 #{}中内容的写法： 由于我们保存方法的参数是 一个 User 对象，此处要写 User 对象中的属性名称。 它用的是

2 2. 规则配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.1.3 3. 创建数据源 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.2 ShardingSphere‐Proxy 生态层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 4 功能 17 4.1 数据库兼容 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 4.1.1 背景 . . . . . . . . . . . . . . . . . . . . . . 19 4.1.5 数据库协议 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.2 数据分片 . . . . . . . . . . . . . . . . . . . . . . . . . .

1 认识ShardingSphere ShardingSphere是一套开源的分布式数据库中间件解决方案组成的生态圈，它由Sharding- JDBC、Sharding-Proxy和Sharding-Sidecar（计划中）这3款相互独立的产品组成。 他们均提 供标准化的数据分片、分布式事务和数据库治理功能，可适用于如Java同构、异构语言、容 器、云原生等各种多样化的应用场景。 当前版本：3 定位为轻量级Java框架，在Java的JDBC层提供的额外服务。 它使用客户端直连数据库，以jar包 形式提供服务，无需额外部署和依赖，可理解为增强版的JDBC驱动，完全兼容JDBC和各种 ORM框架。 适用于任何基于Java的ORM框架，如：JPA, Hibernate, Mybatis, Spring JDBC Template或 直接使用JDBC。 基于任何第三方的数据库连接池，如：DBCP, C3P0, BoneCP BoneCP, Druid, HikariCP等。 支持任意实现JDBC规范的数据库。目前支持MySQL，Oracle，SQLServer和 PostgreSQL。 1.3 认识Sharding-Proxy 定位为透明化的数据库代理端，提供封装了数据库二进制协议的服务端版本，用于完成对异构 语言的支持。 目前先提供MySQL版本，它可以使用任何兼容MySQL协议的访问客户端(如： MySQL

q=servicecomb servicecomb.apache.org Apache ShardingSphere简介 完全开源 Apache的首个分布式数据库中间件 gitHub近8000star，近百家公司的成功落地案例 核心功能：数据分片&分布式事务&数据库治理 多接入端选择 京东主导，多公司&社区参与推动 4 github.com/apache?q=servicecomb servicecomb servicecomb.apache.org 数据分片 App2 DB App1 App3 App2 DB1 DB2 DB3 App1 App3 S App1 M App2 App3 write sync read 读写分离 水平分片 6 github.com/apache?q=servicecomb servicecomb.apache.org 数据分片 金 融 App1 S1 S1 S3 数据库中间件 write sync read 7 github.com/apache?q=servicecomb servicecomb.apache.org SQL解析 SQL改写 结果归并 SQL执行 SQL路由 数据分片 8 github.com/apache?q=servicecomb servicecomb.apache.org 电商 数据治理 •