 Greenplum 架构概览Greenplum 架构概览 基本拓扑结构 如上图,我们可以认为 Greenplum(后简称 GP) 就是很多个 PostgreSQL 实例所组成的集群。GP 对外提供统⼀的数据接⼝,并帮助⽤户⾃动完成数据分⽚、并⾏ 查询与聚合等诸多分布式数据库功能 GP 是⼀种典型的 Master-Segment 架构,⼀个 GP 集群通常由⼀个 Master 节点、⼀个 Standby Master0 码力 | 1 页 | 734.79 KB | 1 年前3 Greenplum 架构概览Greenplum 架构概览 基本拓扑结构 如上图,我们可以认为 Greenplum(后简称 GP) 就是很多个 PostgreSQL 实例所组成的集群。GP 对外提供统⼀的数据接⼝,并帮助⽤户⾃动完成数据分⽚、并⾏ 查询与聚合等诸多分布式数据库功能 GP 是⼀种典型的 Master-Segment 架构,⼀个 GP 集群通常由⼀个 Master 节点、⼀个 Standby Master0 码力 | 1 页 | 734.79 KB | 1 年前3
 MongoDB 分布式架构演进Postgres Conference China 2016 中国用户大会 Postgres Conference China 2016 中国用户大会 MongoDB 分布式架构演进 张友东(林青) 阿里云数据库技术团队 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 2016Postgres中国用户大会 Postgres data • Master 宕机无法服务写请求 • 只能容忍一个节点失效 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 一主多备 Master Slave Slave sync data Slave Slave sync data • 数据可靠性更高 • 扩展读服务能力 2016Postgres中国用户大会 Chunk3 [25, 175) Shard3 Chunk4 [175, MaxKey] Shard1 • 根据某个字段的值,顺序 划分为多个范围,每个范 围对应一个 Shard,能很 好的支持范围查询 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 分片方式-hash • 根据某个字段的hash值,顺序划分为多个范0 码力 | 29 页 | 2.03 MB | 1 年前3 MongoDB 分布式架构演进Postgres Conference China 2016 中国用户大会 Postgres Conference China 2016 中国用户大会 MongoDB 分布式架构演进 张友东(林青) 阿里云数据库技术团队 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 2016Postgres中国用户大会 Postgres data • Master 宕机无法服务写请求 • 只能容忍一个节点失效 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 一主多备 Master Slave Slave sync data Slave Slave sync data • 数据可靠性更高 • 扩展读服务能力 2016Postgres中国用户大会 Chunk3 [25, 175) Shard3 Chunk4 [175, MaxKey] Shard1 • 根据某个字段的值,顺序 划分为多个范围,每个范 围对应一个 Shard,能很 好的支持范围查询 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 分片方式-hash • 根据某个字段的hash值,顺序划分为多个范0 码力 | 29 页 | 2.03 MB | 1 年前3
 Apache ShardingSphere(Incubating)云架构演化2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导,多公司参与 u 应用广泛,已知70+公司的应用案例 2018年PostgreSQL中国技术大会 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache 2018年PostgreSQL中国技术大会 分布式事务 2018年PostgreSQL中国技术大会 分布式事务 两(三)阶段事务 柔性事务 业务改造 无 实现补偿接口 回滚 支持 支持 一致性 强一致 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 2018年PostgreSQL中国技术大会 Saga Apache ServiceComb0 码力 | 34 页 | 5.07 MB | 1 年前3 Apache ShardingSphere(Incubating)云架构演化2018年PostgreSQL中国技术大会 Apache ShardingSphere(Incubating) 云架构演化 Juan Pan panjuan@apache.org JD Digits 2018年PostgreSQL中国技术大会 Apache u 完全开源 u Apache的首个分布式数据库中间件 u 京东主导,多公司参与 u 应用广泛,已知70+公司的应用案例 2018年PostgreSQL中国技术大会 京东数科加入 2018.05 Ø 成立社区 2018.11 Ø 进入Apache孵化器 2018.08 Ø star突破5000 2018年PostgreSQL中国技术大会 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding- JDBC Sharding- Proxy Sharding- Sidecar Apache 2018年PostgreSQL中国技术大会 分布式事务 2018年PostgreSQL中国技术大会 分布式事务 两(三)阶段事务 柔性事务 业务改造 无 实现补偿接口 回滚 支持 支持 一致性 强一致 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 2018年PostgreSQL中国技术大会 Saga Apache ServiceComb0 码力 | 34 页 | 5.07 MB | 1 年前3
 Apache ShardingSphere(Incubating) 云架构演化ShardingSphere(Incubating) 云架构演化 京东数科-张亮(email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导,多公司参与  应用广泛,已知70+公司的应用案例 发展历程 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 业务改造 无 实现补偿接口 回滚 支持 支持 一致性 强一致 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 Saga Apache ServiceComb Apache ShardingSphere 分布式事务架构 数据库治理 注册中心 配置劢态化推劢0 码力 | 37 页 | 3.00 MB | 1 年前3 Apache ShardingSphere(Incubating) 云架构演化ShardingSphere(Incubating) 云架构演化 京东数科-张亮(email: zhangliang@apache.org) 京东数科-潘娟(email: panjuan@apache.org ) Book Apache  完全开源  Apache的首个分布式数据库中间件  京东主导,多公司参与  应用广泛,已知70+公司的应用案例 发展历程 ShardingSphere架构 核心功能 数据分片 分布式事务 数据库治理 弹性伸缩 管控界面 接入端 Sharding-JDBC Sharding- Proxy Sharding- Sidecar Apache ShardingSphere 云原生 无中心 零侵入 互联网应用架构发展 单体式架构 分布式微服务 云原生架构 系统解耦 可用性提升 业务改造 无 实现补偿接口 回滚 支持 支持 一致性 强一致 最终一致 隔离性 原生支持 实现资源锁定接口 并发性能 严重衰退 略微衰退 适合场景 短事务 并发较低 长事务 高并发 Saga Apache ServiceComb Apache ShardingSphere 分布式事务架构 数据库治理 注册中心 配置劢态化推劢0 码力 | 37 页 | 3.00 MB | 1 年前3
 孟浩然-Apache ShardingSphere 架构解析&应用实践Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技,负责数据库产品研发,热爱开源,关注数据库生态,目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 ShardingSphere-JDBC 采用无中心化架 构,与应用程序共享资源,适用于 Java 开发的高性能的轻量级 OLTP 应用; l ShardingSphere-Proxy 提供静态入口 以及异构语言的支持,独立于应用程序 部署,适用于 OLAP 应用以及对分片数 据库进行管理和运维的场景。 整 体 架 构 l L1 内核层:面向数据库内核, 包括数据库事务引擎,查询优 化器等; l L2 功能层:可定制化开发平0 码力 | 31 页 | 2.36 MB | 1 年前3 孟浩然-Apache ShardingSphere 架构解析&应用实践Apache ShardingSphere 架构解析与应用实践 孟浩然 2021/12/11 01 孟浩然 SphereEx 高级研发工程师 Apache ShardingSphere PMC 曾就职京东科技,负责数据库产品研发,热爱开源,关注数据库生态,目前就职 SphereEx , 专 注于 Apache ShardingSphere 分布式数据库中间件研发以及开源社区建设 1 1. Apache ShardingSphere 5.0.0 架构解析 2. 5.0.0 应用实践 3. Database Plus 解决方案 目录 产 品 定 位 l 构建异构数据库的上层标准和生态 l 提供精准化和差异化的能力 产 品 定 位 4.X 5.X 定位 分 库 分 表 中 间 件 分 布 式 数 据 库 生 态 系 统 功能 提 供 基 础 功 能 提 供 基 础 ShardingSphere-JDBC 采用无中心化架 构,与应用程序共享资源,适用于 Java 开发的高性能的轻量级 OLTP 应用; l ShardingSphere-Proxy 提供静态入口 以及异构语言的支持,独立于应用程序 部署,适用于 OLAP 应用以及对分片数 据库进行管理和运维的场景。 整 体 架 构 l L1 内核层:面向数据库内核, 包括数据库事务引擎,查询优 化器等; l L2 功能层:可定制化开发平0 码力 | 31 页 | 2.36 MB | 1 年前3
 02 TiDB Operator 架构与实现 付业成0 码力 | 47 页 | 1.73 MB | 6 月前3 02 TiDB Operator 架构与实现 付业成0 码力 | 47 页 | 1.73 MB | 6 月前3
 MySQL 数据库架构灾难恢复解决方案MySQL 数据库架构 灾难恢复解决方案 MySQL InnoDBClusterSet 介绍 MySQL SE 罗伟文 2 / 55 Safe Harbor Statement 以下内容旨在概述我们的一般产品方向。它仅供参考,不得纳入任何合同。它并不提供任何材料、代码或功能的承诺,不应据此做出购买决策。 Oracle 产品描述的任何特性或功能的开发、发布和时间安排仍由 Oracle 自行决定。 设置复制拓扑通常是手动完成的,需要执行许多步骤 包括用户管理、恢复备份、配置复制... • MySQL 只提供技术部分,让用户来设置(始终自定义 的)架构。 • 甚至需要其他软件... 为DBA 和专家带来了大量工作,他 们花时间自动化和集成他们的定制架构 Copyright @ 2021 Oracle and/or its affiliates. 8 / 55 Present - Solutions affiliates. 灾难恢复 - 多区域 MySQL InnoDB Cluster RPO =0 RTO =秒级 多区域 多主数据库 3DC 需要非常稳定的广域网 写入性能受DC 之间的延迟影响 53 / 55 Copyright @ 2021 Oracle and/or its affiliates. 灾难恢复 - 多区域 MySQL InnoDB ClusterSet0 码力 | 52 页 | 3.07 MB | 1 年前3 MySQL 数据库架构灾难恢复解决方案MySQL 数据库架构 灾难恢复解决方案 MySQL InnoDBClusterSet 介绍 MySQL SE 罗伟文 2 / 55 Safe Harbor Statement 以下内容旨在概述我们的一般产品方向。它仅供参考,不得纳入任何合同。它并不提供任何材料、代码或功能的承诺,不应据此做出购买决策。 Oracle 产品描述的任何特性或功能的开发、发布和时间安排仍由 Oracle 自行决定。 设置复制拓扑通常是手动完成的,需要执行许多步骤 包括用户管理、恢复备份、配置复制... • MySQL 只提供技术部分,让用户来设置(始终自定义 的)架构。 • 甚至需要其他软件... 为DBA 和专家带来了大量工作,他 们花时间自动化和集成他们的定制架构 Copyright @ 2021 Oracle and/or its affiliates. 8 / 55 Present - Solutions affiliates. 灾难恢复 - 多区域 MySQL InnoDB Cluster RPO =0 RTO =秒级 多区域 多主数据库 3DC 需要非常稳定的广域网 写入性能受DC 之间的延迟影响 53 / 55 Copyright @ 2021 Oracle and/or its affiliates. 灾难恢复 - 多区域 MySQL InnoDB ClusterSet0 码力 | 52 页 | 3.07 MB | 1 年前3
 QCon北京2018-《TiDB架构与开源之路》-申砾TiDB 架构及开源之路 申砾 @ PingCAP About Me • VP of Engineering @ PingCAP • Netease/360/PingCAP • Tech lead of TiDB About PingCAP • Since 2015 • Beijing, Shanghai, Guangzhou, Silicon Valley, Home • Open-Source0 码力 | 44 页 | 11.38 MB | 1 年前3 QCon北京2018-《TiDB架构与开源之路》-申砾TiDB 架构及开源之路 申砾 @ PingCAP About Me • VP of Engineering @ PingCAP • Netease/360/PingCAP • Tech lead of TiDB About PingCAP • Since 2015 • Beijing, Shanghai, Guangzhou, Silicon Valley, Home • Open-Source0 码力 | 44 页 | 11.38 MB | 1 年前3
 TiDB 实践 HTAP 的架构进展和未来展望-韦万0 码力 | 32 页 | 6.61 MB | 1 年前3 TiDB 实践 HTAP 的架构进展和未来展望-韦万0 码力 | 32 页 | 6.61 MB | 1 年前3
 云原生虚拟数仓 PieCloudDB 的架构和关键模块实现Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie Confidential • Nosql本身对于高级分析支持差 o 图形,地理信息 图形,地理信息 • Nosql对于复杂查询的支持差 NoSQL和数据湖很难胜任数据分析的工作场景 @2022 OpenPie. All rights reserved. OpenPie Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署,多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持,需要专门的技术技能 • 专用引擎/工具(例如图形数据库)通常难以与记录系统集成,限制 以关系型数据库为基础的数据仓库很难适应云环境 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算引擎方面 • 完备的SQL语言支持 • 高效的分布式计算能力 • 完备的事务支持,隔离性 一致性 原 子性 公有云特性方面 • 存算分离 • 弹性的计算集群 • 只为必要的计算付费 @2022 OpenPie. All rights reserved0 码力 | 43 页 | 1.14 MB | 1 年前3 云原生虚拟数仓 PieCloudDB 的架构和关键模块实现Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie Confidential • Nosql本身对于高级分析支持差 o 图形,地理信息 图形,地理信息 • Nosql对于复杂查询的支持差 NoSQL和数据湖很难胜任数据分析的工作场景 @2022 OpenPie. All rights reserved. OpenPie Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署,多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持,需要专门的技术技能 • 专用引擎/工具(例如图形数据库)通常难以与记录系统集成,限制 以关系型数据库为基础的数据仓库很难适应云环境 @2022 OpenPie. All rights reserved. OpenPie Confidential 计算引擎方面 • 完备的SQL语言支持 • 高效的分布式计算能力 • 完备的事务支持,隔离性 一致性 原 子性 公有云特性方面 • 存算分离 • 弹性的计算集群 • 只为必要的计算付费 @2022 OpenPie. All rights reserved0 码力 | 43 页 | 1.14 MB | 1 年前3
共 147 条
- 1
- 2
- 3
- 4
- 5
- 6
- 15














 
 