 Greenplum资源管理器2017 年象行中国(杭州 站)第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国(杭州 站)第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国(杭州 站)第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 => PANIC 2017 年象行中国(杭州 站)第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国(杭州 站)第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick0 码力 | 21 页 | 756.29 KB | 1 年前3 Greenplum资源管理器2017 年象行中国(杭州 站)第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国(杭州 站)第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国(杭州 站)第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 => PANIC 2017 年象行中国(杭州 站)第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国(杭州 站)第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick0 码力 | 21 页 | 756.29 KB | 1 年前3
 Greenplum分布式事务和两阶段提交协议Garcia-Molina /Jeffrey D.Ullman/Jennifer Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 数据库管理员 两阶段提交协议 ● Jim Gray等研究者在1978年提出了两阶段提交协议,用于保证分布式事务提交的原子性 ● 可以用于单机集中式系统,由事务管理器协调多个资源管理器;也可以用于分布式系 统,由一个全局的 事务管理器协调各个子系统的局部事务管理器完成两阶段提交 ● 广泛应用于商业分布式数据库 ❏ A节点是事务的协调者(coordinator) ❏ B和C是事务的参与者(participant) 协调者 参与者 发送prepare消息 ready 发送commit/abort消息 ack 阶段2 阶段1 25 2PC同样可以应用在单机系统上 协调者 资源管理器1 资源管理器2 资源管理器3 日志1 日志2 日志3 PREPARE / COMMIT / ROLLBACK 命令 参与者 读写操作 26 两阶段提交协议需要处理的故障 1. 参与者故障 参与者恢复后,根据日志0 码力 | 42 页 | 2.12 MB | 1 年前3 Greenplum分布式事务和两阶段提交协议Garcia-Molina /Jeffrey D.Ullman/Jennifer Widom《数据库系统实现》 查询编译器/ 优化器 事务管理器 DDL编译器 执行引擎 日志和恢复 并发控制 索引/文件/ 记录管理器 缓冲区管理器 缓冲区 锁表 存储管理器 存储 查询计划 对索引、文件和 记录的请求 页命令 事务命令 查询、更新 用户/ 应用 DDL命令 数据库管理员 两阶段提交协议 ● Jim Gray等研究者在1978年提出了两阶段提交协议,用于保证分布式事务提交的原子性 ● 可以用于单机集中式系统,由事务管理器协调多个资源管理器;也可以用于分布式系 统,由一个全局的 事务管理器协调各个子系统的局部事务管理器完成两阶段提交 ● 广泛应用于商业分布式数据库 ❏ A节点是事务的协调者(coordinator) ❏ B和C是事务的参与者(participant) 协调者 参与者 发送prepare消息 ready 发送commit/abort消息 ack 阶段2 阶段1 25 2PC同样可以应用在单机系统上 协调者 资源管理器1 资源管理器2 资源管理器3 日志1 日志2 日志3 PREPARE / COMMIT / ROLLBACK 命令 参与者 读写操作 26 两阶段提交协议需要处理的故障 1. 参与者故障 参与者恢复后,根据日志0 码力 | 42 页 | 2.12 MB | 1 年前3
 Greenplum数据库架构分析及5.x新功能分享Confidential–Inter nal Use Only 分布式事务 本地存储 主节点Segment 系统表 分布式事务 Interconnect 执行器 解析器 主节点上的分布式 事务管理器协调 Segment上的提交和 回滚操作 Segments 有自己的 事务日志,确定合 适提交或回滚自己 的事务 主节点 Segment 实例 本地事务 执行器 系统表 本地存储 Segment0 码力 | 44 页 | 8.35 MB | 1 年前3 Greenplum数据库架构分析及5.x新功能分享Confidential–Inter nal Use Only 分布式事务 本地存储 主节点Segment 系统表 分布式事务 Interconnect 执行器 解析器 主节点上的分布式 事务管理器协调 Segment上的提交和 回滚操作 Segments 有自己的 事务日志,确定合 适提交或回滚自己 的事务 主节点 Segment 实例 本地事务 执行器 系统表 本地存储 Segment0 码力 | 44 页 | 8.35 MB | 1 年前3
 Greenplum 精粹文集SQL 一旦 ESA 安装完毕 PEP 流程就将运行,且 Protegrity 功能已安装,下 一步就是与 Protegrity 管理员一起设置数据保护策略。管理员必须在 Protegrity 安全管理器中为将使用信用证标记的 SSN 元素创建一个策 略,允许 gpuser 解除数据的标记,并让所有其他用户能够查看数据的 隐藏版本。此后,需要将该策略配置下推到 PEP 代理,该代理作为在 数据库内执行的功能在0 码力 | 64 页 | 2.73 MB | 1 年前3 Greenplum 精粹文集SQL 一旦 ESA 安装完毕 PEP 流程就将运行,且 Protegrity 功能已安装,下 一步就是与 Protegrity 管理员一起设置数据保护策略。管理员必须在 Protegrity 安全管理器中为将使用信用证标记的 SSN 元素创建一个策 略,允许 gpuser 解除数据的标记,并让所有其他用户能够查看数据的 隐藏版本。此后,需要将该策略配置下推到 PEP 代理,该代理作为在 数据库内执行的功能在0 码力 | 64 页 | 2.73 MB | 1 年前3
共 4 条
- 1













