 Greenplum资源管理器2017 年象行中国(杭州 站)第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国(杭州 站)第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国(杭州 站)第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国(杭州 站)第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国(杭州 站)第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick 空闲group配额会被抢占 – 精确控制 2017 年象行中国(杭州 站)第一期 Resource Group • Memory – Not using CGroups – 重构resource queue内存管理 – 严格资源隔离 – statement_mem控制spill – 每个group内做redzone和runaway detection 2017 年象行中国(杭州 站)第一期 Resource0 码力 | 21 页 | 756.29 KB | 1 年前3 Greenplum资源管理器2017 年象行中国(杭州 站)第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国(杭州 站)第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国(杭州 站)第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国(杭州 站)第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国(杭州 站)第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick 空闲group配额会被抢占 – 精确控制 2017 年象行中国(杭州 站)第一期 Resource Group • Memory – Not using CGroups – 重构resource queue内存管理 – 严格资源隔离 – statement_mem控制spill – 每个group内做redzone和runaway detection 2017 年象行中国(杭州 站)第一期 Resource0 码力 | 21 页 | 756.29 KB | 1 年前3
 Greenplum Database 管理员指南 6.2.1Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 1 - Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群: Greenplum 做各种补丁 脚本,也看到了 Greenplum 的大幅进步,甚至我们以前的小技巧也不再需要,持续的 进步,带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 2 - 序言 术语约定 GP : Greenplum 数据库 Master 陈淼 电邮: miaochen@mail.ustc.edu.cn Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 3 - 目录 Greenplum Database 管理员指南 ...................................................0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 1 - Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群: Greenplum 做各种补丁 脚本,也看到了 Greenplum 的大幅进步,甚至我们以前的小技巧也不再需要,持续的 进步,带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 2 - 序言 术语约定 GP : Greenplum 数据库 Master 陈淼 电邮: miaochen@mail.ustc.edu.cn Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 3 - 目录 Greenplum Database 管理员指南 ...................................................0 码力 | 416 页 | 6.08 MB | 1 年前3
 NetBackup™ for SQLite 管理指南: Windows 和LinuxNetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.0 NetBackup™ for SQLite 管理指南 上次更新时间: 2022-05-10 法律声明 Copyright © 2022 Veritas Technologies LLC. © 2022 年 Veritas Technologies LLC 版权所 有。All rights 的信息,请访问我们的网 站: https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息: https://my.veritas.com 如果您对现有支持协议有疑问,请通过以下方式联系您所在地区的支持协议管理部门: CustomerCare@veritas.com 全球(日本除外) CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站,提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品,SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具,请参见数据表: https://sort.veritas0 码力 | 34 页 | 777.04 KB | 1 年前3 NetBackup™ for SQLite 管理指南: Windows 和LinuxNetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.0 NetBackup™ for SQLite 管理指南 上次更新时间: 2022-05-10 法律声明 Copyright © 2022 Veritas Technologies LLC. © 2022 年 Veritas Technologies LLC 版权所 有。All rights 的信息,请访问我们的网 站: https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息: https://my.veritas.com 如果您对现有支持协议有疑问,请通过以下方式联系您所在地区的支持协议管理部门: CustomerCare@veritas.com 全球(日本除外) CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站,提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品,SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具,请参见数据表: https://sort.veritas0 码力 | 34 页 | 777.04 KB | 1 年前3
 NetBackup™ for SQLite 管理指南: Windows 和 Linux - 版本:10.2NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.2 NetBackup™ for SQLite 管理指南 上次更新时间: 2023-04-28 法律声明 Copyright © 2023 Veritas Technologies LLC. © 2023 年 Veritas Technologies LLC 版权所 有。All rights 的信息,请访问我们的网 站: https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息: https://my.veritas.com 如果您对现有支持协议有疑问,请通过以下方式联系您所在地区的支持协议管理部门: CustomerCare@veritas.com 全球(日本除外) CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站,提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品,SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具,请参见数据表: https://sort.veritas0 码力 | 29 页 | 675.75 KB | 1 年前3 NetBackup™ for SQLite 管理指南: Windows 和 Linux - 版本:10.2NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.2 NetBackup™ for SQLite 管理指南 上次更新时间: 2023-04-28 法律声明 Copyright © 2023 Veritas Technologies LLC. © 2023 年 Veritas Technologies LLC 版权所 有。All rights 的信息,请访问我们的网 站: https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息: https://my.veritas.com 如果您对现有支持协议有疑问,请通过以下方式联系您所在地区的支持协议管理部门: CustomerCare@veritas.com 全球(日本除外) CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站,提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品,SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具,请参见数据表: https://sort.veritas0 码力 | 29 页 | 675.75 KB | 1 年前3
 Greenplum 新一代数据管理和数据分析解决方案1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司,在数据处理和 BI/DW领域,提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥,加利福尼亚州,美国,成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站: www.greenplum 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 1995 2000 2005 2010 新一代数据库的要求 传统数据库的要求 今天的数据库供应商 网络运算的发展速度已经超过了主流数据库 • 海量规模 • 高性价比 • 高效率 数据库管理系统(DBMS)的 规模/容量 11 需要采用一种新的方法 •“一切皆可商用”:商业即用型x86 服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum0 码力 | 45 页 | 2.07 MB | 1 年前3 Greenplum 新一代数据管理和数据分析解决方案1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司,在数据处理和 BI/DW领域,提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥,加利福尼亚州,美国,成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站: www.greenplum 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 1995 2000 2005 2010 新一代数据库的要求 传统数据库的要求 今天的数据库供应商 网络运算的发展速度已经超过了主流数据库 • 海量规模 • 高性价比 • 高效率 数据库管理系统(DBMS)的 规模/容量 11 需要采用一种新的方法 •“一切皆可商用”:商业即用型x86 服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum0 码力 | 45 页 | 2.07 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.0.03 3. 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.5 5. 相关文档 . . . 5.1.4 配置手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 YAML 配置 . . . 同级目录下生成代码,容易误提交,如何避免? . . 295 7.7.26 26. [其他] 使用 Proxool 时分库结果不正确? . . . . . . . . . . . . . . . . . . . 296 7.8 API 变更历史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 7.8.1 ShardingSphere‐JDBC0 码力 | 385 页 | 4.26 MB | 1 年前3 Apache ShardingSphere 中文文档 5.0.03 3. 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.5 5. 相关文档 . . . 5.1.4 配置手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89 YAML 配置 . . . 同级目录下生成代码,容易误提交,如何避免? . . 295 7.7.26 26. [其他] 使用 Proxool 时分库结果不正确? . . . . . . . . . . . . . . . . . . . 296 7.8 API 变更历史 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 297 7.8.1 ShardingSphere‐JDBC0 码力 | 385 页 | 4.26 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.1.02.3.3 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.4 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.5 相关文档 . . . ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 5.1.1 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 简介 . . . . . . . 影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 5.1.7 特殊 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 数据分片 . . . . .0 码力 | 406 页 | 4.40 MB | 1 年前3 Apache ShardingSphere 中文文档 5.1.02.3.3 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.4 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.5 相关文档 . . . ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 5.1.1 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 简介 . . . . . . . 影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120 5.1.7 特殊 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 数据分片 . . . . .0 码力 | 406 页 | 4.40 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.1.12.3.3 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.4 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.5 相关文档 . . . ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 5.1.1 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 简介 . . . . . . . 影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 5.1.7 特殊 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 数据分片 . . . . .0 码力 | 409 页 | 4.47 MB | 1 年前3 Apache ShardingSphere 中文文档 5.1.12.3.3 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.4 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 2.3.5 相关文档 . . . ShardingSphere‐JDBC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 5.1.1 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 66 简介 . . . . . . . 影子算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 121 5.1.7 特殊 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122 数据分片 . . . . .0 码力 | 409 页 | 4.47 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.2.0JDBC 驱动 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 4.1.2 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 简介 . . . . . . . 算法配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 4.1.5 特殊 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 数据分片 . . . . . JDBC 规范的数 据库。 • 业务零侵入 面对数据库替换场景,ShardingSphere 可满足业务无需改造,实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下,对 DBA 学习、管理成本低,交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力,兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力,可满足业务多变的需求。 • 开放生态 通过多层次0 码力 | 449 页 | 5.85 MB | 1 年前3 Apache ShardingSphere 中文文档 5.2.0JDBC 驱动 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74 4.1.2 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76 简介 . . . . . . . 算法配置 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 150 4.1.5 特殊 API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152 数据分片 . . . . . JDBC 规范的数 据库。 • 业务零侵入 面对数据库替换场景,ShardingSphere 可满足业务无需改造,实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下,对 DBA 学习、管理成本低,交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力,兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力,可满足业务多变的需求。 • 开放生态 通过多层次0 码力 | 449 页 | 5.85 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.0.0-alpha3 3. 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 4.1.4 配置手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 YAML 配置 . . . 无中心化架构, 适用 于 Java 开发的高性能的轻量级 OLTP 应用; ShardingSphere‐Proxy 提供静态入口以及异构语言的支持,适用于 OLAP 应用以及对分片数据库 进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy,并采用0 码力 | 301 页 | 3.44 MB | 1 年前3 Apache ShardingSphere 中文文档 5.0.0-alpha3 3. 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 4.1.4 配置手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 Java API . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 179 YAML 配置 . . . 无中心化架构, 适用 于 Java 开发的高性能的轻量级 OLTP 应用; ShardingSphere‐Proxy 提供静态入口以及异构语言的支持,适用于 OLAP 应用以及对分片数据库 进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy,并采用0 码力 | 301 页 | 3.44 MB | 1 年前3
共 310 条
- 1
- 2
- 3
- 4
- 5
- 6
- 31














 
  
 