 Greenplum资源管理器2017 年象行中国(杭州 站)第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国(杭州 站)第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国(杭州 站)第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国(杭州 站)第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国(杭州 站)第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick 空闲group配额会被抢占 – 精确控制 2017 年象行中国(杭州 站)第一期 Resource Group • Memory – Not using CGroups – 重构resource queue内存管理 – 严格资源隔离 – statement_mem控制spill – 每个group内做redzone和runaway detection 2017 年象行中国(杭州 站)第一期 Resource0 码力 | 21 页 | 756.29 KB | 1 年前3 Greenplum资源管理器2017 年象行中国(杭州 站)第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国(杭州 站)第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国(杭州 站)第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国(杭州 站)第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国(杭州 站)第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS – BackoffBackendTick 空闲group配额会被抢占 – 精确控制 2017 年象行中国(杭州 站)第一期 Resource Group • Memory – Not using CGroups – 重构resource queue内存管理 – 严格资源隔离 – statement_mem控制spill – 每个group内做redzone和runaway detection 2017 年象行中国(杭州 站)第一期 Resource0 码力 | 21 页 | 756.29 KB | 1 年前3
 Greenplum Database 管理员指南 6.2.1Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 1 - Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群: Greenplum 做各种补丁 脚本,也看到了 Greenplum 的大幅进步,甚至我们以前的小技巧也不再需要,持续的 进步,带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 2 - 序言 术语约定 GP : Greenplum 数据库 Master 陈淼 电邮: miaochen@mail.ustc.edu.cn Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 3 - 目录 Greenplum Database 管理员指南 ...................................................0 码力 | 416 页 | 6.08 MB | 1 年前3 Greenplum Database 管理员指南 6.2.1Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 1 - Greenplum Database 管理员指南 版本 V6.2.1 2020 年 09 月 27 日 欢迎关注 Greenplum 官方微信公众号和加入官方社区技术讨论群: Greenplum 做各种补丁 脚本,也看到了 Greenplum 的大幅进步,甚至我们以前的小技巧也不再需要,持续的 进步,带来的是生态的蓬勃发展。 Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 2 - 序言 术语约定 GP : Greenplum 数据库 Master 陈淼 电邮: miaochen@mail.ustc.edu.cn Greenplum Database 管理员指南 V6.2.1 版权所有:Esena(陈淼 +86 18616691889) 编写:陈淼 - 3 - 目录 Greenplum Database 管理员指南 ...................................................0 码力 | 416 页 | 6.08 MB | 1 年前3
 NetBackup™ for SQLite 管理指南: Windows 和LinuxNetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.0 NetBackup™ for SQLite 管理指南 上次更新时间: 2022-05-10 法律声明 Copyright © 2022 Veritas Technologies LLC. © 2022 年 Veritas Technologies LLC 版权所 有。All rights 的信息,请访问我们的网 站: https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息: https://my.veritas.com 如果您对现有支持协议有疑问,请通过以下方式联系您所在地区的支持协议管理部门: CustomerCare@veritas.com 全球(日本除外) CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站,提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品,SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具,请参见数据表: https://sort.veritas0 码力 | 34 页 | 777.04 KB | 1 年前3 NetBackup™ for SQLite 管理指南: Windows 和LinuxNetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.0 NetBackup™ for SQLite 管理指南 上次更新时间: 2022-05-10 法律声明 Copyright © 2022 Veritas Technologies LLC. © 2022 年 Veritas Technologies LLC 版权所 有。All rights 的信息,请访问我们的网 站: https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息: https://my.veritas.com 如果您对现有支持协议有疑问,请通过以下方式联系您所在地区的支持协议管理部门: CustomerCare@veritas.com 全球(日本除外) CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站,提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品,SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具,请参见数据表: https://sort.veritas0 码力 | 34 页 | 777.04 KB | 1 年前3
 NetBackup™ for SQLite 管理指南: Windows 和 Linux - 版本:10.2NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.2 NetBackup™ for SQLite 管理指南 上次更新时间: 2023-04-28 法律声明 Copyright © 2023 Veritas Technologies LLC. © 2023 年 Veritas Technologies LLC 版权所 有。All rights 的信息,请访问我们的网 站: https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息: https://my.veritas.com 如果您对现有支持协议有疑问,请通过以下方式联系您所在地区的支持协议管理部门: CustomerCare@veritas.com 全球(日本除外) CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站,提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品,SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具,请参见数据表: https://sort.veritas0 码力 | 29 页 | 675.75 KB | 1 年前3 NetBackup™ for SQLite 管理指南: Windows 和 Linux - 版本:10.2NetBackup™ for SQLite 管 理指南 Windows 和 Linux 版本 10.2 NetBackup™ for SQLite 管理指南 上次更新时间: 2023-04-28 法律声明 Copyright © 2023 Veritas Technologies LLC. © 2023 年 Veritas Technologies LLC 版权所 有。All rights 的信息,请访问我们的网 站: https://www.veritas.com/support 您可以在下列 URL 上管理 Veritas 帐户信息: https://my.veritas.com 如果您对现有支持协议有疑问,请通过以下方式联系您所在地区的支持协议管理部门: CustomerCare@veritas.com 全球(日本除外) CustomerCare_Japan@veritas Tools (SORT) Veritas Services and Operations Readiness Tools (SORT) 是一个网站,提供的信息和工具 有助于自动处理及简化某些耗时的管理任务。根据具体产品,SORT 会帮助您准备安装和升 级、识别您数据中心的风险并提高操作效率。要了解 SORT 为您的产品提供了哪些服务和工 具,请参见数据表: https://sort.veritas0 码力 | 29 页 | 675.75 KB | 1 年前3
 Greenplum 新一代数据管理和数据分析解决方案1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司,在数据处理和 BI/DW领域,提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥,加利福尼亚州,美国,成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站: www.greenplum 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 1995 2000 2005 2010 新一代数据库的要求 传统数据库的要求 今天的数据库供应商 网络运算的发展速度已经超过了主流数据库 • 海量规模 • 高性价比 • 高效率 数据库管理系统(DBMS)的 规模/容量 11 需要采用一种新的方法 •“一切皆可商用”:商业即用型x86 服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum0 码力 | 45 页 | 2.07 MB | 1 年前3 Greenplum 新一代数据管理和数据分析解决方案1 新一代数据管理和数据分析 解决方案 关于Greenplum公司 • Greenplum是一家数据库软件公司,在数据处理和 BI/DW领域,提供容量 最大、速度最快、性价比最好的数据库引擎产品和服务。 • Greenplum总部位于圣马蒂奥,加利福尼亚州,美国,成立于2003年6月。 • Greenplum 中国于2008年12月正式成立. 2010/4/8 官方网站: www.greenplum 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 1995 2000 2005 2010 新一代数据库的要求 传统数据库的要求 今天的数据库供应商 网络运算的发展速度已经超过了主流数据库 • 海量规模 • 高性价比 • 高效率 数据库管理系统(DBMS)的 规模/容量 11 需要采用一种新的方法 •“一切皆可商用”:商业即用型x86 服务器、存储设备、网络 •通过软件很容易将处理能力扩展到 1000s的内核/系统 Greenplum0 码力 | 45 页 | 2.07 MB | 1 年前3
 传智播客 mybatis 框架课程讲义null; ResultSet resultSet = null; try { //加载数据库驱动 Class.forName("com.mysql.jdbc.Driver"); //通过驱动管理类获取数据库链接 connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/mybatis?charac terEncoding=utf-8" 编程中对结果的解析处理过程。 1.4 mybatis 下载 mybaits 的代码由 github.com 管理,地址:https://github.com/mybatis/mybatis-3/releases mybatis-3.2.7.jar----mybatis 的核心包 lib----mybatis 的依赖包 mybatis-3.2.7.pdf----mybatis 使用手册 1.5 创建 mysql 更新用户 删除用户 1.6.2 第一步:创建 java 工程 使用 eclipse 创建 java 工程,jdk 使用 1.7.0_72。 1.6.3 第二步:加入 jar 包 加入 mybatis 核心包、依赖包、数据驱动包。 1.6.4 第三步:log4j.properties 在 classpath 下创建 log4j.properties 如下: # Global logging configuration0 码力 | 75 页 | 1.16 MB | 1 年前3 传智播客 mybatis 框架课程讲义null; ResultSet resultSet = null; try { //加载数据库驱动 Class.forName("com.mysql.jdbc.Driver"); //通过驱动管理类获取数据库链接 connection = DriverManager.getConnection("jdbc:mysql://localhost:3306/mybatis?charac terEncoding=utf-8" 编程中对结果的解析处理过程。 1.4 mybatis 下载 mybaits 的代码由 github.com 管理,地址:https://github.com/mybatis/mybatis-3/releases mybatis-3.2.7.jar----mybatis 的核心包 lib----mybatis 的依赖包 mybatis-3.2.7.pdf----mybatis 使用手册 1.5 创建 mysql 更新用户 删除用户 1.6.2 第一步:创建 java 工程 使用 eclipse 创建 java 工程,jdk 使用 1.7.0_72。 1.6.3 第二步:加入 jar 包 加入 mybatis 核心包、依赖包、数据驱动包。 1.6.4 第三步:log4j.properties 在 classpath 下创建 log4j.properties 如下: # Global logging configuration0 码力 | 75 页 | 1.16 MB | 1 年前3
 TiDB v6.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 61 2.3.11 管理,可视化和工具· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1150 13.1.2 数据管理工具· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1162 13.4.4 使用 TiUP 命令管理组件 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 3572 页 | 84.36 MB | 1 年前3 TiDB v6.1 中文手册· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 61 2.3.11 管理,可视化和工具· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1150 13.1.2 数据管理工具· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1162 13.4.4 使用 TiUP 命令管理组件 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · ·0 码力 | 3572 页 | 84.36 MB | 1 年前3
 Apache ShardingSphere 中文文档 5.0.0-alpha3 3. 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 与讨 论。 1.1 简介 1.1.1 ShardingSphere-JDBC 定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库,以 jar 包形式 提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。 • 适用于任何基于 JDBC 的 ORM 框架,如:JPA, Hibernate, 无中心化架构, 适用 于 Java 开发的高性能的轻量级 OLTP 应用; ShardingSphere‐Proxy 提供静态入口以及异构语言的支持,适用于 OLAP 应用以及对分片数据库 进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy,并采用0 码力 | 301 页 | 3.44 MB | 1 年前3 Apache ShardingSphere 中文文档 5.0.0-alpha3 3. 启动服务 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 2.3.4 4. 任务管理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 3 概念 & 功能 8 3.1 数据分片 与讨 论。 1.1 简介 1.1.1 ShardingSphere-JDBC 定位为轻量级 Java 框架,在 Java 的 JDBC 层提供的额外服务。它使用客户端直连数据库,以 jar 包形式 提供服务,无需额外部署和依赖,可理解为增强版的 JDBC 驱动,完全兼容 JDBC 和各种 ORM 框架。 • 适用于任何基于 JDBC 的 ORM 框架,如:JPA, Hibernate, 无中心化架构, 适用 于 Java 开发的高性能的轻量级 OLTP 应用; ShardingSphere‐Proxy 提供静态入口以及异构语言的支持,适用于 OLAP 应用以及对分片数据库 进行管理和运维的场景。 Apache ShardingSphere 是多接入端共同组成的生态圈。通过混合使用 ShardingSphere‐JDBC 和 ShardingSphere‐Proxy,并采用0 码力 | 301 页 | 3.44 MB | 1 年前3
 TiDB中文技术文档目 录 致谢 README TiDB 简介 TiDB 快速入门指南 TiDB 用户文档 TiDB 数据库管理 TiDB 服务 TiDB 进程启动参数 TiDB 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制文档 TiDB 简介 TiDB 整体架构 TiDB 快速入门指南 TiDB 用户文档 TiDB 数据库管理 TiDB 服务 TiDB 进程启动参数 TiDB 数据目录 TiDB 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 服务器日志文件 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名0 码力 | 444 页 | 4.89 MB | 6 月前3 TiDB中文技术文档目 录 致谢 README TiDB 简介 TiDB 快速入门指南 TiDB 用户文档 TiDB 数据库管理 TiDB 服务 TiDB 进程启动参数 TiDB 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名 关键字和保留字 Cast 函数和操作符 加密和压缩函数 信息函数 JSON 函数 GROUP BY 聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制文档 TiDB 简介 TiDB 整体架构 TiDB 快速入门指南 TiDB 用户文档 TiDB 数据库管理 TiDB 服务 TiDB 进程启动参数 TiDB 数据目录 TiDB 系统数据库 TiDB 系统变量 TiDB 专用系统变量和语法 TiDB 服务器日志文件 TiDB 访问权限管理 TiDB 用户账户管理 使用加密连接 SQL 优化 理解 TiDB 执行计划 统计信息 语言结构 字面值 数据库、表、索引、列和别名0 码力 | 444 页 | 4.89 MB | 6 月前3
 Apache ShardingSphere 中文文档 5.2.02.1 启动手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 使用二进制发布包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 使用 Docker . . . . . . . JDBC 规范的数 据库。 • 业务零侵入 面对数据库替换场景,ShardingSphere 可满足业务无需改造,实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下,对 DBA 学习、管理成本低,交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力,兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力,可满足业务多变的需求。 • 开放生态 通过多层次 ShardingSphere 的可插拔架构划分为 3 层,它们是:L1 内核层、L2 功能层、L3 生态层。 L1 内核层 是数据库基本能力的抽象,其所有组件均必须存在,但具体实现方式可通过可插拔的方式更换。主要包 括查询优化器、分布式事务引擎、分布式执行引擎、权限引擎和调度引擎等。 L2 功能层 用于提供增量能力,其所有组件均是可选的,可以包含零至多个组件。组件之间完全隔离,互无感知,多 组件可通过叠0 码力 | 449 页 | 5.85 MB | 1 年前3 Apache ShardingSphere 中文文档 5.2.02.1 启动手册 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 使用二进制发布包 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168 使用 Docker . . . . . . . JDBC 规范的数 据库。 • 业务零侵入 面对数据库替换场景,ShardingSphere 可满足业务无需改造,实现平滑业务迁移。 • 运维低成本 在保留原技术栈不变前提下,对 DBA 学习、管理成本低,交互友好。 • 安全稳定 基于成熟数据库底座之上提供增量能力,兼顾安全性及稳定性。 • 弹性扩展 具备计算、存储平滑在线扩展能力,可满足业务多变的需求。 • 开放生态 通过多层次 ShardingSphere 的可插拔架构划分为 3 层,它们是:L1 内核层、L2 功能层、L3 生态层。 L1 内核层 是数据库基本能力的抽象,其所有组件均必须存在,但具体实现方式可通过可插拔的方式更换。主要包 括查询优化器、分布式事务引擎、分布式执行引擎、权限引擎和调度引擎等。 L2 功能层 用于提供增量能力,其所有组件均是可选的,可以包含零至多个组件。组件之间完全隔离,互无感知,多 组件可通过叠0 码力 | 449 页 | 5.85 MB | 1 年前3
共 112 条
- 1
- 2
- 3
- 4
- 5
- 6
- 12














 
 