2017 年象行中国（杭州 站）第一期 Greenplum资源管理器 姚珂男/Pivotal kyao@pivotal.io 2017 年象行中国（杭州 站）第一期 Agenda • Greenplum数据库 • Resource Queue • Resource Group 2017 年象行中国（杭州 站）第一期 Greenplum数据库 • 基于PostgreSQL • 分布式 corruption => PANIC 2017 年象行中国（杭州 站）第一期 Resource Queue • Cost is tricky – 没有明确的定义 – 不同优化器不一致 – 优化器不能被纳入资源管理器 2017 年象行中国（杭州 站）第一期 Resource Queue • Priority is rough – 不能精确控制CPU – CHECK_FOR_INTERRUPTS

参考文档 参考文档 参考文档 简介 简介 入门 入门 XML配置 XML配置 XML映射文件 XML映射文件 动态SQL 动态SQL Java API Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 简介 简介 什么是 什么是 MyBatis ？ ？ MyBatis 是支持定制化 参考文档 参考文档 参考文档 简介 简介 入门 入门 XML配置 XML配置 XML映射文件 XML映射文件 动态SQL 动态SQL Java API Java API SQL语句构建器 SQL语句构建器 日志 日志 项目文档 项目文档 项目文档 项目文档 项目信息 项目信息 项目报表 项目报表 入门 入门 安装 安装 要使用 MyBatis， 只需将 mybatis-x.x.x service XML 配置文件（configuration XML）中包含了对 MyBatis 系统的核心设置，包含获取数据库连接实例的数据源（DataSource）和 决定事务范围和控制方式的事务管理器（TransactionManager）。XML 配置文件的详细内容后面再探讨，这里先给出一个简单的示 例：

的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。 L1 内核层 是数据库基本能力的抽象，其所有组件均必须存在，但具体实现方式可通过可插拔的方式更换。主要包 括查询优化器、分布式事务引擎、分布式执行引擎、权限引擎和调度引擎等。 3.4. 可插拔架构 16 Apache ShardingSphere document, v5.1.1 L2 功能层 用于提供增量能 等。用户自定义功能可完全面向 Apache ShardingSphere 定义的顶层接口进行定制化扩展，而无需改动 内核代码。 L3 生态层 用于对接和融入现有数据库生态，包括数据库协议、SQL 解析器和存储适配器，分别对应于 Apache Shard‐ ingSphere 以数据库协议提供服务的方式、SQL 方言操作数据的方式以及对接存储节点的数据库类型。 3.4. 可插拔架构 17 4 功能 公布的分布式主键生成算法，它能够保证不同进程主键的不重复性，以及相同进程 主键的有序性。 实现原理 在同一个进程中，它首先是通过时间位保证不重复，如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的，且各个服务器如果大体做了时间同步，那么生成的主键在分布式环境可以认为是总体 有序的，这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键，二进制表示形式包含

的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。 L1 内核层 是数据库基本能力的抽象，其所有组件均必须存在，但具体实现方式可通过可插拔的方式更换。主要包 括查询优化器、分布式事务引擎、分布式执行引擎、权限引擎和调度引擎等。 3.4. 可插拔架构 16 Apache ShardingSphere document, v5.1.0 L2 功能层 用于提供增量能 等。用户自定义功能可完全面向 Apache ShardingSphere 定义的顶层接口进行定制化扩展，而无需改动 内核代码。 L3 生态层 用于对接和融入现有数据库生态，包括数据库协议、SQL 解析器和存储适配器，分别对应于 Apache Shard‐ ingSphere 以数据库协议提供服务的方式、SQL 方言操作数据的方式以及对接存储节点的数据库类型。 3.4. 可插拔架构 17 4 功能 公布的分布式主键生成算法，它能够保证不同进程主键的不重复性，以及相同进程 主键的有序性。 实现原理 在同一个进程中，它首先是通过时间位保证不重复，如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的，且各个服务器如果大体做了时间同步，那么生成的主键在分布式环境可以认为是总体 有序的，这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键，二进制表示形式包含

的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。 L1 内核层 是数据库基本能力的抽象，其所有组件均必须存在，但具体实现方式可通过可插拔的方式更换。主要包 括查询优化器、分布式事务引擎、分布式执行引擎、权限引擎和调度引擎等。 3.4. 可插拔架构 16 Apache ShardingSphere document, v5.1.2 L2 功能层 用于提供增量能 等。用户自定义功能可完全面向 Apache ShardingSphere 定义的顶层接口进行定制化扩展，而无需改动 内核代码。 L3 生态层 用于对接和融入现有数据库生态，包括数据库协议、SQL 解析器和存储适配器，分别对应于 Apache Shard‐ ingSphere 以数据库协议提供服务的方式、SQL 方言操作数据的方式以及对接存储节点的数据库类型。 3.4. 可插拔架构 17 4 功能 公布的分布式主键生成算法，它能够保证不同进程主键的不重复性，以及相同进程 主键的有序性。 实现原理 在同一个进程中，它首先是通过时间位保证不重复，如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的，且各个服务器如果大体做了时间同步，那么生成的主键在分布式环境可以认为是总体 有序的，这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键，二进制表示形式包含

的可插拔架构划分为 3 层，它们是：L1 内核层、L2 功能层、L3 生态层。 L1 内核层 是数据库基本能力的抽象，其所有组件均必须存在，但具体实现方式可通过可插拔的方式更换。主要包 括查询优化器、分布式事务引擎、分布式执行引擎、权限引擎和调度引擎等。 L2 功能层 用于提供增量能力，其所有组件均是可选的，可以包含零至多个组件。组件之间完全隔离，互无感知，多 组件可通过叠加的方式相互配合 等。用户自定义功能可完全面向 Apache ShardingSphere 定义的顶层接口进行定制化扩展，而无需改动 内核代码。 L3 生态层 用于对接和融入现有数据库生态，包括数据库协议、SQL 解析器和存储适配器，分别对应于 Apache Shard‐ ingSphere 以数据库协议提供服务的方式、SQL 方言操作数据的方式以及对接存储节点的数据库类型。 3.4. 可插拔架构 16 4 功能 公布的分布式主键生成算法，它能够保证不同进程主键的不重复性，以及相同进程 主键的有序性。 实现原理 在同一个进程中，它首先是通过时间位保证不重复，如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的，且各个服务器如果大体做了时间同步，那么生成的主键在分布式环境可以认为是总体 有序的，这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键，二进制表示形式包含

. 21 SQL 解析 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 执行器优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22 SQL 路由 . . . . . 公布的分布式主键生成算法，它能够保证不同进程主键的不重复性，以及相同进程 主键的有序性。 实现原理 在同一个进程中，它首先是通过时间位保证不重复，如果时间相同则是通过序列位保证。同时由于时间 位是单调递增的，且各个服务器如果大体做了时间同步，那么生成的主键在分布式环境可以认为是总体 有序的，这就保证了对索引字段的插入的高效性。例如 MySQL 的 Innodb 存储引擎的主键。 使用雪花算法生成的主键，二进制表示形式包含 么生成器会等待到下个毫秒继续生成。 雪花算法主键的详细结构见下图。 3.1. 数据分片 19 Apache ShardingSphere document, v5.0.0-beta 时钟回拨 服务器时钟回拨会导致产生重复序列，因此默认分布式主键生成器提供了一个最大容忍的时钟回拨毫秒 数。如果时钟回拨的时间超过最大容忍的毫秒数阈值，则程序报错；如果在可容忍的范围内，默认分布 式主键生成器会等待

............................................................................... - 182 - 关于 ORCA 优化器 ................................................................................................... 的意义。 例如下图所示，这是一种混合循环镜像模式，每 4 台主机组成一个镜像组，每台 计算主机上有 6 个 Primary，6 个 Primary 配对的 Mirror 均匀分布在另外三台机 器上。编者还实现了多种镜像模式，例如，循环镜像，指定的数台主机组成一个环，每 台主机上 Primary 配对的镜像都在下一台机器上，这与自带的 group 模式一致。 Greenplum Database 小时格式的时间) TIME '02:00 PM' (12 小时格式的时间) TIME '02:00' (24 小时格式的时间) 其等价于 TIME '02:00 AM' 注意：时间约束是强制以服务器时间为准的。时区信息会被忽略。 指定时间段 要指定限制访问的时间段，需要两个[日期/时间]来确定，且通过 BETWEEN 和 AND 关键字连接。DAY 是必须的。 BETWEEN

中加载。 2、 通过 mybatis 环境等配置信息构造 SqlSessionFactory 即会话工厂 3、 由会话工厂创建 sqlSession 即会话，操作数据库需要通过 sqlSession 进行。 4、 mybatis 底层自定义了 Executor 执行器接口操作数据库，Executor 接口有两个实现，一个 是基本执行器、一个是缓存执行器。 5、 Mapped Statement 也是 typeAliases（类型别名） typeHandlers（类型处理器） objectFactory（对象工厂） plugins（插件） environments（环境集合属性对象） environment（环境子属性对象） transactionManager（事务管理） dataSource（数据源） mappers（映射器） 3.2 properties（属性） SqlMapConfig typeHandlers（类型处理器） 类型处理器用于 java 类型和 jdbc 类型映射，如下： select * from user where id = #{id} mybatis 自带的类型处理器基本上满足日常需求，不需要单独定义。