Confidential │ ©2021 VMware, Inc. Greenplum 分布式数 据库内核揭秘 Greenplum内核开发工程师 2022-03-16 李正龙 Confidential │ ©2021 VMware, Inc. Agenda 2 - Greenplum 分布式数据库简介 - Greenplum 集群化概述 - 分布式数据存储与多态存储 - 分布式查询优化器与执行器 Greenplum、PostgreSQL、MySQL 以及 Oracle 等主流数据库均采用拉模型。 拉模型的每个算子都实现了从下层节点获取一条元组的 GetNext 函数，每次调用该函数都会从下 层节点返回一条元组或者 EOF 的 NULL 指针。上层节点不断地调用 GetNext 函数从下层节点获 取数据，直至数据全部获取完毕。 火山模型 postgres=# explain select

. 16 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L3 生态层 . . . . . 212 6.2.3 ShardingSphereYamlConstruct . . . . . . . . . . . . . . . . . . . . . . . . . . . 212 6.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213 6 影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache

以及异构语言的支持，独立于应用程序 部署，适用于 OLAP 应用以及对分片数 据库进行管理和运维的场景。 整 体 架 构 l L1 内核层：面向数据库内核， 包括数据库事务引擎，查询优 化器等； l L2 功能层：可定制化开发平 台。具有高定制化、高度内 聚、灵活扩展等特点； l L3 生态层：通过三个接口分别 实现数据库协议、 SQL 方言和 数据库存储对接，用于打造异 构数据网关； 连接 连接是 ShardingSphere ShardingSphere 的基础能 力，可以有效简化数据和应用之间 的连接。连接的设计要点在于强大 的数据库的兼容性，在应用和数据 之间搭建了一层与具体数据库实现 无关的桥梁，为增量能力提供了基 础。 增量 增量是 ShardingSphere 的主要能 力，在拦截访问数据库流量的前提 下，透明化的提供增量功能。增强 包含了流量的重定向（数据分片、 读写分离、影子库）、流量变形 （数据加密）、流量鉴权（SQL 审 计、权限）、流量治理（熔断、限 流）以及流量分析（可观察性、服 务质量分析）等。 可插拔 可插拔是 ShardingSphere 的设计 理念，架构内核是完全面向顶层接 口设计的，内核模块完全不感知具 体功能的存在。它为分库分表、读 写分离等每一个功能插件赋予单独 部署和协同配合的能力。 整 体 架 构 内 核 架 构 l ShardingSphere

. 16 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 L3 生态层 . . . . . 208 6.2.3 ShardingSphereYamlConstruct . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 6.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 209 6 影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache

. 16 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 L3 生态层 . . . . . 203 6.2.3 ShardingSphereYamlConstruct . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 6.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204 6 影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache

. 16 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17 L3 生态层 . . . . . 220 6.2.3 ShardingSphereYamlConstruct . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 6.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 221 6 影子库）、流量变形（数 据加密、数据脱敏）、流量鉴权（安全、审计、权限）、流量治理（熔断、限流）以及流量分析（服 务质量分析、可观察性）等透明化增量功能； • 可插拔：项目采用微内核 + 三层可插拔模型，使内核、功能组件以及生态对接完全能够灵活的方式 进行插拔式扩展，开发者能够像使用积木一样定制属于自己的独特系统。 ShardingSphere 已于 2020 年 4 月 16 日成为 Apache

. . 5 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 L3 生态层 . . . . . 279 已知实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 5.3 内核 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279 5 什么是 ShardingSphere 1.1.1 介绍 Apache ShardingSphere 是一款开源的分布式数据库生态项目，由 JDBC 和 Proxy 两款产品组成。其核心 采用微内核 + 可插拔架构，通过插件开放扩展功能。它提供多源异构数据库增强平台，进而围绕其上层 构建生态。 Apache ShardingSphere 设计哲学为 Database Plus，旨在构建异构数据库上层的标准和生态。它关注如

1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.2 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.3 L3 生态层 . . 405 9.4.1 SQL 错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 内核异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 405 功能异常 . . . 角， 关注它们之间的协作多于数据库自身。 1.1.1 ShardingSphere-JDBC ShardingSphere‐JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 1.1.2 ShardingSphere-Proxy ShardingSphere‐Proxy 定位为透明化的数据库代理端，通过实现数据库二进制协议，对异构语言提供支 持。 1

1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.2 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.3 L3 生态层 . . 385 9.4.1 SQL 错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385 内核异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 386 功能异常 . . . 角， 关注它们之间的协作多于数据库自身。 1.1.1 ShardingSphere-JDBC ShardingSphere‐JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 1.1.2 ShardingSphere-Proxy ShardingSphere‐Proxy 定位为透明化的数据库代理端，通过实现数据库二进制协议，对异构语言提供支 持。 1

1 L1 内核层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.2 L2 功能层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 2.3.3 L3 生态层 . . 433 9.4.1 SQL 错误码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 内核异常 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 433 功能异常 . . . 角， 关注它们之间的协作多于数据库自身。 1.1.1 ShardingSphere-JDBC ShardingSphere‐JDBC 定位为轻量级 Java 框架，在 Java 的 JDBC 层提供的额外服务。 1.1.2 ShardingSphere-Proxy ShardingSphere‐Proxy 定位为透明化的数据库代理端，通过实现数据库二进制协议，对异构语言提供支 持。 1