................................................................................. 5 openEuler 面向多样性算计算的创新 ............................................................................................ 近日，Greenplum 社区和欧拉开源社区深化合作，在欧拉开源操作系统（openEuler, 简称“欧拉”）编译测试了高级分 析数据平台 Greenplum，用实践证明了 Greenplum 与支持多样性计算的欧拉开源操作系统完全兼容，是 Greenplum 与中国本地 IT 厂商的深入合作的典型模板，大大丰富了中国本地国产化应用生态。本白皮书着眼介绍了欧拉开源操作系 统平台架构、创新性及核心特点， | 5 欧拉开源操作系统 欧拉开源操作系统（openEuler, 简称“欧拉”）从服务器操作系统正式升级为面向数字基础设施的操作系统，支持服务 器、云计算、边缘计算、嵌入式等应用场景，支持多样性计算，致力于提供安全、稳定、易用的操作系统。通过为应用 提供确定性保障能力，支持 OT 领域应用及 OT 与 ICT 的融合。 欧拉开源社区通过开放的社区形式与全球的开发者共同构建一个开

Doris引擎的ROLAP模式的适用性问题。希望能对大家有所启发或者帮助。 本文侧重于以Doris引擎为“发动机”的数仓生产架构的改进与思考。在开源的大环境下，各种数据 引擎百花齐放，但由于业务的复杂性与多样性，目前并没有哪个引擎能够适配所有业务场景，因 此希望通过我们的业务实践与思考为大家提供一些经验参考。美团外卖数仓技术团队致力于将数 据应用效率最大化，同时兼顾研发、生产与运维成本的最小化，建设持续进步的数仓能力，也欢 右，但为了应对所有需求场景，业务要求计算近半年以上的历史。 不支持明细数据的查询。 解决方案：引入MPP引擎，数据现用现算 既然变化维的历史数据预计算成本巨大，最好的办法就是现用现算，但现用现算需要强大的并行 计算能力。OLAP的实现有MOLAP、ROLAP、HOLAP三种形式，MOLAP以Cube为表现形式，但计 算与管理成本较高。ROLAP需要强大的关系型DB引擎支撑。长期以来，由于传统关系型DBMS的 数据处理 当业务分析维度灵活多变或者特定到最新的状态时（如上图A模型中，始终使用最新的 商家组织归属查看历史），预计算回溯历史数据成本巨大。在这种场景下，将数据稳定在商家的 粒度，通过现场计算进行历史数据的回溯分析，实现现用现算，可以节省掉预计算的巨大成本， 并带来较大的应用灵活性。这种情况下适合MPP引擎支撑下的ROLAP生产模式。 MPP引擎的选型 目前开源的比较受关注的OLAP引擎很多，比如Greenplum、Apache

Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。在真实部 署上线的生产环境，必须使用集群模式。它能够提供计算能力水平扩展和高可用等分布式系统必备的能 力。集群环境需要通过独立部署的注册中心来存储元数据和协调节点状态。 3.3 DistSQL 3.3.1 背景 DistSQL（Distributed SQL）是 Apache ShardingSphere SQL92 不支持的 SQL 清单如下： TODO 4.2 管控 4.2.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 4.2.2 挑战 管控的挑战，在于对集群的集中化管理的统一管理能力以及在单点出现故障时精细化的操作能力。 集中化管理的挑战体现在将包 order_id WHERE o. order_id in (10, 11); 其中 t_order 表由于指定了分片条件，ShardingSphere 将会以它作为整个绑定表的主表。所有路由计 算将会只使用主表的策略，那么 t_order_item 表的分片计算将会使用 t_order 的条件。 广播表 指所有的分片数据源中都存在的表，表结构及其数据在每个数据库中均完全一致。适用于数据量不大且

Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。在真实部 署上线的生产环境，必须使用集群模式。它能够提供计算能力水平扩展和高可用等分布式系统必备的能 力。集群环境需要通过独立部署的注册中心来存储元数据和协调节点状态。 3.3 DistSQL 3.3.1 背景 DistSQL（Distributed SQL）是 Apache ShardingSphere SQL92 不支持的 SQL 清单如下： TODO 4.2 管控 4.2.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 4.2.2 挑战 管控的挑战，在于对集群的集中化管理的统一管理能力以及在单点出现故障时精细化的操作能力。 集中化管理的挑战体现在将包 • 主从库间的事务一致性。主从模型中，事务中的数据读写均用主库。 4.6 高可用 4.6.1 背景 高可用是现代系统的最基本诉求，作为系统基石的数据库，对于高可用的要求也是必不可少的。 在存算分离的分布式数据库体系中，存储节点和计算节点的高可用方案是不同的。对于有状态的存储节 点来说，需要其自身具备数据一致性同步、探活、主节点选举等能力；对于无状态的计算节点来说，需要 感知存储节点的变

Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。在真实部 署上线的生产环境，必须使用集群模式。它能够提供计算能力水平扩展和高可用等分布式系统必备的能 力。集群环境需要通过独立部署的注册中心来存储元数据和协调节点状态。 源码：https://github.com/apache/shardingsphere/tree/master/shardingsphere‐mode 不支持的 SQL 清单如下： TODO 4.2 集群管控 4.2.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 4.2.2 挑战 管控的挑战，在于对集群的集中化管理的统一管理能力以及在单点出现故障时精细化的操作能力。 集中化管理的挑战体现在将包 order_id WHERE o. order_id in (10, 11); 其中 t_order 表由于指定了分片条件，ShardingSphere 将会以它作为整个绑定表的主表。所有路由计 算将会只使用主表的策略，那么 t_order_item 表的分片计算将会使用 t_order 的条件。 广播表 指所有的分片数据源中都存在的表，表结构及其数据在每个数据库中均完全一致。适用于数据量不大且

order_id WHERE o. order_id in (10, 11); 其中 t_order 表由于指定了分片条件，ShardingSphere 将会以它作为整个绑定表的主表。所有路由计 算将会只使用主表的策略，那么 t_order_item 表的分片计算将会使用 t_order 的条件。 3.1. 数据分片 18 Apache ShardingSphere document, v5 不处理主从库间的事务一致性。主从模型中，事务中的数据读写均用主库。 3.4 高可用 3.4.1 背景 高可用是现代系统的最基本诉求，作为系统基石的数据库，对于高可用的要求也是必不可少的。 在存算分离的分布式数据库体系中，存储节点和计算节点的高可用方案是不同的。对于有状态的存储节 点来说，需要其自身具备数据一致性同步、探活、主节点选举等能力；对于无状态的计算节点来说，需要 感知存储节点的变 PostgreSQL 数据库，反之亦然。 3.6 流量治理 3.6.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 3.6. 流量治理 36 Apache ShardingSphere document, v5.2.0 3.6.2 挑战 管控的挑

Proprietary Legacy Scalable, Open Software-Based Commodity HW • 用户人数 • 安全度 • 查询、报告、分析的数量 • 数据的高度多样性 • 大量定制数据 • 监管要求 商务智能/数据仓库发展趋势 一切都在增长! 数据仓库工作量：数据膨胀 面临的新难题是如何处理大规模数据 过去的10年 现在 HPC 企业 SME 据流引擎 对本地磁盘进行直 接的高性能访问 gNet 互连 • 第一个支持互联网级分析技术（由Google普及）的产品 • 采用新的编程模型，在商用硬件上并行处理和执行 • 可以使客户洞察力和数据货币化程度达到前所未有的高度 MapReduce Greenplum MapReduce的优势 • 处理在任何地点存储的任何类型的数 据 • 将SQL的普遍性与MapReduce的灵 活编程模式结合起来 前沿开发工作 • 为全球很多最大规模的数据仓库提供提供推动力 • 最先将SQL和Map-Reduce的功能整合到统一的数 据处理框架中 • 可以帮助企业采集所有数据，并在竞争中获得出色 的洞察力 41 Parallel Dataflow Engine • General purpose parallel-dataflow engine natively executes SQL &

order_id WHERE o. order_id in (10, 11); 其中 t_order 表由于指定了分片条件，ShardingSphere 将会以它作为整个绑定表的主表。所有路由计 算将会只使用主表的策略，那么 t_order_item 表的分片计算将会使用 t_order 的条件。 注意：绑定表中的多个分片规则，需要按照逻辑表前缀组合分片后缀的方式进行配置，例如： rules: PostgreSQL 数据库，反之亦然。 8.5 流量治理 8.5.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 8.5. 流量治理 38 Apache ShardingSphere document 8.5.2 挑战 管控的挑战，在于对集群的 9.2. ShardingSphere-Proxy 152 Apache ShardingSphere document 特别说明 • 当 指 定 用 户 自 定 义 算 法 类 型 名 称 时 必 须 使 用 "" 对 算 法 类 型 名 称 进 行 标 注， 例 如 NAME="AlgorithmTypeName" ； • 当指定 ShardingSphere 内置算法类型名称时可以不使用

order_id WHERE o. order_id in (10, 11); 其中 t_order 表由于指定了分片条件，ShardingSphere 将会以它作为整个绑定表的主表。所有路由计 算将会只使用主表的策略，那么 t_order_item 表的分片计算将会使用 t_order 的条件。 注意：绑定表中的多个分片规则，需要按照逻辑表前缀组合分片后缀的方式进行配置，例如： rules: PostgreSQL 数据库，反之亦然。 8.5 流量治理 8.5.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 8.5. 流量治理 38 Apache ShardingSphere document 8.5.2 挑战 管控的挑战，在于对集群的 DistSQL 语法允许负值，此时可在数字前加负号（‐），如 ‐1。 • 布尔值：TRUE 或 FALSE，大小写不敏感。 特别说明 • 当 指 定 用 户 自 定 义 算 法 类 型 名 称 时 必 须 使 用 "" 对 算 法 类 型 名 称 进 行 标 注， 例 如 NAME="AlgorithmTypeName" ； • 当指定 ShardingSphere 内置算法类型名称时可以不使用

order_id WHERE o. order_id in (10, 11); 其中 t_order 表由于指定了分片条件，ShardingSphere 将会以它作为整个绑定表的主表。所有路由计 算将会只使用主表的策略，那么 t_order_item 表的分片计算将会使用 t_order 的条件。 注意：绑定表中的多个分片规则，需要按照逻辑表前缀组合分片后缀的方式进行配置，例如： rules: PostgreSQL 数据库，反之亦然。 8.5 流量治理 8.5.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 8.5. 流量治理 38 Apache ShardingSphere document 8.5.2 挑战 管控的挑战，在于对集群的 DistSQL 语法允许负值，此时可在数字前加负号（‐），如 ‐1。 • 布尔值：TRUE 或 FALSE，大小写不敏感。 特别说明 • 当 指 定 用 户 自 定 义 算 法 类 型 名 称 时 必 须 使 用 "" 对 算 法 类 型 名 称 进 行 标 注， 例 如 NAME="AlgorithmTypeName" ； • 当指定 ShardingSphere 内置算法类型名称时可以不使用