PieCloudDB Database 社区版集群部署和使用手册 版本：V2.1 2023 年 03 月 08 日 目录 1. 集群规划 .......................................................................................................... ....................................................................... 4 2. PIECLOUDDB 和 K8S 一起部署方案 ................................................................................................ PDB 部署和启动 ............................................................................................................................................................................ 14 2.14 部署验证 .

www.openpie.com Cloud Native Virtual Data Warehouse PieCloudDB Deplovment Guide ����� 社区版安装部署手册 ����������������� ©2023 OpenPie All Rights Reserved. ⚫ ⚫ ⚫ ⚫ ⚫ ➢ ➢

服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1 录。数据计算时，所有机器同时并行计算，理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ，节省了海量数据的处理时间。 传统数据仓库架构 然而，随着数据量的不断尝升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈: pieCloudDB 整体架构分为三个层次，包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层为 pieCloudDB 提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、庶拟机以及容 器中,同时也提供 PieCloudDB 公有云 Saa5 服务。 * ”数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生平台节点等 提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4. 云原生平台节点: PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析，提供标准的 SQL 接口，且内置各种分析工 具，并原生兼容 Postgres 生态，可以很好地处理地理信息数据和文本，未来会扩展其他

服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时，所有机器同时并行计算，理论上最高可以 把计算时间降低到单机部署的 1/n（n为机器数量），节省了海量数据的处理时间。 传统数据仓库的计算和存储是紧密耦合的，计算资源和存储资源按某一比例强绑定，因此用户在扩容时，必须同时扩 容计算资源和存储资源，在扩缩容、 整体架构分为三个层次，包括基础设施层、数据处理层及数据应用层。详细阐述如下： 基础设施层 基础设施层为 PieCloudDB 提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中，同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生管控平台节 PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的 数据分析、性能监控、集群启停、自动化部署以及权限管控等能力; 数据应用层： 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析，提供标准的 SQL 接口，且内置各种分析工 具，并原生兼容 Postgres

离繁琐操作更远； 面向运维，降低部署门槛：在不同的基础设施都能发挥 实力； 面向管理，让管理更轻松：让数据分析运行更透明； 设计目的 智能化云原⽣平台：⾯向⽤户、开箱即⽤ • 降低上⼿难度 — 让⽤户享受数据分析的乐趣 • 使⽤⻔槛低了 — 扩⼤平台受众 • 让更多⽤户离数据更近 — 离繁琐操作更远 PieCloudDB 是这么来帮助我们的⽤户的 ⾯向运维 部署运维难度⼩ • 全⾯拥抱容器化技术，可以适配多种环境 全⾯拥抱容器化技术，可以适配多种环境 • 已⽀持私有信创环境和多云环境 • 既实现私有环境离线部署，也可充分利⽤公有云技术设施 • 数据库维护平台托管 ⾯向管理 多个维度轻松管控 PieCloudDB⽀持 • ⼀个数仓多个计算集群同时运⾏ • 针对不同⽤户业务负载或者不同场景，可以选择不同 集群进⾏数据计算 云原⽣平台⽀持 • 快速启动集群，随时可以关停，随时可以回收 • 结合集

Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署，多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持，需要专门的技术技能 • 专用引擎/工具（例如图形数据库）通常难以与记录系统集成，限制 了分析和创新的操作化 NoSQL和数据湖为基础的基础设施需要的分析工具不容易集成和部署 @2022 OpenPie. All rights reserved Confidential • Segment节点并不持有持久化的数据，在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表，事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁

Data Promises Finally Come True IvorySQL开源数据库社区 • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难（后期升级部署困难） • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP : elastic Massive Parallel 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment 云上计算资源可弹性 分配，有查询计算任 务的时候按需启动， 按照使用时间和规模 计算成本。 弹性计算 企业可灵活进行扩缩容，随 着负载的变化实现高效的伸 缩，轻松应对PB级海量数据。 多云部署 可根据客户需求在任何 IaaS云和裸硬件上安装。 可打通多云的数据管道， 解锁对特定IaaS云的依赖 并获得云资源议价权。 实时处理 在计算层，各个计算节点针对元数据和用 户数据都设计了多层缓存结构，避免网络

OpenPie. All rights reserved. OpenPie Confidential • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难（后期升级部署困难） • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP : elastic Massive Parallel 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment 云上计算资源可弹性 分配，有查询计算任 务的时候按需启动， 按照使用时间和规模 计算成本。 弹性计算 企业可灵活进行扩缩容，随 着负载的变化实现高效的伸 缩，轻松应对PB级海量数据。 多云部署 可根据客户需求在任何 IaaS云和裸硬件上安装。 可打通多云的数据管道， 解锁对特定IaaS云的依赖 并获得云资源议价权。 实时处理 在计算层，各个计算节点针对元数据和用 户数据都设计了多层缓存结构，避免网络

完成各种业务场景的数据处理需求。但是对于开发的要求比较高，需要掌握多种 组件的不同使用方法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也无法直接利用云资 源的弹性能力。组件太多，导致集群部署和后期运维管理很麻烦，市场上相关人 才储备量不多，技术兜底依赖于Cloudera，国内第三方公司主要是基础运维和开 发为主。 大模型数据计算系统，以云原生技术重构数据存储和计算，一份数据，多引擎数 Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 ： 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） ü 按需弹性开启/关闭虚拟数仓，灵活配置存算节点 ü 打 破 数 据 孤 岛 ， 消 除 数 据 多 副 本 PieCloudDB云原生虚拟数仓 核心价值 物理数仓整合到云原生数据计算平台，根据数据授权

的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云 资源的弹性能⼒。组件太多，导致集群部署和后期运维管理很麻烦，市场上相 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运 维和开发为主。 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎 Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 ： 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） ü 按需弹性开启/关闭虚拟数仓，灵活配置存算节点 ü 打破数据孤岛，消除数据多副本 @2024 OpenPie. All rights reserved. OpenPie Confidential