PieCloudDB Database 社区版集群部署和使用手册 版本：V2.1 2023 年 03 月 08 日 目录 1. 集群规划 .......................................................................................................... ....................................................................... 4 2. PIECLOUDDB 和 K8S 一起部署方案 ................................................................................................ PDB 部署和启动 ............................................................................................................................................................................ 14 2.14 部署验证 .

www.openpie.com Cloud Native Virtual Data Warehouse PieCloudDB Deplovment Guide ����� 社区版安装部署手册 ����������������� ©2023 OpenPie All Rights Reserved. ⚫ ⚫ ⚫ ⚫ ⚫ ➢ ➢

服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录 MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1 录。数据计算时，所有机器同时并行计算，理论上最 把计算时间降低到单机部署的 1/n (n为机器数量) ，节省了海量数据的处理时间。 传统数据仓库架构 然而，随着数据量的不断尝升，企业对数据仓库的要求也越来越高，在使用过程中，传统 MPP 数据库解决方案迎来 了一系列的瓶颈: pieCloudDB 整体架构分为三个层次，包括基础设施层、数据处理层及数据应用层。详细阐述如下: 基础设施层为 pieCloudDB 提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、庶拟机以及容 器中,同时也提供 PieCloudDB 公有云 Saa5 服务。 * ”数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生平台节点等 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4. 云原生平台节点: PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析，提供标准的

服务器为单位，通过如下图所示的组群方式来扩展存储和计算。假设一个宽表有3亿条记录， MPP 数据库会尝试在每台 PC 服务器的硬盘上分布1亿条记录。数据计算时，所有机器同时并行计算，理论上最高可以 把计算时间降低到单机部署的 1/n（n为机器数量），节省了海量数据的处理时间。 传统数据仓库的计算和存储是紧密耦合的，计算资源和存储资源按某一比例强绑定，因此用户在扩容时，必须同时扩 容计算资源和存储资源，在扩缩容、 整体架构分为三个层次，包括基础设施层、数据处理层及数据应用层。详细阐述如下： 基础设施层 基础设施层为 PieCloudDB 提供计算资源、存储资源和网络资源，PieCloudDB 支持部署在物理服务器、虚拟机以及容 器中，同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层，提供了并行数据处理能力，拥有元数据节点、计算节点、存储节点以及云原生管控平台节 存算分离架构，支持本地存储和云存储，推荐采用对象存储，提供数据压缩、数据加密、 多模存储以及多级缓存等功能； 4. 云原生管控平台节点： PieCloudDB 集群管控节点，提供数据洞察和集群运维等功能，支持可视化的 数据分析、性能监控、集群启停、自动化部署以及权限管控等能力; 数据应用层：

Data Promises Finally Come True IvorySQL开源数据库社区 • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难（后期升级部署困难） • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP : elastic Massive Parallel 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment 对象存储 （数据共享，存算分离） o 兼容 HDFS，NAS，本地磁盘 o 公有云，私有云，混合云 • 现代的硬件 o CPU/GPU 高速缓存访问 o 数据的局部性优化（SIMD） o 现代存储技术 o 新硬件的使用 IvorySQL开源数据库社区 • 数据分布和弹性 o 分布式 eMPP 架构 (一致性Hash) o 本地数据减少高延时的云存储访问 o 减少数据移动 o 扩缩容最少的数据移动

OpenPie. All rights reserved. OpenPie Confidential • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难（后期升级部署困难） • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP : elastic Massive Parallel 虚拟数仓 N Segment ... 销售部门 ... ... 存储节点统一进 S3/HDFS/NAS 元数据统一 映射管理 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） 元数据 FoundationDB CataLog S3 /HDFS/NAS Data Table Data Table Data Table Segment Segment reserved. OpenPie Confidential 构建新一代云原生存储引擎 • Multi-Could 云上设施 • 对象存储 （数据共享，存算分离） • 兼容HDFS，NAS，本地磁盘 • 公有云，私有云，混合云 • 现代的硬件 • CPU/GPU 高速缓存访问 • 数据的局部性优化 （SIMD） • 现代存储技术 • 新硬件的使用 @2022 OpenPie.

的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼，需要掌握 多种组件的不同使用⽅法，业务开发周期会比较久。 国外开源软件，与国产软硬件兼容性差，不符合信创趋势，也⽆法直接利用云 资源的弹性能⼒。组件太多，导致集群部署和后期运维管理很麻烦，市场上相 关⼈才储备量不多，技术兜底依赖于Cloudera，国内第三⽅公司主要是基础运 维和开发为主。 ⼤模型数据计算系统，以云原⽣技术重构数据存储和计算，⼀份数据，多引擎 Host 3 Data Table Data Table Data Table 数 仓 虚 拟 化 ： 物 理 数 仓 整 合 ü 数量级降低成本的时候数量级增加数据计算空间（私有部署更加敏感） ü 按需弹性开启/关闭虚拟数仓，灵活配置存算节点 ü 打破数据孤岛，消除数据多副本 @2024 OpenPie. All rights reserved. OpenPie Confidential Ø 引⼊PieCloudDB虚拟数仓技术，可以让技术栈更加专精，⼤⼤降低了数据中台的开发、运维和使用的门槛，⼤幅提 升了数据应用开发的效率； Ø PieCloudDB具备完善的商业化技术服务，提供本地化技术支持，技术响应更加及时，有效提升服务的SLA； Ø PieCloudDB采用简洁的技术架构，没有复杂的组件叠加，让集群运维管理门槛更低，帮助集团企业⼤幅降低后期的 运维管理成本； Ø P

Block⽂件为⼀个存储(MVCC)单位 • 辅助信息存储⽤于计算优化 • 设计考虑： • ⾼效和精准的统计信息收集 • 存储和计算成本 • 各种计算优化 • SIMD, Cache Line • Data Skipping (本地查询和远程读取） • 预聚集 • ...... 存储中⽴ • 公有云，私有云，混合云 • 对象存储 （数据共享，存算分离）按需付 费 • 也⽀持HDFS，NAS ⽤户数据可靠安全 • ⽤户数据⾼可靠实时加解密 离繁琐操作更远； 面向运维，降低部署门槛：在不同的基础设施都能发挥 实力； 面向管理，让管理更轻松：让数据分析运行更透明； 设计目的 智能化云原⽣平台：⾯向⽤户、开箱即⽤ • 降低上⼿难度 — 让⽤户享受数据分析的乐趣 • 使⽤⻔槛低了 — 扩⼤平台受众 • 让更多⽤户离数据更近 — 离繁琐操作更远 PieCloudDB 是这么来帮助我们的⽤户的 ⾯向运维 部署运维难度⼩ • 全⾯拥抱容器化技术，可以适配多种环境 全⾯拥抱容器化技术，可以适配多种环境 • 已⽀持私有信创环境和多云环境 • 既实现私有环境离线部署，也可充分利⽤公有云技术设施 • 数据库维护平台托管 ⾯向管理 多个维度轻松管控 PieCloudDB⽀持 • ⼀个数仓多个计算集群同时运⾏ • 针对不同⽤户业务负载或者不同场景，可以选择不同 集群进⾏数据计算 云原⽣平台⽀持 • 快速启动集群，随时可以关停，随时可以回收 • 结合集

Confidential • 使用数据湖为基础进行数据分析需要多个组件进行集成部署，多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持，需要专门的技术技能 • 专用引擎/工具（例如图形数据库）通常难以与记录系统集成，限制 了分析和创新的操作化 NoSQL和数据湖为基础的基础设施需要的分析工具不容易集成和部署 @2022 OpenPie. All rights reserved 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential • Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁 • 系统表以 mstore 的方式存储在 FoundationDB 上 • Master节点本地不持有任何全局状态 @2022

Confidential • 全链路加密保证数据安全 核⼼产品优势 • 云原⽣存储架构，元数据、数据和计算全分离 • 数据⼀次⼊库永不出户，数据可用不可见，跑算⼒不跑数据 • 公有云、私有云及混合云，按需部署 • 国产软硬件⼀体机解决⽅案，满⾜特定⾏业用户需求 u 首 创 云 原 ⽣ e M P P 架 构 u 国 内 数 仓 虚 拟 化 技 术 提 出 者 u 云 时 代 存 算 双 重 分 离 PostgreSQL Need Writers @2024 OpenPie. All rights reserved. OpenPie Confidential • User Groups 领导本地PG用户组，壮⼤PG社区 • Conferences 技术会议上做分享 Josh Berkus, 50 ways to contribute to PostgreSQL http://www.slideshare