PieCloudDB Database 产品白皮书 储节点以及云原生平台节点等 共四种角色,具体说明如下: 1. 元数据节点; 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ,主要负责接收用户请求和数据计算,支持 动态弹性伸缩,提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 多维度弹性扩缩容 pieCloudDB 采取存算分离的eMPP (弹性大规模并行计算) 设计架构。存储侧支持标准对象存储,可以充分利用云计 算平台的优势,让对象存情接近无限的容量,计算侧在设计上充分考虑无状态实现,计算节点可以充分利用云环境海 量的计算节点池,按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵向以及集群级别的弹性伸缩。用户可以灵活考虑业务和数据量的变化,, 动态油整 pieCloudDB pieCloudDB 集群中计算节点的数量和虚拟数仓的数量,用最适合的资源量来满足其业务需求。 ,。 高可用能力 pieCloudDB 实现了元数据、计算、存储等三层架构,计算节点不存储用户数据,是无状态的。当计算节点发生故障 时,PieCloudDB 会自动快速发现并调度新的节点蔡代故障节点,同时也会在后台尝试修复故障节点,从而保证 PieCloudDB 服务的高可用性。 pieCloudDB0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点(包括 Coordinator 和 Executer),主要负责接收用户请求和数据计算,支持 动态弹性伸缩,提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 新。 PieCloudDB 采取存算分离的 eMPP(弹性大规模并行计算)设计架构。存储侧支持标准对象存储,可以充分利用云计 算平台的优势,让对象存储接近无限的容量,计算侧在设计上充分考虑无状态实现,计算节点可以充分利用云环境海 量的计算节点池,按需扩容和缩容。 PieCloudDB 能够根据业务需求进行横向、纵向以及集群级别的弹性伸缩。用户可以灵活考虑业务和数据量的变化, 动态调整 动态调整 PieCloudDB 集群中计算节点的数量和虚拟数仓的数量,用最适合的资源量来满足其业务需求。 PieCloudDB 实现了元数据、计算、存储等三层架构,计算节点不存储用户数据,是无状态的。当计算节点发生故障 时,PieCloudDB 会自动快速发现并调度新的节点替代故障节点,同时也会在后台尝试修复故障节点,从而保证 PieCloudDB 服务的高可用性。 PieCloudDB0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1。 2. 在集群界面可以更改集群“外部接入”的选项,并能查看集群的资源监控和集群详情。在右侧的 下还可以修改、关闭或删除该集群。这里需要注意的是,只有集群处于关闭状态时才能修改外部接 入的开关、集群的名称或规格。 例如,想要从外部接入“cluster1”,“tom” 需要先关闭该集群,点击 开启外部接入功 能,然后再开启 “cluster1”,详细的接入步骤请持续关注后续更新。 时、执行状态以及返回的记录数。这里需要注意的是, 对于单条查询语句的执行,需要选中该条语句再点击右上角的 ,否则会默认执行 文件中的全部查询语句。如果需要查看本次查询计算的执行计划,可以点击 ,界面 会显示计划图以及文本内容。 4.6 评估查询表现 1. 如果需要查看所有查询语句的历史,可以点击菜单栏的 进入请求历史界面,可以查 看每条 SQL 文本的内容、状态、请求 i id、请求耗时以及开始时间。也可以通过最上面的筛选框来 筛选查询语句的状态、起始日期和结束日期。 2. 如果需要下载的某次查询的结果,可以点击该SQL文本最右侧的 ,将结果以 csv 格式下载到 本地。 5. 外部工具或者应用连接配置 5.1 打开集群的外部入口 5.2 创建 database 1. CREATE DATABASE testdb;0 码力 | 42 页 | 1.58 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现Master 节点和 FoundationDB 通过事务的方式协同实现了分布式的事务和锁 • 系统表以 mstore 的方式存储在 FoundationDB 上 • Master节点本地不持有任何全局状态 @2022 OpenPie. All rights reserved. OpenPie Confidential @2022 OpenPie. All rights reserved. OpenPie PieCloudDB 云原生架构 @2022 OpenPie. All rights reserved. OpenPie Confidential 云原生特性的实现途径 • 弹性伸缩的集群 • 完全无状态的Segment节点 • Multi-cluster • 独立的系统表 • 分布式的锁和事务 @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 43 页 | 1.14 MB | 1 年前3
πDataCS赋能工业软件创新与实践Data Table Data Table Data Table Executor Executor Executor Executor Executor 虚拟数仓 3 计算节点无状态 Serverless ... ... Coordinator X + Y + Z+ +N 财务部门 投资部门 存储节点统一进 S3/HDFS/NAS 元数据 Coordinator Executor 自助实时BI 异常预警 数据 展示 可视化BI 销售线索分析 分析结果 落数据库 4S店选址分析 API接⼝ (⼿机/车机) 车 联 数 据 应 用 驾驶操控 电池医⽣ 车联运⾏ 车联状态 经 营 数 据 应 用 智慧零售 决策跟踪 业务诊断 业务预测 用 户 数 据 应 用 VOC客户洞察 AutoFort 智能运营 客户画像 客户价值评估 营 销 数 据 分0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB Database V2.8 Release Note支持获取 Kafka FDW 统计数据。 n Kafka FDW 支持 JSON 格式。 l 执行计划信息 支持在 EXPLAIN ANALYZE VERBOSE 执行结果中显示调度相关状态信息。 4 l 用户定义函数 UDF n 新增 janm_page_size_read,用以获取 Page 大小。 n 新增 janm_block_file_size_read,用以获取0 码力 | 4 页 | 144.49 KB | 1 年前3
PieCloudDB:云原生分布式虚拟数仓的诞生之旅reserved. OpenPie Confidential PieCloudDB内核的下⼀步 • 元数据存储 • ⼤概率缓存承担更⼤的作⽤. 进⼀步⼤幅减少持久存储的访问负载. • 元数据和数据库状态解耦存储. • 可能需要⼀部分的re-design. • 抽象各种解耦(包括持久存储):降低复杂度、提⾼稳定性. • 等等. @2022 OpenPie. All rights reserved.0 码力 | 24 页 | 2.01 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现基于 MVCC 的事务隔离级别 使用 FoundationDB Key 的自然排序 实现索引 将元组以 key-value 的形式存储 到 FoundationDB 元数据管理 • 临时状态存储(如lock等) 也放在FoundationDB • 依赖于FoundationDB的KV特性、可串⾏化事务、watcher机制 • 多个集群(虚拟数仓)可以共享⼀份元数据 • Found0 码力 | 31 页 | 1.43 MB | 1 年前3
PieCloudDB 的云原生之路Data Table Data Table Data Table Segment Segment Segment Segment Segment 虚拟数仓 3 计算节点无状态 Serverless ... ... Master X + Y + Z+ +N ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打破数据孤岛,消除数据多副本 财务部门 元数据0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路Data Table Data Table Data Table Segment Segment Segment Segment Segment 虚拟数仓 3 计算节点无状态 Serverless ... ... Master X + Y + Z+ +N ü 按需弹性开启/关闭虚拟数仓,灵活配置存算节点 ü 打破数据孤岛,消除数据多副本 元数据 Master0 码力 | 44 页 | 1.64 MB | 1 年前3
共 11 条
- 1
- 2













