云原生虚拟数仓 PieCloudDB 的架构和关键模块实现0 码力 | 43 页 | 1.14 MB | 1 年前3
PieCloudDB Database 产品白皮书 ,是以对行业顶级数据库的抽象思考和设计原则复用为技术路线,采用领先的数仓 虚拟化技术,可将多个数仓统一整合到一个高可用的云虚拟数仓,打通多云的数据管道,数据计算资源按需扩缩容, 提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级增加可计算数据空间的同时,数量级降低数仓 成本,打开无限数据计算空间,推进AVBI到下一个精度。PieCloudDB在eMPP分布式专利技术、服务器无感知 《(Serverless 共四种角色,具体说明如下: 1. 元数据节点; 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 和 Executer) ,主要负责接收用户请求和数据计算,支持 动态弹性伸缩,提供数据查询 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构,支持本地存 适合的分布式存储方案。 此外,PieCloudDB 提供的独立的元数据服务 (Catalog Service) 保证元数据存取的效率和高可用性。PieCloudDB 元 数据采用分布式 KV 存储管理,具有完备的高可用方案。在 PieCloudDB 中,每份元数据都将以多副本的形式分散到多 个服务 并支持定时备份,以确保避免因为用户数据的丢失而造成的损失。 , 高性能的数仓引擎 PieCloudDB0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点(包括 Coordinator 和 Executer),主要负责接收用户请求和数据计算,支持 动态弹性伸缩,提供数据查询、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点: 数仓整合 到云原生数据计算平台,根据数据授权动态创建虚拟数仓,按需灵活计算,打破数据孤岛,支撑更大模型所需的数据 和计算。在云上,数据计算资源按需扩缩容,提升数仓的敏捷性和弹性,助力企业降低数仓管理复杂度,实现数量级 增加可计算数据空间的同时,数量级降低数仓成本,打开无限数据计算空间,推进AI/BI到下一个精度。PieCloudDB 在eMPP分布式专利技术、服务器无感知(Serverle 合的分布式存储方案。 此外,PieCloudDB 提供的独立的元数据服务(Catalog Service)保证元数据存取的效率和高可用性。 PieCloudDB 元 数据采用分布式 KV 存储管理,具有完备的高可用方案。在 PieCloudDB 中,每份元数据都将以多副本的形式分散到多 个服务节点,并支持定时备份,以确保避免因为用户数据的丢失而造成的损失。 PieCloudDB 采用高0 码力 | 17 页 | 2.02 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析密钥加密密钥 • 用户无感知 • 自动生成次级密钥 • 密钥自管理 • 分区加密 技术挑战(2) • 和数据库存储结合 • 不影响数据库内核(执行器,优化器) • 不修改/添加元数据表格式 • 业务拟合 • 不影响原有用户的查询\业务 • 不影响外围组件(ETL) PART 03 透明加密的实现 密钥管理 • 主密钥由用户提供 • 保存于用户信任域中 • 无需加解密主密钥 透明加密实现细节 • 模块化实现 • 优化器、执行器不感知 • 模块完美支持自研存储 • 可插拔加密算法库 • 支持不同硬件加密算法 • 支持国密算法 • 不影响用户业务 • 原有业务无需变化 • 不影响ETL数据导入导出 透明加密组件架构 用户查询 优化器 执行器 存储接口 数据 透明加密组件架构 用户请求 优化器 执行器 存储接口 透明加密组件 数据 函数接口 密钥管理 模块 模块 加密模块 加密算法库 租户密钥生成 主密钥 用户信任域 租户创建请求 租户密钥生成 主密钥 用户信任域 密钥生成 租户创建请求 加密 租户密钥生成 持久化存储区域 主密钥 用户信任域 密钥生成 租户创建请求 加密 存储 次级密钥生成 对应存储区域 密钥生成 查询请求 加密 存储 密钥储存区 上级密钥 租户密钥读取 持久化存储区域 用户信任域 解密 主密钥0 码力 | 34 页 | 599.00 KB | 1 年前3
PieCloudDB Database V2.1 版本说明其中,针对元数据,PieCloudDB 实现了元数据层全新的缓存机制,有效减少了访问元 数据服务器带来的网络通信开销和元数据服务器的负载,提高元数据访问的速度。 • 可观察性增强:可得到更多的查询时系统的统计信息,包括元数据管理、S3 等。 • Vacuum 优化:在元数据层通过快速过滤不需要 vacuum 的数据,从而实现 vacuum 加速。 • 存储引擎 简墨(JANM) 异常处理的优化: 避免各种异常情况下数据残留。 于 Cascades 模型的模块化查询优化器,帮助用户对 SQL 进行优化,生成高效的查询计 划。 • 支持超大数据量字段 • 支持快速 ETL/ELT: Kafka 流数据导入支持,copy 性能大幅提升。 • 外部数据源的查询(实验性功能): PieCloudDB 支持 foreign-data wrapper 模块,使用户可以访问包括但不限于 等数据源,同时支持用户自行开发 模块来访问新的存储数据源 。 管控平台 • 用户权限优化:通过更加清晰的 UI 设计,为用户提供一体化的权限管理 • 注册选项增加:增加了手机注册选项,用户现可选择通过手机或邮件进行用户注 册 • 稳定性优化: o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理,增强安全能力 o0 码力 | 3 页 | 257.15 KB | 1 年前3
πDataCS赋能工业软件创新与实践18年+底层基础软件领域开发经验 • 原Greenplum首席内核架构师 • Apache HAWQ PMC成员 陆公瑜(Brian Lu) 合伙⼈&COO • 英国约克⼤学 • 15年+产品⽣态建设和运营管理经验 • 原Greenplum中国社区发起⼈ • Greenplum社区从0到万 冯 雷(Ray Von) 创 始 ⼈ & C E O • 浙江物理奥赛银牌得主 • 北京⼤学物理经济学双学位 ⼤模型训练… 自研简墨存储 … 统⼀数据格式 | ⼀份数据多引擎计算|兼容主流云存储格式和协议 智能新硬件技术 πFPGA 数据存储|虚拟数仓 | 特定领域(如神经⽹络) 私有云 Mundo元数据管理系统 统⼀Catalog @2024 OpenPie. All rights reserved. OpenPie Confidential πDataCS 优势1 :全面升级Hadoop⼤数据和Greenplum数仓⾄云原⽣数据平台 细节的情况下,开发 分布式程序,以⼀种可靠、⾼效、可伸缩的⽅式进⾏数据处理。 组件很多,常见约30个,基础组件包括:Hadoop通用功能库、HDFS、 MapReduce以及YARN 。可视化管理是Ambari,其他的计算引擎、列存数据库 等都需要额外的组件,应对不同的场景需要安装对应的组件和依赖。 ⽣态丰富,对结构化数据、半结构化数据以及非结构化数据都支持,可以很好 的完成各种业务场0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库reserved. OpenPie Confidential Postgres 生态 PieCloudDB 重新打造 PostgreSQL 12.x 实现存算分离 PieCloudDB 对几乎所有内核模块做了大量的创新 PieCloudDB 内核团队拥有强悍的Postgres内核代码掌控能力 • 将来会保持和Postgres内核大版本对齐 团队也拥有丰富的Postgres内核大版本升级合并经验 n g f o r N e w D i s c o v e r i e s 数 据 计 算 , 只 为 新 发 现 01 元数据管理 @2022 OpenPie. All rights reserved. OpenPie Confidential 元数据管理的设计目标 实现多节点共同访问的数据存储 实现分布式锁 • 高可用和多集群 • Multi-master • 多机并发访问 reserved. OpenPie Confidential • ACID - 支持两种隔离级别:读已提交、可重复读 • 扩展性 - 事务管理器无单点性能瓶颈 • 隔离性 - 不同租户之间的事务管理器是完全隔离的,不会相互影响 • 容错性 - 事务管理器支持对各类基础设施故障进行自动容错 事务 @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 45 页 | 1.32 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1, 点击即可,将自动成为超级管理员。 具体操作详见: 。也可以参照如下步骤: 4.1 注册账户 1. 在 PieCloudDB 登录界面,如果需要注册一个新账户,点击下方的 ,来到 “注册 PieCloudDB 账户”界面。 2. 根据提示,作为注册新账户的用户,需要填写用户名、邮箱、账户名和密码,点击 即可,将自动成为超级管理员。 例如,用户 “汤姆” “汤姆” 使用用户名 “tom”、邮箱 “tom@openpie.com” 和密码 “12345Tom!”注册了组织账户 “piebar”,“tom” 成为了 “piebar” 该组织账户的超级管理 员。 a. 需要前往注册时使用的邮箱,查收激活账户请求的邮件,点击“激活账户”即可完成注 册,同时会返回 PieCloudDB 界面。这里需要注意的是,PieCloudDB 社区版默认不开 启激活 4.2 浏览界面 1. 在 PieCloudDB 初始界面,可以查看右上角的登录信息,也可以切换中英文模式。右上角的 按钮下包含多项用户相关的功能,左侧的菜单栏则展示了各大使用模块。 例如,用户“汤姆”登录后,右上角会显示 piebar的tom。 2. 点击 按钮, 可以看到第一项功能 ,如果需要点击它跳转至“修改用户密码” 界面,输入原密码和新密码后点击0 码力 | 42 页 | 1.58 MB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现Postgres -> PieCloudDB 增量数据实时 cdc 演示 01 02 03 04 eMPP架构 存算分离,元数据/缓存/计算/云存储 01 02 03 04 各模块可以独立伸缩,模块间接口统一 每一组计算节点组成一个集群,多集群共享 元数据和存储系统 计算节点高度并行 05 兼容 PostgreSQL 生态 PieCloudDB eMPP 分布式架构 导出 (Extract)0 码力 | 29 页 | 5.24 MB | 1 年前3
大模型时代下向量数据库的设计与应用与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验, 在加入拓数派前曾就职于开源大数据平台Greenplum团队,担任外部 数据源访问框架,对象存储访问扩展,ETL工具等产品模块的研发, 并曾参与PostgreSQL多个版本的代码贡献,拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派:大模型数据计算系统先行者 • 拓数派( OpenPie)是立足于国内的基础数据计算领域高科技0 码力 | 28 页 | 1.69 MB | 1 年前3
共 17 条
- 1
- 2













