PieCloudDB Database 产品白皮书 (Procedure Language) 的支持使得 PieCloudDB 可以无锋集成业内常见的提取/ 转换/加载 (ETL) 和 Bl (商业智能) 工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB -上 从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-D5 等测试,实现 了包括聚集下准、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 1. 票集下推 在执行聚集函数的过程中,查询优化器会把聚集操作下推到连接操作之前去执行,可以极大地减少连 接操作需要处理的数据量,使得查询性能显著提升。在很多分析型场景下,聚集下推会取得百倍或千 售的性能提升。 量等) ,管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据 、 计算节点以及平台工具等完善的监控指标体系,同时支持日志收集和展示,方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。 Openpie0 码力 | 17 页 | 2.68 MB | 1 年前3
πDataCS赋能工业软件创新与实践能显 著提升。在很多场景下经过严格的测试,聚集下推会取得百倍或千倍的性能提升。 达奇 PieCloudDB Optimizer Ø 基于eMPP架构的云原⽣分布式 优化器; Ø 为海量数据集上的复杂OLAP查 询提供最优的查询计划。 预计算 根据对象存储的特性,为每⼀个数据块预先计算好块内数据的聚集值。通过把聚集操作下推到对数据表 的扫描之上,可以直接利用数据块内预计算的结果,从⽽避免了⼤量的计算。 区 版 云 上 云 版 ⼀ 体 机 @2024 OpenPie. All rights reserved. OpenPie Confidential 客 户 案 例 : 某 ⼤ 型 汽 车 集 团 全 面 升 级 ⼤ 数 据 平 台 ⾄ 云 原 ⽣ π D a t a C S 项目背景: 该企业依托于集团内部需求,建设了⼀个云平台,提供基础设施服务。随着⼦公司接⼊的数量越来越多,数据量也急剧增长, 供应商数据管理 项目管理 数据分析云平台 第三⽅系统接⼊ BPMS流程自动化 数据 应用 业务需求: 基于核⼼研发团队在集团首艘豪华邮轮建造项目中的调试完⼯实施管理及质量数据应用的经验,打造集监测、检测成⼀体适用于⼤型复杂 装备建造项目的国产数字化调试完⼯应用平台。旨在为豪华邮轮国产化提供专业的自动化软件应用的同时,加速调试完⼯数字平台国产化 的进程 。 本期项目的主要建设目标: Ø0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB 的云原生之路品 理 念 最 终 实 现 大 数 据 愿 景 Big Data Promises Finally Come True IvorySQL开源数据库社区 • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难(后期升级部署困难) • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP 降低 CPU 使用率 IvorySQL开源数据库社区 04 优化器 IvorySQL开源数据库社区 PieCloudDB 达奇是一个基于 eMPP 架构的云原生分布式优化器,它可以 为海量数据集上的复杂 OLAP 查询提供最优的查询计划。 • 分布式优化器 • 处理复杂 OLAP 查询 • 云原生优化器 PieCloudDB 优化器「达奇」 IvorySQL开源数据库社区 处理复杂OLAP查询0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路Promises Finally Come True @2022 OpenPie. All rights reserved. OpenPie Confidential • 秒级扩缩容 • 多集群共享一份数据集 • 用户只需为存储和计算付费 • 扩展困难(后期升级部署困难) • 木桶效应 • 大量数据孤岛问题 计算层 存储层 MPP: Massive Parallel Processing eMPP OpenPie. All rights reserved. OpenPie Confidential PieCloudDB Optimizer 是一个基于eMPP架构的云原生分布式优化器,它 可以为海量数据集上的复杂OLAP查询提供最优的查询计划。 • 分布式优化器 • 处理复杂OLAP查询 • 云原生优化器 PieCloudDB Optimizer @2022 OpenPie. All rights0 码力 | 44 页 | 1.64 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书对SQL的全面支持和多种过程语言(Procedure Language)的支持使得 PieCloudDB 可以无缝集成业内常见的提取/ 转换/加载(ETL)和 BI(商业智能)工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB 上运行,从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 量等),管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据、 计算节点以及平台工具等完善的监控指标体系,同时支持日志收集和展示,方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、 元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。 PostgreSQL/Greenplum 生态组件,兼容大部分现有的 PostgreSQL/Greenplum 客户端,商务智能 (BI)和 ETL 组件。并且,PieCloudDB 正在加速构建更加完善的数据生态体系,通过创建生态工具、建立合作伙伴生 态网络、打造活跃的技术和用户社区等举措,为用户带来更便捷的使用体验。 多集群数据共享 多级缓存技术 PieCloudDB 产品核心技术 PieCloudDB 突破了P0 码力 | 17 页 | 2.02 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现在世界范围内的统计信息显示,Nosql和数据湖已经不在数据分析 领域占有主要市场 • Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie 使用数据湖为基础进行数据分析需要多个组件进行集成部署,多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持,需要专门的技术技能 • 专用引擎/工具(例如图形数据库)通常难以与记录系统集成,限制 了分析和创新的操作化 NoSQL和数据湖为基础的基础设施需要的分析工具不容易集成和部署 @2022 OpenPie. All rights reserved. OpenPie Confidential •0 码力 | 43 页 | 1.14 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1.................................................................................... 39 5. 外部工具或者应用连接配置 .......................................................................................... 上面的筛选框来 筛选查询语句的状态、起始日期和结束日期。 2. 如果需要下载的某次查询的结果,可以点击该SQL文本最右侧的 ,将结果以 csv 格式下载到 本地。 5. 外部工具或者应用连接配置 5.1 打开集群的外部入口 5.2 创建 database 1. CREATE DATABASE testdb; 5.3 修改数据库用户密码 数据库用户默认是平台注册的用户名。 2. select * from pg_authid; 3. alter role jojo password 'openpie' 5.4 配置连接访问 外部工具或者应用可以配置数据库用户名和密码、IP 以及端口等信息进行链接。以下为通过 dbeaver 工 具连接的示例:0 码力 | 42 页 | 1.58 MB | 1 年前3
大模型时代下向量数据库的设计与应用产品,聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验, 在加入拓数派前曾就职于开源大数据平台Greenplum团队,担任外部 数据源访问框架,对象存储访问扩展,ETL工具等产品模块的研发, 并曾参与PostgreSQL多个版本的代码贡献,拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派:大模型数据计算系统先行者 • (filtered) P2 (filtered) 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息,并将它们关联起来 • 对向量数据建立索引,可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发,为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发,为其开发向量搜索及索引算法 PieCloudVector • 基于postgres打造的数据库内核0 码力 | 28 页 | 1.69 MB | 1 年前3
PieCloudDB Database V2.1 版本说明用户权限优化:通过更加清晰的 UI 设计,为用户提供一体化的权限管理 • 注册选项增加:增加了手机注册选项,用户现可选择通过手机或邮件进行用户注 册 • 稳定性优化: o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理,增强安全能力 o 一键部署优化 • 数据洞察优化: o SQL 结果页面 UI 更新,界面更加简洁优雅。优化超长结果显示,可支持选中结0 码力 | 3 页 | 257.15 KB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCSOne),提供3种计算引擎、1种 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 生态完善,支持主流的开发语言和数据科学工具,支持多模数据处理(结构化、 半结构化以及非结构化),提供标准的SQL接口和API,完成各种复杂场景的数据 处理,业务开发周期短,现存的代码基本可以无缝迁移和复用。 国内自主研发,具备社区版、 πCloudVector • 冗余数据、过度的数据搬运、分布式组件之间的 数据缺乏一致性 • 专业技能的额外劳动力成本、额外的许可成本 • 有限的查询语言能力、可编程性和可扩展性 • 有限的工具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统一的数据平台,在动态扩缩容过程中无需移动 数据,充分保障数据的一致性 • 使用简单,学习成本低,无需额外投入 • 既0 码力 | 29 页 | 7.46 MB | 1 年前3
共 14 条
- 1
- 2













