PieCloudDB Database 产品白皮书 多模存储以及多级缓存等功能; 4. 云原生平台节点: PieCloudDB 集群管控节点,提供数据洞察和集群运维等功能,支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析,提供标准的 SQL 接口,且内置各种分析工 具,并原生兼容 Postgres 生态,可以很好地处理地理信息数据和文本,未来会扩展其他 Ap| 接口,支持常见的数仓的 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 pieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-D5 等测试,实现 了包括聚集下准、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 1. 票集下推 在0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书PieCloudDB 集群管控节点,提供数据洞察和集群运维等功能,支持可视化的 数据分析、性能监控、集群启停、自动化部署以及权限管控等能力; 数据应用层: 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析,提供标准的 SQL 接口,且内置各种分析工 具,并原生兼容 Postgres 生态,可以很好地处理地理信息数据和文本,未来会扩展其他 API 支持元数据和用户数据的缓存,计算节点在执行查询时不再需要频繁的访问元数据服务和存储服务,降 低了元数据访问的网络延迟,加快了用户数据的访问速度。 PieCloudDB 对数据查询的执行流程在查询执行器中进行了全链路的优化,完整支持 TPC-H 和 TPC-DS 等测试,实现 了包括聚集下推、Block Skipping 等功能模块,大大缩短执行时间,高效的数据查询提高了数据分析的实时性。 此外,PieCloudDB0 码力 | 17 页 | 2.02 MB | 1 年前3
PieCloudDB:基于PostgreSQL的eMPP云原生数据库预计算 文件剪裁 针对云环境的特性,提供更多高阶的优化 @2022 OpenPie. All rights reserved. OpenPie Confidential 安全性增强 生态建设 全链路优化 @2022 OpenPie. All rights reserved. OpenPie Confidential • 透明加密技术 • 加密用户数据,避免被未经许可人员读出 • 用户无感知,不影响用户的业务,对性能影响小 reserved. OpenPie Confidential 全链路优化 • 全新的存储引擎简墨(JANM) • 基于对象存储的行列混存架构 • 压缩比更好 • Cache命中率更高 • 降低CPU使用率 @2022 OpenPie. All rights reserved. OpenPie Confidential 全链路优化 • 高效的分布式优化器 • 聚集下推 • 预计算0 码力 | 45 页 | 1.32 MB | 1 年前3
πDataCS赋能工业软件创新与实践计算三者互为增强,全面升级⼤数据系统⾄⼤模型时代 ,赋能⾏业AI场景应用。 具备整体数据平台⽅案,支持多模数据处理(结构化、半结构化 以及非结构化数据),实现数据共享和分析。 软件优化 + 新硬件(FPGA)加速,实现数据全链路的性能飞跃, 让数据存储、SQL查询、向量计算以及机器学习等能⼒全面升级。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 。 本期项目的主要建设目标: Ø 在设计数据收集的前端,搭载基于国产设计的智能图像算法芯片和传感器的三维结构光体测量设备,来深度挖掘设计和建造 数据,打造孪⽣设计⼤数据库,穿透调试计划,串联供应链数据。 Ø 致⼒于建设⼀个安全、可控、软硬件⼀体的数字建造⼯业自动化软件应用平台,从设计到交付,发布全流程建造⼯程调试完 ⼯数字化, Ø 构建成套云计算架构下的⼯业软件平台,不仅可服务于豪华邮轮0 码力 | 36 页 | 4.25 MB | 1 年前3
PieCloudDB 的云原生之路本地数据减少高延时的云存储访问 o 减少数据移动 o 扩缩容最少的数据移动 • 数据安全性 o 透明数据加密 o 三级密钥 o 实时加解密 构建新一代云原生存储引擎 IvorySQL开源数据库社区 全链路优化 • 全新的存储引擎简墨(JANM) ⚬ 基于对象存储的行列混存架构 ⚬ 压缩比更好 ⚬ Cache 命中率更高 ⚬ 降低 CPU 使用率 IvorySQL开源数据库社区 04 优化器0 码力 | 47 页 | 1.80 MB | 1 年前3
PieCloudDB云原生数仓虚拟化之路扩缩容最少的数据移动 • 数据安全性 • 透明数据加密 • 三级密钥 • 实时加解密 @2022 OpenPie. All rights reserved. OpenPie Confidential 全链路优化 • 全新的存储引擎简墨(JANM) • 基于对象存储的行列混存架构 • 压缩比更好 • Cache命中率更高 • 降低CPU使用率 @2022 OpenPie. All rights0 码力 | 44 页 | 1.64 MB | 1 年前3
大模型时代下向量数据库的设计与应用(filtered) P2 (filtered) 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息,并将它们关联起来 • 对向量数据建立索引,可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发,为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发,为其开发向量搜索及索引算法 PieCloudVector CPU多核并行/GPU加速 PieCloudVector • Faiss与postgres内核对接 - 基础接口 • 增加向量列类型用于基本的加载与卸载 • 实现向量距离运算符 • 实现向量近似搜索的索引,调用faiss PieCloudVector • Faiss与postgres内核对接 - 数据可见性 • faiss索引增加mvcc信息,与数据库内可见性保持一致 xmin xmax id vector 2 …] 15 3 [1.0, 1.1, 1.2 …] PieCloudVector • Faiss OpenMP线程改造 • LLVM解析源码,找到所有 OpenMP指令语句 • 转换为调用自定义线程池和 lambda表达式 • 共享变量替换及并发保护 PieCloudVector • Faiss OpenMP线程改造 • 控制全局线程数 • 降低线程锁冲突 • 降低内存使用0 码力 | 28 页 | 1.69 MB | 1 年前3
AGI 趋势下的云原生数据计算系统技术原生支持数据要素流转 • 中国唯一全自研的Table Format技术 • 云原生存储架构,元数据、数据和计算全分离 核 心 技 术 突 破 • 数据一次入库永不出户,数据可用不可见,跑算力不跑数据 • 全链路加密保证数据安全 • JANM存储引擎等技术有效组织数据配合大模型精调 u 首创云原生eMPP架构 u 国内数仓虚拟化技术提出者 云原生数据计算系统 PieDataCS数据底座为AI大模型赋能0 码力 | 26 页 | 2.84 MB | 1 年前3
如何从零开始参与技术社区?•国内虚拟数仓和eMPP技术提出者,不断在数据计算引擎⽅ 向进⾏创新,全⾯拥抱AI技术趋势。 @2024 OpenPie. All rights reserved. OpenPie Confidential • 全链路加密保证数据安全 核⼼产品优势 • 云原⽣存储架构,元数据、数据和计算全分离 • 数据⼀次⼊库永不出户,数据可用不可见,跑算⼒不跑数据 • 公有云、私有云及混合云,按需部署 • 国产软硬件⼀体机解决⽅案,满⾜特定⾏业用户需求0 码力 | 25 页 | 871.00 KB | 1 年前3
共 9 条
- 1













