πDataCS赋能工业软件创新与实践支持,可以很好 的完成各种业务场景的数据处理需求。但是对于开发的要求比较⾼,需要掌握 多种组件的不同使用⽅法,业务开发周期会比较久。 国外开源软件,与国产软硬件兼容性差,不符合信创趋势,也⽆法直接利用云 资源的弹性能⼒。组件太多,导致集群部署和后期运维管理很麻烦,市场上相 关⼈才储备量不多,技术兜底依赖于Cloudera,国内第三⽅公司主要是基础运 维和开发为主。 ⼤模型数据计算系统 aaS服务,与国产软硬件完美兼容, 属于信创产业。支持公有云,可充分利用云资源的弹性能⼒。组件少,提供可 视化管理平台,运维管理简单,通过短暂学习即可掌握,⽆论是原厂商还是⽣ 态合作伙伴都可以直接提供技术服务,7 * 24的安⼼保障。 @2024 OpenPie. All rights reserved. OpenPie Confidential PieCloudVector与LLM在私域知识库领域的应用实践路径 优化器; Ø 为海量数据集上的复杂OLAP查 询提供最优的查询计划。 预计算 根据对象存储的特性,为每⼀个数据块预先计算好块内数据的聚集值。通过把聚集操作下推到对数据表 的扫描之上,可以直接利用数据块内预计算的结果,从⽽避免了⼤量的计算。 ⽂件裁剪 利用每个数据块内预计算的结果,提前过滤掉不符合条件的数据块,从⽽减少对数据的扫描和后续 的计算。 @2024 OpenPie. All0 码力 | 36 页 | 4.25 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS支持,可以很好的 完成各种业务场景的数据处理需求。但是对于开发的要求比较高,需要掌握多种 组件的不同使用方法,业务开发周期会比较久。 国外开源软件,与国产软硬件兼容性差,不符合信创趋势,也无法直接利用云资 源的弹性能力。组件太多,导致集群部署和后期运维管理很麻烦,市场上相关人 才储备量不多,技术兜底依赖于Cloudera,国内第三方公司主要是基础运维和开 发为主。 大模型数据计算系统 aaS服务,与国产软硬件完美兼容, 属于信创产业。支持公有云,可充分利用云资源的弹性能力。组件少,提供可视 化管理平台,运维管理简单,通过短暂学习即可掌握,无论是原厂商还是生态合 作伙伴都可以直接提供技术服务,7 * 24的安心保障。 πDataCS 优势1 :全面升级Hadoop大数据和Greenplum数仓至云原生数据平台 PieCloudVector与LLM在私域知识库领域的应用实践路径0 码力 | 29 页 | 7.46 MB | 1 年前3
PieCloudDB Database V2.1 版本说明优化端到端访问控制管理和证书管理,增强安全能力 o 一键部署优化 • 数据洞察优化: o SQL 结果页面 UI 更新,界面更加简洁优雅。优化超长结果显示,可支持选中结 果直接复制 o 支持执行请求时自由切入/切出页面,不影响用户进行其他操作 o 支持快捷键执行请求 o 支持 sql 文本查找/替换 • 数据导入优化: o 支持数据0 码力 | 3 页 | 257.15 KB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现ETL本质是不同系统 (数据组织形式)之 间的数据移动 ETL • 便宜可扩展的对象存储,各系统通用 • 最好的 ETL 就是不需要 ETL,各系统共享同一份底层数据 • PieCloudDB 支持直接读取对象存储上的 parquet 等格式的文件 • 为不同类型的查询特化的系统会有不同的存储方式 • 同一份底层原始数据使用不同系统查询会产生 ETL 需求 • 多种数据源 • 多种数据格式0 码力 | 29 页 | 5.24 MB | 1 年前3
云原生数据库 PieCloudDB : Unbreakable 安全特性剖析bit,AES-GCM 256 bit … • 特点 • 用户无感知 • 数据写入自动加密,读取自动解密 透明加密的作用 • 将数据库数据从明文存储转为加密存储 • 避免数据被系统运维人员直接读出 • 不依赖公有云/私有云/系统加密 • 用户合规需求 • 数据安全审计 • 业务安全审计 PART 02 需求和挑战 来自用户的需求(1) • 密钥自主可控 • 主密钥存储于安全区域中0 码力 | 34 页 | 599.00 KB | 1 年前3
云原生数据库PieCloudDB 性能优化之路= bar.c; 外连接本身有严格的连接条件,且该连接条件引用了来自 nullable side 的某一变量,且该变量被上 层的约束条件限定为 NULL 值 • 在只有内连接的情况下,约束条件可以直接下推到它的自然语义位置 • 如果有外连接存在,那么约束条件的下推可能会受到限制 • 对于外连接自己的连接条件,如果它引用了nonnullable side的表,那么它就无法被下推到该外连 接之下0 码力 | 26 页 | 711.44 KB | 1 年前3
PieCloudDB:云原生分布式虚拟数仓的诞生之旅Medium-size block size • …... @2022 OpenPie. All rights reserved. OpenPie Confidential 构建之路 - 数据存储 • 格式为什么不直接使⽤Parquet, etc? • 我们不需要存储schema. • 原⽣Postgres感知的存储格式:⽐如避免⼀些额外的反序列化. • 更加灵活可控实现. • …... • 但是我们还是可通过foreign0 码力 | 24 页 | 2.01 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现OpenPie. All rights reserved. OpenPie Confidential • Segment节点并不持有持久化的数据,在扩张/收缩的过程中不涉及数据的移动 • Segment节点不直接访问系统表,事务和锁 • 在扩张时只需要在新的虚拟机节点上部署二进制并向元数据服务注册 @2022 OpenPie. All rights reserved. OpenPie Confidential0 码力 | 43 页 | 1.14 MB | 1 年前3
PieCloudDB Database 社区版集群安装部署手册 V2.1相关内容,填写实际现场的 harbor 信息。具体如下: 3.6 创建 Harbor 仓库 注意:如果本地已经有 harbor 服务了,可以忽略此步骤,不用创建 harbor 仓库,直接使用本地已经存在 的 harbor 服务即可。 在 master 节点的 piedbinstaller 目录下执行如下命令: 1. export KKZONE=cn 2. ./kk0 码力 | 42 页 | 1.58 MB | 1 年前3
PieCloudDB Database 产品白皮书 多模存储以及多级缓存等功能; 4. 云原生平台节点: PieCloudDB 集群管控节点,提供数据洞察和集群运维等功能,支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB 云原生虚拟数仓服务进行数据分析,提供标准的 SQL 接口,且内置各种分析工 具,并原生兼容 Postgres 生态,可以很好地处理地理信息数据和文本,未来会扩展其他 Ap|0 码力 | 17 页 | 2.68 MB | 1 年前3
共 11 条
- 1
- 2













