PieCloudDB Database 社区版集群安装部署手册 V2.1.................................................................................... 39 5. 外部工具或者应用连接配置 .......................................................................................... 150GB。 l 所有服务器需要配置 yum,且能够连接 Internet。 l 部署方案有两种,请根据实际情况选择: Ø 本地无 K8S 环境和对象存储,请选择第二章节《PieCloudDB 和 K8S 一起部署方案》 Ø 本地有 K8S 环境和对象存储,请选择第三章节《PieCloudDB 基于已有 K8S 的部署方案》 2. PieCloudDB 和 K8S public 角色。 4.3 创建集群和数据库 1. 在菜单栏,点击 进入集群界面,如果需要创建集群,点击右上角的 ,输入集群名、规格等信息即可。这里可以根据自身需求选择集群的规格大小,新 集群创建后会自动 启动并运行。 例如,“tom”创建了一个名为“cluster1”、规格大小 “medium” 的集群,启动后显示0 码力 | 42 页 | 1.58 MB | 1 年前3
PieCloudDB Database 产品白皮书 在集群完成计算任务时,可以进行资源回收,节省成本 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 PieCloudDB 应运而生,PieCloudDB 帮助企业摆脱了 PC 架 构的限制,满足云原生数字时代需求,成为更好的选择。 PiecloudDB 邓 画 云原生虚拟数仓 杭州拓数派科技发展有限公司 (又称“Openpie”) 认为计算技术目前经历了三代平台: @大型机时代; (Procedure Language) 的支持使得 PieCloudDB 可以无锋集成业内常见的提取/ 转换/加载 (ETL) 和 Bl (商业智能) 工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB -上 从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 。 多维度弹性扩缩容 pieCloudDB 量等) ,管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据 、 计算节点以及平台工具等完善的监控指标体系,同时支持日志收集和展示,方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。 Openpie0 码力 | 17 页 | 2.68 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书需求: 充分结合云计算、大规模并行处理技术的云原生虚拟数仓 PieCloudDB 应运而生, PieCloudDB 帮助企业摆脱了 PC 架 构的限制,满足云原生数字时代需求,成为更好的选择。 能够提供无限存储空间, 随时根据业务需求弹性增加集群和工作节点 在集群完成计算任务时,可以进行资源回收,节省成本 6 PieCloudDB 云原生虚拟数仓 杭州拓数派科技发 对SQL的全面支持和多种过程语言(Procedure Language)的支持使得 PieCloudDB 可以无缝集成业内常见的提取/ 转换/加载(ETL)和 BI(商业智能)工具。企业只需安排少量的集成工作,就可以使用现有的使用标准 SQL 结构和接 口的分析工具让应用在 PieCloudDB 上运行,从而避免了企业受制于供应商,帮助企业在控制业务风险的同时推动创 新。 PieCloudDB 采取存算分离的 量等),管理运行状态,在允许租户复用资源的同时保证资源隔离 。 PieCloudDB 具备的可视化管理功能界面,支持多种统计数据的汇总和明细展示。提供监控告警功能,具备元数据、 计算节点以及平台工具等完善的监控指标体系,同时支持日志收集和展示,方便用户更好地进行智能化运维。 PieCloudDB 管控平台提供数据洞察、 元数据浏览、用户管理、权限管理、SQL 查询历史、ETL 管理等功能。0 码力 | 17 页 | 2.02 MB | 1 年前3
兼容龙蜥的云原生大模型数据计算系统:πDataCS据计算。主要解决海量数据的存储和实时计算问题,具备湖仓一体化的能力,用 户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎,组件少而精(All in One),提供3种计算引擎、1种 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 Flink等计算任务,保留用户的使用习惯。 生态完善,支持主流的开发语言和数据科学工具,支持多模数据处理(结构化、 半结构化以及非结构化), πCloudVector • 冗余数据、过度的数据搬运、分布式组件之间的 数据缺乏一致性 • 专业技能的额外劳动力成本、额外的许可成本 • 有限的查询语言能力、可编程性和可扩展性 • 有限的工具集成 • 较差的数据完整性和可用性 打破专用向量数据库的局限性 • 统一的数据平台,在动态扩缩容过程中无需移动 数据,充分保障数据的一致性 • 使用简单,学习成本低,无需额外投入 • 既0 码力 | 29 页 | 7.46 MB | 1 年前3
云原生虚拟数仓 PieCloudDB 的架构和关键模块实现在世界范围内的统计信息显示,Nosql和数据湖已经不在数据分析 领域占有主要市场 • Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie 使用数据湖为基础进行数据分析需要多个组件进行集成部署,多个 组件的配合需要大量的开发工作 • 许多缺乏 ANSI SQL 支持,需要专门的技术技能 • 专用引擎/工具(例如图形数据库)通常难以与记录系统集成,限制 了分析和创新的操作化 NoSQL和数据湖为基础的基础设施需要的分析工具不容易集成和部署 @2022 OpenPie. All rights reserved. OpenPie Confidential •0 码力 | 43 页 | 1.14 MB | 1 年前3
云原生数据库 PieCloudDB eMPP架构设计与实现e代表弹性(elastic) 完善的Postgres生态 为什么选择Postgres? • 关于Postgres • 公司中⽴,开源协议友好,国际⼀流⼯程⽔准的先进开源数据库 • Postgres对存储扩展,插件扩展⽀持友好 • 天然⾃带⼀定的多模⽀持 (原⽣或者插件) • 采⽤度和流⾏度持续上升 • 优秀的⽣态 • 我们的选择 • 很多功能不⽤也没必要重新造轮⼦ • 和⼀流的产品和⼈才⼀起成⻓ 既实现私有环境离线部署,也可充分利⽤公有云技术设施 • 数据库维护平台托管 ⾯向管理 多个维度轻松管控 PieCloudDB⽀持 • ⼀个数仓多个计算集群同时运⾏ • 针对不同⽤户业务负载或者不同场景,可以选择不同 集群进⾏数据计算 云原⽣平台⽀持 • 快速启动集群,随时可以关停,随时可以回收 • 结合集群操作记录,⽤户可以⽤最低的成本完成数据分析 云原⽣平台同时提供 • 根据⾓⾊访问模型设计的权限系统,所⻅即可管0 码力 | 31 页 | 1.43 MB | 1 年前3
大模型时代下向量数据库的设计与应用产品,聚焦于大模型 与大数据领域。拥有多年数据库内核研发和配套解决方案架构经验, 在加入拓数派前曾就职于开源大数据平台Greenplum团队,担任外部 数据源访问框架,对象存储访问扩展,ETL工具等产品模块的研发, 并曾参与PostgreSQL多个版本的代码贡献,拥有丰富的存储模块核心 开发和性能优化等实践经验。 邱培峰 拓数派向量数据库负责人 拓数派:大模型数据计算系统先行者 • (filtered) P2 (filtered) 向量数据库 • 存储向量和原始实体(文字/图像/语音)及元信息,并将它们关联起来 • 对向量数据建立索引,可以实现高效近似搜索 • 配套调用接口和生态工具 • 技术路线 • 从向量搜索及索引算法实现出发,为其搭配数据库功能 • 从数据存储方案(关系型数据库/非关系型数据库)出发,为其开发向量搜索及索引算法 PieCloudVector • 基于postgres打造的数据库内核0 码力 | 28 页 | 1.69 MB | 1 年前3
云原生虚拟数仓 PieCloudDB ETL 方案设计与实现需求 • 多种数据源 • 多种数据格式 • 通用的数据处理/转换 • 唯一性与事务性保证 • 断点续传 • 错误处理 • 任务调度总控 pdbconduct • 数据源提取(插件/客户端工具) • 计算节点 Foreign Table, Formatter • 任务调度总控 pdbconduct • 独立运行,通常在 PieCloudDB 控制节点上 • 按需启动数据源(插件)导出0 码力 | 29 页 | 5.24 MB | 1 年前3
PieCloudDB Database V2.1 版本说明模块来访问新的存储数据源 。 管控平台 • 用户权限优化:通过更加清晰的 UI 设计,为用户提供一体化的权限管理 • 注册选项增加:增加了手机注册选项,用户现可选择通过手机或邮件进行用户注 册 • 稳定性优化: o SQL 结果集缓存优化 o 优化端到端访问控制管理和证书管理,增强安全能力 o 一键部署优化0 码力 | 3 页 | 257.15 KB | 1 年前3
πDataCS赋能工业软件创新与实践要是基础运 维和开发为主。 ⼤模型数据计算系统,以云原⽣技术重构数据存储和计算,⼀份数据,多引擎 数据计算。主要解决海量数据的存储和实时计算问题,具备湖仓⼀体化的能⼒, 用户可根据实际情况去选择合适的数据计算引擎。 灵活可扩展的插件式引擎,组件少⽽精(All in One),提供3种计算引擎、1种 Lakehouse引擎,1个硬件加速器,应对各种场景的计算,同时也兼容Spark、 F0 码力 | 36 页 | 4.25 MB | 1 年前3
共 10 条
- 1













