云原生虚拟数仓 PieCloudDB 的架构和关键模块实现• Nosql和数据湖缺少很多支持数据分析的重要特性 o 缺少在高并发场景下的隔离性和一致性 o 和现有的BI工具很难集成 • 关系型数据库已经重新成为数据分析的主要平台 NoSQL 和数据湖已经不再是数据分析的主要平台 @2022 OpenPie. All rights reserved. OpenPie Confidential • Nosql本身对于高级分析支持差 o 图形,地理信息0 码力 | 43 页 | 1.14 MB | 1 年前3
Greenplum 6: 混合负载的理想数据平台Greenplum 6: 混合负载的理想数据平台 高小明 全球领先的开源MPP大数据平台 可扩展性 ACID事务 VS 分布式 简单易用 VS 结构化 半结构非结构化 VS 事务型 分析型 VS MPP - massively parallel processing - 大规模并行处理 master standby primary TPC-B基准测试:环境 基于谷歌云平台(Google Cloud Platform,简称GCP),为5个虚拟主机的集群,包含一 个master主机和四个segment主机,master和segment虚拟主机的配置信息如下 master segment 虚拟机类型 n1-standard-16 n1-standard-8 CPU核数 16 8 内存大小(GB) 60 30 CPU平台 Intel Haswell0 码力 | 52 页 | 4.48 MB | 1 年前3
基于 Greenplum 打造SaaS化电商服务平台基于GP打造SaaS化电商服务平台 聚水潭 秃鹰 赵坚密 2019.08.10 聚水潭成立于2014年1月,创始人兼CEO骆海东拥有超过二十年传统 及电商ERP的研发和实施部署经验,公司核心管理团队来自于阿里巴 巴、亚马逊、中国平安和麦包包等知名公司。 聚水潭创建之初,以电商SaaS ERP切入市场,凭借出色的产品和服务, 快速获得市场领先地位。随着客户需求的不断变化,如今聚水潭已经 发展成为以SaaS 发展成为以SaaS ERP为核心,集多种商家服务为一体的SaaS协同平台, 为全国近20万家电商企业提供全面的信息化解决方案。 经过5年多的发展,公司员工从2014年成立之初的9人增加到现在 1200多人。聚水潭已在全国设立了40多个线下服务分支机构,服务范 围覆盖超过268个城市,为客户提供及时、周到和专业的服务。 来自阿里巴巴旗下商家服务市场的最新数据显示,聚水潭已是企业 ERP类目中使用商家0 码力 | 7 页 | 547.94 KB | 1 年前3
Pivotal Greenplum 5: 新一代数据平台Greenplum 5: 新一代数据平台 开源、支持多种云的高级分析数据平台 作者:Keaton Adams、 Dan Baskette、 Cesar Rojas pivotal.io/cn 白皮书 2 © Copyright 2017 Pivotal Software, Inc.保留所有权利。 PIVOTAL GREENPLUM 5:新一代数据平台 目录 关于本白皮书 ..... .......................................................................3 Pivotal Greenplum 5:新一代数据平台 .........................................................................................3 以开源创新替代专有分析环境 ............................................................................... 4 支持多种云不受限于基础架构的数据平台 ..................................................................................................0 码力 | 9 页 | 690.33 KB | 1 年前3
TiDB 与 TiFlash扩展——向真 HTAP 平台前进 韦万0 码力 | 45 页 | 2.75 MB | 6 月前3
完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum白皮书 开源 Greenplum 新篇章: 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者:Greenplum 中文社区、 欧拉开源社区 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 ...................................................................................... 6 欧拉开源操作系统平台架构 ................................................................................................ ......................................................................... 8 Greenplum:新一代 HTAP 数据平台 ..................................................................................................0 码力 | 17 页 | 2.04 MB | 1 年前3
PieCloudDB Database 云原生平台用户手册社区版V2.1云原生平台用户手册 ©2023 OpenPie All Rights Reserved. 社区版本 ����� 2 �� PieCloudDB ����� PieCloudDB �������������������� �������������������������������������� �����PieCloudDB ������������������0 码力 | 69 页 | 4.35 MB | 1 年前3
云原生虚拟数仓PieCloudDB Database产品白皮书在集群完成计算任务时,可以进行资源回收,节省成本 6 PieCloudDB 云原生虚拟数仓 杭州拓数派科技发展有限公司(又称“OpenPie”)认为计算技术目前经历了三代平台: ①大型机时代;②PC机时 代;和 ③云计算时代。每一代计算平台的变更,都带来了数据计算技术的突破性创新的可能性。随着计算技术从大型 机时代变革为PC机时代,PC机逐渐取代大型机,极大地降低计算门槛,计算资源日渐丰富,数据计算技术突破性创 ”「数据计算,只为新发现」为使命,旗下云原生虚拟数仓 PieCloudDB,运用全新 eMPP(elastic Massive Parallel Processing) 分布式技术,可将物理数仓整合到云原生数据 计算平台,根据数据授权动态创建虚拟数仓,按需灵活计算,打破数据孤岛,支撑更大模型所需的数据和计算。 PieCloudDB 为企业构建「坚如磐石」的虚拟数仓,以云资源最优化配置实现无限数据计算可能,基于新一代数仓虚 器中,同时也提供 PieCloudDB 公有云 SaaS 服务。 数据处理层 PieCloudDB 核心服务层,提供了并行数据处理能力,拥有元数据节点、计算节点、存储节点以及云原生管控平台节 点等共四种角色,具体说明如下: 1. 元数据节点: 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能;0 码力 | 17 页 | 2.02 MB | 1 年前3
Greenplum 精粹文集——greenplum,因此而得名)召集了十几位业界大咖(据 说来自 google、yahoo、ibm 和 TD),说干就干,花了一年多的时间 完成最初的版本设计和开发,用软件实现了在开放 X86 平台上的分布 式并行计算,不依赖于任何专有硬件,达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 精粹文集 3 OLAP window 函数),还可以用多种语言来写存储过程,对于 Madlib、R 的支持也很好。这一点上 MYSQL 就差的很远,很多分 析功能都不支持,而 Greenplum 作为 MPP 数据分析平台,这些功 能都是必不可少的。 2) Mysql 查询优化器对于子查询、复制查询如多表关联、外关联的支 持等较弱,特别是在关联时对于三大 join 技术:hash join、merge join、nestloop Python、C、Perl、TCL、 PLSQL 等等语言来扩展功能,在后续章节中,我将展现这种扩展 是如何的方便,另外,开发新的功能模块、新的数据类型、新的索 引类型等等非常方便,只要按照 API 接口开发,无需对 PG 重新编译。 PG 中 contrib 目录下的各个第三方模块,在 GP 中的 postgis 空间 数据库、R、Madlib、pgcrypto 各类加密算法、gptext 全文检索都 是通过这种方式实现功能扩展的。0 码力 | 64 页 | 2.73 MB | 1 年前3
PieCloudDB Database 产品白皮书 PiecloudDB 邓 画 云原生虚拟数仓 杭州拓数派科技发展有限公司 (又称“Openpie”) 认为计算技术目前经历了三代平台: @大型机时代; @PC机时 代; 和 回云计算时代。每一代计算平台的变更,都带来了数据计算技术的突破性创新的可能性。随着计算技术从大型 机时代变革为PC机时代,PC机逐渐取代大型机,极大地降低计算门极,计算资源日渐丰富,数据计算技术突破性创 支持部署在物理服务器、庶拟机以及容 器中,同时也提供 PieCloudDB 公有云 Saa5 服务。 * ”数据处理层 PieCloudDB 核心服务层,提供了并行数据处理能力,拥有元数据节点、计算节点、存储节点以及云原生平台节点等 共四种角色,具体说明如下: 1. 元数据节点; 提供元数据服务,如元数据存储共享、分布式锁、多版本管理、多集群并发、高可用以 及用户权限等功能; 2. 计算节点: 无状态节点 (包括 Coordinator 、执行计划、查询优化、数据加载、连接管理、并行计算以及资源隔离 等功能; 3. 存储节点; 存算分离架构,支持本地存储和云存储,推荐采用对象存储,提供数据压缩、数据加密、 多模存储以及多级缓存等功能; 4. 云原生平台节点: PieCloudDB 集群管控节点,提供数据洞察和集群运维等功能,支持可视化的数据 分析、性能监控、集群启停、自动化部署以及权限管控等能力; 用户或者应用可直接调用 PieCloudDB0 码力 | 17 页 | 2.68 MB | 1 年前3
共 100 条
- 1
- 2
- 3
- 4
- 5
- 6
- 10













