Greenplum 新一代数据管理和数据分析解决方案• 大磁盘 过去Google™ 曾经用来实现信息搜索功能的技术, 现在被Greenplum用于数据仓库 现在的解决方案 12 Greenplum愿景:企业数据集合 13 • 在企业内创建统一的数据运算平台 • 企业所有者可以直接控制其数据实例 • 通过实体整合提供企业级数据访问功能 • 灵活的扩展和配置降低了投资的平均风险 源文件 源数据 源数据 源文件 数据仓库和分析应 用程序 Greenplum数据引擎 全球最强大的分析数据仓库 海量并行查询 • 可以比以往更快地获取 查询结果 • 在数据增长的同时确保 高性能分析 统一的分析处理功能 • 为数据仓库、市场、 ELT、文本挖掘、统计 运算提供统一的平台 • 可以使用SQL、 MapReduce、R等在 所有层次上对任何数 据进行并行分析 19 通过经济的方案扩展 到千万亿字节规模 • 不用担心数据增长或 民族证券:数据中心,证券投资分析 • 北京第二外语大学:图书分析 • 中信银行:信用卡分析 • 深发展银行:数据中心兼ODS • 李宁公司:销售和库存分析 • 公安部:图像分析 • 国家海洋局:海洋数据采集与分析 • 上海安吉物流:收入&市场分析、客户经理跟踪分析 • 中远集团:收入、发展、销售分析 案例分享(征途游戏) • 现有运行平台 – 服务器平台:SUN X4600一台,4路dual-core0 码力 | 45 页 | 2.07 MB | 1 年前3
完全兼容欧拉开源操作系统的 HTAP 数据平台 GreenplumEdge、面向嵌入式的版本 openEuler 21.09 Embedded。 openEuler 希望与广大生态伙伴、用户、开发者一起,通过联合创新、社区共建,不断增强场景化能力,最终实现统一 操作系统支持多设备,应用一次开发覆盖全场景。 openEuler 平台架构 openEuler 是覆盖全场景的创新平台,在引领内核创新,夯实云化基座的基础上,面向计算架构互联总线、存储介质 高效一键式安装,百节点部署时间<15min。 3. 探索场景创新 边缘计算:发布面向边缘计算场景的版本 openEuler21.09Edae.集成 KubeEdae+边云协同框架,具备边云应用统一管 理和发放等基础能力。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 12 白皮书 | 12 图 4:Greenplum 管理节点 Master 自动 Failover Greenplum 在 OLAP 方面继续保持领先与创新,打造统一分析全平台,综合多种技术给用户提供了分析便利,可以 选择自己擅长的工具及利用遗留的知识和技能,特别适合拥有多种技能的团队。 利用容器实现安全分析 PL/Container 扩展是一个接口,允许0 码力 | 17 页 | 2.04 MB | 1 年前3
Greenplum Database 管理员指南 6.2.1创建用户组 Group Role 在管理一组类似的 User 的权限时,将它们绑定到一个 Group 是很方便的,通过 这种方式,一组 User 可以通过一个 Group 来统一授予权限和回收权限。在 GP 中, 通过 CREATE ROLE 的方式来创建 GROUP,并通过以角色作为权限实体的方式通过 GRANT 命令来为 USER 分组并实现权限继承。 通过 CREATE 使用将会更有效。全局共享内存会有助于降低大量内存消耗型查询出现异常的概率。 算子内存配额 大多数的算子(我们将执行计划中的 Hash,Sort,Join,Agg 等运算操作统一 称为算子)都不是内存密集型的算子,也就是说,在执行过程中,数据库分配的内存足 够其使用。有些内存密集型的算子,例如,Join 和 Sort,如果内存中放不下大量的 数据,数据就需要溢出到磁盘上。 于CPU核数,确保将该参数调整到一个合适的值,过低的值可能会导致CPU资源利用不 足。编者认为,实际上,往往可能不需要过于关注这个问题。 4. 要查看和修改这些参数,尽可能使用gpconfig命令来统一修改,很少有人直接去 改postgresql.conf文件,不过如果由于参数修改不当导致GP系统无法启动, 可能需要手动修改或者进入Master Only模式进行gpconfig配置。 5.0 码力 | 416 页 | 6.08 MB | 1 年前3
Greenplum on Kubernetes
容器化MPP数据库通过PVC申请PV存储资源 ● StatefulSet ○ Pod网络地址不变 ○ Pod与PV映射关系不变 Kubernetes 网络资源 Service ● Service ○ 定义统一网络地址 ○ 分布式应用程序路由映射 ○ 负载均衡器 Greenplum on Kubernetes Network Interconnect Standby Pod Master Pod Kubernetes Greenplum on Kubernetes ● 存储计算分离 ○ PV持久化存储资源 ○ StatefulSet/Pod弹性扩展计算资源 ● 数据库服务层 ○ Service统一Master & Standby Master地址 ● 服务发现机制 ○ 所有节点地址名不变 ● 跨云能力 ○ 容器应用对基础设施透明 Greenplum Operator Kubernetes0 码力 | 33 页 | 1.93 MB | 1 年前3
Pivotal Greenplum 最佳实践分享二级分区可以用一级分区+Bitmap方式替代,例如按照“发生日期”做分区,然后在机构字段上将bitmap索引 • 对于1亿条记录以下的表不分区(对于小系统,该阀值适当调低) 索引使用: • 以数据批处理为主要功能的系统一般不需建索引 • 以并发查询为主要功能,特别OLTP查询(根据KEY,Attribute等作为筛选条件)的系统按照常用字段建索引。 • 建索引的方法:对于区别度高的字段,如账号、手机号码等使用B – Instance Number:4 CCB设置以上参数后,基本上没有OOM发生,唯一遇到的是left join超大表(400亿条记录)导致的,用户已优化SQL 资源队列设置没有一个统一的标准,具体的参数设置需要根据项目的实际运行情况, 可以通过gp_toolkit.gp_resqueue_status 观察到队列的使用情况,逐步调整参数到最优状态。 角色组和权限管理0 码力 | 41 页 | 1.42 MB | 1 年前3
共 5 条
- 1













