• 大磁盘 过去Google™ 曾经用来实现信息搜索功能的技术， 现在被Greenplum用于数据仓库 现在的解决方案 12 Greenplum愿景：企业数据集合 13 • 在企业内创建统一的数据运算平台 • 企业所有者可以直接控制其数据实例 • 通过实体整合提供企业级数据访问功能 • 灵活的扩展和配置降低了投资的平均风险 源文件 源数据 源数据 源文件 数据仓库和分析应 用程序 Greenplum数据引擎 全球最强大的分析数据仓库 海量并行查询 • 可以比以往更快地获取 查询结果 • 在数据增长的同时确保 高性能分析 统一的分析处理功能 • 为数据仓库、市场、 ELT、文本挖掘、统计 运算提供统一的平台 • 可以使用SQL、 MapReduce、R等在 所有层次上对任何数 据进行并行分析 19 通过经济的方案扩展 到千万亿字节规模 • 不用担心数据增长或 到大 规模数据仓库和分析领域 • 世界级的行业团队进行高性能计算和数据库系统的 前沿开发工作 • 为全球很多最大规模的数据仓库提供提供推动力 • 最先将SQL和Map-Reduce的功能整合到统一的数 据处理框架中 • 可以帮助企业采集所有数据，并在竞争中获得出色 的洞察力 41 Parallel Dataflow Engine • General purpose parallel-dataflow

Edge、面向嵌入式的版本 openEuler 21.09 Embedded。 openEuler 希望与广大生态伙伴、用户、开发者一起，通过联合创新、社区共建，不断增强场景化能力，最终实现统一 操作系统支持多设备，应用一次开发覆盖全场景。 openEuler 平台架构 openEuler 是覆盖全场景的创新平台，在引领内核创新，夯实云化基座的基础上，面向计算架构互联总线、存储介质 高效一键式安装，百节点部署时间<15min。 3. 探索场景创新 边缘计算：发布面向边缘计算场景的版本 openEuler21.09Edae.集成 KubeEdae+边云协同框架，具备边云应用统一管 理和发放等基础能力。 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 12 白皮书 | 12 图 4：Greenplum 管理节点 Master 自动 Failover Greenplum 在 OLAP 方面继续保持领先与创新，打造统一分析全平台，综合多种技术给用户提供了分析便利，可以 选择自己擅长的工具及利用遗留的知识和技能，特别适合拥有多种技能的团队。 利用容器实现安全分析 PL/Container 扩展是一个接口，允许

创建用户组 Group Role 在管理一组类似的 User 的权限时，将它们绑定到一个 Group 是很方便的，通过 这种方式，一组 User 可以通过一个 Group 来统一授予权限和回收权限。在 GP 中， 通过 CREATE ROLE 的方式来创建 GROUP，并通过以角色作为权限实体的方式通过 GRANT 命令来为 USER 分组并实现权限继承。 通过 CREATE 使用将会更有效。全局共享内存会有助于降低大量内存消耗型查询出现异常的概率。 算子内存配额 大多数的算子(我们将执行计划中的 Hash，Sort，Join，Agg 等运算操作统一 称为算子)都不是内存密集型的算子，也就是说，在执行过程中，数据库分配的内存足 够其使用。有些内存密集型的算子，例如，Join 和 Sort，如果内存中放不下大量的 数据，数据就需要溢出到磁盘上。 于CPU核数，确保将该参数调整到一个合适的值，过低的值可能会导致CPU资源利用不 足。编者认为，实际上，往往可能不需要过于关注这个问题。 4. 要查看和修改这些参数，尽可能使用gpconfig命令来统一修改，很少有人直接去 改postgresql.conf文件，不过如果由于参数修改不当导致GP系统无法启动， 可能需要手动修改或者进入Master Only模式进行gpconfig配置。 5.

通过PVC申请PV存储资源 ● StatefulSet ○ Pod网络地址不变 ○ Pod与PV映射关系不变 Kubernetes 网络资源 Service ● Service ○ 定义统一网络地址 ○ 分布式应用程序路由映射 ○ 负载均衡器 Greenplum on Kubernetes Network Interconnect Standby Pod Master Pod Kubernetes Greenplum on Kubernetes ● 存储计算分离 ○ PV持久化存储资源 ○ StatefulSet/Pod弹性扩展计算资源 ● 数据库服务层 ○ Service统一Master & Standby Master地址 ● 服务发现机制 ○ 所有节点地址名不变 ● 跨云能力 ○ 容器应用对基础设施透明 Greenplum Operator Kubernetes

二级分区可以用一级分区+Bitmap方式替代，例如按照“发生日期”做分区，然后在机构字段上将bitmap索引 • 对于1亿条记录以下的表不分区(对于小系统，该阀值适当调低) 索引使用： • 以数据批处理为主要功能的系统一般不需建索引 • 以并发查询为主要功能，特别OLTP查询（根据KEY，Attribute等作为筛选条件）的系统按照常用字段建索引。 • 建索引的方法：对于区别度高的字段，如账号、手机号码等使用B – Instance Number：4 CCB设置以上参数后，基本上没有OOM发生，唯一遇到的是left join超大表（400亿条记录）导致的，用户已优化SQL 资源队列设置没有一个统一的标准，具体的参数设置需要根据项目的实际运行情况， 可以通过gp_toolkit.gp_resqueue_status 观察到队列的使用情况，逐步调整参数到最优状态。 角色组和权限管理

Resource Queue • Self-deadlock – 每条SQL语句占用一个slot – extended query • prepare/bind/execute libpq protocol • cursor • named portal – SQL结束不一定释放slot – 一个事务用光所有slot 2017 年象行中国（杭州 站）第一期 Resource Queue • System gp_toolkit.gp_resgroup_status; 2017 年象行中国（杭州 站）第一期 Resource Group • Deadlock – 事务开始时拿slot • Self-deadlock – 事务结束时一定会释放slot • PANIC – Count + LWLock + Latch – Decouple with lock manager 2017 年象行中国（杭州 站）第一期

gp_max_packet_size 1739 gp_max_parallel_cursors 1740 gp_max_plan_size 1740 gp_max_slices 1740 max_slot_wal_keep_size 1740 gp_motion_cost_per_row 1741 gp_print_create_gang_time 1741 gp_quickz_fallback of statistics stored in the Nth slot of the pg_statistic row. staopN An operator used to derive the statistics stored in the Nth slot. For example, a histogram slot would show the < operator that defines appropriate kind for the Nth slot, or NULL if the slot kind does not involve numerical values. stavaluesN Column data values of the appropriate kind for the Nth slot, or NULL if the slot kind does not store

max_prepared_transactions 1945 max_resource_portals_per_transaction 1945 max_resource_queues 1946 max_slot_wal_keep_size 1946 max_stack_depth 1947 max_statement_mem 1947 memory_spill_ratio 1947 optimizer between termination of a queue waiter and waiter wake-up by another session, which could cause a slot leak in a resource queue. 371708 Resolves an issue with a race condition between self-deadlocks and an ALTER RESOURCE QUEUE operation that bumped the resource queue limit, which could cause a slot leak in a resource queue. Release 6.26.2 VMware Greenplum 6 Documentation VMware by Broadcom 147

max_prepared_transactions 1624 max_resource_portals_per_transaction 1624 max_resource_queues 1624 max_slot_wal_keep_size 1624 max_stack_depth 1625 max_statement_mem 1625 memory_spill_ratio 1625 optimizer and changed features: Greenplum Database 6.10 introduces the server configuration parameter max_slot_wal_keep_size that sets the maximum size in megabytes of replication WAL log files on disk per segment system caused disk full issues. Greenplum Database introduces the server configuration parameter max_slot_wal_keep_size to limit the amount of WAL logs stored on disk. See See Features. 30792 - Logging

ransaction 1910 max_resource_queues 1910 VMware Greenplum 6 Documentation VMware, Inc 107 max_slot_wal_keep_size 1910 max_stack_depth 1911 max_statement_mem 1911 memory_spill_ratio 1912 optimizer and changed features: Greenplum Database 6.10 introduces the server configuration parameter max_slot_wal_keep_size that sets the maximum size in megabytes of replication WAL log files on disk per segment system caused disk full issues. Greenplum Database introduces the server configuration parameter max_slot_wal_keep_size to limit the amount of WAL logs stored on disk. See See Features. 30792 - Logging