..................... - 66 - 使用资源队列 .................................................................................................................... - 68 - 资源队列如何工作 ............................. .................................... - 68 - 使用资源队列做资源管理的步骤 ............................................................................ - 71 - 配置资源队列管理资源 ............................................ .................. - 71 - 创建资源队列 ............................................................................................................ - 74 - 分配 ROLE(User)到资源队列 ..............................

优化查询以减少内存的消耗  在资源队列中降低查询的并发数  降低GP集群中单节点的Segment Instance数量  增加机器的内存  检查gp_vmem_protect_limit 参数, 确保其不要超过安全的最大值  在会话层面降低statement_mem 参数的设定值  在数据库层面降低statement_mem参数的设定值  在资源队列中限制内存使用量 OOM-解决办法 5，建议采用1，避免过多占用OS的内存.  调整资源队列中MEMORY_LIMIT的总和小于 gp_vmem_protect_limit *0.9.  调整资源中的Active_statement和Max_cost，CCB的参考值如下： – Max_Cost :30亿 – Active_Statements:30 – Menory_Limit:多个队列的总和小于gp_vmem_protect_limit CCB设置以上参数后，基本上没有OOM发生，唯一遇到的是left join超大表（400亿条记录）导致的，用户已优化SQL 资源队列设置没有一个统一的标准，具体的参数设置需要根据项目的实际运行情况， 可以通过gp_toolkit.gp_resqueue_status 观察到队列的使用情况，逐步调整参数到最优状态。 角色组和权限管理  在GPDB中，对象权限不能从Schema继承，

file server(gpfdist),可 以达到1小时装载2T数据。 GP的工作负载的资源控制 GP提供了对工作负载和资源控制的功能。 在GP可以建一个资源队列（resource queue)，然后把 用户加入到这个队列中，然后就可以控制： 1. 所有活动的SQL的cost值最多是多少？ 2. 活动的SQL最多是多少个 3. 控制活动的SQL的优先级（4.0的新功能） GP的查询处理

写日志 日志落盘 写日志 记录日志 日志落盘 记录日志 日志落盘 协调者 参与者 发送prepare消息 ready 发送commit/abort消息 ack 阶段2 阶段1 25 2PC同样可以应用在单机系统上 协调者 资源管理器1 资源管理器2 资源管理器3 日志1 日志2 日志3 PREPARE / g_twophase目录下的文件并进行相关操 作，为该事务重新获取锁。 3. 恢复成功后，删掉pg_twophase目录下的文件 《数据库系统概念》19.4.1.3节，参与者在响应prepare消息之前记录 32 Greenplum实现分布式事务与并发控制 • 分布式事务管理 • 分布式事务的创建、状态迁移等 • QD向QE发起两阶段提交 • 分布式快照 •

CPU 和内存管理方面。资 源组一经定义，便会将所有用户活动纳入管理范围，包括超级用户。某个超级用户执行的所有语句都会路由至一个默认资 源组，管理员可以根据需要调整该资源组，增加或减少其系统资源。如果队列中没有可用于某个查询的空位，或者内存不 足以运行该查询，它会自动排队，直到有能够成功执行的资源为止。 1. Marshall Presser，Data Warehousing with Greenplum:Open

案例⼀ 案例⼀ 利⽤ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 对⽇志数据分析 Logstash 是⽬前⽐流⾏、使⽤较多的⽇志收集和管理系统，Kafka也是企业常⽤的分布式发布-订阅消息系统，UDW（UCloud Data Warehouse）是⼤规模并⾏处理数据仓库产品，下⾯介 绍⼀些利⽤ logstash+Kafka+UDW 构建⽇志收集-存储-分析的全套解决⽅案。 Logstash收集⽇志到 UCloud 优刻得 177/206 5. 启动logstash收集⽇志到Kafka 执⾏ bin/logstash agent -f logstash-output-kafka.conf 发送消息到 Kafka 备注：我们除了⽤ logstash 收集⽇志到 kafka 之外，我们还可以使⽤ Flume 收集⽇志到 Kafka，也可以把 Spark、Storm 中的流式数据写⼊到 Kafka。更多

·数据表多级分区 ·Bitmap 索引 ·Hadoop 外部表 ·Gptext 全文检索 ·并行查询计划优化器和 Orca 优化器 ·Primary/Mirror 镜像保护机制 ·资源队列管理 ·WEB/Brower 监控 Big Date2.indd 7 16-11-22 下午3:38 8 3. Greenplum 的艺术 -- Parallel Everything

窗口。选择需要调试 的进程id即可。（如果确定进程id请见前面小节） 如果 clion 调试器console显示类似 “Debugger attached to process 38965” 的消息，则表示进程 attach成功，可以使用 clion进行调试了。 通过图像化窗口定位到 “ExecProcNode” 函数，通过单击下图的小红圈处，即可设置断点在 ExecAgg() 调用处。