......................................................................................... - 265 - 内存容量 ................................................................................................ ......................................................................................... - 375 - 内存管理 ................................................................................................ .............................. - 386 - 操作系统内存参数配置 .......................................................................................... - 387 - 共享内存设置 ..........................................

 kernel.shmmax = 1000000000  kernel.sem = 250 512000 100 2048  Redhat 6.2以后，内核增加了hugepage大页内存管理，关闭hugepage可以提高混合负载管理性能 设置办法：修改local脚本 For SUSE /etc/init.d/boot.local For RHLE /etc/rc gp_autostats_on_change_threshold 5000000 5000000 gp_vmem_protect_limit 32768（64G内存时，其他配置 依据实际内存进行调整） 16384（64G内存时，其他配置 依据实际内存进行调整） gp_segment_connect_timeout 10min 10min log_min_duration_statement Vacuum用于将数据表垃圾空间标记到FSM（自由空间映射），一般也不回收空间，当往该表插入新数据时，数据库会重 新这些空间。 FSM驻留在内存中，FSM的大小必须足够标记数据库中的所有过期记录。如果尺寸不够大,超出自由映像空间的过期记录 占用的空间将无法被VACUUM命令标记。可通过修改max_fsm_pages、max_fsm_relations放大这些参数  Vacuum Fu

Greenplum数据库 2017 年象行中国（杭州 站）第一期 Resource Queue • SQL语句并发控制 • 基于cost的并发控制 • 基于priority的CPU控制 • 内存控制 2017 年象行中国（杭州 站）第一期 Running Example • CREATE RESOURCE QUEUE rq WITH ( active_statements = 6, CREATE ROLE r1 RESOUCE QUEUE rq; • SELECT * FROM gp_toolkit.gp_resqueue_status; 2017 年象行中国（杭州 站）第一期 内存控制 • virtual memory note keeping (gp_malloc) • statement_mem • gp_resqueue_memory_policy • work_mem hang Tx1: SELECT * FROM tbl; -- hang 2017 年象行中国（杭州 站）第一期 Resource Queue • Self-deadlock – 每条SQL语句占用一个slot – extended query • prepare/bind/execute libpq protocol • cursor • named portal – SQL结束不一定释放slot

hash join 是必备的利器，缺少这些关键功能非常致命，将难于在 OLAP 领域充当大任。我们最近对基于 MYSQL 的某内存分布式数据库做 对比测试时，发现其优点是 OLTP 非常快，TPS 非常高（轻松搞定 几十万），但一到复杂多表关联性能就立马下降，即使其具有内存 计算的功能也无能为力，就其因估计还是受到 mysql 在这方面限制。 3) 扩展性方面，Postgresql 比 mysql 频的交易型小规模数据插入、修改、删除，每次事务处理的数据量不大， 但每秒钟都会发生几十次甚至几百次以上交易型事务，这类系统的衡 量指标是 TPS，适用的系统是 OLTP 数据库或类似 GemFire 的内存数 据库。 5. Greenplum MPP 与 Hadoop MPP 和 Hadoop 都是为了解决大规模数据的并行计算而出现的技术， 两种技术的相似点在于： ·分布式存储数据在多个节点服务器上 来交换数据，效率很低，MapReduce 要求每个步骤间的数据都要序列 化到磁盘，这意味着 MapReduce 作业的 I/O 成本很高，导致交互分 析和迭代算法开销很大，MPP 数据库采用 Pipline 方式在内存数据流 中处理数据，效率比文件方式高很多。 总结以上几点，MPP 数据库在计算并行度、计算算法上比 Hadoop 更加 SMART，效率更高；在客户现场的测试对比中，Mapreduce 对 于单表

11 12 [1, 5] [7, 10] [9, 12] Brin Heap Confidential │ ©2021 VMware, Inc. Brin的优势和劣势 优势： 占用空间小 创建快 劣势： 只有在数据具有一定分布特点时才有用 Confidential │ ©2021 VMware, Inc. Brin的体积 Brin tuple: 20bytes brin-bitmapscan: 2241.363 ms btree-bitmapscan: 2141.896 ms Confidential │ ©2021 VMware, Inc. 空间占用 ao: 180,198,032 atidx-btree: 222,920,704 abidx-brin: 6,553,600 30 Confidential │ ©2021 VMware

1）增加物理内存或调整SWAP交换空间； 2）调整work_mem、max_connections参数； 2018年PostgreSQL中国技术大会 微信号：laohouzi999 3）使用更严格的内存提交策略overcommit_memory： 内核参数overcommit_memory ，指定内存分配策略 可选值：0、1、2。 0， 表示内核将检查是否有足够的可用内存供应用进程使用； ； 如果有足够的可用内存，内存申请允许；否则，内存申请 失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存 状态如何。 2， 表示内核允许分配超过所有物理内存和交换空间总和的 内存 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2018年PostgreSQL中国技术大会 微信号：laohouzi999 5.故障排查步骤总结

问题一：分割阶段只需要顺序扫描一次外存，最简单的策略是读取外存数据，加 载到内存，当内存用满时，执行快速排序等内排序算法，生成一个顺串。之后清 空内存，继续读取外存数据，如此反复，直到所有外存数据处理完毕。该算法生 成的每一个顺串的大小都不会超过内存的大小，而顺串越小，合并阶段的代价 就越高，需要读取外存的次数也越多，有没有办法在分割阶段就生成大于内存 大小的顺串呢？ 归并排序的三个问题 23 替换选择算法 替换选择算法 24 Knuth 5.4.1R替换选择算法： ● 1. 初始化阶段，读取输入元组至内存，并建立最小堆。 ● 2. 弹出堆顶元组，输出到顺串文件的缓冲区，并记录该元组的排序键为 lastkey。 ● 3. 读取新元组，如果元组排序键大于等于lastkey，插入堆顶，并调整堆，使其有 序。 ● 4. 如果新元组排序键小于lastkey，将该元组放入堆尾，并将堆的大小减1。 ● 5. 重复第2步，直至堆大小变为0。 根据排序算法类型，指向Tuplesortstate 或者Tuplesortstate_mk bool delayEagerFree 某个Segment的排序节点输出最后一条元组 后是否可以提前 释放内存 36 ● ExecSort： 从下层Outer节点读取所有元组，并传递给tuplesort模块进行排序 排序节点 37 TupleSort是排序节点的核心，算法主要阶段： ● 第一阶段

调度算法保障在线业务对 CPU 的实时抢占及抖 动抑制，创新业务优先级 00M 内存回收算法保障在线业务安全可靠运行。 • 新文件系统 EulerFS：面向非易失性内存的新文件系统，采用软更新、目录双视图等技术减少文件元数据同步 时间，提升文件读写性能。 • 内存分级扩展 etMem：新增用户态 swap 功能，策略配置淘汰的冷内存交换到用户态存储，用户无感知，性能 优于内核态 swap。 测试软件： Greenplum 6.7.0 ARM cluster 集群规模： 3 Nodes (1 Master, 2 Segments) 单个 Node 规格： vCPU 数：16 内存： 32G Disk： 60G c. openEuler 20.03 LTS SP2 操作系统 内核版本： Linux host-192-168-1-14 4.19.90-2106

(Mirror) 容器化Greenplum ? + = 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略 ○ Mirror 容器化Greenplum存储管理 ○ 容器本地存储易失性 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略 ○ Mirror 容器镜像管理 容器调度 容器监控及自 定义操作 容器存储管理 容器化Greenplum ● 容器粒度 ○ Segment主机 VS. Segment实例 ● 容器资源分配 ○ CPU ○ 内存 ○ 磁盘 ● 容器间网络互联 ○ 本机网络 ○ 跨机网络 ● 容器化Greenplum部署策略 ○ Master部署策略 ○ Primary Segment部署策略 ○ Mirror

• 主节点和从主节点，主节点负责协调整个集群 • 一个数据节点可以配置多个节点实例（Segment Instances) • 节点实例并行处理查询（SQL） • 数据节点有自己的CPU、磁盘和 内存（Share nothing） • 高速Interconnect处理持续 数据流（Pipelining） Interconnect Segment Host Segment Instance Segment 39 Pivotal Confidential–Inter nal Use Only CPU资源管理 40 Pivotal Confidential–Inter nal Use Only 内存资源管理 41 Pivotal Confidential–Inter nal Use Only 备份恢复和并行copy Ÿ 重构gpbackup/gprestore – 不再锁pg_class表 ON SEGMENT 42 Pivotal Confidential–Inter nal Use Only 数据库内存储过程：TensorFlow 43 Pivotal Confidential–Inter nal Use Only 数据库内存储过程：PL/Container 44 Pivotal Confidential–Inter nal Use Only 44 ©