Mirror 之间的对应关系也可以达到网络保障的效果，但依然强烈建议采用网卡绑 定的方式实现网络的高可用。建议采用支持 802.3ad 协议的交换机以实现多网口的链 路聚合，这样，在操作系统层面，多个物理网口将聚合并表现为一个 IP 地址，当任何 的网络或者交换机出现故障时，在操作系统级别将不会有任何的连接性异常的感知，只 是网络带宽出现下降，整个数据库集群的 Instance 状态将不会受到任何影响。如果 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 21 - 第二章：分布式数据库概念 GP 是一个分布式数据库集群系统。这就意味着在物理上，数据是存储在多个数据 库上的(称为 Instance)。这些独立的数据库通过网络进行通信(称为内联网络)。分 布式数据库的一个基本特征是，用户和客户端程序在访问时如同访问一个单机数据库 (GP 访问 -- 限制每个Instance上所有语句可以使用的内存 总量的上限值。导致内存使用超过该上限的语句会被取消(Cancel)从而导致得不 到执行。该参数要根据具体硬件情况进行合理的评估，从OS层面来说，物理内存 的容量用完之后，根据OS的配置，可能会使用SWAP，对于普通磁盘来说，不到万 不得已，强烈建议不要使用SWAP。  gp_vmem_idle_resource_timeout 与

5000000（资料依据项目而定）  Truncate操作不会丢失字段级统计信息，在适当条件下可仅针对系统字段执行Analyze 垃圾空间回收 • GPDB采用MVCC机制，UPDATE 或 DELETE并非物理删除，而只是对无效记 录做标记； • Update/delete操作后，数据库不会自动释放这些空间，这些垃圾空间的回收方 式： 1）Vacuum 2）Vacuum full 3）REORGANIZE 点时间会很长 – 系统表（pg_class,pg_attribute）太大，影响系统工作效率 – 系统元数据检查pg_checkcat等工具运行时间比较长 物理模型经验分享 物理模型对于系统性能有很大影响，因此需要我们特别关注。 以下来自于在某大型银行的使用经验： 行存储和列存储： • 避免过多使用列存储的原因是防止小档数过多。 • 列存储能够提升查 、客户号，这个可以提高关联条件的命中率，减少关联时数据重分布 （主要对大表） • 选用分布键同时考虑数据平均分布（一个例子，日志号不是最好的分布键，大量的空值导致资料倾斜） 物理模型经验分享（续） 分区表使用： • 不建议使用二级分区，二级分区不便于管理，而且Parser效率较低； • 二级分区可以用一级分区+Bitmap方式替代，例如按照“发生日期”做分区，然后在机构字段上将bitmap索引

pg结构组成 Ø 连接关系系统 Ø 编译执行系统 Ø 存储执行系统 Ø 事务系统 Ø 系统表 • pg逻辑和物理结构 Ø instance实例 - user - tablesapce Ø database - schema - table,view,function - data row Ø 物理文件 - oid - 表空间 - 数据文件命名 12 greenplum体系架构 greenplum的体系结构 个postgresql实例 Ø 实例分布成为 28 个Greenplum集群或postgresql单实例 • 服务器资源 Ø 三大Greenplum集群，共使用 51 台服务器资源 Ø 12台虚拟机，39台物理机 17 Greenplum现状说明 三大Greenplum集群定位分类 • 公司IDC_01机房Greenplum体系 Ø 公司第一套Greenplum集群，网络环境为千兆网 Ø 数据来

checkpoints 提高max_wal_size和checkpoint_timeout的值可以减少校验点发生的 频率 2018年PostgreSQL中国技术大会 微信号：laohouzi999 1）增加物理内存或调整SWAP交换空间； 2）调整work_mem、max_connections参数； 2018年PostgreSQL中国技术大会 微信号：laohouzi999 3）使用更严格的内存 表示内核将检查是否有足够的可用内存供应用进程使用； 如果有足够的可用内存，内存申请允许；否则，内存申请 失败，并把错误返回给应用进程。 1， 表示内核允许分配所有的物理内存，而不管当前的内存 状态如何。 2， 表示内核允许分配超过所有物理内存和交换空间总和的 内存 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2018年PostgreSQL中国技术大会 微信号：laohouzi999

2016Postgres中国用户大会 ApsaraDB for GP架构 ApsaraDB for GP 主节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 万兆网（同交换机） 物理机（SSD/SATA） 2016Postgres中国用户大会 支持OSS外部表读写 主节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 子节点 Insert into Kill –USR2 2016Postgres中国用户大会 未来规划 满足客户需求！ 列存优化 – 某些场景下提高数倍性能 CPU优化 – 对GP执行器的静态编译优化 流式备份 – 实时的物理备份 社区参与 – 成为社区积极的贡献者 2016Postgres中国用户大会 2016Postgres中国用户大会

表数据在载⼊后经常 update; 表数据经常 insert； 查询中选择⼤部分的列； 列存储的应⽤场景： 列存储⼀般适⽤于宽表（即字段⾮常多的表）。在使⽤列存储时，同⼀个字段的数据连续保存在⼀个物理⽂件中，所以列存储的压缩率⽐普通压缩表的压缩率要⾼很多，另外在多数字段中筛 选其中⼏个字段中，需要扫描的数据量很⼩，扫描速度⽐较快。因此，列存储尤其适合在宽表中对部分字段进⾏筛选的场景。注意：列存 表数据在载⼊后经常update; 2. 表数据经常insert； 3. 查询中选择⼤部分的列； 列存储的应⽤场景： 列存储⼀般适⽤于宽表（即字段⾮常多的表）。在使⽤列存储时，同⼀个字段的数据连续保存在⼀个物理⽂件中，所以列存储的压缩率⽐普通压缩表的压缩率要⾼很多，另外在多数字段中筛 选其中⼏个字段中，需要扫描的数据量很⼩，扫描速度⽐较快。因此，列存储尤其适合在宽表中对部分字段进⾏筛选的场景。 列存储的表必须是追加表（Appendonly 余的。 � 8. 在⼤量数据加载时，删除索引：如果要向表中加载⼤量数据，考虑加载数据前删除索引，加载后重新建⽴索引的⽅法。这样的操作通常⽐带着索引加载要快。 9. 考虑聚簇索引：聚簇索引是指数据在物理上，按照索引顺序存储。如果您访问的数据在磁盘是随机存储，那么数据库就需要在磁盘上不断变更位置读取您需要的数据。如果数据更加紧 密的存储起来，读取数据的操作效率就会更⾼。例如：在⽇期列上创建聚簇索引

Greenplum 内部互连的 示意图如下图所示： 1. 网络交换机 从上图中可以看出 Greenplum 并不是完全 sharednothing 的架构， Greenplum 是通过以太网络将多台物理机连在一起，也就是网络资源 是大家要共享的，所以在部署 Greenplum 集群的时候，一定要规划好 网络设备的接入，在达到性能最大的同时，也要考虑大流量对现有业 务系统是否造成影响。 Greenplum 与触发器机制。所以，Pivotal 与 Protegrity 合作，一起简化了 Greenplum 中静态数据的加密操作。 Protegrity 可提供一组在专门的转型流程中加密数据的功能。启用功能 之后，物理数据将会采用新的格式保存在磁盘上以满足静态数据的加 密要求。解密数据、确定用户是否可以访问全部或者部分的数据也是 采用一个相似的流程。 此功能通过在加密之前捕获用户信息并将凭证传递至安装在所有 Greenplum

GPDB：为大数据存储、计算、挖掘而设计 Ÿ 标准 SQL 数据库：ANSI SQL 2008 标准，OLAP，JDBC/ODBC Ÿ 支持ACID、分布式事务 Ÿ 分布式数据库：线性扩展，支持上百物理节点 Ÿ 企业级数据库：全球大客户超过 1000+ 安装集群 Ÿ 百万行源代码，超过10年的全球研发投入 Ÿ 开源数据库(greenplum.org)，良性生态系统 5 Pivotal Confidential–Inter

Confidential │ ©2021 VMware, Inc. 12 除了支持数据在不同的 segment 节点上水平分布以外，还支持在单个节点按照不同的标准进行分 区，将单个节点上一个逻辑上的大表分割成物理上的几块，且支持多级分区。 Greenplum 目前支持的分区方法有： l 范围分区：根据某个列的时间范围或者数值范围对数据进行分区。譬如以下 SQL 将创建一个按天分区的 分区表，将 2021-01-01

3.X的版本，segment 的primary与 mirror之间是做的逻辑同步，mirror端的数据库实际上 也是可以读写的。而Greenplum4.0版本后，primary与 mirror实际上是物理同步，这时mirror一直处于恢复状 态，不能读也不能写。 高可用之Master Mirroring 对于Greenplum Master的primary与mirror之间的同步 就是使