greenplum.org 博文 资料 文档 项目 全新的问答论坛 分布式事务和 两阶段提交协议 6 ● 事务实现原理和Write Ahead Logging（WAL） ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化 Outline 7 事务的属性：ACID 属性 含义 数据库系统的实现 Atomic Atomic 原子性 事务中的操作要么全部正确执行，要么完全不 执行。 Write Ahead Logging，分布式事务：两阶段提交协议 Consistency 一致性 数据库系统必须保证事务的执行使得数据库 从一个一致性状态转移到另一个一致性状态。 （满足完整性约束） 实现对A、I、D三个属性的支持 Isolation 隔离性 多个事务并发地执行，对每个事务来说，它并 不会感知系统中有其他事务在同时执行。 storage中的页面时，必须记录undo log。保 证事务的原子性。 第二点：No-Force policy。提交事务时，必须记录redo log。保证事务的持久性。 Write Ahead Logging 采用WAL协议的恢复算法: Dr. C. Mohan ARIES: Algorithms for Recovery and Isolation Exploiting Semantics, 1993, IBM DB2

...................................................................................... - 241 - 外部表协议 .................................................................................................. .............................................................................. - 258 - 使用 gpfdist 协议外部表导出数据 ................................................................... - 258 - 使用基于命令的 WEB 型外部表导出数据 之间的通信和数据传输，网络层可以使用标准的 以太网协议。不要认为网络只是连通作用，请按照 GP 的安装部署要求，必须使用万兆 网络作为内部互联网络，否则，一定会遭受很多网络方面的困扰。 在缺省情况下，网络层使用 UDPIFC 协议。这是经过改善的 UDP 协议，在 UDP 协 议的基础上增强了数据包校验，其可靠性与 TCP 协议相似，但其性能和扩展性远好于 TCP 协议。当集群规模较小，同时，网络的稳定性较差的时候，如果

联起来的，外部用户不需要访问这个内部网络的。 Segment 与Segment之间是有网络连接的，所以 Segment之间可以直接交互数据的。 Greenplum默认使用UDP协议，不过我们发现UDP有 时不稳定，我们一般都使用TCP协议。使用TCP协议， greenplum最多1000个segment。 Greenplum中的高可用方案 Segment的mirror 当配置了segment mirror，当segment

Aggregation Group） 的 方 式将两台交换机连在一起，在服务器上将网卡通过 LACP（IEEE 802.3ad/802.1ax Link Aggregation Control Protocol）协议做绑定形 成链路聚合组 (LAG Link Aggregation Group)，如下图所示： Big Date2.indd 24 16-11-22 下午3:38 Greenplum 精粹文集 ·Greenplum 软件本身不支持 RDMA（Remote Direct Memory Access）协议，所以如果基于 Infiniband 交换机对 Greenplum 集 群组网，必须在服务器上安装硬件厂商提供的网络驱动，并通过 IPoIB(InternetProtocol over InfiniBand) 协议进行转换，之前遇到某 客户因为驱动和服务器硬件兼容问题，压力一大，服务器自就会自 动重启，最后又将网络设备改回万兆交换机。 Greenplum 本身，还要关注集群中各 硬件的状况，及时发现及时处理。硬盘状态、阵列卡状态、硬件告警、 操作系统告警、空间使用率等都是应关注的重点。这些都可通过厂商 提供的工具，编写监控程序，SNMP 协议对接企业监控平台等手段提 升日常巡检和监控的效率。 针对 Greenplum，DBA 需要关注重点： ·Greenplum 的状态：Standby master 的同步状态往往容易被忽略。 通过

'|';" hostIP：udw访问id UserName ：访问数据的⽤⼾名 DB：数据库名称 employee：表名 外部表并⾏加载数据 外部表并⾏加载数据 外部表并⾏加载数据是利⽤http协议实现的⼀个⽂件服务器，⽤于创建udw的外部⽂件表。使⽤外部表并⾏加载数据可以让udw的每个⼦节点并⾏的加载数据、⼤⼤的加快数据导⼊udw的 速度。在加载数据的时候我们可以先创建⼀个外部表，然后通过INSERT hostIP：udw访问id UserName ：访问数据的⽤⼾名 DB：数据库名称 employee：表名 5.3 外部表并⾏加载数据 外部表并⾏加载数据 外部表并⾏加载数据是利⽤ http 协议实现的⼀个⽂件服务器，⽤于创建 udw 的外部⽂件表。使⽤外部表并⾏加载数据可以让 udw 的每个⼦节点并⾏的加载数据、⼤⼤的加快数据导⼊ udw 的速度。在加载数据的时候我们可以先创建⼀个外部表，然后通过

Greenplum 基于世界上最先进的开源数据库 PostgreSQL。 2015 年 10 月 Pivotal 正式把投资超过 10 年的 Greenplum 开源，采用 Apache 2 协议，成为世界 上第一款成熟的开源 MPP 数据库。开源之后，Greenplum 社区发展活跃，短短 2 年左右，在全 球有上百来自美国、中国、俄罗斯、日本、英国、德国、芬兰、瑞士等国家的贡献者，获得社会