长期驻场支持，有临时的功能支持，甚至可能会作为用户看不见的后端支持，总之，我 们的目标是，努力解决用户的一切不违背自然规律的诉求，我们跟随着 Greenplum 的 成长，见证了 Greenplum 从闭源到开源的成长历程，一路给 Greenplum 做各种补丁 脚本，也看到了 Greenplum 的大幅进步，甚至我们以前的小技巧也不再需要，持续的 进步，带来的是生态的蓬勃发展。 Greenplum Database 化服务，用户遇到问题，反馈给专业技术支持人员，或者专业售后服务团队，他们会同 用户一起排查和解决问题，如果有需要，还会保持与研发的持续沟通，虽然以前也是这 种工作模式，但由于时区和语言文化等诸多差异，沟通链路较长，时间较久，研发的本 地化，使得沟通的效率大大提高。 GP 是一个纯软件实现的 MPP 数据库产品，采用 Share-Nothing 架构，可管理和 处理分布在多个不同主机上的大规模数据集。对于 的情况下，通过不同网段间的 Primary 与 Mirror 之间的对应关系也可以达到网络保障的效果，但依然强烈建议采用网卡绑 定的方式实现网络的高可用。建议采用支持 802.3ad 协议的交换机以实现多网口的链 路聚合，这样，在操作系统层面，多个物理网口将聚合并表现为一个 IP 地址，当任何 的网络或者交换机出现故障时，在操作系统级别将不会有任何的连接性异常的感知，只 是网络带宽出现下降，整个数据库集群的 Instance

技术目前都还不够成熟， 性能和功能上都有很多待提升的空间。相比之下，MPP 数据在数 据处理上更加 SMART，要填平或缩小与 MPP 数据库之间的性能 和功能上的差距，Hadoop 还有很长的一段路要走。就目前来看， 我们认为这两个系统都有其适用的场景。 简单来说，如果你的数据需要频繁的被计算和统计、并且你希望具 有更好的 SQL 交互式支持和更快计算性能及复杂 SQL 语法的支持， 那么你应该选择 Greenplum 建议采用以太网万兆交换机，并通过设定跨设备链路 聚 合 组（MC-LAG Multi-ChassisLink Aggregation Group） 的 方 式将两台交换机连在一起，在服务器上将网卡通过 LACP（IEEE 802.3ad/802.1ax Link Aggregation Control Protocol）协议做绑定形 成链路聚合组 (LAG Link Aggregation Aggregation Group)，如下图所示： Big Date2.indd 24 16-11-22 下午3:38 Greenplum 精粹文集 25 这样做的好处是，所有链路 设备同时对外提供服务，并 互相备份，网络设备达到了 最大的高可用和吞吐，任意 网络硬件故障都不会影响集 群的正常使用。 ·Greenplum 软件本身不支持 RDMA（Remote Direct Memory Access）协议，所以如果基于

客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 响应时间 流量分析 产品关联/捆绑 零售 存储运营分析 客户忠诚度计划 协作规划和预估 预防亏损 优化供应链 当今的数据仓库方案 基于硬件 专有，昂贵 不可扩展 针对OLTP进行了优化 主流 10 数据库行业所面临的挑战 0 1 2 3 4 5 6 7 8 9 10 1995 国家海洋局：海洋数据采集与分析 • 上海安吉物流：收入&市场分析、客户经理跟踪分析 • 中远集团：收入、发展、销售分析 案例分享（征途游戏） • 现有运行平台 – 服务器平台：SUN X4600一台，4路dual-core CPU 共8core，32GB – 存储平台：NetApp一台 – 网络平台：千兆网络 – 软件平台：RedHat linux + mysql – 应用软件：基于Apache的PHP程序 时42小时；经过两个月 的数据累加，到11月份月度数据处理时，该应用耗时达到65小时。 • 测试运行平台 – 服务器平台：SUN X4500两台，每台含2路dual-core CPU 共4core， 16GB；SUN X4200一台，2路dual-core CPU 共4core，8GB – 存储平台：每台X4500中各48块500GB硬盘，共96 * 500GB – 网络平台：每台X4500和X4200上各有4块千兆网卡

10 10 30 ● 问题三：合并阶段，如何减少合并顺串过程中磁盘的读取的顺串数量。 归并排序的三个问题 31 ● 多路归并排序 32 ● 以两路归并排序为例，需要使用4个文件分别作为输入和输出文件来存储顺串， 两路归并排序需要文件中的顺串数呈现均匀的分布 多路归并排序 文件1 文件2 文件3 文件4 32 32 0 0 0 0 16(2) 16(2) 8(4) 8(4) ● 第一阶段初始化TupleSort，通过调用函数tuplesort_begin_common，生成 Tuplesortstate。Tuplesortstate用于描述排序所需的信息 ● 第二阶段插入元组，每次调用函数puttuple_common，会根据当前TupleSort的 状态，选择将元组插入到不同的位置。 ● 第三阶段负责实际的排序逻辑，通过调用函数tuplesort_performsort，实现对已 经存储好的输入元组进行排序。根据当前TupleSort的不同状态，输入元组可能 存储在内存或者文件中，TupleSort会选择使用不同的算法进行排序。 ● 第四阶段负责输出排序后元组，在排序完成之后，每次调用函数 tuplesort_gettuple_common，即可获取排序后的元组。同样，根据当前 TupleSort的不同状态，算法选择不同的方式返回有序元组。 TupleSort 38 TupleSort

k表里。 1. StartupXlog函数发现XLOG_XACT_PREPARE日志记录进行redo，调用函数recreateTwoPhaseFile将 该日志记录中的信息放到pg_twophase目录下的文件里，每一个prepared事务对应一个文件 2. StartupXlog函数调用recoverPreparedTransaction函数读取pg_twophase目录下的文件并进行相关操 TMGXACT 分布式事务结构体 • 分布式事务id • 分布式事务管理器启动的时间戳 • 活跃分布式事务中最小的事务id，分布式快照 • session id 34 Greenplum的两阶段提交函数调用关系 35 ● 事务的实现原理和Write Ahead Log（WAL） ● 分布式事务和两阶段提交的原理 ● Greenplum两阶段提交协议的实现 ● Greenplum两阶段提交协议的优化

on Unix domain socket "/var/pgsql_socket/.s.PGSQL.5432"? 这个通常是由于不同的 psql binary 造成的，也就是说自己编译的 psql 调用了系统的 libpq 库。可以通过 ldd 或者 otool -L 查看。 解决方法： export LD_LIBRARY_PATH=/path/to/your/psql/lib 2 集群初始化工具 gpinitsystem 是Bash脚本工具，有些时候它的报错信息很不清楚。这个 时候可以 ○ 使用 -D 选项 ○ gp_bash_functions.sh 是内部一个被频繁调用执行系统命令的函数，可以通过 set -x 可以打印出所有执行的命令的详细信息。对调试 hang 问题很有效。 ● 在合适的代码处启用 Python 调试器，如果不知道什么地方合适，则在入口处。 的消息，则表示进程 attach成功，可以使用 clion进行调试了。 通过图像化窗口定位到 “ExecProcNode” 函数，通过单击下图的小红圈处，即可设置断点在 ExecAgg() 调用处。 执行 SELECT count(*) FROM students 语句，可以使用各种调试命令（例如单步执行、断点、跳 出函数等）方便的调试代码。 如上图所示，可以通过

....................................................................................... 8 完善的生态工具链 ...................................................................................................

Ø单个存储过程，可以在shell中 select func_name() 的方式调度 • 外部任务调度 Ø将整个过程封装成shell脚本，或 Python脚本 Ø用crontab在操作系统调用脚本 Ø用 opencron在图形界面调用脚本 32 Greenplum运维体系 Greenplum任务调度-opencron 33 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构

Greenplum、PostgreSQL、MySQL 以及 Oracle 等主流数据库均采用拉模型。 拉模型的每个算子都实现了从下层节点获取一条元组的 GetNext 函数，每次调用该函数都会从下 层节点返回一条元组或者 EOF 的 NULL 指针。上层节点不断地调用 GetNext 函数从下层节点获 取数据，直至数据全部获取完毕。 火山模型 postgres=# explain select * from t order