install postgresql-jdbc.noarch –y Windows 环境下 JDBC 驱动，将 jar 添加到⼯程的 BUILD PATH。 ⽰例程序1，java连接UDW，执⾏建表，插⼊操作 PostgreSQLJDBC1.java import java.sql.Connection; import java.sql.DriverManager; import java Linux操作系统 yum install postgresql-jdbc.noarch –y Windows环境下JDBC驱动，将jar添加到⼯程的BUILD PATH。 ⽰例程序1，java连接UDW，执⾏建表，插⼊操作 PostgreSQLJDBC1.java import java.sql.Connection; import java.sql.DriverManager; import java 上可以访问外⽹ ip。 例如：uhost 内⽹ ip 是 10.10.0.9 外⽹ IP 是 192.168.120.110，udw 的访问ip 是 10.10.10.1， 我们在 uhost 机器上建⽴ ssh 隧道即可通过 192.168.120.110访问 udw。在 uhost 机器上执⾏如下命令： 访问UDW数据仓库 Greenplum数据仓库 UDW Copyright © 2012-2021

Greenplum架构: Segment介绍 Segment是数据的实际存储的地方，也是一个经过改造 过的PostgreSQL数据库。它做实际的数据处理工作。 Greenplum建议在Segment host上建多个Segment数 据库，数量等于实际的CPU的core数。 Greenplum架构: 内部网络 Segment host与master是通过greenplum的内部网络互 联起来的，外部用户不需要访问这个内部网络的。 高可用之Master Mirroring 对于Greenplum Master的primary与mirror之间的同步 就是使用PostgreSQL的日志同步方案。master的 mirror可以在建库时建，也可以在建完greenplum后再 添加。 理解greenplum分布式数据库 理解GP分布式数据库 理解GP的数据分布策略 Hash分布：按分布键对数据时行hash分布，这个hash GP的SQL支持程度 基本上绝大多数PostgreSQL支持的SQL，在 greenplum都支持，如常见的建表、建索引的ddl，以及 一般的dml语句。 Greenplum3.X不支持表空间。4.0提供了支持 tablespace功能。 不支持trigger。 建表语句多了distributed by 子名外， 其它的SQL语法 基本上都与PostgreSQL一样： CREATE

索引使用： • 以数据批处理为主要功能的系统一般不需建索引 • 以并发查询为主要功能，特别OLTP查询（根据KEY，Attribute等作为筛选条件）的系统按照常用字段建索引。 • 建索引的方法：对于区别度高的字段，如账号、手机号码等使用B-Tree索引，对于区别度低的字段（<10000),采用 Bitmap索引； • 表关联时，一般不需要建索引，如果where条件的筛选性很强，建立索引可以让系统性能提升

据分析团队缺乏技 能 客户 数据科学解决⽅方案 ● 某⼤大型跨国⾦金金 融服务公司 ● 移动应⽤用 API 分析 ● 使⽤用Madlib进⾏行行聚 类分析，建⽴立会话 识别模型和主题模 型 ● 建⽴立scoring pipeline, 对新访问 的安全性进⾏行行评估 ● 使⽤用可视化⼯工具对 结果进⾏行行更更好地呈 现 背景 2017.thegiac 改良后 X 在R上对data sample进⾏行行分析， DCA闲置 ✓ 使用Greenplum+MADlib对⼤大数据 集进⾏行行了了更更充分的分析 X 没有良好的⽤用户分类体系 ✓ 建⽴立了了两套模型对典型⽤用户进⾏行行 聚类分析，对⽤用户群体和⽤用户习惯 有了了更更深⼊入的了了解，制定相应的营 销策略略 X 不不能⾼高效监测可疑Session ✓ 建立了可疑Session实时评分体系

创建含内存限制的资源队列 资源队列通过设置MEMORY_LIMIT控制该队列所有语句可以使用的内存总量。每 个主机上所有Primary可以获得的物理内存总和不得超过该主机的物理内存总量。建 议将MEMORY_LIMIT控制在该Primary可以获得的物理内存总数的90%以下。例如， 一个Host主机有512GB的物理内存，配置有6个Primary，那么每个Primary可以获 得的物理 长度不能超过100 个字符，否则会有问题，如果没有指定WITH，则所有Content的Instance都需要有 LOCATION指定的路径，且gpadmin用户拥有该路径的权限，该目录必须为空目录，建 议LOCATION指定Master的目录，其他的Content目录全部在WITH中列出。不要试图 通过修改pg_tblspc目录下软连接的指向去设置Primary和Mirror指向不同的目录， 因为 GP提供几种灵活的存储模式(或者混合模式)。在创建一张新的TABLE时，有几个 选项来决定数据如何储存在磁盘上。本节介绍这几种选项，以及出于工作负载的考虑如 何实现最佳的储存模式。 注意：为了简化建表时定义存储模式，可以设置缺省的存储选项，可以通过参数 gp_default_storage_options定义缺省存储选项。 Greenplum Database 管理员指南 V6

进程之间采⽤共享内存进⾏通信 client 和 PG 之间的通信过程 client 调⽤ libpq 库向 PG 的 Postmaster 进程发起连接请求 PG fork 出⼀个 postgres 进程与该客户端建⽴连接，postmaster 进程不再处理与该客户端的相关请求 postgres 进程接收客户端的请求，处理并返回结果。当然，响应需要经过 libpq 库的处理 基本查询流程 Query Dispatcher

堆排序算法 ● 步骤1：建立最大值堆,最大元素在堆顶 ● 步骤2：重复将堆顶元组移除并插入到排序数组，更新堆使其保持堆的性质 ● 步骤3：当堆的元素个数为零时，数组排序完毕 堆排序 11 ● 建堆 堆排序 9 5 8 1 3 6 2 1 2 5 9 8 3 6 12 ● 移除堆顶元素 堆排序 2 5 8 1 3 6 9 1 9 5 2 8 3 6 13 ●