..................................................................................... - 24 - 角色与权限安全的最佳实践 ............................................................................................ - ...................................................................................... - 31 - 第四章：配置客户端认证 ............................................................................................. .......................................................................................... - 48 - 配置与使用资源组 ............................................................................................

目录结构，都有各自的一套 Postgresql 数据库守护进 程（甚至可以通过 UT 模式进行单个实例的访问）。正因为如此，甚 至一个运行在单节点上的 GreenplumDB 也是一个小型的并行计算架 构，一般一个节点配置 6~8 个实例，相当于在一个节点上有 6~8 个 Postgresql 数据库同时并行工作，优势在于可以充分利用到每个节点 的所有 CPU 和 IO 能力。 Greenplum 单个节点上运行能力比其它数据库也快很多，如果运行在 同规格的计算服务器，后续扩容也要保证新加机器的性不能低于原有 机器，这是由于 MPP 架构本身存在木桶效应，单台机器的性能短板， 很可能导致整体集群变慢，虽然 Greenplum 可以根据具体的硬件配置， 初始化的时候调整每台计算节点部署的实例数，但从具体实施看，极 少有客户这么做。 Segment 节点推荐采用硬件规格如下：两块万兆网卡（一般多为单网 卡双网口）用于内部互连，1-2 块千兆网卡用于带外管理和接入客户 盘插入到灾备机，由于 RAID 信息写在磁盘上，对调磁盘后，所有 数据信息仍然保留，这样就能避免数据同步带来的性能损耗，这种 方式要求集群所有机器采用相同规格的 RAID 卡。 以下是我们新一代一体机硬件和机柜配置，大家可以参考： Big Date2.indd 27 16-11-22 下午3:38 28 4. ETL 服务器 ETL 服务器是数据的临时存放区，由于 Greenplum 服务器并行加载

.............................................................................................. 8 安全可信 ................................................................................................ ....................................................................................... 11 利用容器实现安全分析 ................................................................................................ 务场景，能够处理多种并发混合工作负载，专为满足在多结构数据环境中进行实时分析的需求而设计。 欧拉开源操作系统是一款面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多 样性计算，致力于提供安全、稳定、易用的操作系统。 Greenplum 与欧拉开源社区强强联手，不仅是双方业务用户所期盼的，同时也是 Greenplum 社区与对中国本地开源社 区的深入合作尝试。本次合作对双方打造丰富应用生态注入了鲜活动力！

Enterprise Credibility Aging Proprietary Legacy Scalable, Open Software-Based Commodity HW • 用户人数 • 安全度 • 查询、报告、分析的数量 • 数据的高度多样性 • 大量定制数据 • 监管要求 商务智能/数据仓库发展趋势 一切都在增长! 数据仓库工作量：数据膨胀 面临的新难题是如何处理大规模数据 面临的新难题是如何处理大规模数据 过去的10年 现在 HPC 企业 SME 万亿字节 千兆字节 兆字节 千万亿字节 万亿字节 千兆字节 行业商务智能解决方案的实例 政府 电信 金融服务 公民服务 国家安全 电子政务 法规实施和监管 人力资本管理 信息传播 合规性报告 资产组合分析 客户报表 电汇通知 分部记分卡 客户关系管理、收 购和盈利率 欺诈检测 欺诈分析 客户流失分析 现在的解决方案 12 Greenplum愿景：企业数据集合 13 • 在企业内创建统一的数据运算平台 • 企业所有者可以直接控制其数据实例 • 通过实体整合提供企业级数据访问功能 • 灵活的扩展和配置降低了投资的平均风险 源文件 源数据 源数据 源文件 数据仓库和分析应 用程序 Greenplum数据架构 商用硬件集群 分析 数据 市场 企业数 据仓库 企业数据集合：主要的优势

⼆、 UDW 接⼊ SuperSet UDW 使⽤案例 使⽤案例 案例⼀ 利⽤ logstash+Kafka+UDW 对⽇志数据分析 案例⼆ 基于UDW实现⽹络流分析 PXF 扩展 扩展 配置 PXF 服务 创建 EXTENSION 读写 HDFS ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 4/206 194 196 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 10/206 2.选择计算节点机型、计算节点数量以及付费⽅式。 其中可选的机型配置有： 机型 机型 名称 名称 配置 配置 存储密集型 ds1.large 4核 24G 2000G(SATA) 存储密集型 ds1.6xlarge 24核 144G 12000G(SATA) 计算密集型 dc1.large 6.5 64位 1. 安装 postgresql odbc驱动 # yum install postgresql-odbc.x86_64 -y 2. 编辑/etc/odbcinst.ini⽂件，配置odbc驱动 Description = ODBC for PostgreSQL Driver = /usr/lib/psqlodbc.so Setup = /usr/lib/libodbcpsqlS

Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 内核参数  通常情况下，内核参数按照GPDB安装手册配置，如需要增加连接数支持，以下参数需要增大  kernel.shmmax = 1000000000  kernel.sem = 250 512000 100 2048  Redhat gp_autostats_on_change_threshold 5000000 5000000 gp_vmem_protect_limit 32768（64G内存时，其他配置 依据实际内存进行调整） 16384（64G内存时，其他配置 依据实际内存进行调整） gp_segment_connect_timeout 10min 10min log_min_duration_statement Instance实例数的配置建议 • Instance是GPDB的最小并行单元，每个Segment 节点一般配置4~8个Instance，初始化完成后很 难修改，需要提前规划； • 每个Instance都是一套独立的进程，当客户端 发起一个请求时，每个Instance都将FORK子进 程并行工作； • 对于并发请求高、面向于复杂的灵活查询的系 统，建议每个Segment配置4个或以下Instance，

postgres 336 Dec 8 11:30 postgresql-Sat.log -bash-4.1$ 2018年PostgreSQL中国技术大会 微信号：laohouzi999 2.日志的配置 2018年PostgreSQL中国技术大会 微信号：laohouzi999 -bash-4.1$ cat postgresql.conf |egrep -i "Log_directory| ALTER,和DROP 语句。mod记录所有ddl 语句,加上数据修改语句INSERT,UPDATE等,all记录所有执行的 语句，将此配置设置为all可跟踪整个数据库执行的SQL语句。 log_duration = off 记录每条SQL语句执行完成消耗的时间，将此配置设置为on, 用于统计哪些SQL语句耗时较长。 记录校验点的信息 log_checkpoints = on log_connections 认证失败”的错误，明明数据库用户已经createuser。 原因就在于此，使用了ident认证方式，却没有同名的操作系统用户或没 有相应的映射用户。 md5 密码是以md5形式传送给数据库，较安全，且不需建立同名的操作系统用 户。 password password是以明文密码传送给数据库，建议不要在生产环境中使用。 trust trust是只

任务管理 服务 加载 & 数据联邦 高速数据加载 近实时数据加载 任意系统数据访问 存储 & 数据访问 混合存储引擎（行存&列存） 多种压缩，多级分区表 索引（B树，位图，GiST） 安全性 语言支持 标准SQL支持，SQL 2003 OLAP扩展 支持 MapReduce 扩展编程语言 (Python,R, Java, Perl, C/C++） 第三方工具 BI 工具 Confidential–Inter nal Use Only MPP(大规模并行处理）无共享体系架构 从主节点 … 主节点 SQL • 主节点和从主节点，主节点负责协调整个集群 • 一个数据节点可以配置多个节点实例（Segment Instances) • 节点实例并行处理查询（SQL） • 数据节点有自己的CPU、磁盘和 内存（Share nothing） • 高速Interconnect处理持续

GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 运行模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 GPDB的数据安全 用户 • • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 GPDB为单独数据库软件 • 非一体机 • 缺少对硬件和系统的控制 潜在风险（一） GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 需要登录到系统进行运维 • 可以访问数据库二进制文件 可以访问预写日志文件 潜在风险（二） GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 运维模式 • 原厂服务，主机厂或者第三方运维 数据文件为明文二进制文件 • 直接通过Linux自带工具（strings, hexdump）访问 • pg_waldump可以直接读取并显示预写日志 潜在风险（三） GPDB的数据安全 数据需要加密 • 机密数据 • 知识产权保护

Greenplum 基于 MPP（大规模并行处理）架构构建，具有良好的弹性和线性扩展能力，并内置 并行存储、并行通讯、并行计算和优化技术。同时，Greenplum 还兼容 SQL 标准，具备强大、 高效、安全的 PB 级结构化、半结构化和非结构化数据存储、处理和实时分析能力，可部署于企 业裸机、容器、私有云和公有云中。值得一提的是，作为 OLAP 型的大数据平台, Greenplum 同 时还能够支持涵盖 eau、Anaconda、 Microstrategy、Boundless、Zattset、Datometry 等，涵盖 ETL、商业智能、高级分析、可视化、 集成分析、GIS 数据处理、迁移、安全和管理等各个领域。 更多信息请访问 greenplum.cn。