# %r = remote host and port 2018年PostgreSQL中国技术大会 微信号：laohouzi999 4）认证方式pg_hba.conf vi $PGDATA/pg_hba.conf # TYPE DATABASE USER ADDRESS METHOD 56.17/32 md5 host 参数表示安装PostgreSQL的主机 all 第一个all 表示该主机上的所有数据库实例 all 第二个all 表示所有用户 10.10.56.17/32 表示需要连接到主机的IP地址，32表示IPV4 md5 表示验证方式 2018年PostgreSQL中国技术大会 连接方式（type） 共有三种： all表明该记录匹配所有数据库 用户名（user） USER指定哪个数据库用户（PostgreSQL正规 的叫法是角色，role）。 多个用户以逗号分隔。 允许的客户端（ADDRESS） 格式为ip-address/mask 采用local连接方式不必填写，该项可以是IPv4地址或IPv6地址，可以定义某 台主机或某个网段。 认证方法（METHOD） M

和相关技术领域，主要工作职责是 售后支持，帮助我们的 Greenplum 用户解决生产需求和技术问题，我们坚持提供最专 业的建议和解决方案，提供最专业的技术支持服务，提供最专业的落地实施支持。 十多年来，参与过的项目不计其数，有 POC 测试，有开发支持，有故障支持，有 长期驻场支持，有临时的功能支持，甚至可能会作为用户看不见的后端支持，总之，我 们的目标是，努力解决用户的一切不违背自然规律的诉求，我们跟随着 Greenplum ........................................................................................ - 24 - 创建用户 User Role ........................................................................................ ........................................................................................ - 25 - 创建用户组 Group Role ......................................................................................

GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 运行模式 GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 • 业务审计 System Admin • 管理集群 • 数据备份恢复 管理模式 GPDB的数据安全 用户 • 连接数据库 pg_waldump可以直接读取并显示预写日志 潜在风险（三） GPDB的数据安全 数据需要加密 • 机密数据 • 知识产权保护 • 审计要求 用户数据存在直接暴露的风险 • 非部门员工运维（原厂，主机厂或者合作伙伴） • 事后审计难度很大 • 服务器数据被盗（托管或云部署） 用户的问题 现有解决方案 基于操作的系统的硬盘加密 • 只能防范服务器硬盘被盗 • 对运维安全无能为力 基于pgcypto的加密 GPDB数据透明加密方案设计 GPDB TDE GPDB透明加密 加密目标 • 表数据 • 预写日志数据 • 主从节点所有数据 • 索引及其他表辅助数据 • 磁盘缓存文件 设计目标 • 对用户和数据库透明 • 高性能，使用CPU加密指令集 • 内核原生 GPDB透明加密 加密 Planer TDE key Data (plain) Data (Encrypted) Executeor

Data Flow ETL 本地存储 HDFSS 云对象 存储 GemFire Spark 其他 RDBMSes 多结构数据 PIVOTAL GREENPLUM 平台 原生接口 分析应用 用户 JDBC、OBBC Teradata SQL Apache MADlib Python. R、 Java、Perl、C Apache SOLR PostGIS ANSI SQL 其他数据库 SQL Greenplum Database 中，这种不受限于基础架构的方法的大部分优势都 具有同样强大的作用。在 Greenplum Database 上部署分析系统时，用户还可获得一些额外的优势： • Greenplum Database 可消除平台 / 供应商制约。用户可通过不同供应商获得针对 Greenplum 的服务和支持。 • Greenplum Database 在开发时采用的是以社区 / 客户为焦点 客户为焦点的开发模式。客户可通过多种开放可用的方法对总 体产品方向产生影响，而这又会加快产品创新。 客户能够在群集中的一组初始服务器上部署 Pivotal Greenplum，并能在数据存储和用户需求增加时扩充配置中的服务器数 量，且无需卸载再重新加载数据。随着越来越多的客户将其生产数据集迁移到公有云中，这种灵活性将成倍增长。Pivotal Greenplum 目前可在 Amazon Web Services、Microsoft

Ø事务大，频率相对小，并发低 • 未来的数据 —— 趋势分析 Ø非实时，离线+在线流系统，趋势分析 Ø算法分析，持续计算 5 数据仓库体系架构 OLAP场景举例 • 业务相关场景 Ø用户状态 （注册数，活跃数，并发量，峰值） Ø金币状态 Ø道具/物品状态 Ø对账状态 Ø活动反馈 • 架构相关场景 Ø不同数据量，不同事务特点，不同查询需求 Ø历史数据归档与冷热分离 Ø实时与延时需求的权衡 部署流程 Ø 规划部署方案 Ø 准备硬件资源 Ø 修改系统参数 Ø 安装 Greenplum 软件 / postgresql软件 Ø 初始化实例 Ø 修改实例参数文件 Ø 初始化业务所需库表环境、用户环境 Ø 加载数据 Ø 业务程序访问 23 Greenplum运维体系 环境创建与部署 • 部署注意点 Ø 资源要充足（ETL，管理节点，数据节点，数据集市） Ø 万兆网络 （网络环境对功能和性能的影响） • 表的命名 Ø GP内所有名称都小写 Ø table_name命名要符合命名规则，做到见名知义 36 Greenplum开发规范 用户与权限规范 • 四层授权保保障 Ø 角色 role ： 管理数据库内对象权限 Ø 用户 user ： 用户认证权限 Ø pg_hba.conf ： 实例权限配置文件 Ø iptables : 防火墙IP访问配置策略 • 账号类型划分 Ø 管理账号 Ø

历史数据和不常访问的数 据存储在 HDFS 或者其他 外部系统中 Ÿ 无缝查询所有数据 Ÿ Text, CSV, Binary, Avro, Parquet 格式 6月 5月 10月 9月 8月 用户自定义数据存储格式 14 Pivotal Confidential–Inter nal Use Only 大规模并行数据加载 • 高速数据导入和导出 – 主节点不是瓶颈 – 10+ TB/小时/Rack Use Only 解析器 主节点Segment 系统表 优化器 分布式事务 调度器 执行器 解析器执行词法分 析、语法分析并生 成 解析树 客户端 主节点接受客户连接， 处理请求，执行认证 解析器 主节点 17 Pivotal Confidential–Inter nal Use Only 优化器 本地存储 主节点Segment 系统表 分布式事务 Interconnect

UDW 的客⼾端 ⽀持通过 JDBC、ODBC、PHP、Python、命令⾏ Sql 等⽅式访问 UDW 2. Master Node：访问 UDW 数据仓库的⼊⼝ 接收客⼾端的连接请求 负责权限认证 处理 SQL 命令 调度分发执⾏计划 汇总 Segment 的执⾏结果并将结果返回给客⼾端 3. Compute Node： Compute Node 管理节点的计算和存储资源 每个 Compute

Postgres Conference China 2016 中国用户大会 Postgres Conference China 2016 中国用户大会 Greenplum 5.0 and Roadmap Brian Lu Pivotal 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Safe Harbor • “Any information obligation to update forward looking information in this presentation.” 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Greenplum is Growing Steady • Greenplum is Growing Steady – Operating in 34 Greenplum in 2016 – Major Greenplum 5.0 release planned early 2017 2016Postgres中国用户大会 Postgres Conference China 2016 中国用户大会 Greenplum Database Overview • Massively Parallel Processing (MPP) database system

2016Postgres中国用户大会 目 录 content ApsaraDB for GP的定位 ApsaraDB for GP的内核优化 未来的规划 2016Postgres中国用户大会 ApsaraDB for GP的定位 2016Postgres中国用户大会 ApsaraDB for GP的定位 GP的优势？ 与其他技术的对比？ 为什么上云？ 2016Postgres中国用户大会 本地高效存储 +高速网络 +预置稳定资源 = = 2016Postgres中国用户大会 GP vs. RDS? Select count(*) from customer group by city Return Hash Scan 主机 Scan Hash MPP处理举例 2016Postgres中国用户大会 GP vs. RDS? Select count(*) from MPP处理举例 2016Postgres中国用户大会 GP vs. RDS? Select count(*) from customer group by city HashAgg Hash Scan 主机 Hash Scan Hash Scan 主机 Hash Scan MPP处理举例 2016Postgres中国用户大会 GP vs. RDS? Select

不必去重新设计开发，而且把数据库底层交给其它专业化组织来开 发（对应到 Postgresql 就是社区），还可充分利用到社区的源源不 断的创新能力和资源，让产品保持持续旺盛的生命力。 这也是我们在用户选型时，通常建议用户考察一下底层的技术支撑 是不是有好的组织和社区支持的原因，如果缺乏这方面的有力支持 或独自闭门造轮，那就有理由为那个车的前途感到担忧，一个简单 判断的标准就是看看底下那个轮子有多少人使用，有多少人为它贡 乎在这些 OLAP 功能上都比 mysql 更甚一筹。 5) Postgresql 许可是仿照 BSD 许可模式的，没有被大公司控制，社区 比较纯洁，版本和路线控制非常好，基于 Postgresql 可让用户拥有 更多自主性。反观 Mysql 的社区现状和众多分支（如 MariaDB）， 确实有些混乱。 Big Date2.indd 5 16-11-22 下午3:38 6 相信这些特点已经足够了，据说很多互联网公司采用 ostgis、pgcrypt 等， 对于其它模块，用户可以自行将 contrib 下的代码与 Greenplum 的 include 头文件编译后，将动态 so 库文件部署到所有节点就可进行测 试使用了。有些模块还是非常好用的，例如：oraface，基本上集成了 Oracle 常用的函数到 Greenplum 中，曾经在一次 PoC 测试中，用户 提供的 22 条 Oracle SQL 语句，不做任何改动就能运行在