...................................................................................... - 37 - 第五章：访问数据库 ............................................................................................... ......................................................................................... - 293 - 访问 Master Only 模式的 Master .......................................................................... - GP 数据库来说，一个数据库集群是 由多个独立的 PostgreSQL 实例构成的，它们分布在不同的主机上，实例之间协同工 作，用户可以像使用一个普通的单机数据库那样，进行访问和执行 SQL 操作。其中 Master 是整个系统的访问入口，负责处理客户端的连接和 SQL 命令、协调系统中的 其他实例协同工作，计算实例负责管理和处理具体的业务数据，并将处理结果反馈给 Master。 这一章节介绍组成

用 Python、C、Perl、TCL、 PLSQL 等等语言来扩展功能，在后续章节中，我将展现这种扩展 是如何的方便，另外，开发新的功能模块、新的数据类型、新的索 引类型等等非常方便，只要按照 API 接口开发，无需对 PG 重新编译。 PG 中 contrib 目录下的各个第三方模块，在 GP 中的 postgis 空间 数据库、R、Madlib、pgcrypto 各类加密算法、gptext 全文检索都 实例层级。安装过 Greenplum 的同学应该都看到每个实例都有自己 的 Postgresql 目录结构，都有各自的一套 Postgresql 数据库守护进 程（甚至可以通过 UT 模式进行单个实例的访问）。正因为如此，甚 至一个运行在单节点上的 GreenplumDB 也是一个小型的并行计算架 构，一般一个节点配置 6~8 个实例，相当于在一个节点上有 6~8 个 Postgresql 数据库同时 数据平台等系统， MPP 数据库有明显的优势。 Big Date2.indd 17 16-11-22 下午3:38 18 而如果你的数据加载后只会被用于读取少数次的任务和用于少数次 的访问，而且主要用于 Batch（不需要交互式），对计算性能不是 很敏感，那 Hadoop 也是不错的选择，因为 Hadoop 不需要你花费 较多的精力来模式化你的数据，节省数据模型设计和数据加载设计 方

数据流转过程 • 1 业务数据的产生 —— OLTP • 2 业务数据的中转 —— ETL服务器 • 3 数据的存储和计算 —— OLAP集群 • 4 结果数据的展现 —— 数据集市 • 5 访问接口的封装 —— API接口服务器 • 6 最终数据的显示 —— 前端界面 • 7 结果数据的交互 —— OLTP，趋势分析 • 8 OLAP数据流转 —— dbsync平台 7 数据仓库体系架构 数据架构示意图 master管理节点 Ø segment数据节点 • greenplum的核心功能 Ø 无共享MPP Ø 多态存储 Ø 高效数据加载 （gpfdist+外部表，每小时4TB+） Ø 分布分区 Ø 数据压缩 Ø 外部访问 15 Greenplum现状说明 三 Greenplum体系架构 二 数据仓库体系架构 一 Greenplum开发规范 五 Greenplum运维体系 四 Greenplum扩展规划 准备硬件资源 Ø 修改系统参数 Ø 安装 Greenplum 软件 / postgresql软件 Ø 初始化实例 Ø 修改实例参数文件 Ø 初始化业务所需库表环境、用户环境 Ø 加载数据 Ø 业务程序访问 23 Greenplum运维体系 环境创建与部署 • 部署注意点 Ø 资源要充足（ETL，管理节点，数据节点，数据集市） Ø 万兆网络 （网络环境对功能和性能的影响） Ø 节点规划 （数据节点6-10个segment节点）

pre-processing SQL Massively Parallel Processing ⼯工作原理理 2017.thegiac.com C API (Greenplum, PostgreSQL, HAWQ) 底层抽象层 (数组操作、类型转换、数值计算库等) 数据库内建函 数 ⽤用户接⼝口 ⾼高层抽象层 (迭代控制器器) 用户案例例2 基于API日志的⾦金金融产品⽤用户分析 2017.thegiac.com 问题 ● 更更好地理理解不不同种 类的⽤用户 ● 更更好地了了解⽤用户与 APP的交互 ● 对实时API请求进 ⾏行行分类和安全检测 ● 数据量量⼤大，现有数 据分析团队缺乏技 能 客户 数据科学解决⽅方案 ● 某⼤大型跨国⾦金金 融服务公司 ● 移动应⽤用 API 分析 类分析，建⽴立会话 识别模型和主题模 型 ● 建⽴立scoring pipeline, 对新访问 的安全性进⾏行行评估 ● 使⽤用可视化⼯工具对 结果进⾏行行更更好地呈 现 背景 2017.thegiac.com 数据源 • 数据 - API 访问⽇日志 - 客户数据 • 45 天区域数据 • 50亿条数据

74 74 74 74 75 76 76 79 81 82 90 92 101 102 103 104 106 128 访问 访问UDW数据仓库 数据仓库 1 客⼾端⼯具访问UDW 2 图形界⾯的⽅式访问UDW 数据导⼊ 数据导⼊ insert加载数据 copy加载数据 外部表并⾏加载数据 从hdfs加载数据 从mysql中导⼊数据 从oracle中导⼊数据 194 196 198 198 198 200 201 201 202 202 202 203 203 203 203 203 204 205 206 访问 Hive 访问 HBase 使⽤ 使⽤ pg_dump 迁移数据 迁移数据 安装 greenplum-db-clients 使⽤ pg_dump 导出数据 使⽤ psql 重建数据 利⽤ 利⽤ hdfs 数据吗？ UDW中怎么kill掉正在执⾏的SQL语句？ 如何通过外⽹访问UDW？ 节点扩容时数量有没有什么限制？ 数据仓库价格 数据仓库价格 ⽬录 Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 5/206 概览 概览 产品架构 快速上⼿ 操作指南 访问UDW数据仓库 数据导⼊ 开发指南 udw优化指南 表膨胀 UDW中Json类型

一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 • https://github.com/greenplum-db/gpdb GPDB GPDB的数据安全 用户 • 连接数据库 • 运行业务 DBA • 管理数据库 需要登录到系统进行运维 • 可以访问数据库二进制文件 • 可以访问数据库数据文件 • 可以访问预写日志文件 潜在风险（二） GPDB的数据安全 System Admin • 管理集群 • 数据备份恢复 运维模式 • 原厂服务，主机厂或者第三方运维 数据文件为明文二进制文件 • 直接通过Linux自带工具（strings, hexdump）访问 • pg_waldump可以直接读取并显示预写日志 支持Python/R/Java直接访问处理数据库数据 • https://github.com/greenplum-db/gpdb Recall pgcypto的问题 一款开源的HTAP数据库: • MPP架构 • 完整的事务+ACID+标准SQL支持 • 支持上千个节点的部署 • 支持PB级文件 • 丰富的ETL和外部组件 • 支持Python/R/Java直接访问处理数据库数据 • https://github

客户端访问和工具 多级容错机制 无共享大规模并行处理 先进的查询优化器 多态存储系统 客户端访问 ODBC, JDBC, OLEDB, etc. 核心MPP 架构 并行数据流引擎 高速软数据交换机制 MPP Scatter/Gather 流处理 在线系统扩展 任务管理 服务 加载 & 数据联邦 高速数据加载 近实时数据加载 任意系统数据访问 存储 & 数据访问 混合存储引擎（行存&列存） 查询列子集时速度快 Ÿ 不同列可以使用不同压缩方式: gzip (1- 9), quicklz, delta, RLE Ÿ 访问多列时速度快 Ÿ 支持高效更新和删除 Ÿ AO 主要为插入而优化 表‘SALES’ 11月 列存储 行存储 7月 一年前 二年前 外部表 Ÿ 历史数据和不常访问的数 据存储在 HDFS 或者其他 外部系统中 Ÿ 无缝查询所有数据 Ÿ Text, CSV, Binary

Client Host Greenplum架构: Master介绍 Master服务器是外面用户访问greenplum的入口。用户 都是连接master服务器的，对于外部用户来说，他并不 与segment host服务器发生任何关系，外部用户的网络 只需要与master服务器连通就可以了，不需要访问 segment host服务器。 所有的用户连接都是直接连接到master服务器上的。 Greenplum数据库是基于PostgreSQL数据库的，所以 可以用PostgreSQL数据库的工具来连接Greenplum数 据库，如java程序可以使用PostgreSQL的jdbc驱动来 访问Greenplum数据库，也可以使用psql工具或 pgadminII来管理Greenplum。 Greenplum架构: Master介绍 Greenplum的Master数据库也是一个被改造过的 host上建多个Segment数 据库，数量等于实际的CPU的core数。 Greenplum架构: 内部网络 Segment host与master是通过greenplum的内部网络互 联起来的，外部用户不需要访问这个内部网络的。 Segment 与Segment之间是有网络连接的，所以 Segment之间可以直接交互数据的。 Greenplum默认使用UDP协议，不过我们发现UDP有 时不稳定，我们一般都使用TCP协议。使用TCP协议，

waiting状态  解决方法： – 如果是被其它回话锁了，需要等待其它回话结束或者Cancel； – 极端的情况下，某些回话虽然终止了，但事务没有正常终止，此时可以用UTILITY模式访问对应的Instance，将 其终止 ex： PGOPTIONS='-c gp_session_role=utility' psql-h segment_host –d dbnme –p 40000 数据库启动：gpstart  常用可选参数：-a:直接启动，不提示终端使用者输入确  -m:只启动master实例，主要在故障处理时使用 -R:进入限制模式，只有超级用户能访问，常用于系统维护  数据库停止：gpstop：  常用可选参数：-a：直接停止，不提示终端使用者输入确认 -m：只停止master实例，与gpstart –m对应使用 =120MB – gpconfig -c max_connections -v 100 -m 10 Admin常用命令  gpssh -f all_hosts--通过SSH同时访问多个节点，并可同时执行shell – Ex： $ gpssh -f hostfile_gpssh -d 0 [有些版本有这个参数、缺省0.05秒] => ls -a /data/primary/*

适合需要全部或者多数列的查询 表 orders 索引 Greenplum支持以下索引: • Btree • Bitmap • Gist • GIN • BRIN (开发中) <10ms的访问 时间，即使是 上亿条记录 <~ 100 不同值 B-Tree Bitmap 地理空间 区域 Gist 文本倒排 索引 GIN 28 Pivotal Confidential–Internal 不同列可以使用不同压缩方式: zstd, gzip (1-9), quicklz, delta, RLE • 访问多列时速度快 • 支持高效更新和删除 • AO 主要为插入而优化 表‘SALES’ 11月 列存储 行存储 7月 一年前 二年前 外部表 • 历史数据和不常访问的数 据存储在 HDFS 或者其他 外部系统中 • 无缝查询所有数据 • Text, CSV, Binary