版本早该淘汰了，5 版本和 6 版本都带来了极大 的性能和稳定性的提升。 声明 本文档的版权归[陈淼]个人所有，未经许可和授权不得抄袭和引用。 本文档中的绝大部分内容都经过编者重新考量和实测验证，有些观点与官方手册有 出入，仅代表编者本人观点，与官方手册无关。本书中可能会提及一些非官方的命令和 工具等，仅用于讲解相关知识，如有缺失相关细节的情况，请谅解。 致读者 如果您 ......................................................................................... - 125 - 验证分区策略 .............................................................................................. ......................................................................................... - 197 - 验证查询是否使用了 Orca ................................................................................... - 198

初始化Greenplum 集群 $ source env​.​sh $ gpinitsystem ​-​c gpinitsystem_config ​-​a # step 5. 初始化成功后，运行下面命令验证系统状态 $ psql ​-​l $ gpstate # step 6. 简单测试 $ createdb test $ psql test test​# CREATE TABLE t1 startup.log ○ gpdb-.csv 2.2.3 初始化 master 数据库失败 手动执行initdb查看详细错误信息，然后分析具体错误信息采取相应错误。不同的版本可 能参数不同，可以通过在 gpinitsystem 脚本中找到完整的命令。 $ initdb ​-​E UNICODE ​-​D ​/​data​/​master​/​gpseg​-​1​ ​--​locale​=​en_US​ 时出错，并且看不到具体错误信息（通常由于错误信息被重定向到 /dev/null 了），则可以尝试手动启动 segment。 手动启动segment的命令参加下面，需要根据自己的环境修改某些路径或者参数： export​ LD_LIBRARY_PATH​=​/home/​gpadmin​/​build​/​gpdb​.​master​/​lib​:​/lib:;export PGPORT=40006;

数据库的几十分之一甚至几百分之一，下图是基于 MapReduce 的 Hive 和 Greenplum MPP 在 TPCH 22 个 SQL 测试性 能比较：（相同硬件环 境下） 某国内知名电商在其 数据分析平台上做过 验证：同样的硬件条 件下，MPP 数据库比 Hadoop 性 能 快 12 倍 以上。 Big Date2.indd 14 16-11-22 下午3:38 Greenplum 精粹文集 258, for 'gp_persistent_relation_ node' 该错误可能会导致实例启动失败，数据库实例恢复失败等情况。首 先可在问题的实例（postgresql.conf）中设置参数 gp_persistent_ skip_free_list=true。 让 出 问 题 的 实 例 先 启 动 起 来， 再 进 行 gpcheckcat 检查。 Big Date2.indd value 1131958 found in scan ('gp_persistent_relation_node') 该问题可能会导致实例启动失败。可在问题的实例（postgresql. conf）中设置参数 gp_persistent_repair_global_sequence=true， 便可修复相应问题，让相应实例正常启动。 3) 报错的实例日志中出现类似信息 Persistent 1663/17226/21248339

在⾮对⻬和对⻬的输出模式之间切换 \C [字串] 设置表标题, 如果参数空则取消标题 \f [字串] 为⾮对⻬查询输出显⽰或设置域分隔符 \H 在 HTML 输出模式之间切换 (当前是 关闭) \pset 变量 [值] 设置表的输出选项 \t 只显⽰⾏ (当前是 关闭) \T [字串] 设置 HTML <表> 标记属性, 如果没有参数就取消设置 \x 在扩展输出之间切换 (⽬前是 关闭) RENAME TO 新名字 命令: ALTER DATABASE 描述: 改变⼀个数据库 语法: ALTER DATABASE 名字 SET 参数 { TO | = } { 值 | DEFAULT } ALTER DATABASE 名字 RESET 参数 ALTER DATABASE 名字 RENAME TO 新名字 ALTER DATABASE 名字 OWNER TO 新属主 命令: Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 111/206 CREATE CAST (源类型 AS ⽬标类型) WITH FUNCTION 函数名 (参数类型) [ AS ASSIGNMENT | AS IMPLICIT ] CREATE CAST (源类型 AS ⽬标类型) WITHOUT FUNCTION [ AS ASSIGNMENT

版本。该版本为企业级用户提供一个安全稳定可靠的 操作系统。 openEuler 也是一个技术孵化器。通过每半年发布一次的创新版，快速集成 openEuler 以及其他社区的最新技术成 果，将社区验证成熟的特性逐步回合到发行版中。这些新特性以单个开源项目的方式存在于社区，方便开发者获得源代 码，也方便其他开源社区使用。 社区中的最新技术成果持续合入发行版，发行版通过用户反馈反哺技术，激发社区创新活力，从而不断孵化新技术。 和软件包引入欧拉开源社区软件仓库后，Greenplum 中文社区开发者还针对引入的欧拉开源操作系统 版本做了功能性验证和测试，测试结论如下： GreenplumDB 6.17.0 版本本次测试，共计执行回归用例 930 个，其中核心数据库引擎用例 534 个，隔离级别用例 240 个，失败 1 个(疑似虚机资源问题)。其它功能测试若干，手动验证用例 2 个（SSL 工具版本问题），管理工具脚 本用例 455 个。整体质量良好。 个。整体质量良好。 测试活动 tempest 集成测试 核心引擎 全部 534 用例通过 隔离级别 240 用例失败 1 个 其它 手动验证用例 2 个 管理工具脚本 全部 455 用例通过 详尽报告参看 https://gitee.com/src-openeuler/gpdb/blob/openEuler-20.03-LTS-SP2/report.md 5

10.10.56.17/32 md5 host 参数表示安装PostgreSQL的主机 all 第一个all 表示该主机上的所有数据库实例 all 第二个all 表示所有用户 10.10.56.17/32 表示需要连接到主机的IP地址，32表示IPV4 md5 表示验证方式 2018年PostgreSQL中国技术大会 连接方式（type） 微信号：laohouzi999 1）增加物理内存或调整SWAP交换空间； 2）调整work_mem、max_connections参数； 2018年PostgreSQL中国技术大会 微信号：laohouzi999 3）使用更严格的内存提交策略overcommit_memory： 内核参数overcommit_memory ，指定内存分配策略 可选值：0、1、2。 0， 表示内核将检查是否有足够的可用内存供应用进程使用；

信息价值和证据权 重 成对相关性 删除⾼高度相关变量量 逻辑回归 计算 KS 分值 模型验证 ⼿手动预测 1 2 3 4 5 6 7 8 原始⼯工作流程 2017.thegiac.com 数据整理理 特征⽣生成 验证 预测 信息价值 ⽅方差膨胀 因⼦子 成对相关性 逻辑回归 Elastic PL/PYTHON, PDLTools 可视化 数据和技术概览 2017.thegiac.com 会话识别 API 请求 ⽇日志 抽取会话特征 根据原始特征 对用户聚类 验证聚 类结果 评分 对API请求结合超时和 K-means聚类处理理 主题模型 对主题进⾏行行K- means聚类 S 标记回话 ⼈人⼯工审查 新会话 建模过程 2017 建模过程 对API请求结合超时和 K-means聚集处理理 2017.thegiac.com 会话识别 API 请求 ⽇日志 抽取会话特征 根据原始特征 对用户聚类 验证聚 类结果 评分 主题模型 对主题进行 K-Means聚类 S 建模过程 对API请求结合超时和 K-means聚集处理理 2017.thegiac.com 会话识别

Greenplum运维常见问题  Greenplum运维常用命令  Greenplum日常检查和故障处理  Greenplum项目经验分享 内核参数  通常情况下，内核参数按照GPDB安装手册配置，如需要增加连接数支持，以下参数需要增大  kernel.shmmax = 1000000000  kernel.sem = 250 512000 100 2048  Redhat /sys/kernel/mm/transparent_hugepage/enabled 一般不建议直接修改/boot/grub/grub.conf文件或者/boot/grub/menu.lst 常用数据库参数 参数名 Master节点值 Segment节点值 checkpoint_segments 32 32 max_connections 500 2500 max_prepared_transactions FSM驻留在内存中，FSM的大小必须足够标记数据库中的所有过期记录。如果尺寸不够大,超出自由映像空间的过期记录 占用的空间将无法被VACUUM命令标记。可通过修改max_fsm_pages、max_fsm_relations放大这些参数  Vacuum Full/REORGANIZE：立即释放垃圾空间还给操作系统 Vacuum Full相当于碎片整理； Reorganize相当于重建表，数据表对应的文件名（pg_class

Greenplum扩展规划 六 22 Greenplum运维体系 环境创建与部署 • 部署流程 Ø 规划部署方案 Ø 准备硬件资源 Ø 修改系统参数 Ø 安装 Greenplum 软件 / postgresql软件 Ø 初始化实例 Ø 修改实例参数文件 Ø 初始化业务所需库表环境、用户环境 Ø 加载数据 Ø 业务程序访问 23 Greenplum运维体系 环境创建与部署 • 部署注意点 部署注意点 Ø 资源要充足（ETL，管理节点，数据节点，数据集市） Ø 万兆网络 （网络环境对功能和性能的影响） Ø 节点规划 （数据节点6-10个segment节点） Ø 参数调整 （操作系统参数，greenplum集群参数） 24 Greenplum运维体系 系统状态监控 - gpcc -公司IDC_01机房 25 Greenplum运维体系 系统状态监控 - gpcc -公司IDC_02

•每15到20天增加10组 •31个GP集群 •30个业务数据集群， 一个数据交换集群 •ETL处理，大部分在线 分析查询采用GP •极端复杂查询 拆分 •2019年7月上线ADB分 担极端复杂的在线分 析，有待验证 数据集市 报表 CRM 胜算 …… …… …… …… 数据仓库演变 2015 2016 2017 2018 2019 2014原始阶段 2016.4全新报表界面：梳理业务、开发报表