..................................................................................... - 39 - 建立数据库会话 .................................................................................................. Role，删除任何的 DB，甚至删除操作系统上 gpadmin 用户有操作权限的任何文件 和目录。 创建用户 User Role User Role 意味着其可以登录数据库并发起 SQL 会话。因此，在使用 CREATE ROLE 来创建一个 User 时，需要指定 LOGIN 权限。例如： =# CREATE ROLE jsmith WITH LOGIN; Role 18616691889) 编写：陈淼 - 39 - 第五章：访问数据库 本章介绍可以使用哪些客户端工具连接 GP，以及如何建立数据库会话：  建立数据库会话  支持的客户端应用  连接故障排除 建立数据库会话 用户可以使用任何 PostgreSQL 兼容的客户端程序连接到 GP，例如 psql。用户 或者管理员总是通过访问 Master

倍 以上。 Big Date2.indd 14 16-11-22 下午3:38 Greenplum 精粹文集 15 2) 功能上的对比 MPP 数据库采用 SQL 作为主要交互式语言，SQL 语言简单易学， 具有很强数据操纵能力和过程语言的流程控制能力，SQL 语言是专 门为统计和数据分析开发的语言，各种功能和函数琳琅满目，SQL 语言不仅适合开发人员，也适用于分析业务人员，大幅简化了数据 基本上都缺少索引和存储过程等特征 除 HAWQ 外，大多对于 ODBC/JDBC/DBI/OLEDB/.NET 接口的支持 有限，与主流第三方 BI 报表工具的兼容性不如 MPP 数据库 SQL-On-Hadoop 不擅长于交互式（interactive）的 Ad-hoc 查询， 大多通过预关联的方式来规避这个问题；另外，在并发处理方面的能 力较弱。高并发场景下，需要控制计算请求的并发度，避免资源过载 导致的稳定性问题和性能下降问题。 我们认为这两个系统都有其适用的场景。 简单来说，如果你的数据需要频繁的被计算和统计、并且你希望具 有更好的 SQL 交互式支持和更快计算性能及复杂 SQL 语法的支持， 那么你应该选择 MPP 数据库，SQL-on-Hadoop 技术还没有足够 成熟。特别如数据仓库、集市、ODS、交互式分析数据平台等系统， MPP 数据库有明显的优势。 Big Date2.indd 17 16-11-22

数据量量⼤大，现有数 据分析团队缺乏技 能 客户 数据科学解决⽅方案 ● 某⼤大型跨国⾦金金 融服务公司 ● 移动应⽤用 API 分析 ● 使⽤用Madlib进⾏行行聚 类分析，建⽴立会话 识别模型和主题模 型 ● 建⽴立scoring pipeline, 对新访问 的安全性进⾏行行评估 ● 使⽤用可视化⼯工具对 结果进⾏行行更更好地呈 现 背景 2017 2017.thegiac.com 会话识别 API 请求 ⽇日志 抽取会话特征 根据原始特征 对用户聚类 验证聚 类结果 评分 对API请求结合超时和 K-means聚类处理理 主题模型 对主题进⾏行行K- means聚类 S 标记回话 ⼈人⼯工审查 新会话 建模过程 2017.thegiac.com 会话识别 API 请求 ⽇日志 对API请求进⾏行行会话化 会话1 会话2 会话3 时间 会话1 会话2 会话3 基于时间的会话化 时间+聚类 2017.thegiac.com 会话识别 API 请求 ⽇日志 建模过程 对API请求结合超时和 K-means聚集处理理 2017.thegiac.com 会话识别 API 请求 ⽇日志 抽取会话特征 根据原始特征

Zeppelin 简介 简介 Zeppelin 是⼀个开源的 Apache 的孵化项⽬. 它是⼀款基本 web 的 notebook ⼯具，⽀持交互式数据分析。通过插件的⽅式接⼊各种解释器（interpreter），使得⽤⼾能够以特定的语⾔ 或数据处理后端来完成交互式查询，并快速实现数据可视化。 部署 部署 Zeppelin 1) 安装 Java Zeppelin ⽀持的操作系统如下图所⽰。在安装

Greenplum开发规范 Greenplum使用规范 • 平时使用规范 Ø避免高频率的insert、update操作 Ø避免频繁执行高内存消耗的会话 Ø避免出现死锁 Ø可以在适当的时候执行 vaccum 操作 Ø避免直接在Greenplum执行消耗session会话的操作 Ø尽量不创建索引 • 上线与调度规范 Ø上线的程序，必须要经过测试，才可以生产使用 Ø调度程序需考虑每个任务的前后关系，时间富裕

在资源队列中降低查询的并发数  降低GP集群中单节点的Segment Instance数量  增加机器的内存  检查gp_vmem_protect_limit 参数, 确保其不要超过安全的最大值  在会话层面降低statement_mem 参数的设定值  在数据库层面降低statement_mem参数的设定值  在资源队列中限制内存使用量 OOM-解决办法  GPDB中通常的规则是