的缺省值是没有为其他程序预留 CPU 资源的，如果要为其他程序保留 CPU 资源，可能 需要调整该参数。 注意：应该尽量避免将 gp_resource_group_cpu_limit 设置为大于 0.9，这样可 能会导致 GP 工作负载抢占所有的 CPU 资源，从而影响数据库的主服务进程获取不到足 够的 CPU 资源。 按照 Core 来配额 CPU 使用 CPUSET 属性来指定哪些 中，还可以通过设置 memory_spill_ratio 参数的值来设置当前事 务的 MEMORY_SPILL_RATIO 属性。 官方文档上说，对于低内存消耗型的查询来说，设置如下的参数可以提升查询的性 能，编者觉得，有待验证，至少，编者认为，这种操作可能没有特别显著的性能提升。 =# SET memory_spill_ratio=0; =# SET statement_mem='10 MB'; Session 中之后的事务仍然通过原来的资源组执行。 注意：转移查询的资源组，这个功能是 6.8 版本才引入的功能。 如果是从 6.8 之前的版本升级而来，需要手动创建函数来使用该用能： CREATE FUNCTION gp_toolkit.pg_resgroup_check_move_query(IN session_id int, IN groupid oid, OUT

传统的主机计算模式在海量数据面前，除了造价昂贵外，在技术上也 难于满足数据计算性能指标，传统主机的 Scale-up 模式遇到了瓶颈， SMP（对称多处理）架构难于扩展，并且在 CPU 计算和 IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来，Google 的两篇著名论文 发表后引起业界的关注，一篇是关于 GFS 分布式文件系统，另外一篇 是关于 MapReduce 并行计算框架的理论，分布式计算模式在互联网 16-11-22 下午3:38 2 由此，业界认识到对于海量数据需要一种新的计算模式来支持，这种 模式就是可以支持 Scale-out 横向扩展的分布式并行数据计算技术。 当时，开放的X86服务器技术已经能很好的支持商用，借助高速网络（当 时是千兆以太网）组建的 X86 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 来 了， 在 window 函数），还可以用多种语言来写存储过程，对于 Madlib、R 的支持也很好。这一点上 MYSQL 就差的很远，很多分 析功能都不支持，而 Greenplum 作为 MPP 数据分析平台，这些功 能都是必不可少的。 2) Mysql 查询优化器对于子查询、复制查询如多表关联、外关联的支 持等较弱，特别是在关联时对于三大 join 技术：hash join、merge join、nestloop

适合模型应用于数据子集的场景，并行执行效率非常高 • 如果节点间数据通讯，使用 适⽤用场景 2017.thegiac.com MADlib 2017.thegiac.com 强⼤大的分析能⼒力力 ● 机器器学习 ● 图形分析 ● 统计分析 MPP系统上的可扩展应⽤用 Apache上的开源项⽬目 ● 发布了了 问题 ● 更更好地理理解不不同种 类的⽤用户 ● 更更好地了了解⽤用户与 APP的交互 ● 对实时API请求进 ⾏行行分类和安全检测 ● 数据量量⼤大，现有数 据分析团队缺乏技 能 客户 数据科学解决⽅方案 ● 某⼤大型跨国⾦金金 融服务公司 ● 移动应⽤用 API 分析 ● 使⽤用Madlib进⾏行行聚 类分析，建⽴立会话 识别模型和主题模 型 ● 集进⾏行行了了更更充分的分析 X 没有良好的⽤用户分类体系 ✓ 建⽴立了了两套模型对典型⽤用户进⾏行行 聚类分析，对⽤用户群体和⽤用户习惯 有了了更更深⼊入的了了解，制定相应的营 销策略略 X 不不能⾼高效监测可疑Session ✓ 建立了可疑Session实时评分体系 X 考虑转换到Teradata ✓ 决定增加Greenplum Cluster数量 案例例优化总结 2017.thegiac

le继承权限  建议在系统建设时，按照功能、权限划分为较为固定的数个角色组，新增对象时只要把权限Grant到 相应角色组 即可，不需要再按照使用者单独授权，这种方式对于查询用户较多的系统能简化权限管理。  同一个对象内的数据，如果需要分类授权（例如按照机构号，用户只能查看各自所属机构数据），采 用多个视图（视图也是一个对象）映像的方式进行权限划分，然后再将视图进行授权。 数据库启动：gpstart  常用可选参数：-a:直接启动，不提示终端使用者输入确  -m:只启动master实例，主要在故障处理时使用 -R:进入限制模式，只有超级用户能访问，常用于系统维护  数据库停止：gpstop：  常用可选参数：-a：直接停止，不提示终端使用者输入确认 -m：只停止master实例，与gpstart –m对应使用 是单一服务器繁忙还是所有服务器繁忙  检查数据库狀态 – gpstate检查是否有实例down机 – 检查pg_log是否有OOM錯誤  检查当前SQL任务 – 确定当前系統是否有SQL能执行成功（checkpoint、select用户表），还是整個系统挂起 – 确定是否有锁等待或资源队列排队导致SQL长时间不能完成 – 确定是否整体性能慢，还是某一个SQL导致（在pg_sta

软件性质 商业软件 开源 集群规模 一般在100台以下 可以到上万台。 性能 在100台以下时，性能 比hadoop好。 单个SQL可以做到秒级 别 集群规模越大，总体性 能越好。 单个SQL最少也有数十 秒。 SQL的支持程度 支持完善，几乎所有 PostgreSQL支持的SQL， gp都支持。 支持有限的SQL，查询 支持子查询，但不支持 窗口函数。大部分dml都 Greenplum中的高可用方案 Segment的mirror 当配置了segment mirror，当segment primary不能写 的时候，greenplum会自动切换到mirror。当master不 能连接到一个segment instance时，会把这个instance 标记为invalid。 Greenplum中的高可用方案 默认情况下，greenplum的失败操作模式是“read-

官方网站： www.greenplum.com www.greenplum-china.com Greenplum：简介 Greenplum数据引擎软件为新一代数 据仓库所需的大规模数据和复杂查询功 能所设计 3 推动数据依赖型企业的发展 全球各地的一些Greenplum客户 4 亚太地区 欧洲、中东、非洲 北美 中国的客户 5 金融 交通 互联网 其它 Teradata Netezza count(zh||zplx||zphqlw||zphhlw) as zh from stage.fs_zh_cdfispad; 36396887 54.7s 37528247 3.2s 17x 代 码 转 换 功 能 测 试 select count(coalesce(zh,'')) as zh from stage.fs_zh_cdfispad; 36396887 43.8s 37528247 1.5s

不同芯片的环境，适合本地部署、多云环境（公有云和私有云）中。Greenplum 6 及未来发布的 Greenplum 7 丰富的 HTAP 特性，具备良好性能、可靠性和稳定性，使得 Greenplum 不仅可以作为全能的分析化平台，也能满足交易型业 务场景，能够处理多种并发混合工作负载，专为满足在多结构数据环境中进行实时分析的需求而设计。 欧拉开源操作系统是一款面向数字基础设施的操作系统，支持服务器、云计算、边缘计算、嵌入式等应用场景，支持多 此外，Greenplum 还支持最新版 Apache MADlib（可用 SQL 进行机器学习、深度学习和图分析），它支持高并行 和基于 GPU 的深度学习模型训练，内置于集群硬件中的 GPU，能帮助 Greenplum 6 的用户获得超过 CPU 2 个数量 级的性能加速，尤其对于可预测的分析用例和图像识别，这些功能将展现奇效。支持在 Apache Solr 数据库内实施 GPText

Warehouse）是⼤规模并⾏处理数据仓库产品，基于开源的Greenplum开发的⼤规模并发、完全托管的PB级数据仓库服务。UDW可以通过SQL让数据分析更简 单、⾼效，为互联⽹、物联⽹、⾦融、电信等⾏业提供丰富的业务分析能⼒。⽀持MADlib扩展，客⼾可以在udw上使⽤MADlib的扩展功能，从⽽让机器学习变得简单，⽀持PostGIS，可以⽅便 的⽀持空间、地理位置应⽤。最新⽀持greeplum6.2.1版本。 云数据仓库产品架构 类型的数据建议使⽤ TEXT 或者 VARCHAR 类型，不要使⽤ CHAR 类型。TEXT 或者 VARCHAR 类型能够减少存储空 间。选取合适的数字类型，如 INT 或者 SMALLINT 能满⾜业务需求时，使⽤ BIGINT 会带来磁盘空间的浪费。 2 存储⽅式 存储⽅式 udw 在创建表格的时候提供了堆表和追加表两种存储模式，提供了⾏存储、列存储、外部表的存储⽅式。 2.1 堆表和追加表 创建索引时，需要注意下⾯的问题点： 1. 查询特点：索引对于查询只返回单条记录或者较少的数据集时，性能提升明显。 2. 压缩表：对于压缩的 append 表来说，对于返回⼀部分数据的查询来说性能也能得到提⾼。对于压缩的数据，使⽤索引访问⽅法时，只有需要的数据才会被解压缩。 3. 避免在经常改变的列上创建索引：在经常更新的列上创建索引会导致每次更新数据时写操作⼤量增加。 4. 创建选择率⾼的 B-树索引，对于选择率较低的列，使⽤

METHOD指定如何处理客户端的认证。常用的有ident，md5，password， trust，reject。 ident ident是Linux下PostgreSQL默认的local认证方式，凡是能正确登录服务器的 OS用户（注：不是数据库用户）就能使用本用户映射的数据库用户不需密码 登录数据库。 很多初学者都会遇到psql -U username登录数据库却出现“username ident

startup.log ○ gpdb-.csv 2.2.3 初始化 master 数据库失败 手动执行initdb查看详细错误信息，然后分析具体错误信息采取相应错误。不同的版本可 能参数不同，可以通过在 gpinitsystem 脚本中找到完整的命令。 $ initdb ​-​E UNICODE ​-​D ​/​data​/​master​/​gpseg​-​1​ ​--​locale​=​en_US​