白皮书 开源 Greenplum 新篇章： 兼容欧拉开源操作系统的数据平台 支持国产生态的高级分析数据平台 作者：Greenplum 中文社区、 欧拉开源社区 完全兼容欧拉开源操作系统的 HTAP 数据平台 Greenplum 白皮书 ......................................................................................... 4 欧拉开源操作系统 ................................................................................................. ......................................................................................... 6 欧拉开源操作系统平台架构 .............................................................................................

...................................................................................... - 269 - 安装操作系统 ................................................................................................. ..................................................................................... - 271 - 支持的操作系统 ................................................................................................. ...................................................................................... - 273 - 修改操作系统配置 ...............................................................................................

UDW Copyright © 2012-2021 UCloud 优刻得 16/206 如上图所⽰客⼾端访问管理，提供了客⼾端下载和数据加载⼯具和⽂档的下载。 JDBC连接 连接 Linux操作系统 快速上⼿ Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 17/206 yum install postgresql-jdbc.noarch exit(0); } } } 快速上⼿ Greenplum数据仓库 UDW Copyright © 2012-2021 UCloud 优刻得 20/206 ODBC⽅式连接 ⽅式连接 Linux操作系统：CentOS 6.5 64位 1. 安装 postgresql odbc驱动 # yum install postgresql-odbc.x86_64 -y 2. 编辑/etc/odbcinst t的安装路径 4） 连接数据库 psql -h hostIP（或域名） –U username -d database -p port –W 1.3 JDBC⽅式访问 ⽅式访问 Linux操作系统 yum install postgresql-jdbc.noarch –y Windows环境下JDBC驱动，将jar添加到⼯程的BUILD PATH。 ⽰例程序1，java连接UDW，执⾏建表，插⼊操作

使用Mac系统，但是不在官方支持列表中。 1.1 在 Mac 系统上编译 首先需要关闭苹果操作系统的 SIP 特性，否则无法初始化集群。 1. 重启操作系统 2. 重启过程中按下 command+R 进入恢复模式 3. 从 Utilities 菜单选择 Terminal 4. 执行 csrutil disable 5. 重启操作系统 // 安装Greenplum管理脚本依赖的 Python 包

环境创建与部署 • 部署注意点 Ø 资源要充足（ETL，管理节点，数据节点，数据集市） Ø 万兆网络 （网络环境对功能和性能的影响） Ø 节点规划 （数据节点6-10个segment节点） Ø 参数调整 （操作系统参数，greenplum集群参数） 24 Greenplum运维体系 系统状态监控 - gpcc -公司IDC_01机房 25 Greenplum运维体系 系统状态监控 - gpcc -公司IDC_02 kettle调度 Ø单个存储过程，可以在shell中 select func_name() 的方式调度 • 外部任务调度 Ø将整个过程封装成shell脚本，或 Python脚本 Ø用crontab在操作系统调用脚本 Ø用 opencron在图形界面调用脚本 32 Greenplum运维体系 Greenplum任务调度-opencron 33 Greenplum现状说明 三 Greenplum体系架构

ident 认证失败”的错误，明明数据库用户已经createuser。 原因就在于此，使用了ident认证方式，却没有同名的操作系统用户或没 有相应的映射用户。 md5 密码是以md5形式传送给数据库，较安全，且不需建立同名的操作系统用 户。 password password是以明文密码传送给数据库，建议不要在生产环境中使用。 trust

占用的空间将无法被VACUUM命令标记。可通过修改max_fsm_pages、max_fsm_relations放大这些参数  Vacuum Full/REORGANIZE：立即释放垃圾空间还给操作系统 Vacuum Full相当于碎片整理； Reorganize相当于重建表，数据表对应的文件名（pg_class -> relfilenode)将会发生改变。 Vacuum – gpssh -f allhosts =>df –h |grep data1,检查所有文件系统，包括xfs文件系统、tmp的使用情况； 日常巡检事项  检查操作系统日志 – gpssh检查所有节点的/var/log/message，grep过滤是否有硬件错误、系统错误等信息  检查数据库日志 – 检查数据库pg_log日志是否有Panic错误、OOM等错误

个字段以上大宽表的随机查询场景，之 前由于 IO 资源争用，在批量作业调起时随机查询响应时间显著增加， 通过这种方式改造后，达到了很好的效果。 ·预留一台硬件服务器作为整个集群的灾备机，提前装好操作系统和 数据库软件，并放在与现有集群相同的网络环境中，一旦硬件出现 故障，我们可以迅速采取相应的修复措施，如果底层 RAID 没有损坏， 在单台机器数据量过大比如接近 10T 的情况下，我们可以直接将磁 而集群服务器数量越多也就代表故障发生率越高。作为 Greenplum 的 DBA 和运维人员，不单只关注 Greenplum 本身，还要关注集群中各 硬件的状况，及时发现及时处理。硬盘状态、阵列卡状态、硬件告警、 操作系统告警、空间使用率等都是应关注的重点。这些都可通过厂商 提供的工具，编写监控程序，SNMP 协议对接企业监控平台等手段提 升日常巡检和监控的效率。 针对 Greenplum，DBA 需要关注重点：

davis、lifelines、spaCy、XGBoost、BeautifulSoup、lxml、Keras 和 PyMC3（Tensorflow 和 Keras 需要使用 RHEL 7 作为主机操作系统）。 • Greenplum 5 中 支 持 的 R 语 言 算 法 库 和 程 序 包 有：BH、DBI、MASS、MCMCpack、Matrix、R2jags、R6、 RColorBrew