Greenplum 6新特性: 在线扩容工具GPexpand剖析 杜佳伦 (jdu@pivotal.io) 大纲 • Greenplum 集群部署 • GPExpand简介与具体用法 • Greenplum 6中GPExpand的改进与实现 Greenplum 集群部署 Greenplum 集群部署 • gp_segment_configuration 字段名 描述 dbid 配置文件 • 数据重分布 – gpexpand • 清理 – gpexpand -c GPExpand简介与具体用法 • 增加新节点 – gpexpand –i 配置文件（gpexpand生成或手动编辑） sdw:sdw:25438:/data/expand1/primary:9:3:p sdw:sdw:25439:/data/expand1/mirror:10:3:m GPExpand简介与具体用法 – 增加新节点只要在gp_segment_configuration里添加新节点信息即可 – 新节点以Master为模板生成，只包含catalog，没有数据 改进与实现 • 问题 – 生成模板的过程中，如果catalog被修改怎么保证一致性 改进与实现 • 问题 – 生成模板的过程中，如果catalog被修改怎么保证一致性 ▪ 新增catalog锁 ▪ select gp_expand_lock_catalog()

Pivotal 研发技术总监 2017.thegiac.com • Greenplum ⼤大数据平台 • Greenplum 机器器学习⼯工具 • Greenplum 机器器学习案例例 ⼤大纲 2017.thegiac.com Greenplum: 新一代开源大数据平台 2017.thegiac.com Greenplum 集群 2017.thegiac.com ANALYTICAL 逻辑回归 计算 KS 分值 模型验证 ⼿手动预测 1 2 3 4 5 6 7 8 原始⼯工作流程 2017.thegiac.com 数据整理理 特征⽣生成 验证 预测 信息价值 ⽅方差膨胀 因⼦子 成对相关性 逻辑回归 Elastic Net 特征选择 模型 1 2 3 4 5 6

query ■ nbsqlite -o delete B 附录 nbsqlite -o backup nbsqlite -o backup – 从 NetBackup 客户端运行备份操作。 大纲 nbsqlite -o backup -S primary_server_name -P policy_name -s schedule_name (LVM) -z snapshot_size for SQLite 命令 nbsqlite -o backup nbsqlite -o restore nbsqlite -o restore – 从 NetBackup 服务器还原备份文件。 大纲 nbsqlite -o restore -S primary_server_name -t target_directory [-id db_backup_id] [-C NetBackup_client_name] NetBackup for SQLite 命令 nbsqlite -o restore nbsqlite -o query nbsqlite -o query – 查询对 SQLite 数据库执行的备份。 大纲 nbsqlite - o query -S primary_server_name [-P policy_name] [-C client_name] 描述 nbsqlite -o query

query ■ nbsqlite -o delete B 附录 nbsqlite -o backup nbsqlite -o backup – 从 NetBackup 客户端运行备份操作。 大纲 nbsqlite -o backup -S master_server_name -P policy_name -s schedule_name (LVM) -z snapshot_size for SQLite 命令 nbsqlite -o backup nbsqlite -o restore nbsqlite -o restore – 从 NetBackup 服务器还原备份文件。 大纲 nbsqlite -o restore -S master_server_name -t target_directory [-id db_backup_id] [-C NetBackup_client_name] NetBackup for SQLite 命令 nbsqlite -o restore nbsqlite -o query nbsqlite -o query – 查询对 SQLite 数据库执行的备份。 大纲 nbsqlite - o query -S master_server_name [-p policy_name] [-C client_name] 描述 nbsqlite -o query

[其他] 如果 SQL 在 ShardingSphere 中执行不正确，该如何调试？ . . . . . . . . 321 7.8.22 [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . . . 321 7.8.23 [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . . . 321 7.8.24 [其他] 27 [其他] 服务启动时如何加快 metadata 加载速度？ . . . . . . . . . . . . . . . . 324 7.8.28 [其他] ANTLR 插件在 src 同级目录下生成代码，容易误提交，如何避免？ . . . . 324 7.8.29 [其他] 使用 Proxool 时分库结果不正确？ . . . . . . . . . . . . . . . . . . . ds${id % 10} 或者： ds$->{id % 10} 分布式主键 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实际表之间的自增键由于无法互相感知而产生重复主键。虽然可通过约 束自增

[其他] 如果 SQL 在 ShardingSphere 中执行不正确，该如何调试？ . . . . . . . . 305 7.8.22 [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . . . 306 7.8.23 [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . . . 306 7.8.24 [其他] 27 [其他] 服务启动时如何加快 metadata 加载速度？ . . . . . . . . . . . . . . . . 308 7.8.28 [其他] ANTLR 插件在 src 同级目录下生成代码，容易误提交，如何避免？ . . . . 308 7.8.29 [其他] 使用 Proxool 时分库结果不正确？ . . . . . . . . . . . . . . . . . . . ds${id % 10} 或者 ds$->{id % 10} 分布式主键 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实际表之间的自增键由于无法互相感知而产生重复主键。虽然可通过约 束自增

[其他] 如果 SQL 在 ShardingSphere 中执行不正确，该如何调试？ . . . . . . . . 309 7.8.22 [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . . . 310 7.8.23 [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . . . 310 7.8.24 [其他] 27 [其他] 服务启动时如何加快 metadata 加载速度？ . . . . . . . . . . . . . . . . 312 7.8.28 [其他] ANTLR 插件在 src 同级目录下生成代码，容易误提交，如何避免？ . . . . 313 7.8.29 [其他] 使用 Proxool 时分库结果不正确？ . . . . . . . . . . . . . . . . . . . ds${id % 10} 或者： ds$->{id % 10} 分布式主键 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实际表之间的自增键由于无法互相感知而产生重复主键。虽然可通过约 束自增

[其他] 如果 SQL 在 ShardingSphere 中执行不正确，该如何调试？ . . . . . . 292 7.7.19 19. [其他] 阅读源码时为什么会出现编译错误? IDEA 不索引生成的代码？ . . . . 292 7.7.20 20. [其他] 使用 SQLSever 和 PostgreSQL 时，聚合列不加别名会抛异常？ . . . . 293 7.7.21 21. [其他] [其他] 服务启动时如何加快 metadata 加载速度？ . . . . . . . . . . . . . . 295 7.7.25 25. [其他] ANTLR 插件在 src 同级目录下生成代码，容易误提交，如何避免？ . . 295 7.7.26 26. [其他] 使用 Proxool 时分库结果不正确？ . . . . . . . . . . . . . . . . . . . 296 ds${id % 10} 或者 ds$->{id % 10} 分布式主键 实现动机 传统数据库软件开发中，主键自动生成技术是基本需求。而各个数据库对于该需求也提供了相应的支持， 比如 MySQL 的自增键，Oracle 的自增序列等。数据分片后，不同数据节点生成全局唯一主键是非常棘手 的问题。同一个逻辑表内的不同实际表之间的自增键由于无法互相感知而产生重复主键。虽然可通过约 束自增

SQL 在 ShardingSphere 中执行不正确，该如何调试？ . . . . . . . . . . . . . . . . 284 7.2 阅读源码时为什么会出现编译错误?IDEA 不索引生成的代码？ . . . . . . . . . . . . . . . 284 7.3 使用 Spring 命名空间时找不到 xsd? . . . . . . . . . . . . . . . . JtaTransactionManager？ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291 7.24 ANTLR 插件在 src 同级目录下生成代码，容易误提交，如何避免？ . . . . . . . . . . . . 292 viii 1 概览 星评增长时间线 贡献者增长时间线 Apache ShardingSphere 是 TableShardingStrategy。用于配置数据被分配的目标表，该目标表存在于该数据的目标数据源内。 故表分片策略是依赖于数据源分片策略的结果的。 两种策略的 API 完全相同。 自增主键生成策略 通过在客户端生成自增主键替换以数据库原生自增主键的方式，做到分布式主键无重复。 行表达式 实现动机 配置的简化与一体化是行表达式所希望解决的两个主要问题。 在繁琐的数据分片规则配置中，随着数据节

· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1223 12.9.3 生成自签名证书 · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 1632 12.11.7 生成列· · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · · 据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成， 但 Hadoop 体系太复杂，运维、存储成本太高无法满足用户的需求。与 Hadoop 相比，TiDB 就简单得多， 业务通过 ETL 工具或者 TiDB 的同步工具将数据同步到 TiDB，在 TiDB 中可通过 SQL 直接生成报表。 2.1.3 另请参阅 • TiDB