中不到一个小时就加载完成了，而在用户传 统数据仓库平台上耗时半天以上。 在该用户的生产环境中，1 个数百亿表和 2 个 10 多亿条记录表的全表 关联中（只有 on 关联条件，不带 where 过滤条件，其中一个 10 亿 条的表计算中需要重分布），Greenplum 仅耗时数分钟就完成了， 当其它传统数据平台还在为千万级或亿级规模的表关联性能发愁时， Greenplum 已经一骑绝尘，在百亿级规模以上表关联中展示出上佳的 表现。 Madlib（开源挖掘算法）、 SAS algorithm、R 都是通过 UDF 方式实现在 Greenplum 集群中分布 式部署，从而获得库内计算的并行能力。这里可以分享的是，SAS 曾 经做过测试，对 1 亿条记录做逻辑回归，采用一台小型机耗时约 4 个 多小时，通过部署到 Greenplum 集群中，耗时不到 2 分钟就全部完成 了。以 GPEXT 为例，下图展现了 Solr 全文检索在 Greenplum 架构。相反，采用 MultipleActive Master 的软件系统，需要消耗更多资源和机制来保证 元数据一致性和全局事务一致性，特别是在节点规模较多时，将导致 性能下降，严重时可能导致多 Master 之间的脑裂引发严重系统故障。 4. Greenplum 不能做什么？ Greenplum 最大的特点总结就一句话：基于低成本的开放平台基础上 提供强大的并行数据计算性能和海量数据管理能力。这个能力主要指

美国点评 -TiDB Operator 开启云原生运维的新时代 。。*"，''，43 汽车之家- TiDB 在 818 台网互动项目中的应用 45 5.6教育 VIPKID -TiDB 在公有云亿级数据场景下的应用实践 47 5.7 游戏 网易互娱 -基于 TiDB 措建跨源异构计算架构 “049 5.8 视频 Bigo - 选择 TiFlash 打造高效的实时分析平台 "0 51 示月有旅游”eesc5h 。 资车之家 。 2 58到未”加 SByx和小红书 。 国委视 blued 图am 从9本”所总和和项 。 过提科技 “metux四全)搜狗 和8 smEs 国maxr [at 搜财 国人图 半卫第 hulu 关paypay 回u-NExT 刚一一 上上签 Ga Oil BR 四 为是 图zazst maat 知于 E3 吻呆;28 口] Blco 基于一致性算法保证交易数据的强一致性，依托数据日志的备份恢复能力，提升数 据可追溯性，满足监管要求，提高自动化运维能力。 *。 具备在线横向扩展能力: 在网联支付与线上贷款两个业务服务集群中，5 小时内实现 5 亿条数据的 在线扩缩容，整个过程对业务系统无侵入，保证了在线业务的连续性。 *。 提升金融服务能力: 分布式核心系统具备产品快速创新、差异化服务等能力，助力商业银行构建以 客户体验为中心、产品丰富、核算分离的核心业务系统。

集成数据平台：BI/DW、文本、GIS、图、图像、机器学习 • 开放源代码，持续大力投入 • 敏捷方法学：快速迭代、持续发布、质量内建 • 企业级稳定性，成熟生态系统 2017.thegiac.com Greenplum: 机器学习工具集 2017.thegiac.com • PL/X：各种语言实现自定义函数（存储过程） • MADLib: 数据挖掘、统计分析、图（Graph）等算法 PageRank 2017.thegiac.com Greenplum 集群规模: ● 1 主 ● 4 数据节点 ● 每个节点6个segment 每个定点有50个边的图 5B edges (1K) (10K) (100K) (1M) (10M) (100M) Note: log-log scale (100s) (1s) (10K 背景 2017.thegiac.com 数据源 • 数据 - API 访问⽇日志 - 客户数据 • 45 天区域数据 • 50亿条数据 • 上百万订购者 平台 建模⼯工具 PL/R, PL/PYTHON, PDLTools 可视化 数据和技术概览 2017.thegiac.com 会话识别

灾难和中断：例子 5 小时的计算机中断代价 1.5 亿美元。该航空公司最终在停电当天取消 了约1，000 个航班，并在接下来的两天内停飞了另外1，000 个航班。 由于取消约130 个航班和延误200 个航班，成千上万的乘客滞留在世界各 地。 在法国云服务irm 的故障后， 数百万个网站下线了。Anger 预计将使公司 损失超过1.05 亿欧元。 数以百万计的银行客户无法访问在线帐户。银行花了将近2天的时间才恢 数据中心崩溃/分区 43 / 55 故障转移到另一个集群 • 一个命令使主集群失效并提升新的主集群： forcePrimaryCluster（） • 将重新配置其它副本集群复制 脑裂警告 • 无法连接到其他集群的本地路由器将无法了解新 拓扑 • 如果数据中心被网络分区， 它将继续作为主数据 库运行 Copyright @ 2021 Oracle and/or its affiliates forcePrimaryCluster() 故障转移到另一个集群 • 一个命令使主集群失效并提升新的主集群： forcePrimaryCluster（） • 将重新配置其它副本集群复制 脑裂警告 • 无法连接到其他集群的本地路由器将无法了解新 拓扑 • 如果数据中心被网络分区， 它将继续作为主数据 库运行 Copyright @ 2021 Oracle and/or its affiliates

需要移动数据，避免了数据加载的复杂 性，和其带来的数据不一致的问题。 ● 支持各种数据格式的平台：不管是结构化、半结构化（XML、JSON、KV）还是非结构化， 譬如文本数据、GIS 数据、图数据等。 ● 具有强大内核的平台：Greenplum 具有强大的内核技术，包括数据水平分布、并行查询执 行、专业优化器、线性扩展能力、多态存储、资源管理、高可用、高速数据加载等。 ● 具备强大灵活性和可扩展性的平台： 成为了数据平台的万向头，向上可以连接各种 BI 工具、可视化工具和数据分析工具， 向下可以连接各种 ETL 工具、各种数据源和各种格式的数据等。 ● 集成数据分析平台：支持商业智能（BI）、文本、GIS、图、图像等。流式支持也在开发 中。通过 Pivotal 开源的 Apache 顶级项目 MADlib，Greenplum 可以在数据内部运行 50 多种数据分析和机器学习算法。MADlib 提供 SQL 中国研发团队。2014 年 Greenplum 从 EMC 独立出来创立 Pivotal，并获得通用电气、 福特汽车和微软的投资。2018 年 4 月 Pivotal 在纽约证券交易所上市，目前市值 60 多亿美元。 开源社区和生态 Greenplum 基于世界上最先进的开源数据库 PostgreSQL。 2015 年 10 月 Pivotal 正式把投资超过 10 年的 Greenplum 开源，采用

的自动 FailOver 效果，编者也实现了自动 切换命令，当 Master 出现无法正常工作的故障时，自动激活 Standby 来接管 Master 的任务。下面的流程图，是编者实现的 Master 和 Standby 自动切换的逻辑流程图， 可以供读者参考，不过，编者不方便公开实现的代码。 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 54 - 此图展示的是内存配额的情况，该图与官方文档中有不同，因为 default_group 资源组的 memory_limit 是 0，应该是只能使用全局共享内存的资源。 当一个查询的内存消耗超过了资源组中定额部分的限制，将可以从该资源组的可共 reporting队列且同时运行，他们将获得相同CPU资源。当一个来自adhoc队列语句 开始运行，其需要较少的CPU资源。CPU资源的分配将做调整，他们之间的比重受他们 的优先级决定： 注意：该图显示的是粗略的百分比。在CPU的使用上，并不总是按照精确的比值来 分配资源，因为资源组做不到CPU资源的精细控制。 当一个来自executive的语句开始执行，CPU资源将根据他们的优先级重新调整。

NetBackup 主服务器。 重定向还原和查询 定义具有代理的 NetBackup 客 户端。 CLIENT_NAME 如果未设置此参数，则默认 为 MB。 LVM 备份 (Linux) 以千字节、兆字节或十 亿字节（分别为 KB、MB 或 GB）为单位指定 LVM 快照的 快照大小。 SNAPSHOT_SIZE 此参数无默认值。 通过指定备份映像名称 删除和还原备份文件。 表示备份映像名称。此参数可 配置使用备份映像名称指定的 conf 文件中配置这些参数或在 nbsqlite 命令行上提供，但命令行上 提供的参数优先。 注意：确保 SQLite 代理和 NetBackup 的版本相同，以便成功执行备份和还原操 作。 4 图 4-1 NetBackup for SQLite 备份工作流程 连接到 SQLite 数据库 并准备创建快照 存储单元 NetBackup 客户端 NetBackup SQLite 代理 -C 列出指定客户端上存在的所 有备份。如果未指定客户端，则默认为 NetBackup 主服务器。 注意：确保 SQLite 代理和 NetBackup 的版本相同，以便成功执行备份和还原操 作。 图 4-2 NetBackup for SQLite 还原工作流程 NetBackup 客户端 NetBackup SQLite 代理 存储单元 NetBackup 主服务器 NetBackup

免于处理资料库的故障移转. – 提供容错能力. – 使我们能设定在群组中所有的资料库都能更新. – 自动化群组设定 (在宕机时,失败时,和重新连线时的处理). – 提供高可用复制的资料库. – 自动分发协调(确保不会有脑裂和讯息丢失). – 较少管理工作负担, 代表更大的生产力! 19 2017/4/16 Percona Live 2016 - Santa Clara, CA, US MySQL Group Replication •通过分布式联接支持分析 •通过并行表扫描支持非索引搜索 •MySQL Cluster 7.4 DBT2 FlexAsych – 2 亿次 NoSQL 读取/秒（32 个节点） 4/16/2017 31 MySQL Cluster 7.4 NoSQL 性能 2 亿次 NoSQL 读取/秒 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 •内存优化表 – 持久 – 可与基于磁盘的表混合使用

Hadoop最新结构化存储利器Kudu介绍 分会场2 Postgres Conference China 2016 中国用户大会 案例：运营商清帐单系统关键需求 • 必须能够高效处理海量数据 – 单月清单数据量约1000亿条×1k/条=100TB，6个月总量高达 ~600TB – 从600TB清单数据中检索某用户某个月的清单记录，响应时间应小 于1秒 – 支持高峰期每秒2000个并发访问查询 – 满足现在清帐单业务的查询统计需求(23类) Postgres Conference China 2016 中国用户大会 开发指南 21 Postgres Conference China 2016 中国用户大会 HBase表结构逻辑图 22 Postgres Conference China 2016 中国用户大会 HBase基础 • 表记录按RowKey字典序存储 • 表Schema只定义到Column Family级别属性

聚合函数 其他函数 精度数学 SQL 语句语法 数据定义语句 (DDL) 数据操作语句 (DML) 事务语句 数据库管理语句 Prepared SQL 语句语法 实用工具语句 TiDB SQL 语法图 JSON 支持 Connectors 和 API TiDB 事务隔离级别 错误码与故障诊断 与 MySQL 兼容性对比 TiDB 内存控制 高级功能 历史数据回溯 垃圾回收 (GC) TiDB 运维文档 软件包中)，可以通过如下方式生成 PNG 文件： 1. dot xx.dot -T png -O 2. 3. 这里的 xx.dot 是上面的语句返回结果。 如果没有安装 dot ，可以将结果拷贝到这个网站，可以得到一个树状图： 实用工具语句 - 159 - 本文档使用 书栈(BookStack.CN) 构建 1. USE db_name 切换默认 Database，当 SQL 语句中的表没有显示指定 Database SQL 语句语法 实用工具语句 字符集和时区 数据类型 函数和操作符 SQL 语句语法 TiDB 用户文档 - 187 - 本文档使用 书栈(BookStack.CN) 构建 TiDB SQL 语法图 JSON 支持 Connectors 和 API 错误码与故障诊断 与 MySQL 兼容性对比 JSON 支持 Connectors 和 API 错误码与故障诊断 与 MySQL 兼容性对比 TiDB