已经非常成熟，大可 不必去重新设计开发，而且把数据库底层交给其它专业化组织来开 发（对应到 Postgresql 就是社区），还可充分利用到社区的源源不 断的创新能力和资源，让产品保持持续旺盛的生命力。 这也是我们在用户选型时，通常建议用户考察一下底层的技术支撑 是不是有好的组织和社区支持的原因，如果缺乏这方面的有力支持 或独自闭门造轮，那就有理由为那个车的前途感到担忧，一个简单 判断的标准就是 领域充当大任。我们最近对基于 MYSQL 的某内存分布式数据库做 对比测试时，发现其优点是 OLTP 非常快，TPS 非常高（轻松搞定 几十万），但一到复杂多表关联性能就立马下降，即使其具有内存 计算的功能也无能为力，就其因估计还是受到 mysql 在这方面限制。 3) 扩展性方面，Postgresql 比 mysql 也要出色许多，Postgres 天生就 是 为 扩 展 而 生 的， 你 可 以 在 PG 中 数据库有较大差 距。 上述系统，除了 HAWQ 外，对 SQL 的支持都非常有限，特别是分析 型复杂 SQL，如 SQL 2003 OLAPWINDOW 函数，几乎都不支持。以 TPC-DS 测试（用于评测决策支持系统（大数据或数据仓库）的标准 SQL 测试集 ,99 个 SQL）为例，包括 SPARK、Impala、Hive，只能支 持其中的 1/3 左右。 Big Date2.indd 15 16-11-22

据流引擎 对本地磁盘进行直 接的高性能访问 gNet 互连 • 第一个支持互联网级分析技术（由Google普及）的产品 • 采用新的编程模型，在商用硬件上并行处理和执行 • 可以使客户洞察力和数据货币化程度达到前所未有的高度 MapReduce Greenplum MapReduce的优势 • 处理在任何地点存储的任何类型的数 据 • 将SQL的普遍性与MapReduce的灵 活编程模式结合起来 将响应时间缩短90% “借助运行Greenplum数据引擎的Sun数据仓库设备，Reliance可以在快速发展，用户需求不断增加 的数据环境中达到预期的高度响应能力。” - Reliance 的副总裁和主管（决策支持系统）Raj Joshi 25 响应时间 (分) 以前的数据库 客户实例： PLDT • 业务问题 CDR分析 • 竞争对手 Oracle • 数据规模 2200万用户 / 7亿次交易 前沿开发工作 • 为全球很多最大规模的数据仓库提供提供推动力 • 最先将SQL和Map-Reduce的功能整合到统一的数 据处理框架中 • 可以帮助企业采集所有数据，并在竞争中获得出色 的洞察力 41 Parallel Dataflow Engine • General purpose parallel-dataflow engine natively executes SQL &

MySQL協助您搭建全方位的高可用應用 杜修文 甲骨文全球事業部 安全港声明 以下内容旨在阐明产品的整体方向。该内容仅供参考，不可纳入任何合同。该信息 不承诺提供任何资料、代码或功能，并且不应该作为制定购买决策的依据。本文档 所述的 Oracle 产品的任何特性或功能的开发、发行和时间规划均由 Oracle 自行决定。 4/16/2017 版权所有 2015，Oracle 和/或其附属公司。保留所有权利。 使我们能设定在群组中所有的资料库都能更新. – 自动化群组设定 (在宕机时,失败时,和重新连线时的处理). – 提供高可用复制的资料库. – 自动分发协调(确保不会有脑裂和讯息丢失). – 较少管理工作负担, 代表更大的生产力! 19 2017/4/16 Percona Live 2016 - Santa Clara, CA, US MySQL Group Replication 20 M M M M M Replication

在选择AO表的压缩方式和级别时，需要考虑以下几点因素：  CPU性能：机器需要有足够的CPU资源来压缩和解压数据。  压缩比和磁盘尺寸：既要考虑压缩比以减少数据文件的尺寸，也需要考虑CPU的能 力，因为越高级别的压缩需要消耗更多的CPU资源来压缩和解压数据。这就要求， 我们需要找到一个适中的压缩选项来兼顾压缩比和压缩解压的性能。  压缩速度：虽然说，quicklz与zlib相比，有更好的压缩解压速度，相对来说压 字段的唯一索引不能在整个分区表层面保 证数据的唯一性。 关于位图索引 除了PostgreSQL提供的索引类型之外，GP还提供了位图索引类型的支持。位图 索引对于数据仓库系统和决策分析系统可能会有帮助。这些应用通常拥有海量数据，日 常需要处理很多ad-hoc类型的查询，但少有数据修改的操作。 索引是一系列按照指定字段排序并包含指向表中记录指针的集合。普通的索引每个 创建时不会解析为查询树，因为函数中的具体执行情况无法预知，只有具体的参数和具 体的数据在执行时才能确定涉及的对象，所以，没有办法精准获取函数的依赖关系。编 者在社区遇到很多次关于函数涉及的表如何查询的问题，这个的确是无能为力的，即便 Greenplum Database 管理员指南 V6.2.1 版权所有：Esena(陈淼 +86 18616691889) 编写：陈淼 - 158 - 通过pg_proc系统表

Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。在真实部 署上线的生产环境，必须使用集群模式。它能够提供计算能力水平扩展和高可用等分布式系统必备的能 力。集群环境需要通过独立部署的注册中心来存储元数据和协调节点状态。 3.3 DistSQL 3.3.1 背景 DistSQL（Distributed SQL）是 Apache ShardingSphere SQL92 SQL92 不支持的 SQL 清单如下： TODO 4.2 管控 4.2.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 4.2.2 挑战 管控的挑战，在于对集群的集中化管理的统一管理能力以及在单点出现故障时精细化的操作能力。 集中 4.4.2 挑战 由于应用的场景不同，需要开发者能够合理的在性能与功能之间权衡各种分布式事务。 强一致的事务与柔性事务的 API 和功能并不完全相同，在它们之间并不能做到自由的透明切换。在开发 决策阶段，就不得不在强一致的事务和柔性事务之间抉择，使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单，但是无法很好的应对互联网的高并发或复杂系统的长事务场景；柔 性事务则需要开发

Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。在真实部 署上线的生产环境，必须使用集群模式。它能够提供计算能力水平扩展和高可用等分布式系统必备的能 力。集群环境需要通过独立部署的注册中心来存储元数据和协调节点状态。 3.3 DistSQL 3.3.1 背景 DistSQL（Distributed SQL）是 Apache ShardingSphere SQL92 SQL92 不支持的 SQL 清单如下： TODO 4.2 管控 4.2.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 4.2.2 挑战 管控的挑战，在于对集群的集中化管理的统一管理能力以及在单点出现故障时精细化的操作能力。 集中 4.4.2 挑战 由于应用的场景不同，需要开发者能够合理的在性能与功能之间权衡各种分布式事务。 强一致的事务与柔性事务的 API 和功能并不完全相同，在它们之间并不能做到自由的透明切换。在开发 决策阶段，就不得不在强一致的事务和柔性事务之间抉择，使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单，但是无法很好的应对互联网的高并发或复杂系统的长事务场景；柔 性事务则需要开发

数据挖掘与内容推荐 PaaS 精准 推荐 知识 图谱 精细化 运营 … iData 大数据分析PaaS 实时 分析 多维 分析 画像 分析 … DataMore 大数据应用PaaS 实时 决策 任务 系统 … 排 行 榜 大数据应用 SaaS系统 iData 用户画像 DataMore 月光宝盒 DataMore 任务系统 iData 数据可视化 游 谱 游戏说 神秘 n 精细化、精准化驱动场景服务 n 提升原有服务的增强效果 n iData大数据分析PaaS 在线实时能力 n iData大数据分析：多维分析，画像分析能力 n DataMore大数据实时决策能力 一切以用户价值为依归 17 业务应用实践 iData 2 新大数据分析引擎2.0 业界传统 大数据分析 引擎 大数据分析引擎&存储 Analytical Engine & Database

数据仓库体系架构 业务数据与数据特点 • 现在的数据 —— OLTP Ø实时，在线系统，客户使用 Ø事务小，频率高，并发高 • 过去的数据 —— OLAP Ø非实时（T+1，或小时级），离线系统，分析决策 Ø事务大，频率相对小，并发低 • 未来的数据 —— 趋势分析 Ø非实时，离线+在线流系统，趋势分析 Ø算法分析，持续计算 5 数据仓库体系架构 OLAP场景举例 • 业务相关场景 Ø用户状态 新部署集群，与现有集群双跑运行，稳定扩展（建议方式） 42 Greenplum扩展规划 Greenplum集群规划 • 业务运营越来越重要 Ø OLAP是根据历史数据，进行准确的统计计算 Ø 考虑过去的问题，为现在的决策提供参考和依据 • 定位与整合 Ø 公司内网GP小数据量计算，GP加载csv数据，GP大数据量统计 Ø 年表与实例无关，可以形成一个整体的大的Greenplum平台 Ø 网络互通，数据互通，相互备份

Apache ShardingSphere 实例之间的元数据共享和分布式场景下状态协调的能力。在真实部 署上线的生产环境，必须使用集群模式。它能够提供计算能力水平扩展和高可用等分布式系统必备的能 力。集群环境需要通过独立部署的注册中心来存储元数据和协调节点状态。 源码：https://github.com/apache/shardingsphere/tree/master/shardingsphere‐mode SQL92 SQL92 不支持的 SQL 清单如下： TODO 4.2 集群管控 4.2.1 背景 随着数据规模的不断膨胀，使用多节点集群的分布式方式逐渐成为趋势。对集群整体视角的统一管理能 力，和针对单独组件细粒度的控制能力，是基于存算分离的现代数据库体系中不可或缺的功能。 4.2.2 挑战 管控的挑战，在于对集群的集中化管理的统一管理能力以及在单点出现故障时精细化的操作能力。 集中 4.4.2 挑战 由于应用的场景不同，需要开发者能够合理的在性能与功能之间权衡各种分布式事务。 强一致的事务与柔性事务的 API 和功能并不完全相同，在它们之间并不能做到自由的透明切换。在开发 决策阶段，就不得不在强一致的事务和柔性事务之间抉择，使得设计和开发成本被大幅增加。 基于 XA 的强一致事务使用相对简单，但是无法很好的应对互联网的高并发或复杂系统的长事务场景；柔 性事务则需要开发

下，可以同一个系统中做联机交易处理、实时数据分析，极大地节省企业的成本。 • 数据汇聚、二次加工处理的场景 当前绝大部分企业的业务数据都分散在不同的系统中，没有一个统一的汇总，随着业务的发展，企业 的决策层需要了解整个公司的业务状况以便及时做出决策，故需要将分散在各个系统的数据汇聚在同 一个系统并进行二次加工处理生成 T+0 或 T+1 的报表。传统常见的解决方案是采用 ETL + Hadoop 来完成， 但 Hadoop TSO。 当开启该特性之 后，TiDB 在获取 TSO 时会将请求 均匀地发送到所 有 PD 节点上， 通过 PD follower 转发 TSO 请求， 从而降低 PD leader 的 CPU 压 力。 28 变量名 修改类型 描述 tidb_tso_ �→ client_ �→ batch_max_ �→ wait_time 新增 此变量用于设置 TiDB 向 PD 请求 TSO 时进行一次 2 体验步骤 本文的步骤以 TPC-H 数据集为例，通过其中一个查询场景来体验 TiDB HTAP 的便捷性和高性能。TPC-H 是业界较 为流行的决策支持（Desision Support）业务 Benchmark。它包含大数据量下，一个业务决策分析系统所需要响 应的不同类型高复杂度的即席查询。如果需要体验 TPC-H 完整的 22 条 SQL，可以访问 tidb-bench 仓库 或者阅读