十几位业界大咖（据 说来自 google、yahoo、ibm 和 TD），说干就干，花了一年多的时间 完成最初的版本设计和开发，用软件实现了在开放 X86 平台上的分布 式并行计算，不依赖于任何专有硬件，达到的性能却远远超过传统高 昂的专有系统。 Big Date2.indd 2 16-11-22 下午3:38 Greenplum 精粹文集 3 大家都知道 Greenplum 的数据库引擎层是基于著名的开源数据库 不必去重新设计开发，而且把数据库底层交给其它专业化组织来开 发（对应到 Postgresql 就是社区），还可充分利用到社区的源源不 断的创新能力和资源，让产品保持持续旺盛的生命力。 这也是我们在用户选型时，通常建议用户考察一下底层的技术支撑 是不是有好的组织和社区支持的原因，如果缺乏这方面的有力支持 或独自闭门造轮，那就有理由为那个车的前途感到担忧，一个简单 判断的标准就是看看底下那个轮子有多少人使用，有多少人为它贡 单个节点上运行能力比其它数据库也快很多，如果运行在 多节点上，其提供性能几乎是线性的增长，这样一个集群提供的性能 能够很轻易的达到传统数据库的数百倍甚至数千倍，所管理数据存储 规模达到 100TB~ 数 PB，而你在硬件上的投入，仅仅是数台一般的 X86 服务器和普通的万兆交换机。 Big Date2.indd 6 16-11-22 下午3:38 Greenplum 精粹文集

CPU、IO、内存资源的分布，来提升并行计算能力。在当前数据存储以磁盘为主的情况下，数据S can需要的较大的磁盘IO，以及并行导致的高CPU，仍然是资源的短板。因此，高频的大规模汇 总统计，并发能力将面临较大挑战，这取决于集群硬件方面的并行计算能力。传统去重算法需要 大量计算资源，实时的大规模去重指标对CPU、内存都是一个巨大挑战。目前Doris最新版本已经 支持Bitmap算法，配合预计算可以很好地解决去重应用场景。 模式。 MPP引擎的选型 目前开源的比较受关注的OLAP引擎很多，比如Greenplum、Apache Impala、Presto、Doris、Cl ickHouse、Druid、TiDB等等，但缺乏实践案例的介绍，所以我们也没有太多的经验可以借鉴。 于是，我们就结合自身业务的需求，从引擎建设成本出发，并立足于公司技术生态融合、集成、 易用性等维度进行综合考虑，作为选型依据，最终我们平台部门选择了2018年刚进入Apache社

8核8G 8核16G 16核16G 16核64G 32核64G 32核128G 一主一从 分片集群 一主多从 SATA-SSD PCIE-SSD 大容量磁盘SAS 配置 DB架构 硬件选型 机房 A机房 B机房 C机房 D机房 容器化之后的MySQL就是一个私有DB云 主 从 集 群 创 建 分 片 集 群 创 建 集 成 高 可 用 方 案 巨 细 无 遗 的 监

........................................................................................ - 265 - 硬件选型.................................................................................................. ......................................................................................... - 272 - 硬件与网络最低要求 ........................................................................................... ........................................................................................ - 341 - 新硬件的规划 ...............................................................................................

吐量 的提升。 基于 ACID 的强一致性事务和基于 BASE 的最终一致性事务都不是银弹，只有在最适合的场景中才能发 挥它们的最大长处。可通过下表详细对比它们之间的区别，以帮助开发者进行技术选型。 本地事务 两（三）阶段事务 柔性事务 业务改造 无 无 实现相关接口 一致性 不支持 支持 最终一致 隔离性 不支持 支持 业务方保证 并发性能 无影响 严重衰退 略微衰退 适合场景 完全支持非跨库事务，例如：仅分表，或分库但是路由的结果在单库中； • 完全支持因逻辑异常导致的跨库事务。例如：同一事务中，跨两个库更新。更新完毕后，抛出空指 针，则两个库的内容都能回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如：同一事务中，跨两个库更新，更新完毕后、未提 交之前，第一个库宕机，则只有第二个库数据提交。 XA 两阶段事务 支持项 • 支持数据分片后的跨库事务； • 两阶段提交保证操作的原子性和数据的强一致性； shardingsphere-benchmark/report/script/gen_report.sh 历史压测数据展示 正在进行中，请等待。 3.10.5 性能测试 (sysbench) 环境 推荐硬件环境 CPU: 32 Cores RAM: 128 GB NIC: 10Gb Ethernet 3.10. 测试引擎 120 Apache ShardingSphere document,

追涛等问题。随着系统数据量呈 指数级的增长, 通过数据库中间件实现的分库分表方案维护成本较高此外, 大数据 T+1 报表满足不了业务 需求,寻找一款成识的 NewSQL 数据库成为多点DMall 选型的方向。 解决方案 多点业财一体化平台采用三副本 TiDB、TiKV 与 PD 方案,同时部署 Tiflash 列存节点, 采用 TiDB DM 数 据同步主键实现 MySQL 数据同步到TiDB 全球汽车夜"是由汽车之家与湖南卫视联手打造的汽车行业顶级盛典, 参与用户数以百万, 晚会期间 系统并发峰值达数十万, 因每轮秒杀、扬奖等活动时间短, 流量集中, 以及业务场景涉及到对账核销, 数据 持久层的选型在系统设计中显的尤为重要。 解决方案 汽车之家基于TiDB 构建两地三中心方案, 通过 Raft 算法保证数据库集群数据的一致性和高可用性， 城数据中心网络延迟相对较小, 业务流量同时派发到同城两个数据中心 无法进行灵活扩展。此外, 分表 Join-SQL 复杂度高, 同时缺乏大数据的分析能力。 网易互娱希望新方 案可以兼容 MySQL 协议、 支持事务与二级素引, 提供灵活的在线扩展能力。 数据库选型 *。 ”MYSQL 分库分表与 InnoDB Cluster 方案扩展性有限, 性能受损, 同时要修改业务端的代码, 复杂度 较高; *。 MongoDB 不能实时从 Binlog 同步数据,

• 多维度联合分析 • 实时分析+报表下载 场景⼀一：实时数仓数据源⽀支撑 数仓数据源选型过程： • RDS快速上线
 最⼤大承载3个⽉月交易易量量分析 • ADS 偶发性数据延时 • ES 开发成本、复杂关联场景 场景⼀一：实时数仓数据源⽀支撑 选型TiDB的原因： • 兼容Mysql • 分布式，海海量量数据实时查询性能 • ⾃自动failover的⾼高可⽤用

账单缴费 当前粉丝：400万+ 月活跃人数：110万+ 7*24小时的服务 业务痛点 DBA 分表 分库 运维 中间件 稳定性 ... 选择 MyCat TIDB Mysql 分片 ... 选型测试 Mysql 主从分表：活动 延迟 Mycat ：进行过 100 张分表处理，复杂度、可维护性高 TIDB：进行生产数据导入和实时同步进行数据测试。当时 beta 版本 上线 数据全量导入 TiDB

区 分 区 计算组 分 区 分 区 分 区 分 区 计算组 分 区 分 区 分 区 分 区 计算组 AnalyticDB for PostgreSQL 公共云产品规格和实例选型： 【高性能】计算组 CPU/核 内存 用户数据空间 1x2C SSD 2 16GB 160GB SSD 1x16C SSD 16 128GB 1.28TB SSD 4x4C SSD 16 128GB

吐量 的提升。 基于 ACID 的强一致性事务和基于 BASE 的最终一致性事务都不是银弹，只有在最适合的场景中才能发挥 它们的最大长处。可通过下表详细对比它们之间的区别，以帮助开发者进行技术选型。 本地事务 两（三）阶段事务 柔性事务 业务改造 无 无 实现相关接口 一致性 不支持 支持 最终一致 隔离性 不支持 支持 业务方保证 并发性能 无影响 严重衰退 略微衰退 适合场景 完全支持非跨库事务，例如：仅分表，或分库但是路由的结果在单库中； • 完全支持因逻辑异常导致的跨库事务。例如：同一事务中，跨两个库更新。更新完毕后，抛出空指 针，则两个库的内容都能够回滚。 不支持项 • 不支持因网络、硬件异常导致的跨库事务。例如：同一事务中，跨两个库更新，更新完毕后、未提 交之前，第一个库宕机，则只有第二个库数据提交，且无法回滚。 XA 事务 支持项 • 支持数据分片后的跨库事务； • 两