了解决易用性的问题，近年来 SQL-0N-HADOOP 技术大量涌现 出来，几乎成为当前 Hadoop 开发使用的一个技术热点趋势。 这 些 技 术 包 括：Hive、Pivotal HAWQ、SPARK SQL、Impala、 Prest、Drill、Tajo 等等很多，这些技术有些是在 Mapreduce 上做 了优化。例如 Spark 采用内存中的 Mapreduce 技术，号称性能比 基于文件的的 Mapreduce 倍；有的则采用 C/C++ 语言替 代 Java 语言重构 Hadoop 和 Mapreuce（如 MapR 公司及国内某 知名电商的大数据平台）；而有些则直接绕开了 Mapreduce 另起 炉灶，如 Impala、hawq 采用借鉴 MPP 计算思想来做查询优化和 内存数据 Pipeline 计算，以此来提高性能。 虽然 SQL-On-Hadoop 比原始的 Mapreduce 虽然在易用上有所提 高，但在 SQL，如 SQL 2003 OLAPWINDOW 函数，几乎都不支持。以 TPC-DS 测试（用于评测决策支持系统（大数据或数据仓库）的标准 SQL 测试集 ,99 个 SQL）为例，包括 SPARK、Impala、Hive，只能支 持其中的 1/3 左右。 Big Date2.indd 15 16-11-22 下午3:38 16 由于 HADOOP 本身 Append-only 的特性，SQL-On-Hadoop

算的巨大成本， 并带来较大的应用灵活性。这种情况下适合MPP引擎支撑下的ROLAP生产模式。 MPP引擎的选型 目前开源的比较受关注的OLAP引擎很多，比如Greenplum、Apache Impala、Presto、Doris、Cl ickHouse、Druid、TiDB等等，但缺乏实践案例的介绍，所以我们也没有太多的经验可以借鉴。 于是，我们就结合自身业务的需求，从引擎建设成本出发，并立足于公司技术生态融合、集成、 们平台部门选择了2018年刚进入Apache社 区的Doris。 Doris简介及特点 Doris是基于MPP架构的OLAP引擎，主要整合了Google Mesa（数据模型）、Apache Impala（MPP Query Engine）和Apache ORCFile （存储格式，编码和压缩）的技术。 Doris的系统架构如下，主要分为FE和BE两个组件，FE主要负责查询的解析、编译、优化、调度

single line of code in most cases. ● Focus on OLTP ○ There are lots of OLAP system( Spark, Presto, Impala…) TiDB Features ● Multiple storage engine support ○ TiDB supports most of the popular storage

Message Notification 实时计算质量保证 实时计算结果正确性如何验证？ 方案一：结果导向 Source Flume HDFS Kafka Storm Mr / Impala Result Result 备 份 比 对 方案二：经验值 w1 w2 current w1 w2 w3 … … w1 w2 w3 … today lastday lastmonth

PostgreSQL / Elasticsearch / ClickHouse / MongoDB / AWS RedShift / MariaDB / Doris / Hive / DB2 数据库 / Impala / StarRocks / TiDB / MaxCompute / Presto / Kylin / 达梦 / API 数据源等；⽀持数据源的⾼级设置，例如最⼤连接数、最⼩连接数、连接超时时间等；

PostgreSQL / Elasticsearch / ClickHouse / MongoDB / AWS RedShift / MariaDB / Doris / Hive / DB2数据库 / Impala / StarRocks / TiDB / MaxCompute / Presto / API 数据源等； ⽀持数据源的新建、编辑、删除等；⽀持数据源的⾼级设置，如最⼤连接数、最⼩连接数、连接超时时间等；

PostgreSQL / Elasticsearch / ClickHouse / MongoDB / AWS RedShift / MariaDB / Doris / Hive / DB2数据库 / Impala / StarRocks / TiDB /MaxCompute / Presto / Kylin / 达梦 / API 数据源等； ⽀持数据源的新建、编辑、删除等；⽀持数据源的⾼级设置，如最⼤连接数、最⼩连接数、连接超时时间等；

PostgreSQL / Elasticsearch / ClickHouse / MongoDB / AWS RedShift / MariaDB / Doris / Hive / DB2数据库 / Impala / StarRocks / TiDB /MaxCompute / Presto / Kylin / 达梦 / API 数据源等； ⽀持数据源的新建、编辑、删除等；⽀持数据源的⾼级设置，如最⼤连接数、最⼩连接数、连接超时时间等；

有能力向群集提供资源，它的资源容量即内存和其他资源的数量。 在运行时，资源调度器将决定如何使用该容量。Hadoop 2 中的 YARN 框架允许工作负载在各种处理框架之间动态共享群集资源，这些框 架包括 MapReduce、Impala 和 Spark。YARN 目前用于处理内存和 CPU，并将在未来用于协调其他资源，例如磁盘和网络 I/O。 1.2 ZooKeeper 是什么 ZooKeeper 是另一项 Hadoop