人心不足蛇吞象 Hadoop 的體質 (Batch Processing) 問題： 每次就是一個 Batch Job，一個接著一個 每個 Batch Job 做的事就是讀入所有資料、處理、寫出結果 Job 與 Job 之間的 I/O Overhead 太高，但是彼此之間又沒有交集 Hadoop 掌握所有資料 (HDFS)，但是只有一種玩法 (MapReduce)？ 12 / 74 改造好呢？還是放棄好呢？ Query Execution Engine 把常用資料 Cache 在記憶體，提供 ANSI-SQL Compatible Query CPU Efficiency 比 Hive 好 4-7 倍，回傳結果速度大概是 8-10 倍 酸民說：Most of Facebook is pictures of cats, updates about bodily functions, nihilistic ramblings 一年多前希望最終能夠取代 Hive 六個月前決定從頭開始，而不是改進現有的 Hive，因為對 Real- Time Distributed SQL Processing 來說，Hive 是錯誤的架構 結果現在又說要把 Hive 架在 Spark 上頭執行 57 / 74 Hive 樓下到底住誰？ 做 Impala 又為了誰？ Tez/YARN vs. Spark Cloudera, MapR

Hadoop 的一个编程组件，用于处理和读取大型 数据集。MapReduce 算法赋予了 Hadoop 并行化处理数据的能力。 简而言之，MapReduce 用于将大量数据浓缩为有意义的统计分析结 果。MapReduce 可以执行批处理作业，即能在处理过程中多次读取 大量数据来产生所需的结果。 对于拥有大型数据存储或者数据湖的企业和组织来说，这是一 种重要的组件，它将数据限定到可控的大小范围内，以便用于分析