從 Batch 應用變成 Data Operating System： 透過 MapReduce 進行 Batch Processing 透過 Hive 與 Tez 進行 Interactive SQL Query ... 15 / 74 MapReduce 改造前 Hadoop 原來的架構，MapReduce 是一切應用的基礎 所有 Job 都得轉換成 MapReduce 16 / 74 Pig：High Level Language for Data Analysis (2010-09 成為 Top-Level Project) Hive：Data Warehousing and SQL-Like Query (2010-09 成為 Top-Level Project) Sqoop：Data Migration Tool Between HDFS and RDBMS Hadoop Query 與 PB-Scale Processing 的需求 三大目標： Speed：比 Hive 10 快 100 倍 Scale：撐的下 TB 到 PB 等級的資料 SQL Compatibility：最廣泛的 SQL 語法支援 13 個月內一共有來自 44 家公司 145 位 Developer 貢獻了 39 萬行程式碼給 Hive，產出 3 個 Release！ 33 / 74 Stinger

. . . . . . . . . . . . . . . . . . . . . . . . . 25 5 Mathematical Operations and Elementary Functions 26 5.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Raw String Literals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 8 Functions 67 8.1 Argument Passing Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 Keyword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 8.4 Operators Are Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 8.5 Operators With Special Names

. . . . . . . . . . . . . . . . . . . . . . . . . 25 5 Mathematical Operations and Elementary Functions 26 5.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Raw String Literals . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65 8 Functions 67 8.1 Argument Passing Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68 Keyword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 8.4 Operators Are Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71 8.5 Operators With Special Names

. . . . . . . . . . . . . . . . . . . . . . . . . 29 6 Mathematical Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Annotated Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 9 Functions 72 9.1 Argument Passing Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Keyword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 9.4 Operators Are Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 9.5 Operators With Special Names

. . . . . . . . . . . . . . . . . . . . . . . . . 29 6 Mathematical Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Annotated Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 9 Functions 72 9.1 Argument Passing Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Keyword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 9.4 Operators Are Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 9.5 Operators With Special Names

. . . . . . . . . . . . . . . . . . . . . . . . . 29 6 Mathematical Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Annotated Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 9 Functions 72 9.1 Argument Passing Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Keyword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 9.4 Operators Are Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 9.5 Operators With Special Names

. . . . . . . . . . . . . . . . . . . . . . . . . 29 6 Mathematical Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Annotated Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 9 Functions 72 9.1 Argument Passing Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Keyword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 9.4 Operators Are Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 9.5 Operators With Special Names

. . . . . . . . . . . . . . . . . . . . . . . . . 29 6 Mathematical Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Annotated Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 9 Functions 72 9.1 Argument Passing Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Keyword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 9.4 Operators Are Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 9.5 Operators With Special Names

. . . . . . . . . . . . . . . . . . . . . . . . . 29 6 Mathematical Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Annotated Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 9 Functions 72 9.1 Argument Passing Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Keyword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 9.4 Operators Are Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 9.5 Operators With Special Names

. . . . . . . . . . . . . . . . . . . . . . . . . 29 6 Mathematical Operations and Elementary Functions 30 6.1 Arithmetic Operators . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13 Annotated Strings . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 70 9 Functions 72 9.1 Argument Passing Behavior . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73 Keyword . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75 9.4 Operators Are Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77 9.5 Operators With Special Names