Job ... 弱弱的問一下：台灣有多少企業 Cluster 有這麼大？Task 有這麼 多？ 11 / 74 我們對 Hadoop 的期許： Batch Job Interactive Query Real-Time Processing Graph Processing Iterative Modeling 人心不足蛇吞象 Hadoop 的體質 (Batch Processing) 問題： Batch 應用變成 Data Operating System： 透過 MapReduce 進行 Batch Processing 透過 Hive 與 Tez 進行 Interactive SQL Query ... 15 / 74 MapReduce 改造前 Hadoop 原來的架構，MapReduce 是一切應用的基礎 所有 Job 都得轉換成 MapReduce 16 / 74 MapReduce Level Language for Data Analysis (2010-09 成為 Top-Level Project) Hive：Data Warehousing and SQL-Like Query (2010-09 成為 Top-Level Project) Sqoop：Data Migration Tool Between HDFS and RDBMS Hadoop Ecosystem

Multicast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 22 Parallel Computing 292 23 Asynchronous Programming 293 23.1 Basic Task operations . . . . . . . . . . Global variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315 25.5 Parallel Map and Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 25.6 Remote I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436 34.20 Optimize network I/O during parallel execution . . . . . . . . . . . . . . . . . . . . 437CONTENTS vii 34.21 Fix deprecation warnings

Multicast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290 22 Parallel Computing 292 23 Asynchronous Programming 293 23.1 Basic Task operations . . . . . . . . . . Global variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315 25.5 Parallel Map and Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317 25.6 Remote I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . 436 34.20 Optimize network I/O during parallel execution . . . . . . . . . . . . . . . . . . . . 437CONTENTS vii 34.21 Fix deprecation warnings

Multicast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 23 Parallel Computing 313 24 Asynchronous Programming 314 24.1 Basic Task operations . . . . . . . . . . Global variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338 26.5 Parallel Map and Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 26.6 Remote The Main.main entry point . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 41.3 Parallel mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541 41.4 Startup

Multicast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 23 Parallel Computing 313 24 Asynchronous Programming 314 24.1 Basic Task operations . . . . . . . . . . Global variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 26.5 Parallel Map and Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340 26.6 Remote The Main.main entry point . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541 41.3 Parallel mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 542 41.4 Startup

Multicast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 23 Parallel Computing 313 24 Asynchronous Programming 314 24.1 Basic Task operations . . . . . . . . . . Global variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338 26.5 Parallel Map and Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 26.6 Remote The Main.main entry point . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 41.3 Parallel mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541 41.4 Startup

Multicast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 23 Parallel Computing 313 24 Asynchronous Programming 314 24.1 Basic Task operations . . . . . . . . . . Global variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338 26.5 Parallel Map and Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 26.6 Remote The Main.main entry point . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 41.3 Parallel mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541 41.4 Startup

Multicast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 311 23 Parallel Computing 313 24 Asynchronous Programming 314 24.1 Basic Task operations . . . . . . . . . . Global variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338 26.5 Parallel Map and Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 339 26.6 Remote The Main.main entry point . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 540 41.3 Parallel mode . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 541 41.4 Startup

Multicast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 23 Parallel Computing 310 24 Asynchronous Programming 311 24.1 Basic Task operations . . . . . . . . . . Global variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 26.5 Parallel Map and Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336 26.6 Remote I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466 35.22 Optimize network I/O during parallel execution . . . . . . . . . . . . . . . . . . . . 467 35.23 Fix deprecation warnings . . . . .

Multicast . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308 23 Parallel Computing 310 24 Asynchronous Programming 311 24.1 Basic Task operations . . . . . . . . . . Global variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 335 26.5 Parallel Map and Loops . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336 26.6 Remote I/O . . . . . . . . . . . . . . . . . . . . . . . . . . . . 466 35.22 Optimize network I/O during parallel execution . . . . . . . . . . . . . . . . . . . . 467 35.23 Fix deprecation warnings . . . . .