Modeling 人心不足蛇吞象 Hadoop 的體質 (Batch Processing) 問題： 每次就是一個 Batch Job，一個接著一個 每個 Batch Job 做的事就是讀入所有資料、處理、寫出結果 Job 與 Job 之間的 I/O Overhead 太高，但是彼此之間又沒有交集 Hadoop 掌握所有資料 (HDFS)，但是只有一種玩法 (MapReduce)？ 12 / 74 ApplicationMaster 其實是 MRv1 與 MRv2 最大的不同，負責與中央的 ResourceManager 與各地的 NodeManager 協調溝通，執行與監督各個 Container 的運作狀況，容錯也歸它管。 因為 ApplicationMaster 分擔了 MRv1 時代 ResourceManager 該做的絕大多數工 作，所以 MRv2 的 ResourceManager 就變得非常地 Scalable，撐到 PigLatin 翻成一堆 MapReduce Job Facebook 做出了 Hive，把 HiveQL 翻成一堆 MapReduce Job Hive 與 Pig 大家都想用 Hadoop 處理 Big Data，但不是每個人都會寫 MapReduce / Java，於是： 32 / 74 Stinger Initiative 緣由： Hortonworks 主導 希望在 Hadoop

负责整个系统 的资源管理和分配，而 ApplicationMaster 负责单个应用程序的管理。 YARN 总 体 上 仍 然 是 master/slave 结 构 ， 在 整 个 资 源 管 理 框 架 中 ， resourcemanager 为 master，nodemanager 是 slave。Resourcemanager 负责对各个 nademanger 上资源进行统一管理和调度。当用户提交一个应用程序时，需要提供 Manager、 ApplicationMaster 和 Container 等几个组件构成。 ResourceManager 是 Master 上一个独立运行的进程，负责集群统一的资源管 理、调度、分配等等；NodeManager 是 Slave 上一个独立运行的进程，负责上报 节点的状态；App Master 和 Container 是运行在 Slave 上的组件，Container

数据存储 MaxCompute Table,MaxCompute 不提供文件服 务，非结构化数据可迁移至 OSS，通过 MaxCompute 外表或 MaxCompute Spark 进行处 理分析 数据集成 Sqoop Kettle Datawroks 数据集成 编排&调度 Oozie Airflow 等作业调度工具 Datawroks Studio 4 Dataworks 服务支持 Oozie+Dataworks 混乱模式的工作流迁移 即：支持 7.5.1.1 和 7.5.1.2 两种混合配置模式，Dataworks 服务会为两种工作流配置做叠加处 理。

容器 容器 资源管理器 数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处 理器的灵活性使其能利用自身的影响力来挑战现有系统。通过将数 据处理的工作负载分为多个并行执行的任务，MapReduce 允许其用 户处理存储于 HDFS 上不限数量的任意类型的数据。因此，MapReduce

双11、618可以动 态增加服务器 Hadoop102 Hadoop103 Hadoop104 Hadoop优势（4高） 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度。 4）高容错性：能够自动将失败的任务重新分配。 Hadoop102 Hadoop103 Hadoop104 Hadoop101 单台服务 器工作 计算任务 集群工作 计算子任务 计算子任务

磁盘 数据 内存不够溢出到磁盘 归并 排序 分组 Reduce方法 对每个map来的 数据归并排序 按照相同key分组 Map2方法 输出数据 Map1方法 输出数据 Reduce1处理流程 拷贝 拷贝 4）mapreduce.reduce.memory.mb 默认ReduceTask内存上限1024MB， 根据128m数据对应1G内存原则，适当提高内存到4-6G 6）mapreduce