................ 7 2.1.2 开源大数据组件架构 ............................................................................................................. 8 2.1.3 阿里云大数据组件架构 .............................. 及开源生态与阿里云大数据生态对比 2.1.1 主流大数据体系架构 Hadoop 及开源生态由一系列的开源组件共同组成，很多用户基于 Hadoop 及开源生态组件构 建企业数据仓库/数据湖、机器学习、实时分析、BI 报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面 等。 2.1.2 开源大数据组件架构 Alibaba Cloud MaxCompute 解决方案 9 2.1.3 阿里云大数据组件架构 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 基于借助该大数据架构，对 Hadoop 及开源生态组件与阿里云大数据生态产品进行了对比 映射（仅作为对功能定位的映射，不代表对应组件可无缝迁移），以便读者对相关服务的迁移至

Hadoop 概述 本章内容提要 ● Hadoop 的组件 ● HDFS、MapReduce、YARN、ZooKeeper 和 Hive 的角色 ● Hadoop 与其他系统的集成 ● 数据集成与 Hadoop Hadoop 是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当 商业促使各种组织收集越来越多的数据，而这也增加了高效管理这 些数据的需求。本章探讨 Hadoop Stack，以及所有可与 Hadoop 一 起使用的相关组件。 在构建 Hadoop Stack 的过程中，每个组件都在平台中扮演着重 要角色。软件栈始于 Hadoop Common 中所包含的基础组件。Hadoop 1 第 章 Hadoop 大数据解决方案 2 Common 是常见工具和库的集合，用于支持其他 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 操作系统。 ZooKeeper 是另一个 Hadoop Stack 组件，它能通过共享层次名 称空间的数据寄存器(称为 znode)，使得分布式进程相互协调工作。 每个 znode 都由一个路径来标识，路径元素由斜杠(/)分隔。 还有其他一些系统能与 Hadoop

收益，而且还能树立竞争优势。Hadoop是一个开源软件项目， 支持在多个商业服务器群集间分散处理和存储大型数据集， 并可根据需求变化从单一服务器扩展到数以千计的服务器。主 要的Hadoop组件包括Hadoop Distributed File System （用于存储大型文件）和Hadoop分布式并行处理框架（称为 MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解 发环境：这种做法没有任何实际意义，而且支持费用非常昂 贵。您应该能够构建一次作业，然后即可在三个环境中的任意 一个环境内运行它。 最适合Hadoop的流程 Hadoop 平台由以下两个主要组件构成：分布式容错文件系统 （称为Hadoop Distributed File System (HDFS)）和并 行处理框架（称为MapReduce）。 HDFS平台十分适合处理大型顺序操作，其中的数据读取“切 所有这些因素表明，在Hadoop环境中执行大数据集成需要 以下三个组件来实现高性能的工作负载处理： 1)Hadoop发行版 2)非共享大规模可扩展ETL平台（如IBM InfoSphere Information Server提供的平台） 3)MapReduce ETL pushdown功能 需要同时具备全部三大组件，因为如果不进行手动编码， 大部分数据集成逻辑将无法推送到MapReduce，因为

ApplicationMaster 和 Container 等几个组件构成。 ResourceManager 是 Master 上一个独立运行的进程，负责集群统一的资源管 理、调度、分配等等；NodeManager 是 Slave 上一个独立运行的进程，负责上报 节点的状态；App Master 和 Container 是运行在 Slave 上的组件，Container 是 yarn 中分配资源的一个单位，包涵内存、CPU

start-dfs.sh/stop-dfs.sh （2）整体启动/停止 YARN start-yarn.sh/stop-yarn.sh 2）各个服务组件逐一启动/停止 （1）分别启动/停止 HDFS 组件 hdfs --daemon start/stop namenode/datanode/secondarynamenode （2）启动/停止 YARN yarn

Database 11g 和 5 个节点 的 Hadoop 集群上进行过测试。与大多数白皮书一样，请将这些脚本复制到文本编辑器中并 确保格式正确。 处理数据的表函数 该脚本中包含某些设置组件。例如，脚本开始的部分创建了图 3 中第 1 步所展示的仲裁表。 本例中使用的是一直广受欢迎的 OE 模式。 connect oe/oe -- Table to use as locking

如欲获得本文戒其它英特尔文献中提及的带订单编号的文档副本，可致电 1-800-548-4725，戒访问http：//www.intel.com/design/literature.htm 性能测试和等级评定均使用特定的计算 机系统和/戒组件迚行测量，这些测试大致反映了英特尔® 产品的性能。系统硬件、软件设计戒配置的仸何差异都可能影响实际性能。购买者应迚行多方咨询，以评估其考虑购买的系统戒组 件的性能。如欲了解有关性能测试和英特尔产品性