Hadoop 迁移到阿里云 MaxCompute 技术方案 （V2.8.5） 编写人：MaxCompute 产品团队 日 期：2019.05 Alibaba Cloud MaxCompute 解决方案 2 目录 1 概要 .................................. .............. 6 2 阿里云大数据与开源生态对比 .................................................................................................................. 7 2.1 Hadoop 及开源生态与阿里云大数据生态对比 ................ ..................... 8 2.1.3 阿里云大数据组件架构 ......................................................................................................... 9 2.1.4 阿里云大数据与 Hadoop 生态的产品映射 ................

是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当涉及数据时，企业中最大的需求便是可扩展能力。科技和 商业促使各种组织收集越来越多的数据，而这也增加了高效管理这 些数据的需求。本章探讨 Hadoop Stack，以及所有可与 Hadoop 一 起使用的相关组件。 在构建 Hadoop Stack 的过程中，每个组件都在平台中扮演着重 其他软件栈一样，这些支持文件是一款成功实现的必要条件。而众 所周知的文件系统，Hadoop 分布式文件系统，或者说 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 znode)，使得分布式进程相互协调工作。 每个 znode 都由一个路径来标识，路径元素由斜杠(/)分隔。 还有其他一些系统能与 Hadoop 进行集成并从其基础架构中受 益。虽然 Hadoop 并不被认为是一种关系型数据库管理系统 (RDBMS)，但其仍能与 Oracle、MySQL 和 SQL Server 等系统一起 工作。这些系统都已经开发了用于对接 Hadoop 框架的连接组件。 我们将在本章介绍这些组件中的一部分，并且展示它们如何与

精力用于数据集成，只有20%的精力投入 到数据分析中。” —Intel Corporation，“使用 Apache Hadoop 抽取、转换和加载大数据”1 有效的大数据集成解决方案可实现简便性、高速度、可扩展 性、功能和治理，从Hadoop沼泽中生成可使用的数据。没有 有效的集成，势必形成“垃圾进垃圾出”的情况－这不是出色 的受信任数据使用方法，更谈不上准确完整的洞察或转型 成果。 IBM软件 3 对 处理的数据量、处理吞吐量以及使用的处理器和处理节点数 量全无限制。只需添加更多的硬件，即可处理更多的数据，实 现更高的处理吞吐量。添加硬件资源的同时，无需修改即可运 行相同的应用程序并且性能也会随之提高（参见图1）。 关键成功因素：避免炒作，分辨是非 在这些新兴的Hadoop市场阶段，请仔细分辨听到的所有 说明Hadoop卓尔不群的言论。充分使用Hadoop的神话 与现实之间存 Hadoop Yet Another Resource Negotiator(YARN) 纳入了MapReduce的资源管理功能，并将它们内置其 中，这样需要在Hadoop群集间动态执行的其他应用即可 使用它们。结果是，这种方法可将大规模可扩展数据集成 引擎作为本机 Hadoop应用程序来实现，而且不会影响 MapReduce的性能。希望在Hadoop上实现可扩展性和 有效性的所有企业技术都需要采用YARN，并将其作为

件中列明乊担保条件以外，英特 尔公司丌对销售和/戒使用英特尔产品做出其它仸何明确戒隐含的担保，包括对适用亍特定用途、适销性，戒丌侵犯仸何与利、版权戒其它知识产权的担保。 “关键业务应用”是挃当英特尔® 产品发生故障时，可能会直接戒间接地造成人员伤害戒死亡的应用。如果您针对此类关键业务应用购买戒使用英特尔产品，您应当对英特尔迚行赔偿，保 证因使用此类关键业务应用而造成的产品责仸、人员伤害戒死亡索 具有的特性，设计者亦丌应信赖仸何标有保留权利摂戒未定义摂说明戒特性描述。英特尔保 留今后对其定义的权利，对亍因今后对其迚行修改所产生的冲突戒丌兼容性概丌负责。此处提供的信息可随时改变而毋需通知。请勿使用本信息来对某个设计做出最终决定。 文中所述产品可能包含设计缺陷戒错误，已在勘误表中注明，这可能会使产品偏离已经发布的技术规范。英特尔提供最新的勘误表备索。 订购产品前，请联系您当地的英特尔销售办事处戒分销商，了解最新技术规范。 如欲获得本文戒其它英特尔文献中提及的带订单编号的文档副本，可致电 1-800-548-4725，戒访问http：//www.intel.com/design/literature.htm 性能测试和等级评定均使用特定的计算 机系统和/戒组件迚行测量，这些测试大致反映了英特尔® 产品的性能。系统硬件、软件设计戒配置的仸何差异都可能影响实际性能。购买者应迚行多方咨询，以评估其考虑购买的系统戒组 件的性能。如欲了

许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的 明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据 存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提 取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 Hadoop 集群里的数据。请注 意，本文选择了 Hadoop 和 HDFS 作为示例，但这里的策略同样适用于其他分 外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据，最简单的方法莫过于使用 外部表。请参阅这里了解外部表。 外部表以表的形式展示存储在文件系统中的数据，并且可在 SQL 查询中完全透明地使用。 因此，可以考虑用外部表从 Oracle 数据库中直接访问 HDFS（Hadoop 文件系统）中存储的 数据。遗憾的是，常规的操作系统无法调用外部表驱动直接访问 存储，并将其作为常规文件系统处理。通过使用一个此类驱动程序，并在数据库实 例上挂载 HDFS（如果是 RAC 数据库，则在其所有实例上挂载 HDFS），即可使用外部表基 础架构轻松访问 HDFS 文件。 图 1. 用数据库内置的 MapReduce 通过外部表进行访问 在图 1 中，我们利用 Oracle Database 11g 实现本文所述的数据库内的 mapreduce。通常情况

MapTask SecondaryNa meNode 1.6 大数据技术生态体系 大数据技术生态体系 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark Core内存计算 Hive 数据查询 图中涉及的技术名词解释如下： 1）Sqoop：Sqoop 是一款开源的工具，主要用于在 Hadoop、Hive 与传统的数据库（MySQL） 间进行数据的传递，可以将一个关系型数据库（例如 ：MySQL，Oracle 等）中的数据导进 到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 2）Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统， 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。 8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运 行。其优点是学习成本低，可以通过类

处理、虚拟化等关键技术优势，针对关键业务构建的丰富高效、安全可靠的功能 特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一款具有高安全、高可用、高可靠、高性能的自主 可控服务器操作系统。 1.2 环境概述

mapTask 处理的差值，越小越均衡 2）注意：如果测试过程中，出现异常 （1）可以在 yarn-site.xml 中设置虚拟内存检测为 false yarn.nodemanager.vmem-check-enabled numDataUnits=2, numParityUnits=1]], CellSize=1048576, Id=4], State=DISABLED 3）纠删码策略解释: RS-3-2-1024k：使用 RS 编码，每 3 个数据单元，生成 2 个校验单元，共 5 个单元，也 就是说：这 5 个单元中，只要有任意的 3 个单元存在（不管是数据单元还是校验单元，只要 RS-10-4-1024k：使用 RS 编码，每 10 个数据单元（cell），生成 4 个校验单元，共 14 个单元，也就是说：这 14 个单元中，只要有任意的 10 个单元存在（不管是数据单元还是校 验单元，只要总数=10），就可以得到原始数据。每个单元的大小是 1024k=1024*1024=1048576。 RS-6-3-1024k：使用 RS 编码，每 6 个数据单元，生成

联网市场数据和实验平台的架构设计。负责领导使用Hadoop、 Spark、Kafka、Cassandra等开源大数据顷目建立ebay的广告和数 据平台。 • 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的 开源贡献、基于Intel平台的开源顷目优化以及一些基于Spark的大 规模机器／深度学习顷目。 • 超过9年的互联网、云计算、大数据的工作经验。 概要 • Hadoop的历叱 Hadoop 3介绍 • Common • HDFS  纠错码(Erasure Coding)  多个Standby Namenode  Datanode内部balance工具  云计算平台的支持 • YARN • MapReduce HDFS纠错码(Erasure Coding) • 一个简单的例子 1备份: 1,0 需要额外的2位 XOR编码: 1,0 需要额外的1位 Journal Node Journal Node Journal Node Write edit logs Read edit logs Block reports HDFS-6440 云计算－存储虚拟化 Hadoop 文件系统API SQL, 机器学习, 流处理, Batch… Hadoop 3介绍 • Common • HDFS • YARN  YARN Timeline

能更好地适用于数据挖掘与机器学习等需要迭代的 map reduce 的算 法。 1.2 Spark 核心概念 1.2.1 弹性分布数据集（RDD） RDD 是 Spark 的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式 来操作分布式数据集的抽象实现。RDD 是 Spark 最核心的东西，它表示已被分区，不可变的 并能够被并行操作的数据集合，不同的数据集格式对应不同的 RDD 实现。RDD RDD 数据写 到存储系统中。Actions 是触发 Spark 启动计算的动因。 1.2.3 血统（Lineage） 利用内存加快数据加载,在众多的其它的 In-Memory 类数据库或 Cache 类系统中也有实 现，Spark 的主要区别在于它处理分布式运算环境下的数据容错性（节点实效/数据丢失）问 题时采用的方案。为了保证 RDD 中数据的鲁棒性，RDD 数据集通过所谓的血统关系(Lineage)