..................................................................... 15 3.1 迁移基于 Hadoop 的数据湖/数据仓库业务负载 ......................................................................... 15 3.2 不同的网络环境及部署形态迁移 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈，严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及，越来越多的企业客户选择数据上云，在云上构建数据仓库。以云数 仓、云计算为核心的企业服务架构成为新一代大数据建站的主流趋势。MaxCompute 作为云数 仓、云计算的核心引擎，承载了越来越多企业客户的数据业务和数据资产，免运维、低成本、高 度 Hadoop 及开源生态与阿里云大数据生态对比 2.1.1 主流大数据体系架构 Hadoop 及开源生态由一系列的开源组件共同组成，很多用户基于 Hadoop 及开源生态组件构 建企业数据仓库/数据湖、机器学习、实时分析、BI 报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。

与其他系统的集成 ● 数据集成与 Hadoop Hadoop 是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当涉及数据时，企业中最大的需求便是可扩展能力。科技和 商业促使各种组织收集越来越多的数据，而这也增加了高效管理这 些数据的需求。本章探讨 Hadoop Stack，以及所有可与 Hadoop 一 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 操作系统。 ZooKeeper 是另一个 Hadoop Stack 组件，它能通过共享层次名 称空间的数据寄存器(称为 znode)，使得分布式进程相互协调工作。 每个 znode 都由一个路径来标识，路径元素由斜杠(/)分隔。 还有其他一些系统能与 Hadoop 进行集成并从其基础架构中受 益。虽然 Hadoop 并不被认为是一种关系型数据库管理系统 (RDBMS)，但其仍能与 Oracle、MySQL 和 SQL Server 等系统一起 工作。这些系统都已经开发了用于对接 Hadoop 框架的连接组件。 我们将在本章介绍这些组件中的一部分，并且展示它们如何与

决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些 问题，才能安享各项优势，最大限度提高投资回报率 (ROI)。 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和 分析大数据方面实现了范式转变。无论是要更深入的分析，还是 希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都 可以通过这项技术一一实现，从而大幅降低成本并创造新的 收入。 高性能处理，而是为了实现细粒度的容错。这种差异可能会 使整体性能和有效性降低一个数量级乃至更多。 Hadoop Yet Another Resource Negotiator(YARN) 纳入了MapReduce的资源管理功能，并将它们内置其 中，这样需要在Hadoop群集间动态执行的其他应用即可 使用它们。结果是，这种方法可将大规模可扩展数据集成 引擎作为本机 Hadoop应用程序来实现，而且不会影响 Ma 图1. 海量数据可扩展性是一项大数据集成的强制要求。在大数据时代，企业必须支持MPP群集系统才能实现扩展。 支持海量数据可扩展性的需求并非只与Hadoop基础架构的出 现有关。多年来，领先的数据仓库供应商（如IBM和Teradata） 和领先的数据集成平台（如IBM ® InfoSphere ® Information Server）纷纷提供可支持海量数据可扩展性的非共享大规模并

发行版，完全开源，比 Apache Hadoop 在兼容性，安 全性，稳定性上有所增强。Cloudera 的标价为每年每个节点 10000 美元。 （4）Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一 个 Hadoop 集群，并对集群的节点及服务进行实时监控。 3）Hortonworks Hadoop 官网地址：https://hortonworks. （3）Hortonworks 的主打产品是 Hortonworks Data Platform（HDP），也同样是 100%开 源的产品，HDP 除常见的项目外还包括了 Ambari，一款开源的安装和管理系统。 （4）2018 年 Hortonworks 目前已经被 Cloudera 公司收购。 尚硅谷大数据技术之 Hadoop（入门） NameNode元数据备份。 1.5.2 YARN 架构概述 Yet Another Resource Negotiator 简称 YARN ，另一种资源协调者，是 Hadoop 的资源管理器。 尚硅谷大数据技术之 Hadoop（入门） ————————————————————————————— 更多 Java –大数据 –前端

英特尔迚行赔偿，保 证因使用此类关键业务应用而造成的产品责仸、人员伤害戒死亡索赔中直接戒间接发生的所有索赔成本、损坏、费用以及合理的律师费丌会对英特尔及其子公司、分包商和分支机构，以及 相关的董事、管理人员和员工造成损害，无论英特尔及其分包商在英特尔产品戒其仸何部件的设计、制造戒警示环节是否出现疏忽大意的情冴。 英特尔可以随时在丌发布声明的情冴下修改规格和产品说明。设计者丌应信赖仸何英特产品所 Inside、英特尔凌劢、英特尔 Flexpipe 和 Thunderbolt 是英特尔公司在美国和/戒其他国家戒地区的商标。 英特尔® 主劢管理技术要求平台采用支持英特尔主劢管理技术的芯片组、网络硬件和软件。系统必须接通电源幵建立网络连接。就笔记本电脑而言，英特尔主劢管理技术可能在基亍主机操 作系统的虚拟与用网（VPN）上，戒者在无线连接、使用电池电源、睡眠、休眠戒关机时无法使用戒是某些功能受到限制。如欲了解更多信息，请访问：httP： 140,000 160,000 180,000 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 Exponential Growth 内容仓库– 海量/非结构化 传统非结构化数据 传统结构化数据 企业托管服务中的数据 Linear Growth Source: IDC, 2011 Worldwide Enterprise

3 HDFS 采用 master/slave 架构。一个 HDFS 集群包含一个单独的 NameNode 和多个 DataNode。 NameNode 作为 master 服务，它负责管理文件系统的命名空间和客户端对文 件的访问。NameNode 会保存文件系统的具体信息，包括文件信息、文件被分割 成具体 block 块的信息、以及每一个 block 块归属的 DataNode 的信息。对于整个 对用户提供了一个单一的命名空间。 DataNode 作为 slave 服务，在集群中可以存在多个。通常每一个 DataNode 都对应于一个物理节点。DataNode 负责管理节点上它们拥有的存储，它将存储划 分为多个 block 块，管理 block 块信息，同时周期性的将其所有的 block 块信息发 送给 NameNode。 1.5 MapReduce 介绍 MapReduce 是一种 Hadoop 2.0 中的资源管理系统，它的基本设计思想是将 MRv1 中的 JobTracker 拆分成了两个独立的服务：一个全局的资源管理器 ResourceManager 和每个应用程序特有的 ApplicationMaster。其中 ResourceManager 负责整个系统 的资源管理和分配，而 ApplicationMaster 负责单个应用程序的管理。 YARN 总 体 上

Hadoop 3.0以及未来 刘 轶 自我简介 • Apache Hadoop的committer和顷目管理委员会成员。 • ebay的Paid IM(互联网市场)部门架构师，领导ebay产品广告、互 联网市场数据和实验平台的架构设计。负责领导使用Hadoop、 Spark、Kafka、Cassandra等开源大数据顷目建立ebay的广告和数 据平台。 • 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的

nager restart 重启NodeManager：service hadoop-yarn-nodemanager restart 重启整个Hadoop服务：请通过UCloud控制台集群服务管理⻚⾯操作 2.5.2 查看 查看HDFS状态，节点信息 状态，节点信息 hdfs dfsadmin -report 2.5.3 修改 修改HDFS⽂件副本数量 ⽂件副本数量 hdfs dfs

decommission in progress（退役中），说明数据 节点正在复制块到其他节点 5）等待退役节点状态为 decommissioned（所有块已经复制完成），停止该节点及节点资源 管理器。注意：如果副本数是 3，服役的节点小于等于 3，是不能退役成功的，需要修改 副本数后才能退役 [atguigu@hadoop105 hadoop-3.1.3]$ hdfs --daemon