Hadoop Stack 的其余组件了。HDFS(Hadoop Distributed File System)提供一个分布 式文件系统，设计目标是能够运行在基础硬件组件之上。大多数企 业被其最小化的系统配置要求所吸引。此环境可以在虚拟机(Virtual Hadoop 大数据解决方案 4 Machine，VM)或笔记本电脑上完成初始配置，而且可以升级到服务 器部署。它具有高度的容错性，并且被设计为能够部署在低成本的 分布式数据处理 从属 NAMENODE 活动 NAMENODE 备用 NAMENODE 调度器 共享编辑日志 或者 JOURNAL NODE 从节点 容器 容器 容器 资源管理器 数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处 理器的 为：生物与它们所处环境的非生物组成部分(如空气、水、土壤和矿 产)作为一个系统进行交互的共同体。基于技术的生态系统也有类似 的属性。它是产品平台的结合，由平台拥有者所开发的核心组件所 定义，辅之以自动化(机器脱离人类自主运转)企业在其周边(围绕着 一个空间)所开发的应用程序。 以 Apache 的多种可用产品和大量供应商提供的将 Hadoop 与企 业工具相集成的解决方案为基础，Hadoop

[atguigu@hadoop103 hadoop-3.1.3]$ rm -rf data/ logs/ [atguigu@hadoop104 hadoop-3.1.3]$ rm -rf data/ logs/ （3）格式化集群并启动。 [atguigu@hadoop102 hadoop-3.1.3]$ bin/hdfs namenode -format [atguigu@hadoop102 hadoop-3.1.3]$ 虚拟内存物理内存比例 （3）Container 容器相关 yarn.scheduler.minimum-allocation-mb 容器最小内存 yarn.scheduler.maximum-allocation-mb 容器最大内存 yarn.scheduler.minimum-allocation-vcores 容器最小核数 yarn.scheduler.ma maximum-allocation-vcores 容器最大核数 2）参数具体使用案例 详见《尚硅谷大数据技术之 Hadoop（Yarn）》，第 2.1 节。 9.2 容量调度器使用 详见《尚硅谷大数据技术之 Hadoop（Yarn）》，第 2.2 节。 9.3 公平调度器使用 详见《尚硅谷大数据技术之 Hadoop（Yarn）》，第 2.3 节。

Block reports HDFS-6440 云计算－存储虚拟化 Hadoop 文件系统API SQL, 机器学习, 流处理, Batch… Hadoop 3介绍 • Common • HDFS • YARN  YARN Timeline Service v.2  YARN Federation  劢态资源配置  容器资源的劢态调整  资源隔离  调度的增强  YARN的Web页面的增强 允许YARN的集群扩展到一万个戒更多个节点 YARN的集群的集群对用户来说是一个整体的集群 劢态资源配置 • YARN-291 允许劢态的改变NM的资源配置 容器资源的劢态调整 • YARN-1197 允许运行时劢态的调整分配给容器的资源 资源隔离 • 磁盘资源的隔离－ YARN-2619 • 网络IO的隔离－ YARN-2140 • Docker Container－ YARN-3611

1.2 Hadoop 发展历史（了解） Hadoop发展历史 1）Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优 化升级，查询引擎和索引引擎。 Hadoop创始人Doug Cutting 2）2001年年底Lucene成为Apache基金会的一个子项目。 3）对于海量数据的场景，Lucene框架面对与Goog ：整个集群资源（内存、CPU等）的老大 3）ApplicationMaster（AM）：单个任务运行的老大 2）NodeManager（NM）：单个节点服务器资源老大 4）Container：容器，相当一台独立的服务器，里面封装了 任务运行所需要的资源，如内存、CPU、磁盘、网络等。 NodeManager Container NodeManager Container NodeManager ss1505_wuma.a vi Container MapTask SecondaryNa meNode 1.6 大数据技术生态体系 大数据技术生态体系 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark

软硬件配置的丌同而有所差异。如欲了解更多信息£¬请不您的系统厂商联系。 没有仸何计算机系统能够在所有情冴下提供绝对的安全性。英特尔® 可信执行技术是由英特尔开发的一项安全技术，要求计算机系统具备英特尔® 虚拟化技术、支持英特尔可信执行技术的 处理器、芯片组、基本输入输出系统（BIOS）、鉴别码模块，以及英特尔戒其它兼容的虚拟机监视器。此外，英特尔可信执行技术要求系统包含可信计算组定义的 TPMv1.2 以及用亍某些 有关详细信息，包括哪些处理器支持英特尔 HT 技术，请访问 www.intel.com/products/ht/hyperthreading_more.htm。 英特尔® 虚拟化技术要求计算机系统具备支持英特尔虚拟化技术的英特尔® 处理器、基本输入输出系统、BIOS、虚拟机监视器、VMM、以及用亍某些应用的特定平台软件、功能、性能戒 其它优势会根据软硬件配置的丌同而有所差异，可能需要对 BIOS 000 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 Exponential Growth 内容仓库– 海量/非结构化 传统非结构化数据 传统结构化数据 企业托管服务中的数据 Linear Growth Source: IDC, 2011 Worldwide Enterprise Storage Systems

................................................................................ 18 4.2.2 数据迁移自动化 ................................................................................................... Alibaba Cloud MaxCompute 解决方案 6 1 概要 Hadoop 在企业构建第一代大数据平台中成为主流的技术框架，但是随着企业信息化的高 速发展，在数字化、智能化的转型过程中，Hadoop 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈，严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及，越来 的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 数据进 行长 时间 处理

................................. 7 3 格式化并启动集群 ................................................................................................ 7 3.1 格式化 NAMENODE ................................. 力系统等国家关键行业的服务器应用领域，突出高安全性、高可用性、高效数据 处理、虚拟化等关键技术优势，针对关键业务构建的丰富高效、安全可靠的功能 特性，兼容适配长城、联想、浪潮、华为、曙光等国内主流厂商的服务器整机产 品，以及达梦、金仓、神通等主要国产数据库和中创、金蝶、东方通等国产中间 件，满足虚拟化、云计算和大数据时代，服务器业务对操作系统在性能、安全性 及可扩展性等方面的需求，是一 （task）来执行，它就会对这些 task 进行调度并为其分配合适的资源，决定将某 个 task 分配到集群中哪个位置（如果可能，通常是这个 task 所要处理的数据所在 的位置，这样可以最小化网络开销）。Hadoop 会监控每一个 task 确保其成功完 银河麒麟服务器操作系统 V4 hadoop 软件适配手册 4 成，并重启一些失败的 task。 1.6 YARN 介绍

汽车传感器数据分析 3 大数据概述 大数据的”4V”特征： ▪ Volumes - 数据规模，数据规模巨大 互联网、社交网络的普及，全社会的数字化转型，数据规模向PB级发展 ▪ Variety - 数据种类 ，数据种类繁多 结构化数据，半结构化数据，非结构化数据 ▪ Value - 数据价值，数据价值密度低 价值密度的高低与数据总量的大小成反比 ▪ Velocity - 数据处理速度，数据处理速度需要快速 Data Node Data Node HDFS Task Task Task Edge Node tall Split 1 Split 2 Split 3 14 Tall支持的大数据可视化 ▪ plot ▪ scatter ▪ binscatter ▪ histogram ▪ histogram2 ▪ ksdensity 15 tall 支持的大数据机器学习算法 –

复杂转换方面的限制 • 数据清理限制 • 数据库在执行某些流程时速 度较慢 优点 • 利用MapReduce MPP引擎 • 利用商业硬件和存储 • 释放数据库服务器上的容量 • 支持处理非结构化数据 • 利用Hadoop功能保留数据 （如更新和编写索引） • 实现低成本历史归档数据 缺点 • 可能需要复杂的编程工作 • MapReduce通常比并行数 据库或可扩展ETL工具速度 更慢 长的时间，限制了快速响应最新需求的能力。 • 数据转换相对简单，因为无法使用ETL工具将较为复杂 的逻辑推送到RDBMS。 • 数据质量受到影响。 • 关键任务（如数据剖析）无法实现自动化-在很多情况下 根本无法执行。 • 未实施有效的数据治理（数据管理、数据沿袭、影响分 析），因而响应法规要求变得更加困难且非常昂贵，对 关键业务数据的信心更无从谈起。 相反，采用海量可扩展数据集成平台来优化大数据集成工作 程。 预置的数据集成解决方案有助于映射和管理 企业间的数据治理需求。 并行读取 HDFS文件 转换/ 重建数据 联接两个 HDFS文件 创建新的HDFS 文 件 ， 实 现 完 全并行化 图4. 数据集成软件提供多个GUI来支持各种活动。这些GUI取代了复杂的手动编码，为企业节约了大量的开发成本。 使用手动编码方式进 行开发 • 需要 30 人日编写 • 近 2,000 行代码

方式 来操作分布式数据集的抽象实现。RDD 是 Spark 最核心的东西，它表示已被分区，不可变的 并能够被并行操作的数据集合，不同的数据集格式对应不同的 RDD 实现。RDD 必须是可序 列化的。RDD 可以 cache 到内存中，每次对 RDD 数据集的操作之后的结果，都可以存放到 内存中，下一个操作可以直接从内存中输入，省去了 MapReduce 大量的磁盘 IO 操作。这对 于迭代运算比较常见的机器学习算法