1）测试内容：向 HDFS 集群写 10 个 128M 的文件 [atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop- 3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client- jobclient-3.1.3-tests.jar TestDFSIO -write -nrFiles （2）如果客户端不在集群节点，那就三个副本都参与计算 2.2 测试 HDFS 读性能 1）测试内容：读取 HDFS 集群 10 个 128M 的文件 [atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop- 尚硅谷大数据技术之 Hadoop（生产调优手册） ——————————————— ————————————————— 更多 Java –大数据 –前端 –python 人工智能资料下载，可百度访问：尚硅谷官网 3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-client- jobclient-3.1.3-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB 2021-02-09

–python 人工智能资料下载，可百度访问：尚硅谷官网 Hadoop发展历史 6）2003-2004年，Google公开了部分GFS和MapReduce思想的细节，以此为基础Doug Cutting等人用 了2年业余时间实现了DFS和MapReduce机制，使Nutch性能飙升。 7）2005 年Hadoop 作为 Lucene的子项目 Nutch的一部分正式引入Apache基金会。 8）2006 Hadoop105 Hadoop106 双11、618可以动 态增加服务器 Hadoop102 Hadoop103 Hadoop104 Hadoop优势（4高） 3）高效性：在MapReduce的思想下，Hadoop是并行工作的，以加快任务处 理速度。 4）高容错性：能够自动将失败的任务重新分配。 Hadoop102 Hadoop103 Hadoop104 Hadoop101 Hadoop1.x、2.x、3.x区别 MapReduce（计算） HDFS（数据存储） Yarn（资源调度） Common（辅助工具） MapReduce （计算+资源调度） HDFS（数据存储） Common（辅助工具） Hadoop1.x组成 Hadoop2.x组成 在 Hadoop1.x 时 代 ， Hadoop中的MapReduce同 时处理业务逻辑运算和资 源的调度，耦合性较大。

并可根据需求变化从单一服务器扩展到数以千计的服务器。主 要的Hadoop组件包括Hadoop Distributed File System （用于存储大型文件）和Hadoop分布式并行处理框架（称为 MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解 决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些 问题，才能安享各项优势，最大限度提高投资回报率 (ROI)。 工具搭配Hadoop后都会得到高性能、高度可扩展 的数据集成平台。 事实上，MapReduce的设计宗旨并非是对海量数据进行 高性能处理，而是为了实现细粒度的容错。这种差异可能会 使整体性能和有效性降低一个数量级乃至更多。 Hadoop Yet Another Resource Negotiator(YARN) 纳入了MapReduce的资源管理功能，并将它们内置其 中，这样需要在Hadoop群集间动态执行的其他应用即可 Hadoop应用程序来实现，而且不会影响 MapReduce的性能。希望在Hadoop上实现可扩展性和 有效性的所有企业技术都需要采用YARN，并将其作为 产品路线图的一部分。 开始集成之旅以前，请务必了解MapReduce的性能限 制，以及数据集成供应商在解决这类问题方面的差异。请在 “Themis: An I/O-Efficient MapReduce”一文中了 解更多信息，文中对该主题进行了详细讨论：http://bit

IO 吞吐上不 能满足海量数据的计算需求。 分布式存储和分布式计算理论刚刚被提出来，Google 的两篇著名论文 发表后引起业界的关注，一篇是关于 GFS 分布式文件系统，另外一篇 是关于 MapReduce 并行计算框架的理论，分布式计算模式在互联网 行业特别是收索引擎和分词检索等方面获得了巨大成功。 Big Date2.indd 1 16-11-22 下午3:38 2 由此，业界 集群在整体上提供的计算能力已大幅高 于传统 SMP 主机，并且成本很低，横向的扩展性还可带来系统良好 的成长性。 问 题 来 了， 在 X86 集 群 上 实 现 自 动 的 并 行 计 算， 无 论 是 后 来 的 MapReduce 计算框架还是 MPP（海量并行处理）计算框架，最终还 是需要软件来实现，Greenplum 正是在这一背景下产生的，借助于分 布式计算思想，Greenplum 实现了基于数据库的分布式数据存储和并 再进一步看，Master-Slave 架构在业界的大数据分布式计算和云计 算体系中被广泛应用，大家可以看到，现在主流分布式系统都是采 用 Master-Slave 架 构， 包 括：Hadoop FS、Hbase、MapReduce、 Storm、Mesos...... 无一例外都是 Master-Slave 架构。相反，采用 MultipleActive Master 的软件系统，需要消耗更多资源和机制来保证 元数据一

Hadoop 概述 本章内容提要 ● Hadoop 的组件 ● HDFS、MapReduce、YARN、ZooKeeper 和 Hive 的角色 ● Hadoop 与其他系统的集成 ● 数据集成与 Hadoop Hadoop 是一种用于管理大数据的基本工具。这种工具满足了企 业在大型数据库(在 Hadoop 中亦称为数据湖)管理方面日益增长的 需求。当 其他软件栈一样，这些支持文件是一款成功实现的必要条件。而众 所周知的文件系统，Hadoop 分布式文件系统，或者说 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 操作系统。 器上。既然已经介绍了用于读取数据的工具，下一步便是用 MapReduce 来处理它。 1.1.3 MapReduce 是什么 MapReduce 是 Hadoop 的一个编程组件，用于处理和读取大型 数据集。MapReduce 算法赋予了 Hadoop 并行化处理数据的能力。 简而言之，MapReduce 用于将大量数据浓缩为有意义的统计分析结 果。MapReduce 可以执行批处理作业，即能在处理过程中多次读取

...................................................................................... 2 1.5 MAPREDUCE 介绍 ............................................................................................ 放宽了（relax）POSIX 的要求， 可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数 据提供了存储，而 MapReduce 则为海量的数据提供了计算。 1.4 HDFS 架构原理 HDFS 是 Hadoop 分布式文件系统（Hadoop Distributed File System）的缩写， 块信息，同时周期性的将其所有的 block 块信息发 送给 NameNode。 1.5 MapReduce 介绍 MapReduce 是一种计算模型，该模型可以将大型数据处理任务分解成很多单 个的、可以在服务器集群中并行执行的任务，而这些任务的计算结果可以合并在 一起来计算最终的结果。简而言之，Hadoop Mapreduce 是一个易于编程并且能在 大型集群（上千节点）快速地并行得处理大量数据的软件框架，以可靠，容错的

可通过Hive来访问HBase，迚行SQL查询 • 使用MapReduce来实现 • 比Hive访问HDFS慢3~5倍 IDH引入了Interactive Hive over HBase • 完全的Hive支持：常用功能（select, group-by等）用HBase coprocessor 实现，其余功能用MapReduce实现，无缝连接 • 去除了MapReduce的overhead，大大减少了数据传输 Clustering Analytical Query HiBench 1.0 paper (“The HiBench Suite: Characterization of the MapReduce-Based Data Analysis”) published in ICDE’10 workshops HiBench 2.2 released to open source under distribution o Sort a large amount of text data Representative of a large subset of real-world MapReduce jobs o Transform data from one representation to another WordCount Example in Apache Hadoop

Common  HDFS  YARN  MapReduce • Hadoop的未来发展方向 Hadoop的历叱 2004 2005 2012 2007 2008 2009 2010 2011 2006 2013 2014 2015 2016 2003 Hadoop从 Nutch分离 Google GFS & MapReduce Paper HBase Hive Cloudera创立 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 度学习 Batch 任务 流处理 搜索 … Kafka Hadoop 3介绍 • Common  JDK 8+ 升级  Classpath隔离  Shell脚本的重构 • HDFS • YARN • MapReduce Classpath隔离 • HDFS  纠错码(Erasure Coding)  多个Standby Namenode  Datanode内部balance工具  云计算平台的支持 • YARN • MapReduce HDFS纠错码(Erasure Coding) • 一个简单的例子 1备份: 1,0 需要额外的2位 XOR编码: 1,0 需要额外的1位 HDFS纠错码(Erasure Coding)

强大并且不断扩展的合作伙伴网络 硬件供应商 商务智能工具 15 服务供应商 业内支持和认可 行业奖励 “ Greenplum能够让企业在两 个方面同时达到最满意的效果： 供程序员使用的MapReduce以 及供数据库管理使用的 SQL。” Monash Research 的Curt Monash 分析师褒奖 “ Greenplum正在通过新式技术来 推动并行数据库的发展，从而满足互 • 可以使用SQL、 MapReduce、R等在 所有层次上对任何数 据进行并行分析 19 通过经济的方案扩展 到千万亿字节规模 • 不用担心数据增长或 者开始的规模太小 • 在商用硬件上通过线 性、经济的方式扩展 Greenplum数据引擎体系 主机 网络互连 并行查询规划和调度 区段服务器 （处理和存储） SQL 查询和 MapReduce程序 MPP （海量并行处理） （海量并行处理） “完全不共享”体系 Greenplum体系：并行数据流 21 • 通用并行数据流引擎可以通过本地方 式执行 SQL和MapReduce • 采用了针对商用硬件优化的MPP“完 全不共享”体系 • 可以在很多100s服务器上扩展到 1000s商用处理内核 • 将所有处理操作尽量移动到数据附近 计算内核 Greenplu m并行数 据流引擎 对本地磁盘进行直 接的高性能访问

Spark 概述 Spark 是 UC Berkeley AMP lab 所开源的类 Hadoop MapReduce 的通用的并行计算框 架，Spark 基于 map reduce 算法实现的分布式计算，拥有 Hadoop MapReduce 所具有的 优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，从而不再需要读 写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 同的 RDD 实现。RDD 必须是可序 列化的。RDD 可以 cache 到内存中，每次对 RDD 数据集的操作之后的结果，都可以存放到 内存中，下一个操作可以直接从内存中输入，省去了 MapReduce 大量的磁盘 IO 操作。这对 于迭代运算比较常见的机器学习算法, 交互式数据挖掘来说，效率提升比较大。 1.2.2 RDD 的转换与操作 对于 RDD 可以有两种计算方式：转换（返回值还是一个