版本：V3.3 第 1 章 HDFS—核心参数 1.1 NameNode 内存生产配置 1）NameNode 内存计算 每个文件块大概占用 150byte，一台服务器 128G 内存为例，能存储多少文件块呢？ 128 * 1024 * 1024 * 1024 / 150Byte ≈ 9.1 亿 G MB KB Byte 2）Hadoop2 2）Hadoop2.x 系列，配置 NameNode 内存 NameNode 内存默认 2000m，如果服务器内存 4G，NameNode 内存可以配置 3g。在 hadoop-env.sh 文件中配置如下。 HADOOP_NAMENODE_OPTS=-Xmx3072m 3）Hadoop3.x 系列，配置 NameNode 内存 （1）hadoop-env.sh 中描述 Hadoop information. >>> import math >>> print int(20*math.log(3)) 21 >>> quit() 1.3 开启回收站配置 开启回收站功能，可以将删除的文件在不超时的情况下，恢复原数据，起到防止误删除、 备份等作用。 1）回收站工作机制 尚硅谷大数据技术之 Hadoop（生产调优手册） ———————

这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 数据进 行长 时间 处理 分析 ，并将 处理 后的 数据 写 Streaming、Storm 等。  机器学习：满足机器学习工作负载的服务。如当前流行的 Spark MLib/ML、Tensorflow 等。  分析型数据存储：对数据进行处理加工后，面向应用场景，将数据以结构化的方式进行存储， 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问，利用 Hbase 实现低延迟的在线服务等  ），以便读者对相关服务的迁移至 阿里云大数据产品服务有更好的理解。 组件分类 Hadoop 开源组件 阿里云产品/产品组件 数据存储 HDFS 文件系统 对象存储 MaxCompute 存储(仅开放表数据存储) OSS 对象存储 EMR HDFS 批处理 Hadoop MapReduce Hive Spark MaxCompute 批处理（MaxCompute

第 1 章 Hadoop 概述 1.1 Hadoop 是什么 Hadoop是什么 1）Hadoop是一个由Apache基金会所开发的分布式系统基础架构。 2）主要解决，海量数据的存储和海量数据的分析计算问题。 3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 1.2 Hadoop 发展历史（了解） Hadoop发展历史 1）Hadoop创始人Doug 化升级，查询引擎和索引引擎。 Hadoop创始人Doug Cutting 2）2001年年底Lucene成为Apache基金会的一个子项目。 3）对于海量数据的场景，Lucene框架面对与Google同样的困难，存储海量数据困难，检索海量速度慢。 4）学习和模仿Google解决这些问题的办法 ：微型版Nutch。 5）可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文） GFS 人工智能资料下载，可百度访问：尚硅谷官网 1.4 Hadoop 优势（4 高） Hadoop优势（4高） 1）高可靠性：Hadoop底层维护多个数据副本，所以即使Hadoop某个计算元 素或存储出现故障，也不会导致数据的丢失。 2）高扩展性：在集群间分配任务数据，可方便的扩展数以千计的节点。 Hadoop102 Hadoop103 Hadoop104 Hadoop105 Hadoop106

章 Hadoop 大数据解决方案 2 Common 是常见工具和库的集合，用于支持其他 Hadoop 模块。和 其他软件栈一样，这些支持文件是一款成功实现的必要条件。而众 所周知的文件系统，Hadoop 分布式文件系统，或者说 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 在其数据存储中进行业务分析。这些结果使得组织和公司能够做出 有利于自身的更好商业决策。 为加深理解，让我们勾勒一下大数据的概况。鉴于所涉及数据 的规模，它们会分布于大量存储和计算节点上，而这得益于使用 Hadoop。由于 Hadoop 是分布式的(而非集中式的)，因而不具备关系 型数据库管理系统(RDBMS)的特点。这使得你能够使用 Hadoop 所 提供的大型数据存储和多种数据类型。 例如，让我们考虑类似 Google、Bing 或者 Twitter 这样的大型 数据存储。所有这些数据存储都会随着诸如查询和庞大用户基数等 活动事件而呈现出指数增长。Hadoop 的组件可以帮助你处理这些大 型数据存储。 类似 Google 这样的商业公司可使用 Hadoop 来操作、管理其数 据存储并从中产生出有意义的结果。通常用于商业分析的传统工具 并不旨在处理或分析超大规模数据集，但

增加 收益，而且还能树立竞争优势。Hadoop是一个开源软件项目， 支持在多个商业服务器群集间分散处理和存储大型数据集， 并可根据需求变化从单一服务器扩展到数以千计的服务器。主 要的Hadoop组件包括Hadoop Distributed File System （用于存储大型文件）和Hadoop分布式并行处理框架（称为 MapReduce）。 但是，Hadoop基础架构本身并没有提供完整的大数据集成解 决方案，摆在人们面前的既有挑战，也有机遇，只有处理好这些 问题，才能安享各项优势，最大限度提高投资回报率 (ROI)。 大数据集成对于Hadoop措施的重要性 Hadoop的迅速崛起推动企业在如何抽取、管理、转换、存储和 分析大数据方面实现了范式转变。无论是要更深入的分析，还是 希望获得更出色的洞察、新产品、新服务以及更高的服务水平，都 可以通过这项技术一一实现，从而大幅降低成本并创造新的 收入。 依靠 优点 • 利用ETL MPP引擎 • 利用商业硬件和存储 • 利用网格整合 SMP 服务器 • 执行无法推送到RDBMS的复 杂转换（数据清理） • 释放RDBMS服务器上的容量 • 处理异构数据源（未存储到 数据库中） • ETL服务器可以较快地执行某 些流程 缺点 • ETL服务器在执行某些流程时 速度较慢（数据已经存储到 关系表中） • 可能需要额外的硬件（低成 本硬件）

........................................................................................ 4 2.2 配置文件修改 ................................................................................................ 软件简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在 不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高 速运算和存储。 Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称 HDFS。HDFS 有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件 上；而且它提供高吞吐量（high 可以以流的形式访问（streaming access）文件系统中的数据。 Hadoop 的框架最核心的设计就是：HDFS 和 MapReduce。HDFS 为海量的数 据提供了存储，而 MapReduce 则为海量的数据提供了计算。 1.4 HDFS 架构原理 HDFS 是 Hadoop 分布式文件系统（Hadoop Distributed File System）的缩写， 为分布式计算存储提供了底层支持。采用 Java

引言 许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的 明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据 存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提 取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 Hadoop 集群里的数据。请注 意，本文选择了 作为示例，但这里的策略同样适用于其他分 布式存储机制。本文中介绍了各种访问方法，还通过一个具体示例说明了其中一 种访问方法的实现。 2 Oracle 白皮书 — 通过 Oracle 并行处理集成 Hadoop 数据 外部 Hadoop 数据的访问方法 要从 Oracle 数据库里访问某个文件系统中的外部文件或外部数据，最简单的方法莫过于使用 方法莫过于使用 外部表。请参阅这里了解外部表。 外部表以表的形式展示存储在文件系统中的数据，并且可在 SQL 查询中完全透明地使用。 因此，可以考虑用外部表从 Oracle 数据库中直接访问 HDFS（Hadoop 文件系统）中存储的 数据。遗憾的是，常规的操作系统无法调用外部表驱动直接访问 HDFS 文件。FUSE（File System in Userspace）项目针对这种情况提供了解决方法。有多种

Cloudera创立 Hortonworks创立 Hadoop 1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统 文件存储层 HDFS 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 度学习 Batch 任务 流处理 搜索 … (RS) 编码 数据可靠性和存储效率 • 数据可靠性：可以最多几个节点故障 • 存储效率：k/(k+m) 可靠性 存储效率 单副本 0 100% 3副本 2 33% XOR(6个数据单元) 1 86% RS(6,3) 3 67% RS(10,4) 4 71% 存储布局－连续和条状 小文件处理 并行IO 数据本地性 数据本地性 小文件处理 纠错码在分布式存储系统中 HDFS 性能 Node Journal Node Journal Node Write edit logs Read edit logs Block reports HDFS-6440 云计算－存储虚拟化 Hadoop 文件系统API SQL, 机器学习, 流处理, Batch… Hadoop 3介绍 • Common • HDFS • YARN  YARN Timeline Service v.2

不此同时，及时捕捉、 存储、聚合、管理这些大数据以及对数据的深度分析的新技术和新能力，正在快速增长，就像预 测计算芯片增长速度的摩尔定律一样。 — McKinsey Global Institute 统计和报表 价值 数据挖掘和预测性分析 大数据时代的Intel • Intel的角色 • Intel Hadoop商业发行版 • 对象存储技术 Intel的角色 Intel的角色 • 面向大数据应用，在计算、存储和网络方面提供更快更为 高效的架构级别的优化方案 • 持续投入大数据应用开发，促迚软件系统和服务的丌断优 化和创新 • 推迚终端设备和传感器的智能化，构建亏联、可管理的和 安全的分布式架构 软硬结合 Intel Hadoop商业发行版 优化的大数据处理软件栈 稳定的企业级hadoop发行版 利用硬件新技术迚行优化 数据流处理语言 Mahout 0.6 数据挖掘 HBase 0.94.1 实时、分布式、高维数据库 Map/Reduce 1.0.3 分布式计算框架 HDFS 1.0.3 分布式文件系统 R 统计语言 Intel Hadoop Manager – 安装、配置、管理、监控、告警 英特尔Hadoop性能优化 测试配置  性能数据在8台英特尔至强服务器组成的小规模集群上测试得到

Actions 操作的时候才会真正启动计算过程进行计算。 2. 操作(Actions) (如：count, collect, save 等)，Actions 操作会返回结果或把 RDD 数据写 到存储系统中。Actions 是触发 Spark 启动计算的动因。 1.2.3 血统（Lineage） 利用内存加快数据加载,在众多的其它的 In-Memory 类数据库或 Cache 类系统中也有实 这些多种多样的数据集操作类型，给给开发上层应用的用户提供了方便。各个处理节点 之间的通信模型不再像 Hadoop 那样就是唯一的 Data Shuffle 一种模式。用户可以命名， 物化，控制中间结果的存储、分区等。可以说编程模型比 Hadoop 更灵活。 3. 由于 RDD 的特性，Spark 不适用那种异步细粒度更新状态的应用，例如 web 服务的存 储或者是增量的 web 爬虫和索引。就是对于那种增量修改的应用模型不适合。