月 大数据集成与 Hadoop 可最大限度降低Hadoop计划风险并提高ROI的最佳实践 2 大数据集成与 Hadoop 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进 大数据措施的经济性和活力，这样不仅有助于削减成本、增加 收益，而且还能树立竞争优势。Hadoop是一个开源软件项目， 支持在多个商业服务器群集间分散处理和存储大型数据集， 并可根据需求变化从单一服务器扩展到数以千计的服务器。主 据分区执行相同的应用程 序逻辑）。 使用软件数据流来实施 项目 软件数据流通过简化在一 个或多个节点实施和执行 数据管道和数据分区的过 程，从而充分利用非共享 架构。软件数据流还可以 将构建和优化多位用户运 行的并行应用程序的复杂 问题隐藏起来。 利用数据分区实现线性 数据可扩展性 大数据集分散在多个独立 节点间，单个作业对所有 分区数据执行相同的应用 程序逻辑。 形成设计隔离的环境 设计一个数据处理作业， 首 席解决方案架构师）于 Strata+Hadoop World 2012 期间所做的演示4 第一项最佳实践是随时随地避免在大数据集成的各个层面采 用手动编码。相反，利用商业数据集成软件提供的图形用户界 面提供活动支持，如： • 在企业中实施数据访问和移动 • 数据集成逻辑 • 通过各种逻辑对象组装数据集成作业 • 组装更大的工作流 • 数据治理 • 运营和行政管理 通过采用这项

解决方案：客户端(client-side)和服务器端(server-side)的隔离 Shell脚本的重构 - HADOOP-9902 • 脚本重构，提升可维护性和易用性 • 修正一些长期存在的bugs • 加入一些改进 • 加入一些新功能 • 带来一些不兼容性 • Shell脚本现在更易于调试: --debug Hadoop 3介绍 • Common • HDFS  纠错码(Erasure Coding) v.2 • 可用性 流(flow) 聚合(aggregation) YARN Federation • YARN-2915 允许YARN的集群扩展到一万个戒更多个节点 YARN的集群的集群对用户来说是一个整体的集群 劢态资源配置 • YARN-291 允许劢态的改变NM的资源配置 容器资源的劢态调整 • YARN-1197 允许运行时劢态的调整分配给容器的资源 资源隔离 • 于shuffle密集型的task能 带来30%的性能提升。 Hadoop 的未来 HDFS的未来 • 对象存储 - HDFS-7240 • 更高性能的Namenode：更高效的内存使用，锁的改进等 • Erasure Coding的完善 YARN的未来 • 更大规模的集群支持 • 更好的资源调度，隔离和多租户 • 支持更多的应用，包括long running的service 谢谢 Q&A

 向HBase集群插入1KB大小的记录  每台服务器平均每秒插入1万条记录，峰值在2万条记录  每台服务器，从磁盘扫描数据，每秒完成400个扫描。 一次扫描从HBase表中获得单个用户一个月内的所有记录（平均100条） 0 0.2 0.4 0.6 0.8 1 ren 0 0 10000 20000 30000 40000 50000 60000 70000 将图片存入HBase，引起大量的compaction • 将图片存入HDFS，管理使用麻烦 IDH引入了表外存储以解决大对象的高效存储问题 • 类似Oracle的BLOB存储 • 对用户透明 • 2X以上的写入性能，还有迚一步提升的空间 • 2X的随机访问性能 • 1.3X的Scan性能 • 接近直接写入HDFS性能 Interactive Hive over HBase 最新开源的和自行开发的补丁，用户可以及时修正漏洞保证各个部件乊间的一致性，使应用顺滑运行 实时数据处理的分布式大数据应用平台 •通过对 HBase 迚行改迚和创新，英特尔 Hadoop 发行版提供实时数据处理功能。为企业对数据的实时监控和即时处理提供有效保障 针对企业用户开发的新的平台功能 •提供企业关键应用程序所需的即时大数据分析，以及其他针对企业用户需要的增强功能，例如：提供跨数据中心的

2 阿里云大数据与开源生态对比 2.1 Hadoop 及开源生态与阿里云大数据生态对比 2.1.1 主流大数据体系架构 Hadoop 及开源生态由一系列的开源组件共同组成，很多用户基于 Hadoop 及开源生态组件构 建企业数据仓库/数据湖、机器学习、实时分析、BI 报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示： 这些逻辑组件包括： 供 Spark 计算框架，支持用户以熟悉的开发使用方式提 交运行 Spark 作业。 * 支持原生多版本 Spark 作业：Spark1.x/Spark2.x 作业 都可运行； * 开源系统的使用体验：Spark-submit 提交方式（暂不 支持 spark-shell/spark-sql 的交互式），提供原生的 Spark WebUI 供用户查看； * 通过访问 OSS、OTS、database 进行批量数据上传下载。 流式接入 Datahub MaxCompute 配套的流式数据接入服务，粗略地类似 kafka，能够通过简单配置归档 topic 数据到 MaxCompute 表 用户接口 CLT/SDK 统一的命令行工具和 JAVA/PYTHON SDK 开发&诊断 Dataworks/Studio/Logview 配套的数据同步、作业开发、工作流编排调度、作业运维

注意：在企业开发时，通常单个服务器的防火墙时关闭的。公司整体对外会设置非常安 全的防火墙 3）创建 atguigu 用户，并修改 atguigu 用户的密码 [root@hadoop100 ~]# useradd atguigu [root@hadoop100 ~]# passwd atguigu 4）配置 atguigu 用户具有 root 权限，方便后期加 sudo 执行 root 权限的命令 [root@hadoop100 –python 人工智能资料下载，可百度访问：尚硅谷官网 atguigu ALL=(ALL) NOPASSWD:ALL 注意：atguigu 这一行不要直接放到 root 行下面，因为所有用户都属于 wheel 组，你先 配置了 atguigu 具有免密功能，但是程序执行到%wheel 行时，该功能又被覆盖回需要 密码。所以 atguigu 要放到%wheel 这行下面。 5）在/opt /opt/module [root@hadoop100 ~]# mkdir /opt/software （2）修改 module、software 文件夹的所有者和所属组均为 atguigu 用户 [root@hadoop100 ~]# chown atguigu:atguigu /opt/module [root@hadoop100 ~]# chown atguigu:atguigu

提供的大型数据存储和多种数据类型。 第 1 章 Hadoop 概述 3 例如，让我们考虑类似 Google、Bing 或者 Twitter 这样的大型 数据存储。所有这些数据存储都会随着诸如查询和庞大用户基数等 活动事件而呈现出指数增长。Hadoop 的组件可以帮助你处理这些大 型数据存储。 类似 Google 这样的商业公司可使用 Hadoop 来操作、管理其数 据存储并从中产生出有意义的结果。通常用于商业分析的传统工具 ZooKeeper 的一个客户端改变集中式配置，便能改变分布式系 统的状态。 名称服务是将某个名称映射为与该名称相关信息的服务。它类 似于活动目录，作为一项名称服务，活动目录的作用是将某人的用 户 ID(用户名)映射为环境中的特定访问或权限。同样，DNS 服务作 为名称服务，将域名映射为 IP 地址。通过在分布式系统中使用 ZooKeeper，你能记录哪些服务器或服务正处于运行状态，并且能够 通过名称查看它们的状态。 选举、配置管理以及其他。所有这些协调服务都可以通过 ZooKeeper 进行管理。 1.3 Hive 是什么 Hive 在设计之初是 Hadoop 的一部分，但现在它是一个独立的 组件。之所以在这里简单提及，是因为有些用户发现在标准的 Hadoop Stack 之外，它还是很有用处。 我们可以这样简单总结 Hive：它是建立在 Hadoop 顶层之上的 数据仓库基础设施，用于提供对数据的汇总、查询以及分析。如果

4 容错 在 RDD 计算，通过 checkpint 进行容错，做 checkpoint 有两种方式，一个是 checkpoint data，一个是 logging the updates。用户可以控制采用哪种方式来实现容错，默认是 logging the updates 方式，通过记录跟踪所有生成 RDD 的转换（transformations）也就是记录每 个 RDD 的 lin reduce, lookup, save 等多种 actions 操作。 2. 这些多种多样的数据集操作类型，给给开发上层应用的用户提供了方便。各个处理节点 之间的通信模型不再像 Hadoop 那样就是唯一的 Data Shuffle 一种模式。用户可以命名， 物化，控制中间结果的存储、分区等。可以说编程模型比 Hadoop 更灵活。 3. 由于 RDD 的特性，Spark 不适用那种异步细粒度更新状态的应用，例如 2.3 容错性 在RDD计算，通过checkpoint进行容错，做checkpoint有两种方式，一个是checkpoint data，一个是 logging the updates。用户可以控制采用哪种方式来实现容错，默认是 logging the updates 方式，通过记录跟踪所有生成 RDD 的转换（transformations）也就是记录每 个 RDD 的 lin

.Z1 内核版本 4.4.131 hadoop 版本 2.7.7 1.3 Hadoop 软件简介 Hadoop 是一个由 Apache 基金会所开发的分布式系统基础架构。用户可以在 不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高 速运算和存储。 Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称 会保存文件系统的具体信息，包括文件信息、文件被分割 成具体 block 块的信息、以及每一个 block 块归属的 DataNode 的信息。对于整个 集群来说，HDFS 通过 NameNode 对用户提供了一个单一的命名空间。 DataNode 作为 slave 服务，在集群中可以存在多个。通常每一个 DataNode 都对应于一个物理节点。DataNode 负责管理节点上它们拥有的存储，它将存储划 架 中 ， resourcemanager 为 master，nodemanager 是 slave。Resourcemanager 负责对各个 nademanger 上资源进行统一管理和调度。当用户提交一个应用程序时，需要提供 一个用以跟踪和管理这个程序的 ApplicationMaster，它负责向 ResourceManager 申请资源，并要求 NodeManger 启动可以占用一定资源的

许多垂直行业都在关注文件系统中庞大的数据。这些数据中通常包含大量无关的 明细信息，以及部分可用于趋势分析或丰富其他数据的精华信息。尽管这些数据 存储在数据库之外，但一些客户仍然希望将其与数据库中的数据整合在一起以提 取对业务用户有价值的信息。 本文详细介绍了如何从 Oracle 数据库访问存储在 Hadoop 集群里的数据。请注 意，本文选择了 Hadoop 和 HDFS 作为示例，但这里的策略同样适用于其他分 数据。遗憾的是，常规的操作系统无法调用外部表驱动直接访问 HDFS 文件。FUSE（File System in Userspace）项目针对这种情况提供了解决方法。有多种 FUSE 驱动程序支持用户挂 载 HDFS 存储，并将其作为常规文件系统处理。通过使用一个此类驱动程序，并在数据库实 例上挂载 HDFS（如果是 RAC 数据库，则在其所有实例上挂载 HDFS），即可使用外部表基 础架构轻松访问 步是出队过程，这是通过数据库中的表函数并行调用来实现的。这些并行调用处 理得到的数据将会提供给查询请求来使用。表函数同时处理Oracle数据库的数据和来自队列 中的数据，并将来自两个来源的数据整合为单一结果集提供给最终用户。 图 4. 监控进程 Hadoop的进程 (mapper) 启动之后，作业监控器进程将监视启动程序脚本。一旦mapper 完成 Hadoop 集群中数据的处理之后，bash

9）mapreduce.task.timeout如果一个Task在一定时间内没有任何进入， 即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态， 可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住 不退出，则强制设置了一个该超时时间（单位毫秒），默认是600000 （10分钟）。如果你的程序对每条输入数据的处理时间过长，建议将 该参数调大。 8）mapreduce.job