可最大限度降低Hadoop计划风险并提高ROI的最佳实践 2 大数据集成与 Hadoop 简介 Apache Hadoop技术通过支持新的流程和架构，不断改进 大数据措施的经济性和活力，这样不仅有助于削减成本、增加 收益，而且还能树立竞争优势。Hadoop是一个开源软件项目， 支持在多个商业服务器群集间分散处理和存储大型数据集， 并可根据需求变化从单一服务器扩展到数以千计的服务器。主 要的Hadoop组件包括Hadoop 依靠收集、移动、转换、清除、集成、治理、探索以及分析多种 不同来源的大量不同类型的数据来实现大数据与Hadoop项 目。实现所有这些目标需要运用富有弹性的端到端信息集成 解决方案，该解决方案不仅可实现大规模扩展，还能提供支持 Hadoop项目所需的基础架构、功能、流程和行为准则。 “在很大程度上，80%的大数据项目开发 精力用于数据集成，只有20%的精力投入 到数据分析中。” —Intel Corporation，“使用 IBM软件 3 随着Hadoop市场的不断发展，顶级技术分析师一致认为， Hadoop 基础架构本身并非完整或有效的大数据集成解决方案 （请阅读此报告，其中对Hadoop为何并非数据集成平台进行了 讨论）。更加糟糕的是，一些Hadoop软件供应商利用炒作、神 话、误导或矛盾信息来渗透市场。 为彻底切断这种误导，并开发适合您的Hadoop大数据项目的 采用计划，必须遵循最佳实践方法，充分考虑各种新兴技术、可

英特尔、英特尔标识、英特尔酷睿、至强、Core Inside、Xeon Inside、英特尔凌劢、英特尔 Flexpipe 和 Thunderbolt 是英特尔公司在美国和/戒其他国家戒地区的商标。 英特尔® 主劢管理技术要求平台采用支持英特尔主劢管理技术的芯片组、网络硬件和软件。系统必须接通电源幵建立网络连接。就笔记本电脑而言，英特尔主劢管理技术可能在基亍主机操 作系统的虚拟与用网（VPN）上，戒者在无线连接、使用电池电源、睡 位计算要求计算机系统采用支持英特尔® 64 架构的处理器、芯片组、基本输入输出系统（BIOS）、操作系统、设备驱劢程序和应用。实际性能会根据您使用的具体 软硬件配置的丌同而有所差异。如欲了解更多信息£¬请不您的系统厂商联系。 没有仸何计算机系统能够在所有情冴下提供绝对的安全性。英特尔® 可信执行技术是由英特尔开发的一项安全技术，要求计算机系统具备英特尔® 虚拟化技术、支持英特尔可信执行技术的 处 com/technology/security/。 †英特尔® 超线程（HT）技术要求计算机系统具备支持英特尔超线程（HT）技术的英特尔® 奔腾® 4 处理器、支持超线程（HT）技术的芯片组、基本输入输出系统、BIOS 和操作系统。实 际性能会根据您所使用的具体软硬件配置的丌同而有所差异。有关详细信息，包括哪些处理器支持英特尔 HT 技术，请访问 www.intel.com/products/ht/hyperthreading_more

一种新的数据类型，专门用于处理大数据. – 用于处理数据规模超过单个机器或群集的内存承载能力的数据集合 ▪ 使用方式等同于MATLAB 数组(array) – 支持数据类型包括数值型、字符串、时间类型、表等… – 支持众多基本的数学函数、统计函数、索引函数等. – 支持机器学习算法包括分类、聚类和回归 7 tall array Single Machine Memory tall arrays ▪ 10 Hadoop Hadoop是跨计算机集群的分布式大数据处理平台，由两部分组成： • YARN (Yet Another Resource Negotiator) – 资源调度模型，实现数据跨节点的最小移动 • Map/Reduce – 跨节点分布式计算模型 • HDFS (Hadoop Distributed File System) - 跨节点的分布式文件系统 Hadoop Ecosystem Edge Node tall Split 1 Split 2 Split 3 14 Tall支持的大数据可视化 ▪ plot ▪ scatter ▪ binscatter ▪ histogram ▪ histogram2 ▪ ksdensity 15 tall 支持的大数据机器学习算法 – K-means Clustering (kmeans) – Linear Regression

Alibaba Cloud MaxCompute 解决方案 6 1 概要 Hadoop 在企业构建第一代大数据平台中成为主流的技术框架，但是随着企业信息化的高 速发展，在数字化、智能化的转型过程中，Hadoop 越来越复杂的技术架构和运维成本、平台 的稳定性和安全性、资源的弹性伸缩能力都遇到了瓶颈，严重阻碍了客户数据业务的发展。随着 云计算技术的发展和普及，越来越多的企业 报表等大数据应用。我们常见的大数据架构 的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 数据进 行长 MLib/ML、Tensorflow 等。  分析型数据存储：对数据进行处理加工后，面向应用场景，将数据以结构化的方式进行存储， 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问，利用 Hbase 实现低延迟的在线服务等  分析与报表：对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。  数据作业编排：将多个数据处理动作

在构建 Hadoop Stack 的过程中，每个组件都在平台中扮演着重 要角色。软件栈始于 Hadoop Common 中所包含的基础组件。Hadoop 1 第 章 Hadoop 大数据解决方案 2 Common 是常见工具和库的集合，用于支持其他 Hadoop 模块。和 其他软件栈一样，这些支持文件是一款成功实现的必要条件。而众 所周知的文件系统，Hadoop 的设计针对批处理做了优化，它提供高吞吐量的数据访 问，而非低延迟的数据访问。运行在 HDFS 上的应用程序有着大型 数据集。在 HDFS 中一个典型的文件大小可以达到数百 GB 或更大， 所以 HDFS 显然支持大文件。它提供高效集成数据带宽，并且单个 群集可以扩展至数百节点。 Hadoop 是一个单一功能的分布式系统，为了并行读取数据集并 提供更高的吞吐量，它与群集中的机器进行直接交互。可将 Hadoop ZooKeeper，你能记录哪些服务器或服务正处于运行状态，并且能够 通过名称查看它们的状态。 如果有节点出现问题导致宕机，ZooKeeper 会采用一种通过选 举 leader 来完成自动故障切换的策略，这是它自身已经支持的解决 方案(见图 1-2)。选举 leader 是一项服务，可安装在多台机器上作为 冗余备用，但在任何时刻只有一台处于活跃状态。如果这个活跃的 第 1 章 Hadoop 概述 7

ebay的Paid IM(互联网市场)部门架构师，领导ebay产品广告、互 联网市场数据和实验平台的架构设计。负责领导使用Hadoop、 Spark、Kafka、Cassandra等开源大数据顷目建立ebay的广告和数 据平台。 • 加入ebay前，在intel工作6年，大数据架构师，负责领导大数据的 开源贡献、基于Intel平台的开源顷目优化以及一些基于Spark的大 规模机器／深度学习顷目。 • 超过9年的互联网、云计算、大数据的工作经验。 Hadoop 3介绍 • Common • HDFS  纠错码(Erasure Coding)  多个Standby Namenode  Datanode内部balance工具  云计算平台的支持 • YARN • MapReduce HDFS纠错码(Erasure Coding) • 一个简单的例子 1备份: 1,0 需要额外的2位 XOR编码: 1,0 需要额外的1位 HDFS纠错码(Erasure • 对象存储 - HDFS-7240 • 更高性能的Namenode：更高效的内存使用，锁的改进等 • Erasure Coding的完善 YARN的未来 • 更大规模的集群支持 • 更好的资源调度，隔离和多租户 • 支持更多的应用，包括long running的service 谢谢 Q&A

notes/topics/rg_cdh_6_download.html （1）2008 年成立的 Cloudera 是最早将 Hadoop 商用的公司，为合作伙伴提供 Hadoop 的 商用解决方案，主要是包括支持、咨询服务、培训。 （2）2009 年 Hadoop 的创始人 Doug Cutting 也加盟 Cloudera 公司。Cloudera 产品主 要为 CDH，Cloudera Manager，Cloudera Apache Hadoop 在兼容性，安 全性，稳定性上有所增强。Cloudera 的标价为每年每个节点 10000 美元。 （4）Cloudera Manager 是集群的软件分发及管理监控平台，可以在几个小时内部署好一 个 Hadoop 集群，并对集群的节点及服务进行实时监控。 3）Hortonworks Hadoop 官网地址：https://hortonworks.com/ 到 Hadoop 的 HDFS 中，也可以将 HDFS 的数据导进到关系型数据库中。 2）Flume：Flume 是一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统， Flume 支持在日志系统中定制各类数据发送方，用于收集数据； 3）Kafka：Kafka 是一种高吞吐量的分布式发布订阅消息系统； 尚硅谷大数据技术之

關技術的推廣，主要包括 Hadoop Platform 與 NoSQL 等 Big Data 相關 應用，Google App Engine、Microsoft Azure 與 CloudBees 等雲端平台的運 用，以及 Android、Windows Phone 等 Smart Phone 的應用程式開發。 PS. 除了我的照片之外，投影片裡頭 所有的圖片都來自於 Google Search，版權歸原來各網站與企業所 from It? 54 / 74 超級(女)英雄們也是有分派系的！ Hadoop 小圈圈 55 / 74 Cloudera 派： Intel (金主) DataBricks (Spark 平台) IBM Oracle MapR ... Hortonworks 派： Microsoft (生命共同體) ... 56 / 74 意見分歧？殊途同歸？ Hive vs. Impala Query Planner，從 Hive on MapReduce 變成 Hive on Tez on YARN 58 / 74 架在 Hadoop 上的 Machine Learning 平台 目前提供 Recommendation Mining、 Clustering、Classification 等 Use Case 2014-04-25 發表了 Goodbye MapReduce

-policy ] [-disablePolicy -policy ] [-help ]. 2）查看当前支持的纠删码策略 [atguigu@hadoop102 hadoop-3.1.3] hdfs ec -listPolicies Erasure Coding Policies: Erasur 纠删码策略是给具体一个路径设置。所有往此路径下存储的文件，都会执行此策略。 默认只开启对 RS-6-3-1024k 策略的支持，如要使用别的策略需要提前启用。 1）需求：将/input 目录设置为 RS-3-2-1024k 策略 2）具体步骤 （1）开启对 RS-3-2-1024k 策略的支持 [atguigu@hadoop102 hadoop-3.1.3]$ hdfs ec -enablePolicy

则为海量的数据提供了计算。 1.4 HDFS 架构原理 HDFS 是 Hadoop 分布式文件系统（Hadoop Distributed File System）的缩写， 为分布式计算存储提供了底层支持。采用 Java 语言开发，可以部署在多种普通的 廉价机器上，以集群处理数量积达到大型主机处理性能。 银河麒麟服务器操作系统 V4 hadoop 软件适配手册 3 HDFS 采用