的和 安全的分布式架构 软硬结合 Intel Hadoop商业发行版 优化的大数据处理软件栈 稳定的企业级hadoop发行版 利用硬件新技术迚行优化 HBase改迚和创新，为Hadoop提供实时数据处理能力 针对行业的功能增强，应对丌同行业的大数据挑戓 Hive 0.9.0 交互式数据仓库 Sqoop 1.4.1 关系数据ETL工具 2.2 安装、部署、配置、监控、告警和访问控制 Zookeeper 3.4.4 分布式协作服务 Pig 0.9.2 数据流处理语言 Mahout 0.6 数据挖掘 HBase 0.94.1 实时、分布式、高维数据库 Map/Reduce 1.0.3 分布式计算框架 HDFS 1.0.3 分布式文件系统 R 统计语言 Intel Hadoop Manager E5 CPU, 48GB内存，8块 7200rpm SATA硬盘, 千兆以太网 测试用例和性能  向HBase集群插入1KB大小的记录  每台服务器平均每秒插入1万条记录，峰值在2万条记录  每台服务器，从磁盘扫描数据，每秒完成400个扫描。 一次扫描从HBase表中获得单个用户一个月内的所有记录（平均100条） 0 0.2 0.4 0.6 0.8 1 ren

/root/hive/conf/hive-env.sh #tez scp -r root@master_ip:/home/hadoop/tez /root/ #hbase scp -r root@master_ip:/home/hadoop/hbase /root/ #spark scp -r root@master_ip:/home/hadoop/spark /root/ #pig scp -r export HIVE_HOME=/root/hive export HIVE_CONF_DIR=$HIVE_HOME/conf # HBase export HBASE_HOME=/root/hbase export HBASE_CONF_DIR=$HBASE_HOME/conf # spark export SPARK_HOME=/root/spark export SPARK_CO PIG_CLASSPATH=$HADOOP_HOME/conf export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$HBASE_HOME/bin:$SPARK_HOME/bin:$PIG_HOME/bin:$PATH export LD_LIBRARY_PATH=$HADOOP_HOME/lib/native:/usr

Serialization System (2010-05 成為 Top-Level Project) Mahout：Scalable Library for Machine Learning HBase：Distributed Data Storage (2010-05 成為 Top-Level Project) Pig：High Level Language for Data Analysis Hadoop and Linux kernel, and the corresponding similarity between the big stack of Hadoop ( Hive, Hbase, Pig, Avro, etc.) and the fully operational operating systems with its distributions (RedHat, Ubuntu & Dashboard 51 / 74 Impala - Real-Time Queries in Hadoop Cloudera 主導，做了兩年才在 2012 年正式發表 支援 HDFS/HBase 的 Distributed Parallel SQL Query Engine in Real Time 吸收 Google F1 Fault-Tolerant Distributed RDBMS

：微型版Nutch。 5）可以说Google是Hadoop的思想之源（Google在大数据方面的三篇论文） GFS --->HDFS Map-Reduce --->MR BigTable --->HBase 尚硅谷大数据技术之 Hadoop（入门） ————————————————————————————— 更多 Java –大数据 –前端 大数据技术生态体系 大数据技术生态体系 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark Core内存计算 Hive 数据查询 Spark Mlib 数据挖掘 Spark Streaming 实时计算 是当前最流行的开源大数据内存计算框架。用于实时计算的场景较多。 6）Oozie：Oozie 是一个管理 Hadoop 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。 8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张

分析型数据存储：对数据进行处理加工后，面向应用场景，将数据以结构化的方式进行存储， 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问，利用 Hbase 实现低延迟的在线服务等  分析与报表：对数据进行分析和展现以获取洞察。如 BI 工具、jupyter 等。  数据作业编排：将多个数据处理动作（数据移动、处理转换等）编排成为工作流并周期性地 EMR(开源流计算组件） 分析型数据存储 数据仓库： GreenPlum/Impala/Presto/Hive NoSQL：Hbase 数据仓库：MaxCompute/ Hologres/分析 型数据库 NoSQL:云数据库 Hbase 版/表格存储 分析与报表 BI 工具 Notebook QuickBI PAI Notebook 组件 EMR Notebook Alibaba Cloud MaxCompute 解决方案 25  网络环境（私有网络、经典网络、VPC 专）  有无专线  常用组件（Hive、Spark、Storm、HBase、Flink、Kafa、Impala、Sqoop、Kylin、Flume）  机器配置（CPU 核数、内存大小）  数据量及存储类型  作业量及作业类型（SQL 脚本上传）

MapReduce Paper HBase Hive Cloudera创立 Hortonworks创立 Hadoop 1.0发布 Hadoop 2.0 GA Spark成为顶级顷目 Hadoop 3.0 2017 Hadoop生态系统 文件存储层 HDFS 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 容器资源的劢态调整  资源隔离  调度的增强  YARN的Web页面的增强 • MapReduce YARN Timeline Service v.2 • 扩展性 分布式读写 读写分离 HBase存储 YARN Timeline Service v.2 • 可用性 流(flow) 聚合(aggregation) YARN Federation • YARN-2915 允许YARN的集群扩展到一万个戒更多个节点

或开发人 员，那么这点对你来说无疑是使用 Hadoop 的加分项。大多数供应 商使用各种开放源码解决方案用于数据集成，这些解决方案原生支 持 Apache Hadoop，包括为 HDFS、HBase、Pig、Sqoop 和 Hive 提 供连接器(见图 1-6)。 基于 Hadoop 的应用程序具有良好的平衡性，能够支持 Windows 平台并与微软的 BI 工具(例如 Excel、Power