3）广义上来说，Hadoop通常是指一个更广泛的概念——Hadoop生态圈。 1.2 Hadoop 发展历史（了解） Hadoop发展历史 1）Hadoop创始人Doug Cutting，为了实现与Google类似的全文搜索功能，他在Lucene框架基础上进行优 化升级，查询引擎和索引引擎。 Hadoop创始人Doug Cutting 2）2001年年底Lucene成为Apache基金会的一个子项目。 3）对于 2）Reduce 阶段对 Map 结果进行汇总 ss.avi yangge.avi bobo.avi ss1505_w uma.avi ... 100T 任务需求:找出宋宋老师2015年5月份的教学视频 Map Reduce hadoop101 hadoop102 hadoop103 hadoop104 ... ... 520M ss1505_wuma.avi 待分析数据 汇总服务器 a vi Container MapTask SecondaryNa meNode 1.6 大数据技术生态体系 大数据技术生态体系 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark

台交付的统一服务，Cloudera 开启了处理和分析多种不同数据类型 的大门(见图 1-5)。 处理、分析和服务 安全 文件系统 (HDFS) 关系型 非结构化 批处理 流 搜索 统一服务 资源管理(YARN) 存储 结构化 集成 图 1-5 1.4.2 数据集成与 Hadoop 数据集成是 Hadoop 解决方案架构的关键步骤。许多供应商利 例如，现代的数据架构正在越来越多地用于建造大型数据湖。 通过将数据管理服务集成为更大的数据湖，企业可以利用各种各样 的渠道来存储和处理大量数据，这些渠道包括社交媒体、点击流数 据、服务器日志、客户交易与交互、视频以及来自现场设备的传感 器数据。 Hortonworks 或者 Cloudera 数据平台，以及 Informatica，使得 企业能够优化 ETL(抽取、转换、加载)工作流程，以便在 Hadoop

Hadoop生态系统 文件存储层 HDFS 资源／任务调度 YARN 计算引擎MapReduce 计算引擎Spark NoSQL HBase 数据仓 库SQL 机器/深 度学习 Batch 任务 流处理 搜索 … Kafka Hadoop 3介绍 • Common  JDK 8+ 升级  Classpath隔离  Shell脚本的重构 • HDFS • YARN • MapReduce