ss1505_wuma.a vi Container MapTask SecondaryNa meNode 1.6 大数据技术生态体系 大数据技术生态体系 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark 作业（job）的工作流程调度管理系统。 7）Hbase：HBase 是一个分布式的、面向列的开源数据库。HBase 不同于一般的关系数据库， 它是一个适合于非结构化数据存储的数据库。 8）Hive：Hive 是基于 Hadoop 的一个数据仓库工具，可以将结构化的数据文件映射为一张 数据库表，并提供简单的 SQL 查询功能，可以将 SQL 语句转换为 MapReduce 任务进行运 行。其优点是学习成本低，可以通过类 9）ZooKeeper：它是一个针对大型分布式系统的可靠协调系统，提供的功能包括：配置维护、 名字服务、分布式同步、组服务等。 1.7 推荐系统框架图 推荐系统项目框架 数据库（结构化数据） 文件日志（半结构化数据） 视频、ppt等（非结构化数据） Sqoop数据传递 Flume日志收集 Kafka消息队列 HDFS文件存储 HBase非关系型数据库 YARN资源管理 MapReduce离线计算 Spark

180,000 2006 2007 2008 2009 2010 2011 2012 2013 2014 2015 Exponential Growth 内容仓库– 海量/非结构化 传统非结构化数据 传统结构化数据 企业托管服务中的数据 Linear Growth Source: IDC, 2011 Worldwide Enterprise Storage Systems 速度 数据量 多样化 传统数据 大数据 GB -> TB TB -> PB以上 数据量稳定，增长不快 持续实时产生数据， 年增长率超过60％ 主要为结构化数据 半结构化，非结构化， 多维数据 ―大数据‖ 挃数据集的大小超过了现有典型的数据库软件和工具的处理能力。不此同时，及时捕捉、 存储、聚合、管理这些大数据以及对数据的深度分析的新技术和新能力，正在快速增长，就像预

的逻辑组件关系如下图所示： 这些逻辑组件包括：  数据源：数据源包括关系型数据库、日志文件、实时消息等。  数据存储：面向海量数据存储的分布式文件存储服务，支持 结构化数据和非结构数据数据存 储，我们也常称之为数据湖。如 HDFS、对象存储服务等。  批处理：由于大数据场景必须处理大规模的数据集，批处理往往需要从数据存储中读取大量 数据进 行长 时间 处理 Streaming、Storm 等。  机器学习：满足机器学习工作负载的服务。如当前流行的 Spark MLib/ML、Tensorflow 等。  分析型数据存储：对数据进行处理加工后，面向应用场景，将数据以结构化的方式进行存储， 以便分析工具或分析应用能够获取数据。如利用 MPP 数据仓库、Spark SQL 等支持 BI 工具 访问，利用 Hbase 实现低延迟的在线服务等  分析与报表：对数据进行分析和展现以获取洞察。如 Defined Type、GROUPING SET(CUBE/rollup/GROUPING SET)、脚本运行模式、参 数化视图 * 支持外表(外部数据源+StorageHandler 支持非结构化 数据） MapReduce MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的 MaxCompute MapReduce,也提供高度兼容 Hadoop 的

一个类似的生态系统。 Cloudera 为集成结构化和非结构化的数据创造了条件。通过使用平 台交付的统一服务，Cloudera 开启了处理和分析多种不同数据类型 的大门(见图 1-5)。 处理、分析和服务 安全 文件系统 (HDFS) 关系型 非结构化 批处理 流 搜索 统一服务 资源管理(YARN) 存储 结构化 集成 图 1-5 1.4.2 数据集成与 或者其他数据平台的解决方案无法在非 Windows 环境下运行。你应该细心检查现有的或者计划使用的环境 以决定最优解决方案。数据平台或者数据管理平台正如其名。它是 一个集中式计算系统，用于收集、集成和管理大型结构化和非结构 化数据集。 从理论上讲，无论 HortonWorks，还是 Cloudera，均是可供选 择的平台，包括用于与现有数据环境和 Hadoop 一起工作的 RDBMS 连接器。大多数

大数据的”4V”特征： ▪ Volumes - 数据规模，数据规模巨大 互联网、社交网络的普及，全社会的数字化转型，数据规模向PB级发展 ▪ Variety - 数据种类 ，数据种类繁多 结构化数据，半结构化数据，非结构化数据 ▪ Value - 数据价值，数据价值密度低 价值密度的高低与数据总量的大小成反比 ▪ Velocity - 数据处理速度，数据处理速度需要快速 数据处理速度是决定大数据应用的关键

复杂转换方面的限制 • 数据清理限制 • 数据库在执行某些流程时速 度较慢 优点 • 利用MapReduce MPP引擎 • 利用商业硬件和存储 • 释放数据库服务器上的容量 • 支持处理非结构化数据 • 利用Hadoop功能保留数据 （如更新和编写索引） • 实现低成本历史归档数据 缺点 • 可能需要复杂的编程工作 • MapReduce通常比并行数 据库或可扩展ETL工具速度 更慢