• 利用商业硬件和存储 • 释放数据库服务器上的容量 • 支持处理非结构化数据 • 利用Hadoop功能保留数据 （如更新和编写索引） • 实现低成本历史归档数据 缺点 • 可能需要复杂的编程工作 • MapReduce通常比并行数 据库或可扩展ETL工具速度 更慢 • 风险：Hadoop目前仍然是 一项新兴技术 IBM软件 7 以下是优化大数据集成工作负载时需要遵循的三大重要指导 制优势，同时避免手动编码带来的负面影响（参见图4）。 IBM软件 11 数据集成工具 IBM PureData ™ System 手动编码 相较于手 自我记录动编码， 开发成本节约 87% 87% 企业间复杂UI的出现导致各种 数据访问和集成需求。 预置的数据集成解决方案可简化使用逻辑对象创建数据集成作业的过程。 预置的数据集成解决方案有助于映射和管理 企业间的数据治理需求。 并行读取 HDFS文件

访问和处理数据变得困难； – 需要学习使用新的工具和新的编程方式； – 不得不重写算法以应对数据规模的增大； ▪ 现有处理或计算方法下的结果质量受到影响 – 被迫只能处理一部分数据（数据子集）； – 采用新的工具或重写算法会对现有生产力产生影响； ▪ 数据处理与分析所需时间增长 – 数据规模增大、数据复杂度增加，增加处理难度和所需时间； 5 MATLAB的大数据处理 ▪ 编程 ▪ Streaming ▪ Block tall arrays ▪ 自动将数据分解成适合内存的小 “块”(chunk) ▪ 计算过程中，一次处理一个“块”(chunk) 的数据 ▪ 对tall数组(tall array)的编程方式与MATLAB 标准数组 编程方式一致 Single Machine Memory Process 8 ▪ MATLAB本地多核并行计算计 (PCT, Parallel Computing Toolbox)

。而众 所周知的文件系统，Hadoop 分布式文件系统，或者说 HDFS，则是 Hadoop 的核心，然而它并不会威胁到你的预算。如果要分析一组数 据，你可以使用 MapReduce 中包含的编程逻辑，它提供了在 Hadoop 群集上横跨多台服务器的可扩展性。为实现资源管理，可考虑将 Hadoop YARN 加入到软件栈中，它是面向大数据应用程序的分布式 操作系统。 ZooKeeper 运行在群集中大量低成本的机 器上。既然已经介绍了用于读取数据的工具，下一步便是用 MapReduce 来处理它。 1.1.3 MapReduce 是什么 MapReduce 是 Hadoop 的一个编程组件，用于处理和读取大型 数据集。MapReduce 算法赋予了 Hadoop 并行化处理数据的能力。 简而言之，MapReduce 用于将大量数据浓缩为有意义的统计分析结 果。MapReduce 计算 图 1-10 1.5 小结 通过使用 Hadoop Stack，你利用 Hadoop 在企业中实现最优方 第 1 章 Hadoop 概述 17 案，并且与混合编程和高级工具相结合。如今大多数群集都在你的 本地，但服务提供商给予了更多选择，使得数据也可以存储在云端。 目前，SQL、关系型和非关系型数据存储均可使用 Hadoop 的功能。 当涉及数据时，Hadoop

SET)、脚本运行模式、参 数化视图 * 支持外表(外部数据源+StorageHandler 支持非结构化 数据） MapReduce MaxCompute MR 支持 MapReduce 编程接口(提供优化增强的 MaxCompute MapReduce,也提供高度兼容 Hadoop 的 MapReduce 版本) 不暴露文件系统，输入输出都是表 通过 MaxCompute 客户端工具、Dataworks client 运行 hive udtf sql，从而将数据从 hive 上传至 MaxCompute。 Alibaba Cloud MaxCompute 解决方案 36 7. 编程接口：Maven xml 8. 对于 hive 集群上作业提交队列的说明： Alibaba Cloud MaxCompute 解决方案 37 我们工具在创建 hive 作业迁移数据的时候，会把作业提交到

这些多种多样的数据集操作类型，给给开发上层应用的用户提供了方便。各个处理节点 之间的通信模型不再像 Hadoop 那样就是唯一的 Data Shuffle 一种模式。用户可以命名， 物化，控制中间结果的存储、分区等。可以说编程模型比 Hadoop 更灵活。 3. 由于 RDD 的特性，Spark 不适用那种异步细粒度更新状态的应用，例如 web 服务的存 储或者是增量的 web 爬虫和索引。就是对于那种增量修改的应用模型不适合。

是一种计算模型，该模型可以将大型数据处理任务分解成很多单 个的、可以在服务器集群中并行执行的任务，而这些任务的计算结果可以合并在 一起来计算最终的结果。简而言之，Hadoop Mapreduce 是一个易于编程并且能在 大型集群（上千节点）快速地并行得处理大量数据的软件框架，以可靠，容错的 方式部署在商用机器上。MapReduce 这个术语来自两个基本的数据转换操作：map 过程和 reduce 过程。

常用端口号说明 端口名称 Hadoop2.x Hadoop3.x NameNode 内部通信端口 8020 / 9000 8020 / 9000/9820 NameNode HTTP UI 50070 9870 MapReduce 查看执行任务端口 8088 8088 历史服务器通信端口 19888 19888