数据节点 数据节点 数据节点 节点管理器 节点管理器 节点管理器 图 1-1 MapReduce 的功能使得它成为最常用的批处理工具之一。该处 理器的灵活性使其能利用自身的影响力来挑战现有系统。通过将数 据处理的工作负载分为多个并行执行的任务，MapReduce 允许其用 户处理存储于 HDFS 上不限数量的任意类型的数据。因此，MapReduce 让 Hadoop 成为了一款强大工具。 Hadoop 发起数据传送时，Oracle Loader for Hadoop 将数据推送到 数据库中。如图 1-9 所示。Oracle Loader for Hadoop 利用 Hadoop 计 算资源进行排序、分区并在加载之前将数据转换成适配于 Oracle 的 数据类型。当加载数据时，在 Hadoop 上进行的数据预处理降低了 数据库 CPU 的使用率。这样就减少了对数据库应用程序的影响，减

优点；但不同于 MapReduce 的是 Job 中间输出和结果可以保存在内存中，从而不再需要读 写 HDFS，因此 Spark 能更好地适用于数据挖掘与机器学习等需要迭代的 map reduce 的算 法。 1.2 Spark 核心概念 1.2.1 弹性分布数据集（RDD） RDD 是 Spark 的最基本抽象,是对分布式内存的抽象使用，实现了以操作本地集合的方式 来操作分布式数据集的抽象实现。RDD 错是有效的，否则无效，因为 无法重试，需要向上其祖先追溯看是否可以重试（这就是 lineage，血统的意思），Narrow Dependencies 对于数据的重算开销要远小于 Wide Dependencies 的数据重算开销。 1.2.4 容错 在 RDD 计算，通过 checkpint 进行容错，做 checkpoint 有两种方式，一个是 checkpoint data，一个是

Application Server。 自認為會的技術不多，但是學不會的 也不多，最擅長把老闆交代的工作， 以及找不到老師教的技術，想辦法變 成自己的專長。 目前負責 Java 與 .NET 雲端運算相 關技術的推廣，主要包括 Hadoop Platform 與 NoSQL 等 Big Data 相關 應用，Google App Engine、Microsoft Azure 與 CloudBees

解决方案 28 6.3.2 资源评估  评 估 系 统 会 根 据 客 户 的 集 群 规 模 、 服 务 器 配 置 、 数 据 量 和 作 业 量 等 信 息 ， 估 算 出 在 MaxCompute 相应的资源购买规格建议：1）计费模式：预付费/后付费；2）规格：CU 数和 存储规格等。 6.3.3 数据、作业和 Pipeline 迁移评估 6.3.3.1

需要学习使用新的工具和新的编程方式； – 不得不重写算法以应对数据规模的增大； ▪ 现有处理或计算方法下的结果质量受到影响 – 被迫只能处理一部分数据（数据子集）； – 采用新的工具或重写算法会对现有生产力产生影响； ▪ 数据处理与分析所需时间增长 – 数据规模增大、数据复杂度增加，增加处理难度和所需时间； 5 MATLAB的大数据处理 ▪ 编程 ▪ Streaming ▪ Block Processing