Spark 简介以及与 Hadoop 的对比Spark 启动计算的动因。 1.2.3 血统(Lineage) 利用内存加快数据加载,在众多的其它的 In-Memory 类数据库或 Cache 类系统中也有实 现,Spark 的主要区别在于它处理分布式运算环境下的数据容错性(节点实效/数据丢失)问 题时采用的方案。为了保证 RDD 中数据的鲁棒性,RDD 数据集通过所谓的血统关系(Lineage) 记住了它是如何从其它 RDD 上,lineage 方法对与输入节点完好, 而输出节点宕机时,通过重新计算,这种情况下,这种方法容错是有效的,否则无效,因为 无法重试,需要向上其祖先追溯看是否可以重试(这就是 lineage,血统的意思),Narrow Dependencies 对于数据的重算开销要远小于 Wide Dependencies 的数据重算开销。 1.2.4 容错 在 RDD 计算,通过 checkpint updates。用户可以控制采用哪种方式来实现容错,默认是 logging the updates 方式,通过记录跟踪所有生成 RDD 的转换(transformations)也就是记录每 个 RDD 的 lineage(血统)来重新计算生成丢失的分区数据。 2 Spark 与 Hadoop 对比 2.1 快速 Spark 的中间数据放到内存中,对于迭代运算效率更高。Spark 更适合于迭代运算比较多0 码力 | 3 页 | 172.14 KB | 1 年前3
共 1 条
- 1













