(一) 什么是RDD
●为什么要有RDD?
在许多迭代式算法(比如机器学习、图算法等)和交互式数据挖掘中,不同计算阶段之间会重用中间结果,即一个阶段的输出结果会作为下一个阶段的输入。但是,之前的MapReduce框架采用非循环式的数据流模型,把中间结果写入到HDFS中,带来了大量的数据复制、磁盘IO和序列化开销。且这些框架只能支持一些特定的计算模式(map/reduce),并没有提供一种通用的数据抽象。
AMP实验室发表的一篇关于RDD的论文:《Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing》
就是为了解决这些问题的,RDD提供了一个抽象的数据模型,让我们不必担心底层数据的分布式特性,只需将具体的应用逻辑表达为一系列转换操作(函数),不同RDD之间的转换操作之间还可以形成依赖关系,进而实现管道化,从而避免了中间结果的存储,大大降低了数据复制、磁盘IO和序列化开销,比且还提供了更多的API(map/reduec/reducebykey/fileter...)。
●总结:RDD做了什么?
1.中间结果保存在内存中,并重用
2.提供了通用的抽象的分布式的数据模型
3.提供了多种数据操作模式(支持函数式编程)
总之相比与传统的MapReduce,RDD更快速、更通用、更灵活
●RDD是什么?
RDD(Resilient Distributed Dataset)叫做弹性分布式数据集,是Spark中最基本的数据抽象,代表一个不可变、可分区、里面的元素可并行计算的集合。
单词拆解
- Dataset: 它是一个集合,可以存放很多元素
- Distributed :它里面的元素是分布式存储的,可以用于分布式计算
- Resilient :它是弹性的,RDD里面的中的数据可以保存在内存中或者磁盘里面
存储的弹性:内存与磁盘的自动切换、存储灵活
容错的弹性:数据丢失可以自动恢复
计算的弹性:计算出错重试机制、计算的模式的灵活性
分片的弹性:根据需要重新分片
●总结
RDD具有数据流模型的特点:自动容错、位置感知性调度和可伸缩。
RDD将Spark的底层的细节都隐藏起来了(任务调度、Task执行,任务失败重试等待)
开发者使用起来可以像操作本地集合一样以函数式编程的方式操作RDD这个抽象的分布式数据集进行各种并行计算
(二) RDD的主要属性
1.A list of partitions :
一组分片(Partition)/一个分区(Partition)列表,即数据集的基本组成单位。
对于RDD来说,每个分片都会被一个计算任务处理,分片数决定并行度。
用户可以在创建RDD时指定RDD的分片个数,如果没有指定,那么就会采用默认值。
2.A function for computing each split :
一个函数会被作用在每一个分区。
Spark中RDD的计算是以分片为单位的,compute函数会被作用到每个分区上
3.A list of dependencies on other RDDs:
一个RDD会依赖于其他多个RDD。
RDD的每次转换都会生成一个新的RDD,所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时,Spark可以通过这个依赖关系重新计算丢失的分区数据,而不是对RDD的所有分区进行重新计算。(Spark的容错机制)
4.Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned):
可选项,对于KV类型的RDD会有一个Partitioner,即RDD的分区函数
当前Spark中实现了两种类型的分片函数,一个是基于哈希的HashPartitioner,另外一个是基于范围的RangePartitioner。只有对于于key-value的RDD,才会有Partitioner,非key-value的RDD的Parititioner的值是None。Partitioner函数不但决定了RDD本身的分片数量,也决定了parent RDD Shuffle输出时的分片数量。
5.Optionally, a list of preferred locations to compute each split on (e.g. block locations for an HDFS file):
可选项,一个列表,存储存取每个Partition的优先位置(preferred location)。
对于一个HDFS文件来说,这个列表保存的就是每个Partition所在的块的位置。按照"移动数据不如移动计算"的理念,Spark在进行任务调度的时候,会尽可能选择那些存有数据的worker节点来进行任务计算。
●总结
简单的说就是:
1.分区列表
2.计算函数
3.依赖关系
4.分区函数(默认是hash)
5.最佳位置
分区列表, 分区函数, 最佳位置, 这三个属性其实说的就是数据集在哪, 在哪计算更合适, 如何分区
计算函数和依赖关系, 这两个属性其实说的是数据集怎么来的
所以结论是 RDD 是一个数据集的表示, 不仅表示了数据集, 还表示了这个数据集从哪来, 如何计算