Spark 中 File,Block,Split,Task,Partition,RDD概念的理解

1,601 阅读1分钟

1,在 HDFS 中会以 Block 为单位进行存储很多的 File,也就是说每个 File 可能会被拆分成多个 Block 存储在 HDFS 上;

2,当 Spark 读取 HDFS 上的文件作为输入时,会根据具体数据格式对应的 InputFormat 进行解析,一般情况下是将很多个 Block 合并成一个 InputSplit(InputSplit不能跨越文件);

3,然后,会将这些 InputSplit 生成具体的 Task,一个 InputSplit 对应一个 Task;

4,然后这些 Task 会被分配到集群上的节点中每个 Executor 去执行;

注:

a,每个节点上会起一个或多个 Executor ;

b,每个 Executor 是由若干个 core 组成(这里的 core 是虚拟的 core,并不是指物理机器的 cpu 核,一般来说 spark 配置的 executor 核数不应该超过该节点的物理 cpu 核数),每个 core 一次只能执行一个 Task,其实这里的每个 Task 对应一个线程;

5,每个 Task 执行的结果就是生成了下一个 RDD 的一个 Partiotion;

具体可以看下图:

图解

参考:www.zhihu.com/question/33…