关于 Spark Task 的疑问

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

› Spark

› Mastering Apache Spark 2

这是一个创建于 1569 天前的主题，其中的信息可能已经有所发展或是发生改变。

avatar

关于上面那个图，ShuffleMapStage 中，有三个 RDD，每个 RDD 有三个分区我看网上文章都是说一个分区对应一个 task，

1.上面那个 ShuffleMapStage 中阶段里是否存在 9 个 Task 。

2.但站在 pipeline 角度上看，应该只有三个 task，每个 RDD 的一个分区组合成一个 task 。

上面两种说法，哪种是正确的呢，被搞糊涂了。谢谢！

2 条回复 • 2020-08-05 10:04:45 +08:00

Finch

2020-08-05 01:01:22 +08:00 via iPhone

一般是多少个 partition 就有多少个 task 。
如果是 9 个 task 就没有 DAG 的必要了。

starry97

2020-08-05 10:04:45 +08:00

@Finch 一般是多少个 partition 就有多少个 task 。那 ShuffleMapStage 中有 9 个分区，那么就有 9 个 task 了？

不过我现在知道了，是以 stage 最后 RDD 的分区数为例，还是感谢您！