Home List website Jianshu.com
Total 1 post Jianshu.com. There may be jobs you're interested in.
Total 1 post Jianshu.com . There may be jobs you're interested in..

理解spark中job-stage-task之间的关系 - 简书

https://jianshu.com/p/3aa52ee3a802
Job-stage-task之间的关系. 如下图所示，一个spark程序可以被划分为一个或多个job，划分的依据是rdd的action算子，每遇到一个rdd的action操作就生成一个新的job。. 每个spark job在具体执行过程中因为shuffle的存在，需要将其划分为一个或多个可以并行计算的stage，划分的 ...