Home List website Zhuanlan.zhihu.com
Total 1 post Zhuanlan.zhihu.com. There may be jobs you're interested in.
Total 1 post Zhuanlan.zhihu.com . There may be jobs you're interested in..

理解spark中的job、stage、task - 知乎

https://zhuanlan.zhihu.com/p/50752866
一个spark application提交后，陆续被分解为job、stage，到这里其实还是一个比较粗的概念。. stage继续往下分解，就是task。. task应该是spark最细的执行单元了。. task的数量其实就是stage的并行度。. rdd在计算的时候，每个分区都会起一个task，所以rdd的分区数目决定了总 ...