标签: Spark,资源

Spark On YARN 资源管理与优化

最近笔者在用Spark进行离线处理时,观察到很多Spark On YARN 的APP 虽然请求了很多个executor 但是实际上每个executor的利用率不高。最后导致整个集群的CPU利用率一直处于低点。而由于这些APP占用了资源,导致YARN无法运行其他APP,造成排队现象。

Read More
京ICP备13010354号-1