月度归档: 2018年1月

第二篇 YARN Federation Router 组件源码分析

Router 组件在Federation 模式下可以部署多个,通过部署多个Router可以分担单点压力。目前Router组件官方提供了多种策略,灵活保证资源请求的路由负载包括应用程序被调度到哪个集群,请求哪个子集群的资源。根据这个特性我们可以部署多个Router 配置不同的…

Read More

利用Python获取网站的注册信息

有时需要判断一个网站是以企业名义注册的还是以个人名义的注册的,一般可以在备案网站上获取这个网站的信息,不过对于一个会写程序的人来说,当然还是希望能够以代码的方式获取相应网站的注册信息。

Read More

Spark On YARN 资源管理与优化

最近笔者在用Spark进行离线处理时,观察到很多Spark On YARN 的APP 虽然请求了很多个executor 但是实际上每个executor的利用率不高。最后导致整个集群的CPU利用率一直处于低点。而由于这些APP占用了资源,导致YARN无法运行其他APP,造成排队现象。

Read More
京ICP备13010354号-1