分类: YARN

YARN Federation Router REST API

官方的YARN Federation Router ,将Router REST API 做成了统一汇总输出方式 ,即: Router REST服务使用了RM的规范,其URL路径相同。这样保证了客户端访问方式不变最大化向前兼容。其返回结果是所有SubCluster信息的聚合,即它会将所有SubCluster的信息合…

Read More

第二篇 YARN Federation Router 组件源码分析

Router 组件在Federation 模式下可以部署多个,通过部署多个Router可以分担单点压力。目前Router组件官方提供了多种策略,灵活保证资源请求的路由负载包括应用程序被调度到哪个集群,请求哪个子集群的资源。根据这个特性我们可以部署多个Router 配置不同的…

Read More

第一篇 Hadoop 3.0.0-beta1 中的 YARN Federation 概述

随着Hadoop 成为大数据处理的一个基础组件之后,各大公司都使用Hadoop做大数据平台的底层。但是随着集群规模的增长与业务量的激增会遇到很多瓶颈。其中最显著的缺点是在早期的(Hadoop  2.9 之前 )Hadoop版本中,ResourceManager这个组件会限制你集群的规…

Read More
京ICP备13010354号-1