分类:Hadoop

YARN Federation Router REST API

官方的YARN Federation Router ,将Router REST API 做成了统一汇总输出方式…

Read More

第二篇 YARN Federation Router 组件源码分析

Router 组件在Federation 模式下可以部署多个,通过部署多个Router可以分担单点压力。目前R…

Read More

第一篇 Hadoop 3.0.0-beta1 中的 YARN Federation 概述

随着Hadoop 成为大数据处理的一个基础组件之后,各大公司都使用Hadoop做大数据平台的底层。但是随着集群…

Read More

自己动手写YARN Application

概述:    大数据处理是现在炙手可热的一个话题,目前流行的处理技术有很多,其中比较流行的要属Hadoop了。…

Read More

hadoop集群调优与参数配置

一、Linux 平台(文件系统)       (1) noatime 和 nodiratime 属性 (/et…

Read More

MapReduce BUG 作业卡住问题,Map未获得资源导致Reduce无法完成

问题描述 使用2.7.1版本的Hadoop跑一些作业时,会遇到Map和Reduce竞争资源导致整个作业卡死无法…

Read More

FairScheduler 调度器性能问题

问题 对于大型集群来说,ResourceManager 和 NameNode 是整个集群的瓶颈。集群规模越大,…

Read More

NameNode 本地用户验证时 IO ERROR

Lots of the following messages appeared in NN log: [cra…

Read More

CapacityScheduler 线程死锁 deadlock

之前遇到一个问题。使用CapacityScheduler调度器,在运行一个长作业时,如果有另一个线程或用户在不…

Read More

Hadoop sls (Yarn Scheduler Load Simulator)使用

概述 hadoop sls (Yarn Scheduler Load Simulator) 是 apache …

Read More