WelCome to : 吴怡燃的博客

Spark 广播变量(Broadcast Variables)

广播变量(Broadcast Variables) 广播变量允许程序员将一个只读变量缓存在每台机器上,而不需要…

Read More

Spark 累加器变量(Accumulator)

累加器 累加器是只支持被相关操作累加的变量,因此可以在并行中被有效地支持。它可以被用来实现计数器和计算求和。S…

Read More

自己动手写YARN Application

概述:    大数据处理是现在炙手可热的一个话题,目前流行的处理技术有很多,其中比较流行的要属Hadoop了。…

Read More

Alluxio 1.3.0 On YARN 模式时无法修改ALLUXIO_RAM_FOLDER 问题

最近在测试Alluxio ON YARN 模式时,发现无论在配置文件中怎么修改ALLUXIO_RAM_FOLD…

Read More

Alluxio 1.3.0 改进与新特性【译文】

Alluxio 1.3.0 发布了,此版本的重点是提高Alluxio和Alluxio与许多项目在生态系统中的集…

Read More

基于内存的开源分布式存储系统

导读 我们集群上的一些作业处理数据时经常需要进行Shuffle和临时数据落盘操作,在处理较大数据时,本地磁盘很…

Read More

hadoop集群调优与参数配置

一、Linux 平台(文件系统)       (1) noatime 和 nodiratime 属性 (/et…

Read More

MapReduce BUG 作业卡住问题,Map未获得资源导致Reduce无法完成

问题描述 使用2.7.1版本的Hadoop跑一些作业时,会遇到Map和Reduce竞争资源导致整个作业卡死无法…

Read More

Vultr vps 网络主机与阿里云网络主机对比

本人也建站几年了,一直是走免费模式。为了降低网站运营成本,本人也使用了几款产品,同时也有朋友推荐的几款,这里主…

Read More

FairScheduler 调度器性能问题

问题 对于大型集群来说,ResourceManager 和 NameNode 是整个集群的瓶颈。集群规模越大,…

Read More
京ICP备13010354号-1