标签: Alluxio

Alluxio 1.3.0 On YARN 模式时无法修改ALLUXIO_RAM_FOLDER 问题

最近在测试Alluxio ON YARN 模式时,发现无论在配置文件中怎么修改ALLUXIO_RAM_FOLDER 这个目录,最后在启动Alluxio ON YARN 之后都不是指定目录。最后在Alluxio 的 ApplicationMaster 中发现,在设置启动环境变量时,默认将ALLUXIO_RAM_FOLDER 变量设置成…

Read More

基于内存的开源分布式存储系统

导读 我们集群上的一些作业处理数据时经常需要进行Shuffle和临时数据落盘操作,在处理较大数据时,本地磁盘很容易就被写满导致task失败,严重时导致整个作业失败。还有一些作业是用Spark编写的,这些作业内部使用了RDD缓存,因为executor 进程缓存了过多…

Read More
京ICP备13010354号-1