分类: Alluxio
Alluxio 1.3.0 On YARN 模式时无法修改ALLUXIO_RAM_FOLDER 问题
最近在测试Alluxio ON YARN 模式时,发现无论在配置文件中怎么修改ALLUXIO_RAM_FOLDER 这个目录,最后在启动Alluxio ON YARN 之后都不是指定目录。最后在Alluxio 的 ApplicationMaster 中发现,在设置启动环境变量时,默认将ALLUXIO_RAM_FOLDER 变量设置成…
Alluxio 1.3.0 改进与新特性【译文】
Alluxio 1.3.0 发布了,此版本的重点是提高Alluxio和Alluxio与许多项目在生态系统中的集成的可用性和性能,包括对HBase的支持。
基于内存的开源分布式存储系统
导读 我们集群上的一些作业处理数据时经常需要进行Shuffle和临时数据落盘操作,在处理较大数据时,本地磁盘很容易就被写满导致task失败,严重时导致整个作业失败。还有一些作业是用Spark编写的,这些作业内部使用了RDD缓存,因为executor 进程缓存了过多…