标签: Scala

Spark 累加器变量(Accumulator)

累加器 累加器是只支持被相关操作累加的变量,因此可以在并行中被有效地支持。它可以被用来实现计数器和计算求和。Spark原生只支持数值类型的累加器,我们可以添加新类型的支持。当我们在创建累加器时指定了名字,那么我们在Spark ui 上就能看到这个变…

Read More
京ICP备13010354号-1