标签: 调优

Spark性能优化 整理汇总

一、参数篇 1、Spark SQL 参数 hive.exec.orc.split.strategy 默认值: HYBRID 参数说明:orc 文件切片策略。rdd action生成Task时会计算 调优建议:当我们执行SQL处理ORC格式的HIVE表时,会发现很简单的一个处理会花很长时间去生成task 。原因是用Sp…

Read More
京ICP备13010354号-1