1.基础环境修改

a)多节点之间的免密登陆设置 参考:http://chenlb.iteye.com/blog/211809

b)Spark 部署目录创建

 

2.Spark 配置文件修改

修改$SPARK_HOME/conf/spark-default.conf, 增加如下内容

修改$SPARK_HOME/conf/slaves,增加计算节点列表

 

3. Spark 安装包分发

将Spark的安装包copy到所有节点的相同目录下,并给每个节点设置如下环境变量

 

4. 启动Spark 集群

根据官方文档说明是分两步启动,当然配置好了之后也可以一步启动。两步启动步骤如下:

1)先使用如下命令启动master

2)然后再启动所有slave节点

 

5. 验证集群正常

1).在终端执行如下命令,打开Spark-shell 程序

1

2).在Spark-shell 中执行如下命令, 集群搭建成功会打印如下结果