1.Spark 术语

1.1 运行模式

Spark 是一个非常灵活的计算引擎,他可以使用如下几种模式运行自己。其超强的适配性使用我们可以根据自己的需要来运行和使用。大大降低的使用难度。减少了学习成本。

运行环境 模式 描述
Local 本地模式 用于本地开发测试,运行时还分为local单线程和local cluster多线程模式
Standalone 集群模式 经典的Master/slaves模式,可以使用Zookeeper 来实现HA
YARN 集群模式 运行在YARN资源管理框架上,由YARN 负责资源管理,Spark负责任务调度和计算
Mesos 集群模式 运行在Mesos资源管理器上,由Mesos负责资源管理,Spark负责任务调度和计算

1.2 术语

术语 描述
Application Spark Application的概念和Hadoop MapReduce中的类似,指的是用户编写的Spark应用程序,包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码;
Application jar 一个包含用户Spark应用程序的Jar包,有时会包含其应用依赖的jar包。
Driver program Spark中的Driver即运行上述Application的main()函数并且创建SparkContext,其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信,进行资源的申请、任务的分配和监控等;当Executor部分运行完毕后,Driver负责将SparkContext关闭。通常用SparkContext代表Driver;
Cluster manager 在集群上获取资源的外部服务 (如. standalone manager, Mesos, YARN)
Deploy mode 运行部署模式,标识了driver 程序运行的物理位置。如果指定”cluster” 模式,框架会将driver 程序在集群上的某个节点上启动。如果是”client”模式,dirver 程序会在提交端启动。
Worker node 集群中任何可以运行Application代码的节点,类似于YARN中的NodeManager节点。在Standalone模式中指的就是通过Slave文件配置的Worker节点,在Spark on Yarn模式中指的就是NodeManager节点;
Executor Application运行在Worker 节点上的一个进程,该进程负责运行Task,并且负责将数据存在内存或者磁盘上,每个Application都有各自独立的一批Executor。在Spark on Yarn模式下,其进程名称为CoarseGrainedExecutorBackend,类似于Hadoop MapReduce中的YarnChild。一个CoarseGrainedExecutorBackend进程有且仅有一个executor对象,它负责将Task包装成taskRunner,并从线程池中抽取出一个空闲线程运行Task。每个CoarseGrainedExecutorBackend能并行运行Task的数量就取决于分配给它的CPU的个数了;
Task 在Executor上运行的工作单元
Job 包含多个Task组成的并行计算,往往由Spark Action催生,一个Job包含多个RDD及作用于相应RDD上的各种Operation;
Stage 每个Job会被拆分很多组Task,每组任务被称为Stage,也可称TaskSet,一个作业分为多个阶段;

 

2.Spark 运行流程

Spark应用程序包含几个组件(Driver Program、Executor),这些组件在运行时会由驱动程序中的SparkContext对象协调。目前Spark 可以使用多种集群资源管理器(Standalone Manager, Mesos, YARN). 当一个应用程序向集群资源管理器注册并申请资源成功后,接下来会启动相关服务进程。最后,SparkContext 会将任务分配给executor 执行。

 

cluster-overview

Spark 运行模型

上图运行流程如下:

  1. Driver Program 负责初始化SparkContext, 并向ClusterManager注册(YARN/MESOS/Standalone)并申请资源
  2. Driver Program 获得资源之后负责告诉WorkerNode 启动 executor 进程
  3. 当Executor进程准备就绪之后,将会开始运行SparkContext分配来的Task任务。

这个架构有几点需要注意:

1、每个应用程序都有自己的执行程序进程,它们在整个应用程序的持续时间内运行,并在多个线程中运行任务。这有利于在调度端(每个驱动程序调度其自己的任务)和执行器端(来自在不同JVM中运行的不同应用程序的任务)将应用程序彼此隔离。但是,这也意味着数据不能在不写入外部存储系统的情况下跨不同的Spark应用程序(SparkContext实例)共享。
2、Spark与资源管理器无关,只要能够获取executor进程,并能保持相互通信就可以了。
3、Driver程序必须在其生命周期内监听并接受来自其执行器的传入连接(例如,请参阅network config节中的spark.driver.port)。因此,驱动程序必须是工作节点的网络可寻址的。
4、因为驱动程序在群集上调度任务,所以它应该靠近工作节点运行,最好在同一个局域网上运行。如果你想远程发送请求到集群,最好打开一个RPC给驱动程序,并从附近提交操作,不要远离Worker运行SparkContext。

3.Spark Standalone

Standalone模式是Spark实现的资源调度框架,其主要的节点类型有Client节点、Master节点和Worker节点。其中Driver既可以运行在Master节点上中,也可以运行在本地Client端。

当用spark-shell交互式工具提交Spark的Job时,Driver在Master节点上运行

当使用spark-submit工具提交Job或者在Eclipse、IDEA等开发平台上使用”new SparkConf.setManager(“spark://master:7077”)”方式运行Spark任务时,Driver是运行在本地Client端上的。

20160705185915588
其运行过程如下:
1. SparkContext连接到Master,向Master注册并申请资源(CPU Core 和Memory);
2. Master根据SparkContext的资源申请要求和Worker心跳周期内报告的信息决定在哪个Worker上分配资源,然后在该Worker上获取资源,然后启动StandaloneExecutorBackend;
3. StandaloneExecutorBackend向SparkContext注册;
4. SparkContext将Applicaiton代码发送给StandaloneExecutorBackend;并且SparkContext解析Applicaiton代码,构建DAG图,并提交给DAG Scheduler分解成Stage(当碰到Action操作时,就会催生Job;每个Job中含有1个或多个Stage,Stage一般在获取外部数据和shuffle之前产生),然后以Stage(或者称为TaskSet)提交给Task Scheduler,Task Scheduler负责将Task分配到相应的Worker,最后提交给StandaloneExecutorBackend执行;
5. StandaloneExecutorBackend会建立Executor线程池,开始执行Task,并向SparkContext报告,直至Task完成。
6. 所有Task完成后,SparkContext向Master注销,释放资源。

 

4.Spark ON YARN

YARN是一种统一资源管理框架,在其上面可以运行多套计算框架。目前大多数公司由于历史原因使用着其他的计算框架,比如MapReduce、Storm等计算框架。Spark为了支持这种使用场景(无法切换技术栈,使用Hadoop)开发了Spark on YARN的运行模式。使得可以在这种场景下使用Spark。YARN 框架本身非常抽象,具有良好的弹性资源管理机制。按照YARN框架开发的应用程序可以非常方便的获取YARN集群中的所有资源。同时YARN本身具有更为高级的队列和资源分配方式,公司内各个部门在使用同一个集群时可以非常灵活的控制。
Spark on YARN模式根据Driver在集群中的位置分为两种模式:一种是YARN-Client模式,另一种是YARN-Cluster(或称为YARN-Standalone模式)。

4.1YARN 基本运行流程

yarnflow1

1 用户向YARN中提交应用程序,其中包括ApplicationMaster程序、启动ApplicationMaster的命令、用户程序等。

2 ResourceManager为该应用程序分配第一个Container,并与对应的Node-Manager通信,要求它在这个Container中启动应用程序的ApplicationMaster。

3 ApplicationMaster首先向ResourceManager注册,这样用户可以直接通过ResourceManager查看应用程序的运行状态,然后它将为各个任务申请资源,并监控它的运行状态,直到运行结束,即重复步骤4~7。

4 ApplicationMaster采用轮询的方式通过RPC协议向ResourceManager申请和领取资源。

5 一旦ApplicationMaster申请到资源后,便与对应的NodeManager通信,要求它启动任务。

6 NodeManager为任务设置好运行环境(包括环境变量、JAR包、二进制程序等)后,将任务启动命令写到一个脚本中,并通过运行该脚本启动任务。

7 各个任务通过某个RPC协议向ApplicationMaster汇报自己的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务。  在应用程序运行过程中,用户可随时通过RPC向ApplicationMaster查询应用程序的当前运行状态。

8 应用程序运行完成后,ApplicationMaster向ResourceManager注销并关闭自己。

4.2 Yarn Client 运行流程

在Yarn-Client模式中,Driver在客户端本地运行,这种模式可以使得Spark Application和客户端进行交互,因为Driver在客户端,所以可以通过WebUI访问Driver的状态,默认是http://cluster:4040访问,而YARN通过http://cluster:8088访问。

YARN-client的工作流程分为以下几个步骤:

 

1.  Spark Yarn ClientYARNResourceManager申请启动Application Master。同时在SparkContext初始化中将创建DAGSchedulerTASKScheduler等,由于我们选择的是Yarn-Client模式,程序会选择YarnClientClusterSchedulerYarnClientSchedulerBackend

2. ResourceManager收到请求后,在集群中选择一个NodeManager,为该应用程序分配第一个Container,要求它在这个Container中启动应用程序的ApplicationMaster,与YARN-Cluster区别的是在该ApplicationMaster不运行SparkContext,只与SparkContext进行联系进行资源的分派;

3. Client中的SparkContext初始化完毕后,与ApplicationMaster建立通讯,向ResourceManager注册,根据任务信息向ResourceManager申请资源(Container);

4. 一旦ApplicationMaster申请到资源(也就是Container)后,便与对应的NodeManager通信,要求它在获得的Container中启动启动CoarseGrainedExecutorBackendCoarseGrainedExecutorBackend启动后会向Client中的SparkContext注册并申请Task

5. Client中的SparkContext分配TaskCoarseGrainedExecutorBackend执行,CoarseGrainedExecutorBackend运行Task并向Driver汇报运行的状态和进度,以让Client随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务;

6. 应用程序运行完成后,ClientSparkContextResourceManager申请注销并关闭自己。

4.3 Yarn Cluster 运行流程

在YARN-Cluster模式中,当用户向YARN中提交一个应用程序后,YARN将分两个阶段运行该应用程序:第一个阶段是把Spark的Driver作为一个ApplicationMaster在YARN集群中先启动;第二个阶段是由ApplicationMaster创建应用程序,然后为它向ResourceManager申请资源,并启动Executor来运行Task,同时监控它的整个运行过程,直到运行完成。

YARN-cluster的工作流程分为以下几个步骤:

 

2

1.   Spark Yarn ClientYARN中提交应用程序,包括ApplicationMaster程序、启动ApplicationMaster的命令、需要在Executor中运行的程序等;

2.   ResourceManager收到请求后,在集群中选择一个NodeManager,为该应用程序分配第一个Container,要求它在这个Container中启动应用程序的ApplicationMaster,其中ApplicationMaster进行SparkContext等的初始化;

3.   ApplicationMasterResourceManager注册,这样用户可以直接通过ResourceManage查看应用程序的运行状态,然后它将采用轮询的方式通过RPC协议为各个任务申请资源,并监控它们的运行状态直到运行结束;

4.   一旦ApplicationMaster申请到资源(也就是Container)后,便与对应的NodeManager通信,要求它在获得的Container中启动启动CoarseGrainedExecutorBackendCoarseGrainedExecutorBackend启动后会向ApplicationMaster中的SparkContext注册并申请Task。这一点和Standalone模式一样,只不过SparkContextSpark Application中初始化时,使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler进行任务的调度,其中YarnClusterScheduler只是对TaskSchedulerImpl的一个简单包装,增加了对Executor的等待逻辑等;

5.   ApplicationMaster中的SparkContext分配TaskCoarseGrainedExecutorBackend执行,CoarseGrainedExecutorBackend运行Task并向ApplicationMaster汇报运行的状态和进度,以让ApplicationMaster随时掌握各个任务的运行状态,从而可以在任务失败时重新启动任务;

6.   应用程序运行完成后,ApplicationMasterResourceManager申请注销并关闭自己。

4.4 YARN-Client 与 YARN-Cluster 区别

理解YARN-Client和YARN-Cluster深层次的区别之前先清楚一个概念:Application Master。在YARN中,每个Application实例都有一个ApplicationMaster进程,它是Application启动的第一个容器。它负责和ResourceManager打交道并请求资源,获取资源之后告诉NodeManager为其启动Container。从深层次的含义讲YARN-Cluster和YARN-Client模式的区别其实就是ApplicationMaster进程的区别。

  •  YARN-Cluster模式下,Driver运行在AM(Application Master)中,它负责向YARN申请资源,并监督作业的运行状况。当用户提交了作业之后,就可以关掉Client,作业会继续在YARN上运行,因而YARN-Cluster模式不适合运行交互类型的作业;
  • YARN-Client模式下,Application Master仅仅向YARN请求Executor,Client会和请求的Container通信来调度他们工作,也就是说Client不能离开。

 

小结:

目前本文只介绍了Spark standalone , Spark on YARN 两种运行模式,基于这种运行模式来说还有很多细节需要真正动手实践才会更加深刻的理解。另外后续会加入Mesos 运行模式的分析。

参考:

【1】Spark官方文档 http://spark.apache.org

【2】董西成. Hadoop YARN 技术内幕

【3】Spark 大数据处理技术