Question

3.3.1 作业执行流程

图 15 spark 运行流程图

流程如下：

1. 构建 Spark Application 的运行环境，启动 SparkContext

2. SparkContext 向资源管理器（可以是 Standalone，Mesos，Yarn）申请运行 Executor 资源，并启动 StandaloneExecutorbackend，

3. Executor 向 SparkContext 申请 Task

4. SparkContext 将应用程序分发给 Executor

5. SparkContext 构建成 DAG 图，将 DAG 图分解成 Stage、将 Taskset 发送给 Task Scheduler，最后由 Task Scheduler 将 Task 发送给 Executor 运行

6. Task 在 Executor 上运行，运行完释放所有资源

说明：Job=多个 stage，Stage=多个同种 task, Task 分为 ShuffleMapTask 和 ResultTask，Dependency 分为 ShuffleDependency 和 NarrowDependency

3.3.2 作业调度

DAG：Directed Acyclic Graph 有向无环图