你将收获

Spark 3.0.0 Driver Program剖析

Spark 3.0.0 DAGScheduler解析

Spark 3.0.0 TaskScheduler解析

打通Spark 3.0.0系统运行内幕机制循环流程

适用人群

所有Spark学习者和从业人员、有分布式计算框架应用经验的人员、高等院校学生

课程介绍

本课程讲解Spark 3.0.0 Driver 启动内幕 的内容,包括:Spark Driver Program 剖析:Spark Driver Program、SparkContext 深度剖析、SparkContext 源码解析;DAGScheduler 解析:DAG 的实例化 、DAGScheduler 划分Stage 的原理、DAGScheduler 划分Stage 的具体算法、Stage 内部Task 获取位置的算法;TaskScheduler 解析:TaskScheduler 原理剖析、TaskScheduler 源码解析;SchedulerBackend 解析:SchedulerBackend 原理剖析、SchedulerBackend 源码解析、Spark 程序的注册机制、Spark 程序对计算资源Executor 的管理; 打通Spark 系统运行内幕机制循环流程。

课程目录