Spark 3.0.0 Driver Program剖析
Spark 3.0.0 DAGScheduler解析
Spark 3.0.0 TaskScheduler解析
打通Spark 3.0.0系统运行内幕机制循环流程
你将收获
Spark 3.0.0 Driver Program剖析
Spark 3.0.0 DAGScheduler解析
Spark 3.0.0 TaskScheduler解析
打通Spark 3.0.0系统运行内幕机制循环流程
适用人群
课程介绍
本课程讲解Spark 3.0.0 Driver 启动内幕 的内容,包括:Spark Driver Program 剖析:Spark Driver Program、SparkContext 深度剖析、SparkContext 源码解析;DAGScheduler 解析:DAG 的实例化 、DAGScheduler 划分Stage 的原理、DAGScheduler 划分Stage 的具体算法、Stage 内部Task 获取位置的算法;TaskScheduler 解析:TaskScheduler 原理剖析、TaskScheduler 源码解析;SchedulerBackend 解析:SchedulerBackend 原理剖析、SchedulerBackend 源码解析、Spark 程序的注册机制、Spark 程序对计算资源Executor 的管理; 打通Spark 系统运行内幕机制循环流程。
课程目录