微信
支付宝Spark初级入门
时至今日，Spark已成为大数据领域火的一个开源项目，具备高性能、易于使用等特性。然而作为一个年轻的开源项目，其使用上存在的挑战亦不可为不大，这里为大家分享S系列课程！
高效的带你进入spark的世界，初级入门，适合所有人！
直播时间
每周四晚20:00
-
01
Spark初级入门（1）：Scala基本数据类型及程序控制结构
周志湖
10月20日 20:30 - 21:30 观看回顾本 议题的目标是引导想从事大数据处理的IT人员进行Spark入门学习，主要内容包括Scala语言核心语法、Spark集群搭建及开发环境搭建、 Spark编程模型、Spark SQL、Spark Streaming、Spark MLlib及Spark Graphx。通过本议题，能够应用Scala进行Spark应用程序开发、掌握Spark的基本运行原理及编程模型，能够熟悉运用Spark SQL进行大数据仓库的开发，掌握Spark流式计算、Spark机器学习及图计算的原理。
Scala篇
1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型，对其中的程序控制结构特别是for循环的使用进行详细介绍。
2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
4. Scala 类和对象。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。Spark篇
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及action操作进行介绍。
4.Spark SQL与DataFrame，介绍Ｓpark SQL 及ＤataFrame的运行原理及使用方法，利用案例介绍Spark SQL的使用。
5.Spark 流式计算。介绍DStream、Spark Streaming原理，并通过几个案例说明其使用。
6.Spark 机器学习。介绍Spark MLlib架构，通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
7.Spark Graphx。介绍Spark图计算及相关数据结构，用PageRank算法说明其使用。 -
02
Spark初级入门（2）：解析Scala集合操作
周志湖
10月30日 20:30 - 21:30 观看回顾Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
-
03
Spark初级入门（3）：Scala函数
周志湖
11月09日 20:30 - 21:30 观看回顾Scala篇
1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型，对其中的程序控制结构特别是for循环的使用进行详细介绍。
2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
4. Scala 类和对象。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。Spark篇
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及action操作进行介绍。
4.Spark SQL与DataFrame，介绍Ｓpark SQL 及ＤataFrame的运行原理及使用方法，利用案例介绍Spark SQL的使用。
5.Spark 流式计算。介绍DStream、Spark Streaming原理，并通过几个案例说明其使用。
6.Spark 机器学习。介绍Spark MLlib架构，通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
7.Spark Graphx。介绍Spark图计算及相关数据结构，用PageRank算法说明其使用。 -
04
Spark初级入门（4）：Scala 类和对象
周志湖
12月08日 20:30 - 21:30 观看回顾Scala篇
1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型，对其中的程序控制结构特别是for循环的使用进行详细介绍。
2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
4. Scala 类和对象。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。Spark篇
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及action操作进行介绍。
4.Spark SQL与DataFrame，介绍Ｓpark SQL 及ＤataFrame的运行原理及使用方法，利用案例介绍Spark SQL的使用。
5.Spark 流式计算。介绍DStream、Spark Streaming原理，并通过几个案例说明其使用。
6.Spark 机器学习。介绍Spark MLlib架构，通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
7.Spark Graphx。介绍Spark图计算及相关数据结构，用PageRank算法说明其使用。 -
05
Spark初级入门（5）：Scala 类和对象（下）
周志湖
12月17日 20:30 - 21:30 观看回顾Scala 类和对象（上）（下）。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
-
06
Spark初级入门（6）：Scala 模式匹配
周志湖
12月24日 20:30 - 21:30 观看回顾Scala篇
1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型，对其中的程序控制结构特别是for循环的使用进行详细介绍。
2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
4. Scala 类和对象（上）（下）。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。Spark篇
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及action操作进行介绍。
4.Spark SQL与DataFrame，介绍Ｓpark SQL 及ＤataFrame的运行原理及使用方法，利用案例介绍Spark SQL的使用。
5.Spark 流式计算。介绍DStream、Spark Streaming原理，并通过几个案例说明其使用。
6.Spark 机器学习。介绍Spark MLlib架构，通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
7.Spark Graphx。介绍Spark图计算及相关数据结构，用PageRank算法说明其使用。 -
07
Spark初级入门（7）：Scala模式匹配（下）
周志湖
01月14日 20:30 - 21:30 观看回顾Scala篇
1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型，对其中的程序控制结构特别是for循环的使用进行详细介绍。
2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
4. Scala 类和对象（上）（下）。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
5. Scala 模式匹配（上）（下）。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。Spark篇
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及action操作进行介绍。
4.Spark SQL与DataFrame，介绍Ｓpark SQL 及ＤataFrame的运行原理及使用方法，利用案例介绍Spark SQL的使用。
5.Spark 流式计算。介绍DStream、Spark Streaming原理，并通过几个案例说明其使用。
6.Spark 机器学习。介绍Spark MLlib架构，通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
7.Spark Graphx。介绍Spark图计算及相关数据结构，用PageRank算法说明其使用。 -
08
Spark初级入门（8）：Scala类型参数
周志湖
03月03日 20:30 - 21:30 观看回顾议题提纲（本期内容为紫色显示）
Scala篇
1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型，对其中的程序控制结构特别是for循环的使用进行详细介绍。
2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
4. Scala 类和对象（上）（下）。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
5. Scala 模式匹配（上）（下）。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。Spark篇
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及action操作进行介绍。
4.Spark SQL与DataFrame，介绍Ｓpark SQL 及ＤataFrame的运行原理及使用方法，利用案例介绍Spark SQL的使用。
5.Spark 流式计算。介绍DStream、Spark Streaming原理，并通过几个案例说明其使用。
6.Spark 机器学习。介绍Spark MLlib架构，通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
7.Spark Graphx。介绍Spark图计算及相关数据结构，用PageRank算法说明其使用。进阶课程——TBD ……
-
09
Spark初级入门（9）：Scala 隐式转换
周志湖
03月10日 20:30 - 21:30 观看回顾议题提纲（本期内容为紫色显示）
Scala篇
1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型，对其中的程序控制结构特别是for循环的使用进行详细介绍。
2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
4. Scala 类和对象（上）（下）。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
5. Scala 模式匹配（上）（下）。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。Spark篇
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及action操作进行介绍。
4.Spark SQL与DataFrame，介绍Ｓpark SQL 及ＤataFrame的运行原理及使用方法，利用案例介绍Spark SQL的使用。
5.Spark 流式计算。介绍DStream、Spark Streaming原理，并通过几个案例说明其使用。
6.Spark 机器学习。介绍Spark MLlib架构，通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
7.Spark Graphx。介绍Spark图计算及相关数据结构，用PageRank算法说明其使用。进阶课程——TBD ……
-
10
Spark初级入门--Scala类型参数（下）
周志湖
04月01日 20:30 - 21:301.隐式转换简要回顾。视图界定、上下文界定及多重界定背后都涉及到隐式转换，对隐式转换的要点进行回顾，以便能够深入理解视图界定等，涉及内容包括隐式转换函数、隐式参数、隐式类与对象
2.视图界定：首先回顾类型变量界定，然后通过案例引出视图界定，理解视图界定是如何跨越类继承层次结构
3.上下文界定：通过案例说明上下文界定的使用，理解上下文界定如果通过隐式值起作用
4.多重界定：通过案例说明多重界定的使用，理解多重界定的实现原理
5.类型约束：通过案例说明如果通过类型约束进行类型证明
6.协变与逆变：对不变、协变及逆变进行介绍，介绍如何使用里氏替换原则理解协变与逆变
待上传回顾
-
11
Spark入门基础--简介及环境搭建
周志湖
https://img-bss.csdnimg.cn/04月07日 20:30 - 21:30 观看回顾1.Spark简介：简要介绍Spark的发展历程，为什么会出现Spark及Spark的特点，Spark的生态系统及常用组件2.Spark集群安装：（a）VMware Workstation、Linux操作系统及配置;(b) Hadoop集群搭建：Java、Scala的安装与配置，ZooKeeper集群的安装与匹配，Hadoop集群的安装、配置及测试；（c）Spark集群的安装、配置及测试3.Spark开发环境搭建：主要介绍Intellij IDEA的安装与配置，涉及Intellij IDEA开发环境的基础使用方法，同时介绍IntelliJ idea集成开发环境下的Spark开发环境搭建及WordCount应用程序开发与运行。4.Spark源码阅读环境的构建：为方便学习Spark内核源代码，理解其深层次的原理等，介绍使用Intellij IDEA构建Spark源码阅读环境并进行代码阅读5.Spark应用程序调试：为解决开发过程中遇到的程序问题，介绍Spark应用程序的本地调试及远程调试技巧。
CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。 -
12
Spark初级入门——Spark编程基础（一）
周志湖
https://img-bss.csdnimg.cn/04月21日 20:30 - 21:30 观看回顾1. RDD简介：介绍什么是RDD，RDD的实现原理及RDD的五大特性2. RDD的生命周期：介绍RDD从创建、transformation、action、persist及持久化操作的整个生命周期3. RDD 的创建：通过案例演示RDD的两种创建方法，即如何从文件与现有Scala集合创建RDD4. RDD的依赖关系：介绍RDD的宽依赖与窄依赖、RDD的Lineage，介绍RDD依赖对Spark程序执行的影响。5. RDD Transformation操作：通过大量的案例说明常用transformation函数的使用，包括：集合类的transformation操作及实现原理包括union、intersect、distinct 、cartesian等；map类的transformation操作包括map、flatMap、mapPartitions、mapPartitionsWithIndex等操作；键值对类的transformation操作及实现原理如partitionBy、mapValues、groupByKey、reduceByKey、reduceByKeyLocally、aggregateByKey、foldByKey、combineByKey、join等CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。 -
13
Spark初级入门——Spark编程基础（二）
周志湖
https://img-bss.csdnimg.cn/05月04日 20:30 - 21:30 观看回顾1. RDD的依赖关系：介绍RDD的宽依赖与窄依赖、RDD的Lineage的构建，介绍RDD依赖对Spark程序执行的影响。
2. RDD Transformation操作：通过大量的案例说明常用transformation函数的使用，包括：集合类的transformation操作及实现原理包括union、intersect、distinct 、cartesian等；map类的transformation操作包括map、flatMap、mapPartitions、mapPartitionsWithIndex等操作；键值对类的transformation操作及实现原理如partitionBy、mapValues、groupByKey、reduceByKey、reduceByKeyLocally、aggregateByKey、foldByKey、combineByKey、join等CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。2016中国Spark技术大会将于5月15日北京拉开帷幕，不仅有3位Apache Spark Committer Ram Sriharsha、连城、范文臣为大家解析Spark 2.0，来自Intel、Hortonworks、Elastic、腾讯、新浪微博、Admaster、MediaV等国内外机构的9位讲师将带来新的Spark实践分享详情访问会议官网。
-
1.直播错过，有视频可以观看吗？答：每期直播都有视频回放，付费学员可反复观看，有效期2年。
-
2.代码资料学员可以拿到吗？答：每期课件及代码资料都会上传供学员下载，详见回放课程目录的下载按钮。
-
3.开课前会有通知吗？答：已经购买课程学院可关注公众号“CSDN程序员研修院”，获取开课前提醒，也可以绑定手机号，或者短信提醒通知。
-
4.学习中遇到问题怎么办？答：学员付费后会有vip付答疑费专享群，讲师不定期答疑，并且可长期享受答疑服务，让您的学习全程无忧。
-
5.报名后如何进入直播间听课？答：PC端输入网址https://edu.csdn.net 在”我的—我的直播课”。（微信购买学院，请通过微信扫码登录）、微信端在“直播讲堂—我的”直播讲堂
-
6.报名后如何查看订单？答：PC端，在“我的”--->“我的订单”进入查看即可。微信端，在“在线课程—我的—我的订单”中查看。
-
7.报名后是否可以开发票？答：可以开具发票，请联系学院页面右侧的“学院客服”提交开票申请。
-
8.PC端如何观看直播回放？答：使用电脑观看，输入https://edu.csdn.net 或报名网址，登录CSDN账号（若您使用微信付费报名的，需在电脑上选择微信登录，扫码即可登录），“我的—我的直播课”。
-
9.移动端如何观看直播回放？因为版权问题，需要下载CSDN程序员研修院客户端https://edu.csdn.net/app，进入我的订单即可观看课程回顾。
最新直播还未开始哦，请查看上期直播回顾~~ヾ(≧▽≦*)
3
