直播课程报名成功

扫码支付

购买商品:
商品价格:

价格读取中

支付方式:
微信

请扫码进行支付

支付宝

请扫码进行支付

二维码已过期,请点击刷新

Spark初级入门

时至今日,Spark已成为大数据领域火的一个开源项目,具备高性能、易于使用等特性。然而作为一个年轻的开源项目,其使用上存在的挑战亦不可为不大,这里为大家分享S系列课程!

高效的带你进入spark的世界,初级入门,适合所有人!

活动
活动价: 免费
立即报名
课程大纲
  • 01

    Spark初级入门(1):Scala基本数据类型及程序控制结构

    周志湖

    本 议题的目标是引导想从事大数据处理的IT人员进行Spark入门学习,主要内容包括Scala语言核心语法、Spark集群搭建及开发环境搭建、 Spark编程模型、Spark SQL、Spark Streaming、Spark MLlib及Spark Graphx。通过本议题,能够应用Scala进行Spark应用程序开发、掌握Spark的基本运行原理及编程模型,能够熟悉运用Spark SQL进行大数据仓库的开发,掌握Spark流式计算、Spark机器学习及图计算的原理。

    Scala篇

    1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型,对其中的程序控制结构特别是for循环的使用进行详细介绍。
    2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
    3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
    4. Scala 类和对象。介绍Scala面向对象编程,包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
    5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
    6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
    7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
    8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。

    Spark篇

    1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建,Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
    2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
    3.Spark 编程模型,介绍Spark编程模型、对常用的transformation及action操作进行介绍。
    4.Spark SQL与DataFrame,介绍Spark SQL 及DataFrame的运行原理及使用方法,利用案例介绍Spark SQL的使用。
    5.Spark 流式计算。介绍DStream、Spark Streaming原理,并通过几个案例说明其使用。
    6.Spark 机器学习。介绍Spark MLlib架构,通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
    7.Spark Graphx。介绍Spark图计算及相关数据结构,用PageRank算法说明其使用。

     

    10月20日 20:30 - 21:30 观看回顾
  • 02

    Spark初级入门(2):解析Scala集合操作

    周志湖

    Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。

    10月30日 20:30 - 21:30 观看回顾
  • 03

    Spark初级入门(3):Scala函数

    周志湖

    Scala篇

    1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型,对其中的程序控制结构特别是for循环的使用进行详细介绍。
    2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
    3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
    4. Scala 类和对象。介绍Scala面向对象编程,包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
    5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
    6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
    7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
    8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。

    Spark篇

    1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建,Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
    2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
    3.Spark 编程模型,介绍Spark编程模型、对常用的transformation及action操作进行介绍。
    4.Spark SQL与DataFrame,介绍Spark SQL 及DataFrame的运行原理及使用方法,利用案例介绍Spark SQL的使用。
    5.Spark 流式计算。介绍DStream、Spark Streaming原理,并通过几个案例说明其使用。
    6.Spark 机器学习。介绍Spark MLlib架构,通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
    7.Spark Graphx。介绍Spark图计算及相关数据结构,用PageRank算法说明其使用。

    11月09日 20:30 - 21:30 观看回顾
  • 04

    Spark初级入门(4):Scala 类和对象

    周志湖

    Scala篇

    1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型,对其中的程序控制结构特别是for循环的使用进行详细介绍。
    2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
    3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
    4. Scala 类和对象。介绍Scala面向对象编程,包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
    5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
    6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
    7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
    8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。

    Spark篇

    1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建,Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
    2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
    3.Spark 编程模型,介绍Spark编程模型、对常用的transformation及action操作进行介绍。
    4.Spark SQL与DataFrame,介绍Spark SQL 及DataFrame的运行原理及使用方法,利用案例介绍Spark SQL的使用。
    5.Spark 流式计算。介绍DStream、Spark Streaming原理,并通过几个案例说明其使用。
    6.Spark 机器学习。介绍Spark MLlib架构,通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
    7.Spark Graphx。介绍Spark图计算及相关数据结构,用PageRank算法说明其使用。

    12月08日 20:30 - 21:30 观看回顾
  • 05

    Spark初级入门(5):Scala 类和对象(下)

    周志湖

    Scala 类和对象(上)(下)。介绍Scala面向对象编程,包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。

    12月17日 20:30 - 21:30 观看回顾
  • 06

    Spark初级入门(6):Scala 模式匹配

    周志湖

    Scala篇

    1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型,对其中的程序控制结构特别是for循环的使用进行详细介绍。
    2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
    3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。

    4. Scala 类和对象(上)(下)。介绍Scala面向对象编程,包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
    5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
    6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
    7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
    8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。

    Spark篇

    1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建,Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
    2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
    3.Spark 编程模型,介绍Spark编程模型、对常用的transformation及action操作进行介绍。
    4.Spark SQL与DataFrame,介绍Spark SQL 及DataFrame的运行原理及使用方法,利用案例介绍Spark SQL的使用。
    5.Spark 流式计算。介绍DStream、Spark Streaming原理,并通过几个案例说明其使用。
    6.Spark 机器学习。介绍Spark MLlib架构,通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
    7.Spark Graphx。介绍Spark图计算及相关数据结构,用PageRank算法说明其使用。

    12月24日 20:30 - 21:30 观看回顾
  • 07

    Spark初级入门(7):Scala模式匹配(下)

    周志湖

    Scala篇

    1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型,对其中的程序控制结构特别是for循环的使用进行详细介绍。
    2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
    3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。

    4. Scala 类和对象(上)(下)。介绍Scala面向对象编程,包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
    5. Scala 模式匹配(上)(下)。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
    6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
    7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
    8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。

    Spark篇

    1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建,Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
    2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
    3.Spark 编程模型,介绍Spark编程模型、对常用的transformation及action操作进行介绍。
    4.Spark SQL与DataFrame,介绍Spark SQL 及DataFrame的运行原理及使用方法,利用案例介绍Spark SQL的使用。
    5.Spark 流式计算。介绍DStream、Spark Streaming原理,并通过几个案例说明其使用。
    6.Spark 机器学习。介绍Spark MLlib架构,通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
    7.Spark Graphx。介绍Spark图计算及相关数据结构,用PageRank算法说明其使用。

    01月14日 20:30 - 21:30 观看回顾
  • 08

    Spark初级入门(8):Scala类型参数

    周志湖

    议题提纲(本期内容为紫色显示)

    Scala篇

    1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型,对其中的程序控制结构特别是for循环的使用进行详细介绍。
    2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
    3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。

    4. Scala 类和对象(上)(下)。介绍Scala面向对象编程,包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
    5. Scala 模式匹配(上)(下)。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
    6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
    7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
    8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。

    Spark篇

    1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建,Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
    2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
    3.Spark 编程模型,介绍Spark编程模型、对常用的transformation及action操作进行介绍。
    4.Spark SQL与DataFrame,介绍Spark SQL 及DataFrame的运行原理及使用方法,利用案例介绍Spark SQL的使用。
    5.Spark 流式计算。介绍DStream、Spark Streaming原理,并通过几个案例说明其使用。
    6.Spark 机器学习。介绍Spark MLlib架构,通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
    7.Spark Graphx。介绍Spark图计算及相关数据结构,用PageRank算法说明其使用。

    进阶课程——TBD ……

    03月03日 20:30 - 21:30 观看回顾
  • 09

    Spark初级入门(9):Scala 隐式转换

    周志湖

    议题提纲(本期内容为紫色显示)

    Scala篇

    1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型,对其中的程序控制结构特别是for循环的使用进行详细介绍。
    2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
    3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。

    4. Scala 类和对象(上)(下)。介绍Scala面向对象编程,包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
    5. Scala 模式匹配(上)(下)。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
    6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
    7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
    8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。

    Spark篇

    1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建,Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
    2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
    3.Spark 编程模型,介绍Spark编程模型、对常用的transformation及action操作进行介绍。
    4.Spark SQL与DataFrame,介绍Spark SQL 及DataFrame的运行原理及使用方法,利用案例介绍Spark SQL的使用。
    5.Spark 流式计算。介绍DStream、Spark Streaming原理,并通过几个案例说明其使用。
    6.Spark 机器学习。介绍Spark MLlib架构,通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
    7.Spark Graphx。介绍Spark图计算及相关数据结构,用PageRank算法说明其使用。

    进阶课程——TBD ……

    03月10日 20:30 - 21:30 观看回顾
  • 10

    Spark初级入门--Scala类型参数(下)

    周志湖

    1.隐式转换简要回顾。视图界定、上下文界定及多重界定背后都涉及到隐式转换,对隐式转换的要点进行回顾,以便能够深入理解视图界定等,涉及内容包括隐式转换函数、隐式参数、隐式类与对象

    2.视图界定:首先回顾类型变量界定,然后通过案例引出视图界定,理解视图界定是如何跨越类继承层次结构

    3.上下文界定:通过案例说明上下文界定的使用,理解上下文界定如果通过隐式值起作用

    4.多重界定:通过案例说明多重界定的使用,理解多重界定的实现原理

    5.类型约束:通过案例说明如果通过类型约束进行类型证明

    6.协变与逆变:对不变、协变及逆变进行介绍,介绍如何使用里氏替换原则理解协变与逆变

    04月01日 20:30 - 21:30

    待上传回顾

  • 11

    Spark入门基础--简介及环境搭建

    周志湖

    https://img-bss.csdnimg.cn/
    1.Spark简介:简要介绍Spark的发展历程,为什么会出现Spark及Spark的特点,Spark的生态系统及常用组件
     
    2.Spark集群安装:(a)VMware Workstation、Linux操作系统及配置;(b) Hadoop集群搭建:Java、Scala的安装与配置,ZooKeeper集群的安装与匹配,Hadoop集群的安装、配置及测试;(c)Spark集群的安装、配置及测试
     
    3.Spark开发环境搭建:主要介绍Intellij IDEA的安装与配置,涉及Intellij IDEA开发环境的基础使用方法,同时介绍IntelliJ idea集成开发环境下的Spark开发环境搭建及WordCount应用程序开发与运行。
     
    4.Spark源码阅读环境的构建:为方便学习Spark内核源代码,理解其深层次的原理等,介绍使用Intellij IDEA构建Spark源码阅读环境并进行代码阅读
     
    5.Spark应用程序调试:为解决开发过程中遇到的程序问题,介绍Spark应用程序的本地调试及远程调试技巧。
     
    enlightenedCSDN Spark 聚集地,汇聚了全国顶尖的Spark技术讲师,入群请加微信号zhongyineng。
    04月07日 20:30 - 21:30 观看回顾
  • 12

    Spark初级入门——Spark编程基础(一)

    周志湖

    https://img-bss.csdnimg.cn/
    1. RDD简介:介绍什么是RDD,RDD的实现原理及RDD的五大特性
    2. RDD的生命周期:介绍RDD从创建、transformation、action、persist及持久化操作的整个生命周期
    3. RDD 的创建:通过案例演示RDD的两种创建方法,即如何从文件与现有Scala集合创建RDD
    4. RDD的依赖关系:介绍RDD的宽依赖与窄依赖、RDD的Lineage,介绍RDD依赖对Spark程序执行的影响。
    5. RDD Transformation操作:通过大量的案例说明常用transformation函数的使用,包括:集合类的transformation操作及实现原理包括union、intersect、distinct 、cartesian等;map类的transformation操作包括map、flatMap、mapPartitions、mapPartitionsWithIndex等操作;键值对类的transformation操作及实现原理如partitionBy、mapValues、groupByKey、reduceByKey、reduceByKeyLocally、aggregateByKey、foldByKey、combineByKey、join等
     

    enlightenedCSDN Spark 聚集地,汇聚了全国顶尖的Spark技术讲师,入群请加微信号zhongyineng。

     
    04月21日 20:30 - 21:30 观看回顾
  • 13

    Spark初级入门——Spark编程基础(二)

    周志湖

    https://img-bss.csdnimg.cn/

    1. RDD的依赖关系:介绍RDD的宽依赖与窄依赖、RDD的Lineage的构建,介绍RDD依赖对Spark程序执行的影响。

    2. RDD Transformation操作:通过大量的案例说明常用transformation函数的使用,包括:集合类的transformation操作及实现原理包括union、intersect、distinct 、cartesian等;map类的transformation操作包括map、flatMap、mapPartitions、mapPartitionsWithIndex等操作;键值对类的transformation操作及实现原理如partitionBy、mapValues、groupByKey、reduceByKey、reduceByKeyLocally、aggregateByKey、foldByKey、combineByKey、join等
     
    enlightenedCSDN Spark 聚集地,汇聚了全国顶尖的Spark技术讲师,入群请加微信号zhongyineng。
     
    2016中国Spark技术大会将于5月15日北京拉开帷幕,不仅有3位Apache Spark Committer Ram Sriharsha、连城、范文臣为大家解析Spark 2.0,来自Intel、Hortonworks、Elastic、腾讯、新浪微博、Admaster、MediaV等国内外机构的9位讲师将带来新的Spark实践分享详情访问会议官网
    05月04日 20:30 - 21:30 观看回顾
大家关心的问题

最新直播还未开始哦,请查看上期直播回顾~~ヾ(≧▽≦*)

3

直接跳过
提示:报名成功 ×
恭喜您,报名成功!
请扫码加小姐姐,领取PPT和开课通知

若提示“系统繁忙无法添加”,请刷新页面或晚点添加~
系列直播课报名:Spark初级入门×

首次报名用户,请关注公众号领取验证码

成功提示×

直播课程报名成功

系列名称:Spark初级入门

把公开课分享你的朋友们吧:
手机看
关注公众号

关注公众号

下载APP

下载APP

客服 帮助 返回
顶部