课程介绍

• 

  周志湖

  数据库工程师/管理员

  电子科技大学计算机软件与理论硕士研究生，研究方向为计算机视觉、机器学习，毕业后先后供职于宁波银行、中共浙江省委党校，目前就职于绿城集团，担任数据中心平台架构师、数据开发主管。Scala语言、Hadoop及Spark大数据处理技术爱好者。

• 主题说明

  本议题的目标是引导想从事大数据处理的IT人员进行Spark入门学习，主要内容包括Scala语言核心语法、Spark集群搭建及开发环境搭建、 Spark编程模型、Spark SQL、Spark Streaming、Spark MLlib及Spark Graphx。通过本议题，能够应用Scala进行Spark应用程序开发、掌握Spark的基本运行原理及编程模型，能够熟悉运用Spark SQL进行大数据仓库的开发，掌握Spark流式计算、Spark机器学习及图计算的原理。

• 适合对象

  所有人

• 学习要点

  Scala篇

  1. Scala基本数据类型及程序控制结构。讲解Scala基本数据类型，对其中的程序控制结构特别是for循环的使用进行详细介绍。
  2. Scala集合操作。对Array、List、Map等重要数据结构的操作进行介绍。
  3. Scala函数。内容包括函数字面量、函数闭包、高阶函数、偏函数及集合常见高阶函数等。
  4. Scala 类和对象。介绍Scala面向对象编程，包括类的定义、伴生对象、伴生类、应用程序对象、类的继承等。
  5. Scala 模式匹配。内容包括模式匹配的作用、模式匹配的类型、模式匹配在for循环、正则表达式中的应用、模式匹配与Case Class。
  6. Scala类型参数。对Scala中的类型变量界定、协变与逆变等进行介绍。
  7. Scala 隐式转换。内容包括隐式转换函数、隐式类、隐式对象、视图界定及上正文界定中的隐式转换等。
  8. Scala类型。对Scala中的单例类型、抽象类型等进行介绍。

  Spark篇

  1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，Intellij IDEA Spark开发环境搭建, Spark Shell的使用等。
  2.Spark 运行原理。内容包括spark脚本文件解析、Spark 几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark 任务调度等。
  3.Spark 编程模型，介绍Spark编程模型、对常用的transformation及action操作进行介绍。
  4.Spark SQL与DataFrame，介绍Ｓpark SQL 及ＤataFrame的运行原理及使用方法，利用案例介绍Spark SQL的使用。
  5.Spark 流式计算。介绍DStream、Spark Streaming原理，并通过几个案例说明其使用。
  6.Spark 机器学习。介绍Spark MLlib架构，通过K-Mean算法、随机森林等算法说明Spark MLlib的使用。
  7.Spark Graphx。介绍Spark图计算及相关数据结构，用PageRank算法说明其使用。

• 课时安排

  直播时间

  12月8日（星期二）晚20点30分—— 21点30分

  注意

  点击【申请参会】按钮成功报名后，「CSDN将在12月8日下午前发送短信/邮件公布参与链接」，请在12月8日20：20 - 21：30，使用报名所填写的邮箱地址直接登录视频直播平台。

  参加流程

  报名参加 —— 邮件/短信 获得直播间入口链接 —— 观看视频 —— 实时问答

  1. 在线视频直播互动，采用三分屏模式，让您感受真实的对话环境。
  2. 本次会议机会难得，由于报名人员较多，将对申请参会者进行资格审核，请您务必填写真实个人信息以便通知（短信、邮件）及时送达，确保您的顺利参加。
  3. 邮件和短信提醒将会在课程当天发出，具体时间以邮件通知为准！

  小伙伴们快来报名参加吧！