课程介绍

• 

  周志湖

  数据库工程师/管理员

  电子科技大学计算机软件与理论硕士研究生，研究方向为计算机视觉、机器学习，毕业后先后供职于宁波银行、中共浙江省委党校，目前就职于绿城集团，担任数据中心平台架构师、数据开发主管。Scala语言、Hadoop及Spark大数据处理技术爱好者。

• 主题说明

  本节内容主要包括Spark简介、Spark集群安装、Spark开发环境搭建、Spark源码阅读环境及Spark应用程序调试。

• 适合对象

  所有人

• 学习要点

  https://img-bss.csdnimg.cn/

  1.Spark简介：简要介绍Spark的发展历程，为什么会出现Spark及Spark的特点，Spark的生态系统及常用组件

   

  2.Spark集群安装：（a）VMware Workstation、Linux操作系统及配置;(b) Hadoop集群搭建：Java、Scala的安装与配置，ZooKeeper集群的安装与匹配，Hadoop集群的安装、配置及测试；（c）Spark集群的安装、配置及测试

   

  3.Spark开发环境搭建：主要介绍Intellij IDEA的安装与配置，涉及Intellij IDEA开发环境的基础使用方法，同时介绍IntelliJ idea集成开发环境下的Spark开发环境搭建及WordCount应用程序开发与运行。

   

  4.Spark源码阅读环境的构建：为方便学习Spark内核源代码，理解其深层次的原理等，介绍使用Intellij IDEA构建Spark源码阅读环境并进行代码阅读

   

  5.Spark应用程序调试：为解决开发过程中遇到的程序问题，介绍Spark应用程序的本地调试及远程调试技巧。

   

  CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

• 课时安排

  20:30-21:10   讲师课程讲解

  21:10-21:30   答疑