课程介绍

• 

  周志湖

  数据库工程师/管理员

  电子科技大学计算机软件与理论硕士研究生，研究方向为计算机视觉、机器学习，毕业后先后供职于宁波银行、中共浙江省委党校，目前就职于绿城集团，担任数据中心平台架构师、数据开发主管。Scala语言、Hadoop及Spark大数据处理技术爱好者。

• 主题说明

  本节内容主要包括：RDD简介、RDD生命周期、RDD的创建、RDD的依赖关系、RDD transformation操作

• 适合对象

  所有人

• 学习要点

  https://img-bss.csdnimg.cn/

  1. RDD简介：介绍什么是RDD，RDD的实现原理及RDD的五大特性

  2. RDD的生命周期：介绍RDD从创建、transformation、action、persist及持久化操作的整个生命周期

  3. RDD 的创建：通过案例演示RDD的两种创建方法，即如何从文件与现有Scala集合创建RDD

  4. RDD的依赖关系：介绍RDD的宽依赖与窄依赖、RDD的Lineage，介绍RDD依赖对Spark程序执行的影响。

  5. RDD Transformation操作：通过大量的案例说明常用transformation函数的使用，包括：集合类的transformation操作及实现原理包括union、intersect、distinct 、cartesian等；map类的transformation操作包括map、flatMap、mapPartitions、mapPartitionsWithIndex等操作；键值对类的transformation操作及实现原理如partitionBy、mapValues、groupByKey、reduceByKey、reduceByKeyLocally、aggregateByKey、foldByKey、combineByKey、join等

   

  CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

   

• 课时安排

  20:30-21:10   讲师课程讲解

  21:10-21:30   答疑