课程介绍

• 

  周志湖

  数据库工程师/管理员

  电子科技大学计算机软件与理论硕士研究生，研究方向为计算机视觉、机器学习，毕业后先后供职于宁波银行、中共浙江省委党校，目前就职于绿城集团，担任数据中心平台架构师、数据开发主管。Scala语言、Hadoop及Spark大数据处理技术爱好者。

• 主题说明

  本节内容主要包括RDD的依赖关系、RDD transformation操作。

• 适合对象

  所有人

• 学习要点

  https://img-bss.csdnimg.cn/

  1. RDD的依赖关系：介绍RDD的宽依赖与窄依赖、RDD的Lineage的构建，介绍RDD依赖对Spark程序执行的影响。

  2. RDD Transformation操作：通过大量的案例说明常用transformation函数的使用，包括：集合类的transformation操作及实现原理包括union、intersect、distinct 、cartesian等；map类的transformation操作包括map、flatMap、mapPartitions、mapPartitionsWithIndex等操作；键值对类的transformation操作及实现原理如partitionBy、mapValues、groupByKey、reduceByKey、reduceByKeyLocally、aggregateByKey、foldByKey、combineByKey、join等

   

  CSDN Spark 聚集地，汇聚了全国顶尖的Spark技术讲师，入群请加微信号zhongyineng。

   

  2016中国Spark技术大会将于5月15日北京拉开帷幕，不仅有3位Apache Spark Committer Ram Sriharsha、连城、范文臣为大家解析Spark 2.0，来自Intel、Hortonworks、Elastic、腾讯、新浪微博、Admaster、MediaV等国内外机构的9位讲师将带来新的Spark实践分享详情访问会议官网。

• 课时安排

  20:30-21:10   讲师课程讲解

  21:10-21:30   答疑