9代码实现spark集群Master与worker通信_大数据Spark实战视频教程-CSDN在线视频培训

Spark实战part4

9代码实现spark集群Master与worker通信

课时介绍

9代码实现spark集群Master与worker通信-Spark实战part4大数据Spark实战视频教程

课程介绍

大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。