Spark Streaming2.3.x大数据企业级项目实战
Spark Streaming2.3.x大数据企业级项目实战
大数据平台集群节点准备
项目需求分析
Zookeeper分布式集群安装部署
Hadoop(CDH5)分布式集群安装部署
Eclipse开发环境搭建
HBase分布式集群安装部署
Kafka1.x分布式集群安装部署
大数据项目数据采集1
- Flume概述
- Flume系统架构
- Flume安装部署1
- Flume安装部署2
- Flume集群构建-编写集群配置文件
- Flume集群构建-数据聚合测试运行
- 大数据项目数据格式分析
- 项目数据预处理
- KafkaSink配置详解
- 编写Flume与Kafka集成配置文件
- Flume单节点与Kafka集成测试运行
- Flume集群与Kafka集成测试运行
- HBaseSink配置详解
- Flume与HBase最简集成1
- Flume与HBase最简集成2
- HBase模型建立及与Flume集成配置文件编写
- Eclipse导入Flume源码
- Eclipse导入Flume源码错误调试
- Flume HBaseSink源码分析
- Flume HBaseSink源码修改
- Flume HBaseSink增加调试代码
- Flume HBaseSink源码打包及配置文件修改
- Flume HBaseSink二次开发源码部署
- Flume与HBase集成项目测试运行
大数据项目数据采集2
- 大数据实时数据流程详解
- Flume Channel选择器原理
- Flume Channel选择器配置详解
- Flume单节点集成Kafka与HBase配置编写
- Flume单节点集成Kafka与HBase测试运行
- Flume集群集成Kafka与HBase配置文件编写
- Flume集群集成Kafka与HBase测试运行
- 应用服务器模拟程序开发
- 模拟程序两种打包方式及脚本相关目录创建
- 模拟程序服务器测试运行
- 模拟程序shell脚本开发
- Flume聚合启动脚本开发
- Flume采集脚本开发
- Flume关闭脚本开发
- Kafka消费者shell脚本开发
- 大数据集群服务启动1
- 大数据集群启动2及测试准备工作
- 数据产生、采集、存储联调1
- 数据产生、采集、存储联调2
- 数据产生、采集、存储联调3
Spark Streaming2.3.x实时计算
- Spark概述
- Spark版本选择与Scala安装
- Spark Shell测试运行Wordcount
- Eclipse开发并测试Java版本的Spark Wordcount
- Spark Submit提交运行Java版本的Wordcount
- Eclipse安装Scala插件
- Eclipse构建Scala maven项目
- Eclipse开发Scala版本的Spark Wordcount
- Scala Wordcount本地和线上分别测试运行
- spark Application编程模型
- Spark RDD宽依赖与窄依赖
- Spark 创建RDD
- Spark Transfamation与Action算子
- Spark PairRDD创建、Transfamation与Action操作
- Spark Topn实现
- Spark Standalone 架构
- Spark Standalone 集群配置
- Spark Standalone集群启动运行
- Spark Standalone 集群提交作业测试运行
- Spark Standalone Client和Cluster模式详解
- Spark Standalone Client和Cluster模式提交作业
- Spark ON YARN Client和Cluster模式详解
- Spark ON YARN集群部署与测试运行
- Spark Streaming第一个案例实现
- Spark Streaming 运行原理
- Spark Streaming 开发流程及测试运行
- Spark Streaming 无状态转换与有状态转换
- Spark Streaming窗口函数普通规约与增量规约
大数据项目实时分析
大数据项目数据可视化
提交答案
视频学习中有任何产品建议都可由此反
馈,我们将及时处理!
馈,我们将及时处理!
课时介绍
Spark Transfamation与Action算子
课程介绍
本课程为项目实战课,项目各个环节既深入讲解理论知识,又结合项目业务进行实操,从而达到一站式掌握大数据离线项目。
推荐课程
Spark Streaming2.3.x大数据企业级项目实战
易水 · 4281人在学
赵强老师:大数据从入门到精通(22)Spark Streaming
赵渝强老师 · 690人在学
Spark实战教程
刘宏强 · 1995人在学
IDEA版大型Spark2.4架构师系列教程第八季
徐培成 · 183人在学
第二章:Spark Streaming数据存储与调优
CSDN就业班 · 414人在学
爱奇艺实时流处理项目实战 (Spark Streaming)
张长志 · 1607人在学
spark大数据分析与实战
盛健华 · 818人在学
Spark 3.0技术及原理
段智华 · 524人在学
PySpark机器学习从入门到精通
任大勇 · 282人在学
AdMaster架构师刘喆:基于 Spark Streaming 的实时处理研究
CSDN讲师 · 4040人在学