Spark Streaming2.3.x大数据企业级项目实战
Spark Streaming2.3.x大数据企业级项目实战
大数据平台集群节点准备
项目需求分析
Zookeeper分布式集群安装部署
Hadoop(CDH5)分布式集群安装部署
Eclipse开发环境搭建
HBase分布式集群安装部署
Kafka1.x分布式集群安装部署
大数据项目数据采集1
- Flume概述
- Flume系统架构
- Flume安装部署1
- Flume安装部署2
- Flume集群构建-编写集群配置文件
- Flume集群构建-数据聚合测试运行
- 大数据项目数据格式分析
- 项目数据预处理
- KafkaSink配置详解
- 编写Flume与Kafka集成配置文件
- Flume单节点与Kafka集成测试运行
- Flume集群与Kafka集成测试运行
- HBaseSink配置详解
- Flume与HBase最简集成1
- Flume与HBase最简集成2
- HBase模型建立及与Flume集成配置文件编写
- Eclipse导入Flume源码
- Eclipse导入Flume源码错误调试
- Flume HBaseSink源码分析
- Flume HBaseSink源码修改
- Flume HBaseSink增加调试代码
- Flume HBaseSink源码打包及配置文件修改
- Flume HBaseSink二次开发源码部署
- Flume与HBase集成项目测试运行
大数据项目数据采集2
- 大数据实时数据流程详解
- Flume Channel选择器原理
- Flume Channel选择器配置详解
- Flume单节点集成Kafka与HBase配置编写
- Flume单节点集成Kafka与HBase测试运行
- Flume集群集成Kafka与HBase配置文件编写
- Flume集群集成Kafka与HBase测试运行
- 应用服务器模拟程序开发
- 模拟程序两种打包方式及脚本相关目录创建
- 模拟程序服务器测试运行
- 模拟程序shell脚本开发
- Flume聚合启动脚本开发
- Flume采集脚本开发
- Flume关闭脚本开发
- Kafka消费者shell脚本开发
- 大数据集群服务启动1
- 大数据集群启动2及测试准备工作
- 数据产生、采集、存储联调1
- 数据产生、采集、存储联调2
- 数据产生、采集、存储联调3
Spark Streaming2.3.x实时计算
- Spark概述
- Spark版本选择与Scala安装
- Spark Shell测试运行Wordcount
- Eclipse开发并测试Java版本的Spark Wordcount
- Spark Submit提交运行Java版本的Wordcount
- Eclipse安装Scala插件
- Eclipse构建Scala maven项目
- Eclipse开发Scala版本的Spark Wordcount
- Scala Wordcount本地和线上分别测试运行
- spark Application编程模型
- Spark RDD宽依赖与窄依赖
- Spark 创建RDD
- Spark Transfamation与Action算子
- Spark PairRDD创建、Transfamation与Action操作
- Spark Topn实现
- Spark Standalone 架构
- Spark Standalone 集群配置
- Spark Standalone集群启动运行
- Spark Standalone 集群提交作业测试运行
- Spark Standalone Client和Cluster模式详解
- Spark Standalone Client和Cluster模式提交作业
- Spark ON YARN Client和Cluster模式详解
- Spark ON YARN集群部署与测试运行
- Spark Streaming第一个案例实现
- Spark Streaming 运行原理
- Spark Streaming 开发流程及测试运行
- Spark Streaming 无状态转换与有状态转换
- Spark Streaming窗口函数普通规约与增量规约
大数据项目实时分析
大数据项目数据可视化
提交答案
视频学习中有任何产品建议都可由此反
馈,我们将及时处理!
馈,我们将及时处理!
课时介绍
大数据实时数据流程详解
课程介绍
本课程为项目实战课,项目各个环节既深入讲解理论知识,又结合项目业务进行实操,从而达到一站式掌握大数据离线项目。
推荐课程
信息系统项目管理师自考笔记
李明 · 405人在学
python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据
王先生 · 17947人在学
手把手搭建Java超市管理系统【附源码】(毕设)
汤小洋 · 3787人在学
Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教
黄菊华 · 673人在学
基于SSM酒店管理系统(毕设)
小尼老师 · 712人在学
java项目实战之购物商城(java毕业设计)
Long · 4953人在学
手把手搭建Java求职招聘系统【附源码】(毕设)
汤小洋 · 1388人在学
Python Django 深度学习 小程序
钟翔 · 2131人在学
城管局门前三包管理系统+微信小程序(vue+springboot)
赖国荣 · 408人在学
Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序
李杰 · 3604人在学