掌握Hadoop3/Tez/Spark2/Hive3/Oozie5实战方法
收获大数据处理的方法论
数据分析实战过程（以天池大赛为例子）
0
19
分享
谢谢点赞！视频在火爆的路上更进一步！
谢谢收藏！视频在火爆的路上更进一步！
- 第一章：课程总体介绍
- 什么是大数据 免费 02:41
- 课程体系 免费 05:42
- 集群拓扑 免费 00:55
- 集群安装的软件情况 免费 00:09
- 课程特点 免费 05:17
- VirtualBox集群环境基本操作-1 05:49
- VirtualBox集群环境基本操作-2 05:08
- 课程起点准备 免费 00:58
- 第二章：ZooKeeper-分布式过程协同组件
- ZooKeeper概要 00:24
- 什么是分布式过程协同 01:52
- 分布式过程协同架构设计的难点 03:49
- 为什么选择ZooKeeper 04:40
- 环境搭建与案例分析总体介绍 00:38
- 环境搭建 07:38
- 案例实战-分布式锁 06:55
- 案例实战-主从应用-1 02:49
- 案例实战-主从应用-2 02:03
- 案例实战-主从应用-3 02:04
- 案例实战-主从应用-4 01:30
- ZooKeeper清理工作 00:54
- 第三章：Hadoop3-大数据基础组件
- hadoop3基本集群构建概要 02:21
- hadoop3基本集群安装-1 06:16
- hadoop3基本集群安装-2-上 05:51
- hadoop3基本集群安装-2-下 03:22
- hadoop3基本集群安装-3 07:16
- hadoop3基本集群安装-4 01:12
- HDFS基本原理与基本操作-1-HDFS架构原理 02:21
- HDFS基本原理与基本操作-2-HDFS基本操作 06:13
- HDFS HA配置文件详解-1 00:10
- HDFS HA配置文件详解-2 02:48
- HDFS HA配置文件详解-3 06:52
- HDFS FederationViewFS-1 02:56
- HDFS FederationViewFS-2 08:17
- HDFS FederationViewFS-3 05:49
- Mapreduce基本原理-1 06:02
- MR基本原理2-例子1 08:14
- MR基本原理2-例子2 04:34
- MR基本原理2-例子3-python版本 05:53
- MR内部机制与调优1 00:10
- MR内部机制与调优2 07:56
- MR内部机制与调优3 07:42
- MR内部机制与调优4 03:27
- MR内部机制与调优5-例子上 04:56
- MR内部机制与调优5-例子下 05:43
- YARN的产生背景1 04:57
- YARN的产生背景2 04:29
- YARN架构1 05:29
- YARN架构2 04:18
- YARN基本操作命令 05:52
- RM HA配置 03:56
- YARN调度器配置 05:56
- YARN应用编程实战1 06:13
- YARN应用编程实战2 04:12
- YARN应用编程实战3 05:23
- YARN应用编程实战4 04:55
- YARN应用编程实战5 02:39
- 第四章：Tez-Yarn底层计算引擎
- Tez总体介绍 01:16
- 为什么要用Tez-1 06:16
- 为什么要用Tez-2 03:50
- 特征1 07:17
- 特征2-MR再讲解 02:01
- Tez基本架构 08:49
- 编译1 01:06
- 编译2 04:12
- 安装1 04:49
- 安装2 05:01
- 编程实战1-总体架构与创建DAG-1 06:34
- 编程实战2-创建DAG-2 03:07
- 编程实战3-程序的总体流程 03:58
- 编程实战4-编译执行 03:43
- 第五章：Hive-大数据仓库
- Hive总体规划 00:44
- SQL on OLAP 05:22
- Hive环境安装1-安装总体介绍 00:49
- Hive环境安装2-启用自动化集群启停脚本 04:58
- 安装Mysql 08:40
- 安装Hive-1 07:50
- 安装Hive-2 04:25
- 基本命令行操作 08:39
- HiveQL数据定义1 04:30
- Hive锁 04:39
- Hive执行计划与表分区 05:44
- 第六章：Spark快速大数据处理
- Spark是大一统的数据处理引擎1-综述 06:03
- 编译1 04:32
- 编译2 04:20
- 安装Spark-上 08:17
- 安装Spark-下 02:00
- Spark集群模式 01:54
- SparkSQL例子-pyspark版本 05:57
- SparkSQL例子-scala版本 02:51
- SparkSQL例子-spark-sql版本 03:52
- Hive锁表处理 04:04
- Spark编程模型与Spark基本架构 06:03
- SparkContext与任务调度 05:22
- Spark部署模式与计算引擎 04:13
- 安装Anaconda 06:53
- 安装Jupyter-1 04:39
- 安装Jupyter-2 05:14
- 安装Toree-1 05:55
- 修改集群启动脚本 01:46
- 第七章：Spark快速大数据处理淘宝数据实战
- SparkSQL-DataFrame API概述 02:54
- 淘宝用户行为分析任务介绍 01:46
- 淘宝用户行为数据属性 05:27
- 数据加载 05:17
- 数据加载后的基本特征分析 06:01
- 任务1-用户访问流量分布分析-1-任务介绍 01:45
- 任务1-用户访问流量分布分析-2 05:40
- 任务1-用户访问流量分布分析-3 03:33
- 任务1-用户访问流量分布分析-5 06:30
- 任务1-用户访问流量分布分析-6 03:26
- 任务1-用户访问流量分布分析-7 06:07
- 任务1-用户访问流量分布分析-8-编程过程总结 免费 05:21
- 任务1-用户访问流量分布分析-9-资源不释放故障处理 免费 03:00
- 任务1-用户访问流量分布分析-10-按照小时统计 03:33
- 任务2-用户活跃度分析-DAU 06:01
- 任务3-客单量分析 03:37
- 任务4-商品PV各环节转化率-1 07:13
- 任务4-商品PV各环节转化率-2 07:54
- 任务4-商品PV各环节转化率-3 07:22
- 任务4-商品PV各环节转化率-4 04:42
- 任务4-商品PV各环节转化率-5 03:29
- 第八章：Spark Structured Streaming简介
- 什么是流、动态表 08:14
- Streaming WordCount原理 03:01
- 时间与窗口-1-基本概念 07:32
- 时间与窗口-2-例子 03:10
- 事件迟到 01:25
- 水印 03:02
- 进一步学习材料 01:34
- 第九章：集群环境对称处理
- Spark案例后的集群环境对称处理 03:48
- 第十章：Oozie-大数据流程引擎
- 大数据工作流的必要性 04:26
- Oozie工作流总体架构 03:02
- Oozie工作流编程概念 02:30
- 编译 05:14
- 制作sharelib-上 07:07
- 制作sharelib-下 07:21
- 设置自动化启停脚本 02:14
- 编程实战概要 01:46
- Shell Action-上 06:35
- Shell Action-下 04:32
- MR Action-上 06:26
- MR Action-中 03:12
- MR Action-下 02:45
- Spark Action-上 05:40
- Spark Action-下 03:15
- PySpark Action-上 03:53
- PySpark Action-下 04:06
- Hive2 Action-上 05:39
- Hive2 Action-下 03:50
- 总结 02:06
- 第十一章：在线实验环境
- 基于网络IDE实验环境选择 [视频未上传]
*关闭与播放下一节请保存
第一章：课程总体介绍
已选：0
你将收获
适用人群
大数据工程师；从IT软件开发转行大数据；架构师；研发经理；
课程介绍
课程的主要内容包括：
1.ZooKeeper-分布式过程协同组件
2.Hadoop3-大数据基础组件3.Tez-Yarn底层计算引擎
4.Hive3-大数据仓库
5.Spark2实时大数据处理
6.Oozie5-大数据流程引擎
课程特点：
1.最新API: Hadoop3/Spark2/Hive3/Oozie5
2.手工搭建集群环境:编译+搭建
3.配套资源:分阶段镜像+课件+安装资源，其中安装资源包括案例源码、脚本等
4.案例为主:分模块案例+天池数据分析竞赛
5.故障教学
6.完整实战项目:天池数据分析
课程讨论
松鼠学苑
来源：编译1
王者的路注定孤独
来源：SparkSQL例子-python脚本通过spark-submit提交yarn集群
顾子
来源：HDFS基本原理与基本操作-2-HDFS基本操作
顾子
Yyz_Link
来源：VirtualBox集群环境基本操作-2
儒雅随和_
来源：案例实战-主从应用-1
Cherie
来源：什么是大数据
chpdirector84
来源：安装Hive-2
chpdirector84
来源：编译1
chpdirector84
来源：编译2