导航
课程首页
  • PM-Summit 全球产品经理大会云会员
  • SDCon 全球软件研发技术大会云会员
  • ML-Summit 全球机器学习技术大会云会员
  • C++性能优化高端培训
  • AI全栈开发实战营
精品课 极客时间

C 知道

登录
会员中心
消息
历史
创作中心
创作
学习中心
成为讲师

【系统完整】大数据就业实战项目课Hadoop|Spark|Flink Hadoop技术概述 1.2Hadoop生态系统简介

【系统完整】大数据就业实战项目课Hadoop|Spark|Flink
共204节 669人在学 课程详情
课程目录
讨论留言
  • 课程介绍

    • 课程整体介绍
  • Hadoop技术概述

    • 1.1Hadoop前世今生
    • 1.2Hadoop生态系统简介
    • 1.3Hadoop的优势及应用场景
    • 1.4Hadoop VS 云计算
    • 1.5Hadoop VS Spark
    • 1.6Hadoop VS RDBMS
    • 1.7.1搭建IDEA开发环境
    • 1.7.2.1VMware WorkStations安装
    • 1.7.2.2Linux系统介绍
    • 1.7.2.3创建新的虚拟机
    • 1.7.2.4安装Centos7操作系统
    • 1.7.2.5Linux静态IP配置
    • 1.7.2.6Linux系统配置
    • 1.7.3.1JDK安装与配置
    • 1.7.3.2Hadoop伪分布集群配置
    • 1.7.3.3Hadoop伪分布集群启动与测试
  • Hadoop分布式文件系统(HDFS)

    • 2.1.1HDFS设计思想与系统架构
    • 2.1.2HDFS读写流程与副本策略
    • 2.2HDFS HA架构及原理
    • 2.3HDFS联邦机制
    • 2.4.1HDFS shell基本操作
    • 2.4.2HDFS shell管理员操作
    • 2.5项目案例:shell定时上传日志到HDFS
    • 2.6本阶段重难点总结
  • Hadoop资源管理系统(YARN)

    • 3.1YARN架构设计与工作原理
    • 3.2MapReduce ON YARN详细工作流程
    • 3.3YARN的容错性
    • 3.4YARN的高可用原理
    • 3.5YARN调度器使用原理
    • 3.6案例实践:YARN调度器的配送与使用
    • 3.6案例实践:YARN调度器的配送与使用2
    • 3.7本章节重难点总结
  • Hadoop分布式计算框架(MapReduce)

    • 4.1初识MapReduce
    • 4.2.1MapReduce的编程模型
    • 4.2.2开发第一个MapReduce程序
    • 4.2.3测试与调试MapReduce程序
    • 4.3.1剖析MapReduce作业运行机制
    • 4.3.2作业失败与容错
    • 4.3.3MapReduce shuffle过程详解
    • 4.4.1案例实践:气象大数据离线分析1
    • 4.4.2案例实践:气象大数据离线分析2
    • 4.4.3案例实践:气象大数据离线分析3
    • 4.4.4案例实践:气象大数据离线分析4
    • 4.5本章节重难点梳理
  • Zookeeper分布式协调服务

    • 5.1Zookeeper基本架构与工作原理
    • 5.2.13节点集群环境准备
    • 5.2.2配置集群hosts文件
    • 5.2.3配置集群时钟服务器
    • 5.2.4配置集群ssh免密登录
    • 5.2.5集群脚本开发
    • 5.3搭建zookeeper分布式集群
    • 5.4zookeeper shell实操
    • 5.5.1案例实践:zookeeper实现分布式爬虫应用监控1
    • 5.5.2案例实践:zookeeper实现分布式爬虫应用监控
    • 5.5.3案例实践:zookeeper实现分布式爬虫应用监控3
    • 5.5.4案例实践:zookeeper实现分布式爬虫应用监控4
    • 5.6本章重难点介绍
  • Hadoop分布式集群搭建与管理

    • 6.1Hadoop集群规划
    • 6.2.1HDFS集群配置
    • 6.2.2启动HDFS集群服务
    • 6.2.3HDFS集群测试运行
    • 6.3.1YARN集群配置
    • 6.3.2启动YARN集群服务
    • 6.3.3YARN集群测试运行
    • 6.4.1Hadoop集群故障转移测试
    • 6.4.2Hadoop集群运维技巧
    • 6.5.1案例实践:Hadoop集群扩缩容原理
    • 6.5.2案例实践:Hadoop集群扩缩容前准备工作
    • 6.5.3案例实践:新增节点环境准备
    • 6.5.4案例实践:Hadoop集群动态扩容
    • 6.5.5案例实践:Hadoop集群动态缩容
    • 6.6本章重难点梳理
  • Hive数据仓库工具

    • 7.1Hive概述
    • 7.2Hive原理及架构
    • 7.3.1安装MySQL元数据库
    • 7.3.2Hive客户端安装部署
    • 7.4.1Hive对数据库的操作
    • 7.4.2Hive对数据表的操作
    • 7.4.3Hive数据相关操作
    • 7.4.4Hive查询相关操作
    • 7.4.5Hive表连接相关操作
    • 7.4.6Hive内部表和外部表相关操作
    • 7.4.7Hive分区与分桶相关操作
    • 7.5.1案例实践:B站用户行为大数据分析1
    • 7.5.2案例实践:B站用户行为大数据分析2
    • 7.6本章节重难点梳理
  • HBase分布式数据库

    • 8.1HBase概述
    • 8.2.1HBase数据库模型详解
    • 8.2.2HBase基本架构详解
    • 8.3.1HBase集群规划
    • 8.3.2HBase集群安装配置
    • 8.3.3启动HBase集群服务
    • 8.4HBase shell操作
    • 8.5.1Java客户端操作HBase1
    • 8.5.2Java客户端操作HBase2
    • 8.5.3Java客户端操作HBase3
    • 8.5.4Java客户端操作HBase4
    • 8.5.5Java客户端操作HBase5
    • 8.5.6Java客户端操作HBase6
    • 8.5.7Java客户端操作HBase7
    • 8.6.1案例实践:MapReduce批量写入HBase1
    • 8.6.2案例实践:MapReduce批量写入HBase2
    • 8.6.3案例实践:MapReduce批量写入HBase3
    • 8.7本章节重难点梳理
    • 8.7本章节重难点梳理
  • Sqoop数据迁移工具

    • 9.1Sqoop架构及工作原理
    • 9.2Sqoop客户端安装部署
    • 9.3案例实践:Sqoop迁移Hive仓库数据
    • 9.4本章节重难点梳理
  • Flume日志采集系统

    • 10.1Flume架构及运行原理
    • 10.2Flume环境安装部署
    • 10.3.1案例实践:搭建Flume分布式集群1
    • 10.3.2案例实践:搭建Flume分布式集群2
    • 10.3.2案例实践:搭建Flume分布式集群3
    • 10.4本章重难点梳理
  • Kafka分布式消息系统

    • 11.1Kafka架构设计与工作原理
    • 11.2Kafka分布式集群搭建1
    • 11.3Kafka分布式集群搭建2
    • 11.4案例实践:Flume与Kafka集成开发
    • 11.5本章节重难点梳理
  • Davinci大数据可视化分析

    • 12.1Davinci架构设计
    • 12.2.1Davinci安装部署1
    • 12.2.2Davinci安装部署2
    • 12.3启动Davinci服务
  • Spark实时分析系统

    • 13.1.1Spark 概述
    • 13.1.2Spark最简安装
    • 13.1.3开发Spark第一个案例1
    • 13.1.4开发Spark第一个案例2
    • 13.2Spark RDD与算子详解
    • 13.3.1Spark Standalone分布式集群搭建1
    • 13.3.2Spark Standalone分布式集群搭建2
    • 13.3.3Spark Standalone分布式集群搭建3
    • 13.3.4Spark ON YARN分布式集群搭建
    • 13.4Spark Streaming实时计算
    • 13.5.1项目需求分析与架构设计
    • 13.5.2项目业务建模
    • 13.5.3数据生产者开发1
    • 13.5.4数据生产者开发2
    • 13.5.5Spark Streaming业务代码开发1
    • 13.5.6Spark Streaming业务代码实现2
    • 13.5.7Spark Streaming业务代码开始3
    • 13.5.8SparkStreaming与Kafka、MySQL联调
    • 13.5.9广告点击实时分析系统整体联调
    • 13.6.1数据大屏制作:广告实时点击分析系统1
    • 13.6.2数据大屏制作:广告实时点击分析系统2
    • 13.6.3数据大屏制作:广告实时点击分析系统3
    • 13.6.4数据大屏制作:广告实时点击分析系统4
    • 13.7本章重难点梳理
  • Flink实时分析系统

    • 14.1.1Flink概述
    • 14.1.2Flink最简安装
    • 14.1.3Flink第一个案例实现1
    • 14.1.4Flink第一个案例实现2
    • 14.2.1Flink 运行模型与运行原理
    • 14.2.2Flink Standalone集群配置
    • 14.2.3启动Flink Standalone集群服务
    • 14.2.4Flink Standalone集群测试
    • 14.2.5Flink ON YARN集群配置与启动
    • 14.2.6Flink 提交Job至YARN集群方式1
    • 14.2.7Flink 提交Job至YARN集群方式2
    • 14.3Flink Streaming编写模型详解
    • 14.4.1项目需求分析与架构设计
    • 14.4.2数据库业务建模
    • 14.4.3Flink Streaming业务代码开发1
    • 14.4.4Flink Streaming业务代码实现2
    • 14.4.5Flink Streaming业务代码实现3
    • 14.4.6Flink Streaming业务逻辑局部调试
    • 14.4.7数据生产者脚本开发
    • 14.4.8Flink Streaming项目全流程联调
    • 14.5.1新闻热搜数据大屏制作1
    • 14.5.2新闻热搜数据大屏制作2
    • 14.6本章重难点梳理
  • 项目实战:互联网金融项目离线分析

    • 15.1项目需求分析与架构设计
    • 15.2准备互联网金融项目数据源
    • 15.3Sqoop采集MySQL数据库
    • 15.4互联网金融项目离线分析1
    • 15.5互联网金融项目离线分析2
    • 15.6互联网金融项目离线分析3
    • 15.7互联网金融项目离线分析4
    • 15.8报表数据库建模
    • 15.9统计结果导入报表数据库
    • 15.10互联网金融项目数据大屏制作1
    • 15.11互联网金融项目数据大屏制作2
    • 15.12互联网金融项目数据大屏制作3
    • 15.13本章重难点梳理
  • 项目实战:互联网直播项目实时分析

    • 16.1Flink并行度设置
    • 16.2Flink状态与容错
    • 16.3Flink窗口计算
    • 16.4Flink WaterMark机制
    • 16.5项目需求分析与架构设计
    • 16.6实时产生直播审计日志1
    • 16.7实时产生直播审计日志2
    • 16.8MySQL业务建模
    • 16.9Flink Streaming业务代码实现1
    • 16.10Flink Streaming业务代码实现2
    • 16.11Flink Streaming业务代码实现3
    • 16.12Flink Streaming业务代码实现4
    • 16.13Flink Streaming业务代码实现5
    • 16.14Flink Streaming业务代码实现6
    • 16.15项目整体联调1
    • 16.16项目整体联调2
    • 16.17互联网直播数据大屏制作1
    • 16.18互联网直播数据大屏制作2
    • 16.19本章重难点梳理
回复
切换为未回复评论
切换为时间正序
请发表友善的回复…
发表回复
发表回复
按下Enter换行,Ctrl+Enter发表内容
编辑
预览
    轻敲空格完成输入
    • 显示为
    • 卡片
    • 标题
    • 链接

    反馈

    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    1.2Hadoop生态系统简介1.2Hadoop生态系统简介

    课程介绍

    课程简介:
    本课程专门为想成为大数据工程师的同学而设计,涵盖大数据工程师的各种技能和知识点,零基础入门大数据,理论结合实战,助力你快速成为一名合格的大数据工程师。


    课程收获
    1.你能独立完成毕业设计项目
    2.毕业生再也不用担心找工作
    3.高校老师无需发愁大数据教学项目案例
    4.零基础的你也能入行大数据
    5.自学大数据也能找工作
    6.让你远离技术内卷,多一条出路

     

    适合人群:
    1.适合在校学生完成毕业设计
    2.适合高校老师完成教学教案
    3.适合零基础学员快速入行大数据
    4.适合Java等开发人员快速积累大数据项目经验

     

    技术栈:

    Hadoop、Spark、Flink1.14.3、Flume、Kafka、Hive、HBase、Sqoop、Zookeeper、Davinci、IDEA、Java、Scala

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 730人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22119人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4210人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 788人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 842人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5155人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1506人在学

    Python Django 深度学习 小程序

    钟翔 · 2324人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 599人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 3987人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00

      订阅失败

      【系统完整】大数据就业实战项目课Hadoop|Spark|Flink
      【系统完整】大数据就业实战项目课Hadoop|Spark|Flink ...

      订阅列表已满,请先移出部分订阅内容。

      当前章节需购买后观看
      开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
      提交答案

      购买课程

      扫码完成付费,可继续学习全部课程内容

      加载中...
      课件正在飞速打包中,请耐心等待几秒钟~
      首页
      博客
      下载
      学习
      社区
      C知道
      GitCode
      InsCodeAI
      技术会议
      会员中心
      创作中心
      联系我们
      工作时间: 8:30 - 22:00
      客服电话: 400-660-0108
      kefu@csdn.net在线客服
      • 关于我们
      • 招贤纳士
      • 商务合作
      • 寻求报道
      • 京ICP备19004658号
      • 经营性网站备案信息
      • 公安备案号11010502030143
      • 营业执照
      • 北京互联网违法和不良信息举报中心
      • 家长监护
      • 中国互联网举报中心
      • 网络110报警服务
      • Chrome商店下载
      • 账号管理规范
      • 版权与免责声明
      • 版权申诉
      • 出版物许可证
      • ©1999-2024北京创新乐知网络技术有限公司

      视频问题反馈

      提交遇到的问题我们会尽快解决的 ~