【进阶】Hadoop大数据进阶与项目实战

【进阶】Hadoop大数据进阶与项目实战
共126节 378人在学 课程详情

  • Hadoop集群节点准备

    • 课程介绍
    • 1.1虚拟机与virtualbox介绍
    • 1.2virtualbox下载与安装
    • 1.3Linux系统介绍与发行版选择
    • 1.4centos7下载
    • 1.5centos7安装1
    • 1.6网络类型选择
    • 1.7centos7安装2
    • 1.8centos7部署3
    • 1.9centos7网络配置
    • 1.10centos7静态IP配置
    • 1.11xshell远程连接centos7
    • 1.12FileZilla实现文件上传与下载
    • 1.13修改centos7的hostname
    • 1.14配置IP地址映射
    • 1.15centos7防火墙设置
    • 1.16centos7 ssh免密登录
    • 1.17centos7 sudo权限配置
    • 1.18克隆hadoop02节点
    • 1.19克隆hadoop03节点
    • 1.20虚拟机做快照

  • Zookeeper核心技术与实战

    • 2.1Zookeeper架构设计
    • 2.2Zookeeper数据结构znode特性
    • 2.3Zookeeper监听机制
    • 2.4配置集群Hosts文件
    • 2.5配置时钟同步服务器
    • 2.6ssh集群免密登录
    • 2.7集群脚本开发与使用
    • 2.8Zookeeper版本选择与集群规划
    • 2.9集群安装配置JDK
    • 2.10Zookeeper分布式集群安装
    • 2.11Zookeeper集群状态信息查看
    • 2.12Zookeeper shell实操
    • 2.13Zookeeper Java客户端依赖引入
    • 2.14Curator框架连接Zookeeper
    • 2.15Zookeeper Java客户端创建znode
    • 2.16Zookeeper Java客户端获取znode节点数据
    • 2.17Zookeeper Java客户端监听实现
    • 2.18Zookeeper分布式爬虫相关依赖引入
    • 2.19开发爬虫节点监视器
    • 2.20开发爬虫主类并注册znode临时节点
    • 2.21Zookeeper分布式爬虫项目打包部署
    • 2.22利用zookeeper测试分布式爬虫项目监控
    • 2.23CAP理论谈Zookeeper
    • 2.24leader选举原理深度剖析
    • 2.25leader选举原理深度剖析（2）
    • 2.26Zookeeper读取原理剖析
    • 2.27Zookeeper zab协议核心原理

  • HDFS核心技术与实战

    • 3.1HDFS核心知识要点
    • 3.2fsimage与editslog合并过程
    • 3.3hdfs副本策略
    • 3.4hdfs读写流程
    • 3.5hdfs1.x架构瓶颈之单点故障解决方案
    • 3.6hdfs2.x架构设计
    • 3.7hdfs1.x架构瓶颈之内存受限解决方案
    • 3.8hdfs2.x架构瓶颈及hdfs3.x解决方案
    • 3.9hdfs集群规划
    • 3.10hdfs集群搭建（1）
    • 3.11hdfs集群搭建（2）
    • 3.12hdfs集群状态查看与测试
    • 3.13hdfs HA故障转移验证测试
    • 3.14hdfs 安全模式
    • 3.15hdfs回收站
    • 3.16hdfs集群运维管理
    • 3.17项目需求分析与实现思路
    • 3.18数据采集shell 脚本开发
    • 3.19hdfs shell采集日志文件
    • 3.20定时调度hdfs shell脚本

  • YARN核心技术与实战

    • 4.1YARN基本架构
    • 4.2YARN工作流程详解
    • 4.3YARN HA高可用原理详解
    • 4.4YARN的容错机制
    • 4.5YARN集群规划
    • 4.6YARN集群配置
    • 4.7YARN集群测试运行
    • 4.8YARN集群运维管理
    • 4.9YARN容量调度器理论与实操（1）
    • 4.10YARN容量调度器理论与实操（2）
    • 4.11YARN公平调度器理论与实操（1）
    • 4.12YARN公平调度器理论与实操（2）
    • 4.13不同应用场景如何正确选择调度器

  • MapReduce核心技术与实战

    • 5.1MapReduce是什么
    • 5.2为什么要使用MapReduce
    • 5.3何时何地使用MapReduce
    • 5.4MapReduce数据处理逻辑详解
    • 5.5构建Hadoop maven工程项目
    • 5.6MapReduce案例实现（1）
    • 5.7MapReduce案例实现（2）
    • 5.8MapReduce案例实现（3）
    • 5.9Local模式运行MapReduce
    • 5.10hadoop集群模式运行MapReduce（1）
    • 5.11hadoop集群模式运行MapReduce（2）
    • 5.12hadoop API提交job模式运行MapReduce（1）
    • 5.13hadoop API提交job模式运行MapReduce（2）
    • 5.14管理多个MapReduce应用程序（1）
    • 5.15管理多个MapReduce应用程序（2）
    • 5.16MapReduce编程模型
    • 5.17MapReduce数据处理流程
    • 5.18MapReduce shuffle过程详解
    • 5.19MapReduce shuffle参数详解（1）
    • 5.20MapReduce shuffle参数详解（2）
    • 5.21MapReduce 性能调优重要参数讲解
    • 5.22MapReduce数据倾斜（1）
    • 5.23MapReduce数据倾斜（2）
    • 5.24MapReduce二次排序原理
    • 5.25MapReduce二次排序实现（1）
    • 5.26MapReduce二次排序实现（2）
    • 5.27二次排序实现Reduce Join（1）
    • 5.28二次排序实现Reduce Join（2）
    • 5.29笛卡尔积实现Reduce Join
    • 5.30分布式缓存实现Reduce Join（1）
    • 5.31分布式缓存实现Reduce Join（2）
    • 5.32分布式缓存实现Reduce Join（3）
    • 5.33分布式缓存实现Map Join
    • 5.34借助数据库实现Map Join
    • 5.35Semi 半连接实现 Reduce Join（1）
    • 5.36Semi 半连接实现 Reduce Join（2）
    • 5.37BloomFilter实现Reduce Join（1）
    • 5.38BloomFilter实现 Reduce Join（2）
    • 5.39项目背景与需求分析
    • 5.40MapReduce工程项目创建
    • 5.41实现Mapper和reducer业务逻辑
    • 5.42MapReduce项目本地测试
    • 5.43MapReduce项目打包部署运行
    • 5.44开发MapReduce shell脚本
    • 5.45MapReduce shell脚本调试运行

    订阅失败

    【进阶】Hadoop大数据进阶与项目实战
    【进阶】Hadoop大数据进阶与项目实战 ...

    订阅列表已满，请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看！专家精选系列课程，满足你从入门到精通！更有问答月卡免费送，你的问题有问必答！
    提交答案

    购买课程

    扫码完成付费，可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈，我们将及时处理！

    课时介绍

    5.4MapReduce数据处理逻辑详解

    课程介绍

    本课程为Hadoop系统实战课程，着重讲解Hadoop核心技术组件的理论与实战，课程包含Hadoop分布式集群搭建、Zookeeper核心理论与分布式项目监控、HDFS核心理论与数据定时采集项目、YARN核心理论与调度器配置、MapReduce核心理论与天气大数据分析项目。通过本课程的系统学习，从入门到高级，彻底掌握Hadoop核心组件技术与项目实战。

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 512人在学

    python从0到1：期货量化交易系统（CTP实战，高频及合成K线数据

    王先生 · 20578人在学

    手把手搭建Java超市管理系统【附源码】（毕设）

    汤小洋 · 4047人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 731人在学

    基于SSM酒店管理系统（毕设）

    小尼老师 · 785人在学

    java项目实战之购物商城（java毕业设计）

    Long · 5073人在学

    手把手搭建Java求职招聘系统【附源码】（毕设）

    汤小洋 · 1457人在学

    Python Django 深度学习 小程序

    钟翔 · 2234人在学

    城管局门前三包管理系统+微信小程序（vue+springboot）

    赖国荣 · 496人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 3843人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中，请耐心等待几秒钟～