Hadoop 2.x初级入门到精通(全面深入的Hadoop实战教程)
Hadoop 2.x初级入门到精通(全面深入的Hadoop实战教程)
Hadoop 2.x入门
- 为什么开设Hadoop 2.x课程以及企业中的应用
- 课程大纲介绍、课程学习注意事项
- 安装Linux虚拟机、基本设置(Ip地址配置、主机名、创建用户等)
- Linux远程四大工具使用
- 主机名与IP映射配置、man命令以及如何创建查看文件内容
- Linux系统中文件类型、权限、用户讲解
- 对文件cp、mv命令讲解、设置用户sudo和安装JDK
- Hadoop 2.x介绍与生态系统重要框架讲解
- hadoop 起源、三大版本和下载编译说明
- hadoop 2.5.0编译准备工作(安装Maven、系统依赖包等)
- 对Haodop 2.5.0进行编译、目录结构讲解以及编译注意事项
- 将hadoop 2.x源码导入Eclipse中，进行查看和编辑修改
- Hadoop 2.x模块之HDFS架构概要介绍讲解
- Hadoop 2.x模块之YARN架构和MapReduce on YARN概要介绍讲解
- Hadoop 2.x安装部署前的准备
- 在单机模式下运行MapReduce案例和伪分布式安装配置HDFS
- 运行MapReduce程序(输入输出数据来源于HDFS)和讲解HDFS基本Shell命令操作
- 伪分布式部署YARN(配置与启动)和在YARN上运行MapReduce任务
- HDFS权限检查讲解和运行词频统计WordCount程序
- MapReduce历史服务JobHistoryServer和启动Hadoop 2.x服务三种方式
- 分析三种启动方式脚本和引出ssh协议作用
- 讲解SSH协议和SSH无密钥登陆原理
- 配置SSH、使用start-dfs.sh启动HDFS组件和Hadoop与Java版本选择
- Hadoop 2.x两种配置文件讲解说明
- 如何配置Hadoop 2.x中各个守护进程运行的主机
- 如何配置HDFS相关数据存储的本地目录
- 运行在YARN上的MapReduce程序相关日志(应用日志和Container日志)
- 启用运行在YARN上应用程序日志聚合功能和MapReduce Uber模式
- Hadoop 2.x分布式安装部署环境准备之克隆虚拟机和配置主机名与IP地址
- Hadoop 2.x分布式安装部署环境准备之集群hosts映射配置和时间同步配置
- Hadoop 2.x分布式集群安装部署启动(基于伪分布式进行)
- Hadoop 2.x分布式安装部署之集群部署的基本测试验证和基准测试
- 配置HDFS与YARN的主节点到从节点的SSH无密钥登陆、解决问题
- YARN中的Web Application Proxy讲解
- 阅读讲解Hadoop 2.x官方文档集群如何安装和CLI MiniCluster讲解
- 如何增加和卸载集群节点、卸载HDFS的DataNode节点
- 卸载YARN的NodeManager节点和集群增加节点讲解
- 企业级Hadoop 2.x中HDFS、YRAN的架构设计和MR运行流程图预览
分布式文件系统HDFS
- 分布式文件系统架构之一设计目标和架构讲解
- 分布式文件系统架构之二架构设计NameNode和DataNode详解
- 分布式文件系统架构之三块Block的存放策略和垃圾回收
- 分布式文件系统架构之四NameNode启动过程详解
- 分布式文件系统架构之五NameNode启动过程中安全模式详解
- 分布式文件系统架构之六使用oiv和oev查看NameNode的fsimage和edits文件内容
- 分布式文件系统架构之七SecondaryNameNode功能详解
- 分布式文件系统架构之八如何使用SNN恢复NN
- HDFS Shell 命令使用讲解
- HDFS 管理命令讲解和使用Eclipse创建Maven工程
- 使用HDFS URL API详解和查看IOUtils源码
- 使用HDFS FS API详解之一多种方式获取FileSystem实例
- 使用HDFS FS API详解之二伪装用户方式操作HDFS和向HDFS上写文件
- 使用HDFS FS API详解之三获取文件的存储信息和集群DataNodes信息以及其他操作
- 使用HDFS FS API详解之四远程Debug调试跟踪程序
- 使用HDFS FS API详解之五本地文件系统LocalFileSystem讲解和百度网盘功能讲解
- 深入讲解HDFS客户端配置和配置信息分类
- HDFS应用案例讲解之需求说明分析
- HDFS应用案例讲解之编码实现与测试说明该
- Hadoop 2.x底层通讯协议RPC讲解和编程实现远程过程调用
- HDFS各守护进程之间通信的RPC协议和如何调式读取文件内容
- 对Hadoop 2.x源码远程调试两种方式讲解和如何使用打印日志进行调试
- 使用Eclipse进行对Hadoop 2.x源码进行远程调试(查看NameNode启动过程)
分布式资源管理框架YARN
分布式计算框架MapReduce
- MapReduce编程优化之三分布式缓存DistributedCache使用讲解二
- MapReduce编程优化之四MapReduce 旧API的区别与使用讲解
- MapReduce编程优化之五MapReduce多任务依赖
- MapReduce编程优化之六链式Mapper的使用ChainMapper和ChainReducer
- MapReduce编程优化之七MapReduce Join算法讲解一
- MapReduce编程优化之七MapReduce Join算法讲解二
- MapReduce编程优化之八小文件处理几种方式讲解
- MapReduce Shuffle配置调优以及Hadoop1.x的MR程序运行在2.x上的注意事项
- 企业大数据应用和MapReduce编程模型讲解
- MapReduce思想原理和如何在YARN上运行
- 分析WordCount程序执行流程以及编写MapReduce八股文格式
- 以[八股文格式]编写WordCount程序
- 优化WordCount程序(实现Tool接口)以及总结如何编写MapReduce程序
- MapReduce程序中如何自定义计数器和WordCount程序中优化注意事项
- MapReduce程序默认情况下如何对输入文件进行读取和输出文件进行写入
- 在Linux系统下使用Eclipse开发测试MapReduce程序
- 如何编译Win7下Hadoop 2.x插件和配置运行使用
- MapReduce不同模式下运行的Counters、从YARN监控页面查询以运行MapReduce
- MapReduce Shuffle画图讲解
- MapReduce Shuffle讲解
- 在MapReduce中设置Shuffle阶段五大要点以及MapReduce没有Reduce类测试讲解
- 设置MapReduce Job中Reduce Task数量及总体把握MapReduce 框架运行过程
- 通过跟踪源码分析MapReduce提交Job的过程
- MapReduce Job运行时如何计算Map Task个数(计算InputSplit)
- MapReduce Job提交的两种运行方式源码分析及Mapper和Reducer类分析讲解
- 依据基类Mapper和Reducer编写MapReduce编程模板
- 最小配置MapReduce Job、MapReduce的默认配置和修改优化MapReduce编程模板
- 如何依据MapReduce模板编写Job程序并测试
- MapReduce单元测试框架MRUnit基本使用讲解
- 使用MRUnit对Mapper、Reducer进行单元测试
- 通过MapReduce自定的数据类型源码分析，如何自定义数据类型
- 在定义Key的数据类型时，如何定义优化比较器Comaprator
- 编写自定义数据类型Key，实现优化比较器Comparator
- 自定义数据类型时注意事项及企业大数据中常用的MapReduce应用
- 三大运营商业务需求及手机流量统计需求分析(原数据和业务)
- 依据业务分析实现手机流量统计MapReduce编码
- 编写MapReduce程序及测试
- MapReduce初级应用案例之TopKey讲解一
- MapReduce初级应用案例之TopKey讲解二
- 源码分析讲解MapReduce输入格式InputFormat
- 从源码和应用角度讲解常用的InputFormat
- SequenceFileInputFormat应用讲解和如何自定义InputFormat
- MapReduce输出格式OutputFormat及常用的OutputFormat解析
- MapReduce输出多个指定的文件MultipleOutputs使用讲解
- MapReduce Shuffle中分区Partitioner讲解(结合实际案例)
- MapReduce Shuffle中合并Combiner讲解(功能、实际应用)
- Key的比较器讲解RawComparator以及通过实际应用引出二次排序
- 依据需求实现key相同时对value进行排序，使用二次排序实现
- 二次排序案例的优化
- MapReduce编程优化之一配置参数的几种设置方式及优先级
- MapReduce编程优化之二MapReduce中的Compression
- MapReduce编程优化之三分布式缓存DistributedCache使用讲解一
提交答案
视频学习中有任何产品建议都可由此反
馈，我们将及时处理！
馈，我们将及时处理！
课时介绍
MapReduce编程优化之一配置参数的几种设置方式及优先级-分布式计算框架MapReduceHadoop 2.x初级入门到精通(全面深入的Hadoop实战教程)
课程介绍
以Apache Hadoop 2.5.0为准，进行深入浅出的讲解各个模块的功能、架构、使用，主要四个方面内容：
模块一：Hadoop 2.x入门
模块二：分布式文件系统HDFS
模块三：分布式资源管理框架YARN
模块四：分布式计算框架MapReduce
推荐课程
信息系统项目管理师自考笔记
李明 · 509人在学
python从0到1：期货量化交易系统（CTP实战，高频及合成K线数据
王先生 · 20441人在学
手把手搭建Java超市管理系统【附源码】（毕设）
汤小洋 · 4036人在学
Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教
黄菊华 · 727人在学
基于SSM酒店管理系统（毕设）
小尼老师 · 781人在学
java项目实战之购物商城（java毕业设计）
Long · 5065人在学
手把手搭建Java求职招聘系统【附源码】（毕设）
汤小洋 · 1457人在学
Python Django 深度学习 小程序
钟翔 · 2232人在学
城管局门前三包管理系统+微信小程序（vue+springboot）
赖国荣 · 493人在学
Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序
李杰 · 3834人在学