Hadoop大数据从入门到精通

Hadoop大数据从入门到精通
共127节 60914人在学 课程详情

  • 大数据Hadoop第1章

    • 大数据技术领域介绍及学习方法和发展规划
    • Hadoop的介绍及基本概念
    • Hadoop的必要性-1
    • Hadoop的必要性-2
    • Hadoop集群安装部署-linux服务器环境准备
    • Hadoop集群安装部署-hadoop安装部署及配置
    • Hadoop集群启动-手动启动
    • Hadoop集群启动-自动化脚本启动
    • Hadoop集群从单节点的伪分布式扩展为多节点分布式
    • Hdfs的功能体验及shell命令行操作
    • Hdfs分布式文件系统的基本工作机制及相关概念解析
    • Hdfs的JAVA客户端基本操作-1
    • Hdfs的JAVA客户端基本操作-2
    • Hdfs的JAVA客户端基本操作-3
    • Hdfs的JAVA客户端基本操作-4
    • Hdfs的JAVA客户端IO流操作
    • Hdfs读写数据流程
    • Hdfs中namenode管理元数据的机制

  • 大数据Hadoop第2章

    • Hadoop的RPC框架运行机制
    • Hadoop的RPC框架应用示例-1
    • Hadoop的RPC框架应用示例-2
    • Mapreduce概念介绍
    • Mapreduce框架运行机制
    • Mapreduce运行机制的数据流程
    • wordcount的mapreduce逻辑实现流程
    • wordcount程序的mapper类实现
    • wordcount程序的reducer类实现
    • wordcount程序的job提交客户端实现
    • wordcount程序打包运行演示
    • 流量汇总需求及mapreduce编程思路
    • 流量汇总mapreduce程序的实现-1-hadoop序列化机制
    • 流量汇总mapreduce程序的实现-2-mapper和reducer
    • 流量汇总mapreduce程序打包执行及网页监控
    • 分区汇总流量程序的思路及实现-1
    • 分区汇总流量程序的思路及实现-2
    • 分区汇总流量程序的执行及分区数与reducetask数的关系

  • 大数据Hadoop第3章

    • 流量汇总并按流量大小倒序排序的代码实现
    • 流量汇总并按流量大小倒序排序的代码实现
    • mapreduce程序的本地运行模式及debug
    • mapreduce框架中的shuffle机制详解
    • YARN的基本概念--MR程序提交的流程
    • YARN的工作机制--MR程序运行流程
    • YARN的工作机制及特性总结
    • mapreduce程序运行并发度--reduce并发度
    • mapreduce程序运行并发度--数据切片的思考
    • mapreduce程序运行并发度--maptask决定机制
    • mapreduce编程练习之共同好友-需求解析
    • mapreduce编程练习之共同好友-思路分析
    • mapreduce编程练习之共同好友--步骤1实现
    • mapreduce编程练习之共同好友--步骤2实现
    • mapreduce编程练习之连表查询--需求分析
    • mapreduce编程练习之连表查询--mapper的实现
    • mapreduce编程练习之连表查询--reducer的实现

  • 大数据Hadoop第4章

    • zookeeper简介
    • mapreduce编程练习之连表查询--reduce端join的缺点
    • mapreduce编程练习之连表查询--map端join的思想
    • mapreduce编程练习之连表查询--map端join的mapper实现
    • mapreduce编程练习之倒排索引--需求说明
    • mapreduce编程练习之倒排索引--编程思路
    • mapreduce编程练习之倒排索引--步骤1的实现
    • mapreduce编程练习之倒排索引--步骤2的实现
    • mapreduce编程练习之倒排索引--多job串联执行的实现
    • zookeeper集群搭建--集群组件介绍
    • zookeeper集群搭建--配置文件修改
    • zookeeper集群搭建--集群启动及可靠性测试
    • zookeeper的功能
    • zookeeper的命令行客户端使用及功能测试
    • zookeeper的java客户端初步使用

  • 大数据Hadoop第5章

    • zookeeper的java客户端创建znode
    • zookeeper的java客户端获取及修改znode数据
    • zookeeper的java客户端删除znode节点
    • zookeeper的java客户端监听器的使用
    • zookeeper应用案例——服务器列表动态更新-实现思路
    • zookeeper应用案例——服务器列表动态更新-服务端实现
    • zookeeper应用案例——服务器列表动态更新-客户端实现
    • zookeeper应用案例——服务器列表动态更新-运行测试
    • zookeeper应用案例——分布式锁-实现思路
    • zookeeper应用案例——分布式锁-主体逻辑
    • zookeeper应用案例——分布式锁-主体逻辑2
    • zookeeper应用案例——分布式锁-代码实现-1
    • zookeeper应用案例——分布式锁-代码实现-2-运行测试
    • hadoop-HA机制的实现原理-1
    • hadoop-HA机制的实现原理-2
    • hadoop-HA集群部署-服务器环境准备
    • hadoop-HA集群部署-zookeeper部署及ha配置要点
    • hadoop-HA集群部署-配置文件修改-1
    • hadoop-HA集群部署-配置文件修改-2
    • hadoop-HA集群部署-初始化及启动
    • hadoop-HA集群的使用和HA特性测试

  • 大数据Hadoop第6章

    • hbase数据库简介
    • hbase集群结构
    • hbase集群部署与测试
    • hbase命令行客户端简单使用
    • hbase表结构与传统数据库表结构的对比
    • hbase命令行客户端创建表和插入数据及表的排序特性
    • hbase命令行客户端get查询命令
    • hbase命令行客户端管理名称空间
    • hbase客户端api--建表
    • hbase客户端api-数据插入
    • hbase客户端api-数据删除
    • hbase客户端api-数据更新
    • hbase客户端api--查询数据--Get
    • hbase客户端api--查询数据--Scan
    • hbase客户端api--过滤器查询
    • hbase分布式存储机制简介

  • 大数据Hadoop第7章

    • storm编程案例--提交topo的客户端
    • storm编程案例--网站访问来源实时统计--需求
    • storm编程案例--网站访问来源实时统计--代码实现
    • hive的安装和建表语句
    • hive的设计思想和技术架构
    • hive如何往表中导入数据
    • hive中的内部表和外部表的区别
    • hive的元数据库配置
    • sqoop的安装配置
    • sqoop导入数据的最基本用法
    • sqoop导入数据到hdfs的高级用法
    • sqoop导入数据到hive及导出数据
    • storm实时流式计算系统简介
    • storm实时流式计算系统的工作机制
    • storm集群的配置和部署
    • storm集群的部署及动态增加节点
    • storm编程的基本概念-topo-spout-bolt
    • storm编程的基本概念-2
    • storm编程接口--spout的结构
    • storm编程案例--spout组件实现
    • storm编程案例--bolt组件A-实现
    • 19.storm编程案例--bolt组件B-实现

    订阅失败

    Hadoop大数据从入门到精通
    Hadoop大数据从入门到精通 ...

    订阅列表已满，请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看！专家精选系列课程，满足你从入门到精通！更有问答月卡免费送，你的问题有问必答！
    提交答案

    购买课程

    扫码完成付费，可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈，我们将及时处理！

    课时介绍

    mapreduce框架中的shuffle机制详解-大数据Hadoop第3章Hadoop大数据从入门到精通

    课程介绍

    Hadoop分布式文件系统（HDFS）和MapReduce的工作原理 如何优化Hadoop机群所需要的硬件配置 搭建Hadoop机群所需要考虑的网络因素 如何利用Hadoop配置选项进行系统性能调优 如何利用FairScheduler为多用户提供服务级别保障 Hadoop机群维护和监控 如何使用Flume从动态生成的文件加载数据到Hadoop
    推荐课程

    信息系统项目管理师自考笔记

    李明 · 512人在学

    python从0到1：期货量化交易系统（CTP实战，高频及合成K线数据

    王先生 · 20572人在学

    手把手搭建Java超市管理系统【附源码】（毕设）

    汤小洋 · 4047人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 731人在学

    基于SSM酒店管理系统（毕设）

    小尼老师 · 785人在学

    java项目实战之购物商城（java毕业设计）

    Long · 5072人在学

    手把手搭建Java求职招聘系统【附源码】（毕设）

    汤小洋 · 1457人在学

    Python Django 深度学习 小程序

    钟翔 · 2234人在学

    城管局门前三包管理系统+微信小程序（vue+springboot）

    赖国荣 · 496人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 3843人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中，请耐心等待几秒钟～