导航
课程首页
  • PM-Summit 全球产品经理大会云会员
  • SDCon 全球软件研发技术大会云会员
  • ML-Summit 全球机器学习技术大会云会员
  • C++性能优化高端培训
  • AI全栈开发实战营
精品课 极客时间

C 知道

登录
会员中心
消息
历史
创作中心
创作
学习中心
成为讲师

Hadoop大数据开发零基础实战

Hadoop大数据开发零基础实战
共156节 831人在学 课程详情
课程目录
讨论留言
  • Hadoop离线计算与存储

    • Hadoop生态系统总体架构
    • VMWare新建虚拟机
    • CentOS7操作系统安装
    • Hadoop简介及核心组成
    • HDFS体系架构与数据存储原理
    • Hadoop集群环境配置_关闭防火墙
    • Hadoop集群环境配置_设置固定IP
    • Hadoop集群环境配置_修改主机名
    • Hadoop集群环境配置_安装JDK
    • Hadoop集群环境配置_克隆虚拟机
    • Hadoop集群环境配置_修改克隆后主机的主机名和IP
    • Hadoop集群环境配置_配置主机名IP映射
    • Hadoop集群环境配置_配置SSH无密钥登录
    • Hadoop集群搭建(上)
    • Hadoop集群搭建(下)
    • HDFS主要组件
    • HDFS常用Shell命令操作
    • HDFS与本地Linux系统的关系
    • HDFS JavaAPI文件操作
    • MapReduce设计思想(上)
    • MapReduce设计思想(下)
    • 案例实操:单词计数原理(上)
    • 案例实操:单词计数原理(下)
    • 案例实操:单词计数Java程序分析(上)
    • 案例实操:单词计数Java程序分析(中)
    • 案例实操:单词计数Java程序分析(下)
    • 案例实操:单词计数程序打包导出
    • 案例实操:单词计数程序提交到集群运行
    • Eclipse集成Maven,创建Hadoop Maven项目并打包
    • 案例实操:计算平均成绩_流程源码分析
    • 案例实操:计算平均成绩_应用程序提交
    • 案例实操:计算平均成绩_数据规范问题
    • YARN工作原理及流程
    • MapReduce在YARN上的工作流程
    • MapReduce切片机制原理(上)
    • MapReduce切片机制原理(中)
    • MapReduce切片机制原理(下)
    • MapReduce数据处理流程分析
  • ZooKeeper分布式协调系统

    • ZooKeeper架构及数据模型
    • ZooKeeper节点类型与分布式锁
    • ZooKeeper集群搭建(上)
    • ZooKeeper集群搭建(下)
    • ZooKeeper命令行操作
    • ZooKeeper JavaAPI操作_创建节点
    • ZooKeeper JavaAPI操作_修改节点数据及源码分析
    • ZooKeeper JavaAPI操作_查看节点数据及源码分析
    • ZooKeeper JavaAPI操作_设置观察者Watcher
    • ZooKeeper JavaAPI操作_Watcher持续监听
    • 案例实操:监听服务器动态上下线_实现思路
    • 案例实操:监听服务器动态上下线_实现代码(上)
    • 案例实操:监听服务器动态上下线_实现代码(下)
  • HBase分布式数据库

    • HBase基本概念
    • HBase数据结构
    • HBase数据模型
    • HBase集群架构(上)
    • HBase集群架构(下)
    • HBase集群搭建(上)
    • HBase集群搭建(下)
    • HBase在HDFS、ZooKeeper中的初始化数据
    • HBase命令行表数据操作
    • HBase JavaAPI操作_创建表
  • Hive数据仓库工具

    • Hive基本概念及数据单元
    • Hive运行架构与原理
    • Hive三种运行模式
    • Hive内嵌模式安装与启动
    • Hive本地模式安装与启动
    • Hive本地模式多用户访问验证
    • Hive远程模式安装与启动
    • Hive远程模式访问验证
    • Hive内部表(管理表)_创建并插入数据
    • Hive内部表(管理表)_导入数据
    • ive外部表_创建并导入数据
    • Hive内部表(管理表)与外部表的区别
    • Hive表分区概念
    • Hive表分桶概念
    • Hive表分区操作
    • Hive表分区列不能作为分桶列
    • Hive自定义函数UDF_实现隐藏手机号中间四位
    • Hive JDBC查询数据
    • 案例实操:搜狗用户搜索词分析_需求分析及数据导入
    • 案例实操:搜狗用户搜索词分析_用户访问数量统计
    • 案例实操:搜狗用户搜索词分析_链接排名与用户点击的相关性
    • 案例实操:搜狗用户搜索词分析_上网时间段与访问量分析
    • 案例实操:搜狗用户搜索词分析_域名与访问量分析
  • Kafka分布式消息系统

    • Kafka概念简介
    • Kafka架构原理_消费者组
    • Kafka集群搭建(上)
    • Kafka集群搭建(下)
    • Nodepad++NppFTP工具远程连接Linux
    • Kafka命令行操作_生产者与消费者
    • Kafka JavaAPI操作_生产者
    • Kafka JavaAPI操作_消费者
    • Kafka JavaAPI操作_消费者按顺序消费
    • Hive与Impala架构对比
  • Flume分布式日志采集系统

    • Flume概念架构
    • Flume主要组件
    • Flume安装
    • Flume启动与测试
    • 案例实操:Flume日志监控(一)_数据输出到控制台
    • 案例分析:Flume日志监控(二)_数据写入HDFS
    • 案例实操:Flume整合kafka_实现日志监控
  • Scala函数式编程语言

    • Scala语言介绍
    • IDEA创建Scala项目
    • Scala数据类型、流程控制
    • Scala for循环
    • Scala函数
    • Scala map函数
    • Scala flatMap函数
    • Scala高阶函数
    • Scala构造器
    • Scala map函数补充
  • Spark内存计算系统

    • Spark简介及运行架构(上)
    • Spark简介及运行架构(下)
    • Spark Standalone集群搭建
    • Spark应用程序提交到集群(上)
    • Spark应用程序提交到集群(下)
    • Spark Shell使用
    • 案例实操:Spark Shell单词计数演示
    • Spark RDD概念架构
    • Spark RDD创建方式
    • Spark RDD map算子
    • Spark RDD filter算子
    • Spark RDD flatMap算子
    • Spark RDD reduceByKey算子
    • Spark RDD groupByKey算子
    • Spark RDD union算子
    • Spark RDD sortBy算子
    • Spark RDD join算子
    • Spark RDD 行动算子介绍
    • Spark RDD常用行动算子及用法
    • Spark RDD分区
    • Spark RDD依赖关系
    • Spark RDD Stage划分
    • Spark RDD数据持久化
    • Spark RDD检查点
    • IDEA创建Maven管理的Spark项目
    • 案例实操:Spark RDD单词计数_流程分析
    • 案例分析:Spark RDD单词计数_代码编写
    • 案例实操:Spark RDD单词计数_程序提交
    • 案例实操:Spark RDD单词计数_查看DAG图
    • 案例实操:Spark RDD分组求TopN_流程分析
    • 案例实操:Spark RDD分组求TopN_代码编写
    • 案例实操:Spark RDD分组求TopN_程序运行
    • 案例实操:Spark RDD统计每日新增用户_流程分析
    • 案例实操:Spark RDD统计每日新增用户_代码编写
    • 案例实操:Spark RDD统计每日新增用户_结果排序
    • Spark SQL概念架构
    • Spark SQL DataFrame与DataSet
    • 案例实操:Spark SQL编写单词计数程序
    • Spark Streaming概念原理
    • Spark Streaming DStream基本操作
    • Spark Streaming DStream窗口操作
    • 案例实操:Spark Streaming整合Kafka实现单词计数(上)
    • 案例实操:Spark Streaming整合Kafka实现单词计数(下)
播放页问题反馈
视频学习中有任何产品建议都可由此反
馈,我们将及时处理!

课时介绍

Kafka JavaAPI操作_生产者

课程介绍

2022最新课程,本课程适合在校大学生、大数据从业人员以及期望通过学习大数据跻身IT行业的人员,学习本课程需要具备一定的Java语言编程基础。

课程特色:以Hadoop生态和Spark生态系统为基础,围绕Hadoop对Zookeeper、Flume、Kafka等众多组件框架进行了深入讲解,从安装到底层原理,由浅入深,每个框架均配置有多个实战需求,最后通过案例实战,带领学员对大数据的实际应用有更深层次的理解和思考。
Spark生态课程从大数据重要的语言基础Scala讲起,并对重要框架Spark进行了深入讲解,内容包括Spark框架的基本使用以及案例分析。采用最新的架构体系,对案例中可能涉及的普遍需求和疑难需求进行了详细讲解,能广泛适配大部分企业的大数据处理系统。

掌握能力:掌握Hadoop研发能力、掌握离线数据存储和分析、掌握离线和实时数据的处理能力、Spark处理数据能力、高性能计算任务编写能力。
胜任职位:Hadoop研发工程师、ETL工程师、数据仓库工程师、离线分析工程师、Spark实时处理工程师。
推荐课程

信息系统项目管理师自考笔记

李明 · 730人在学

python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

王先生 · 22118人在学

手把手搭建Java超市管理系统【附源码】(毕设)

汤小洋 · 4210人在学

Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

黄菊华 · 788人在学

基于SSM酒店管理系统(毕设)

小尼老师 · 842人在学

java项目实战之购物商城(java毕业设计)

Long · 5155人在学

手把手搭建Java求职招聘系统【附源码】(毕设)

汤小洋 · 1506人在学

Python Django 深度学习 小程序

钟翔 · 2323人在学

城管局门前三包管理系统+微信小程序(vue+springboot)

赖国荣 · 599人在学

Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

李杰 · 3987人在学

正在试验
后自动删除环境
课程实验
本次实验时间已到期 00:00:00

    订阅失败

    Hadoop大数据开发零基础实战
    Hadoop大数据开发零基础实战 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    课件正在飞速打包中,请耐心等待几秒钟~
    首页
    博客
    下载
    学习
    社区
    C知道
    GitCode
    InsCodeAI
    技术会议
    会员中心
    创作中心
    联系我们
    工作时间: 8:30 - 22:00
    客服电话: 400-660-0108
    kefu@csdn.net在线客服
    • 关于我们
    • 招贤纳士
    • 商务合作
    • 寻求报道
    • 京ICP备19004658号
    • 经营性网站备案信息
    • 公安备案号11010502030143
    • 营业执照
    • 北京互联网违法和不良信息举报中心
    • 家长监护
    • 中国互联网举报中心
    • 网络110报警服务
    • Chrome商店下载
    • 账号管理规范
    • 版权与免责声明
    • 版权申诉
    • 出版物许可证
    • ©1999-2024北京创新乐知网络技术有限公司