30天大数据Hadoop生态圈体系完整教程

30天大数据Hadoop生态圈体系完整教程
共327节 1065人在学 课程详情
  • Linux第1天

    • 01.vmware
    • 02.linux基础-常用命令-目录-权限1
    • 02.linux基础-常用命令-目录-权限2
    • 03.linux常用命令-修改主机名
    • 04.linux-mount-yum-本地安装软件包
    • 05.linux-修改静态ip-nano
    • 06.linux-修改命令行提示符
    • 07.linux-权限-chmod-chown
    • 08.linux-tar-gzip-gunzip
    • 09.安装jdk-配置环境变量-验证jdk1
    • 09.安装jdk-配置环境变量-验证jdk2
  • Linux第2天

    • 01.for99表格
    • 02.while99表格
    • 03.脚本参数控制
    • 04.aliyun仓库-nc
  • Zookeeper第1天

    • 01.zk介绍-本地模式搭建
    • 02.zk完全分布式集群搭建
    • 03.zkCli命令行操作
    • 04.zk节点类型
    • 05.zk API访问
  • Zookeeper第2天

    • 01.zk API-get-set-递归遍历-观察者
    • 02.zk观察者重复消费-inspector软件
    • 03.zk leader快速选举原理
  • Hadoop第1天

    • 01.hadoop介绍-虚拟机克隆1
    • 01.hadoop介绍-虚拟机克隆2
    • 02.hadoop本地模式搭建
    • 03.hadoop完全分布式集群搭建1
    • 03.hadoop完全分布式集群搭建2
    • 03.hadoop完全分布式集群搭建3
    • 04.编写xcall-xsync脚本
    • 05.重格系统标准过程
  • Hadoop第2天

    • 01.伪分布模式搭建
    • 02.克隆新机-作为2nn
    • 03.sed命令
    • 04.2nn拆分-临时目录修改
    • 05.防火墙开机关闭
    • 06.进程管理命令-hdfs操纵-文件切割1
    • 06.进程管理命令-hdfs操纵-文件切割2
    • 07.hdfs API访问
    • 08.多目录配置1
    • 08.多目录配置2
    • 09.块最小值设置-副本数
    • 10.编辑日志-安全模式-保存名字空间-滚动日志1
    • 10.编辑日志-安全模式-保存名字空间-滚动日志2
  • Hadoop第3天

    • 01.第3天回顾
    • 02.配额管理-目录配额-空间配额
    • 03.快照管理
    • 04.2NN检查NN做镜像融合原理
    • 05.回收站控制
    • 06.提取镜像文件fetchimage-元数据保存
    • 07.hahoop串行化
    • 08.hahoop自定义writable实现类
    • 09.hahoop 串行化-反串评测-map
    • 10.hahoop归档
    • 11.hadoop压缩
    • 12.win下winutils.exe找不到错误
    • 13.hadoop压缩-centos下的使用
    • 14.hadoop解压缩
    • 15.sequenceFile-写读-同步点
  • Hadoop第4天

    • 01.序列文件压缩方士
    • 02.mapfile文件-结构
    • 03.新节点上线
    • 04.旧节点退役
    • 05.机架感知1
    • 05.机架感知2
    • 06.mapreduce实现wordcount1
    • 06.mapreduce实现wordcount2
    • 07.集群上运行mr job
    • 08.2nn恢复nn节点数据
    • 09.mr基础-combiner过程1
    • 09.mr基础-combiner过程2
  • Hadoop第5天

    • 01.job提交流程Rose图分析1
    • 01.job提交流程Rose图分析2
    • 01.job提交流程Rose图分析3
    • 02.job提交流程Rose图分析2一
    • 02.job提交流程Rose图分析2二
    • 03.切片设置与考察切片过程
    • 04.输入格式考察
    • 05.线程池分析1
    • 05.线程池分析2
    • 05.线程池分析3
    • 05.线程池分析4
    • 05.线程池分析5
    • 06.分布式调试代码-nc考察集群运行job1
    • 06.分布式调试代码-nc考察集群运行job2
    • 06.分布式调试代码-nc考察集群运行job3
  • Hadoop第6天

    • 01.第6天回顾
    • 02.数据倾斜手段-重新设计key1
    • 02.数据倾斜手段-重新设计key2
    • 03.数据倾斜手段-随机分区
    • 04.排序-部分排序-全排序-自定义分区实现
    • 05.排序-部分排序-全排序-随机采样器1
    • 05.排序-部分排序-全排序-随机采样器2
    • 06.排序-二次排序1
    • 06.排序-二次排序2
    • 07.json解析-fastjson
  • Hadoop第7天

    • 01.taggen-1-商家内评论排序1
    • 01.taggen-1-商家内评论排序2
    • 01.taggen-1-商家内评论排序3
    • 01.taggen-1-商家内评论排序4
    • 02.taggen-商品评论全排序
    • 03.map端连接
    • 04.reduce端连接1
    • 04.reduce端连接2
    • 05.作业-组合应用
    • 06.输入格式-NLine1
    • 06.输入格式-NLine2
    • 07.输入格式-数据库DBInputFormat1
    • 07.输入格式-数据库DBInputFormat2
    • 07.输入格式-数据库DBInputFormat3
  • Hadoop第8天

    • 01.第8天回顾
    • 02.两次reduce端连接1
    • 02.两次reduce端连接2
    • 03.chain式mr编程
    • 04.输出格式-压缩-编解码器设置-分隔符设定
    • 05.输出格式
    • 06.输出格式-DBOutputFormat
    • 07.计数器
    • 08.集群模式下提交作业win7端
    • 09.idea下的远程调试
    • 10.集群模式下作业提交-client端行为1
    • 10.集群模式下作业提交-client端行为2
  • Hadoop第9天

    • 01.HA架构1
    • 01.HA架构2
    • 01.HA架构3
    • 02.HA部署配置
    • 03.HA部署实操1
    • 03.HA部署实操2
    • 04.编写脚本实现hadoop集群模式一键切换
  • Hadoop第10天

    • 01.使用zk实现自动容灾
    • 02.使用zk自动容灾-增加配置shell保护
    • 03.RM的HA-容灾过程
    • 04.HDFS联邦模式介绍-ssh准备
    • 05.HDFS联邦与HA模式零基础搭建1
    • 05.HDFS联邦与HA模式零基础搭建2
    • 05.HDFS联邦与HA模式零基础搭建3
    • 06.HA-自动容灾-clientAPI访问
  • Hive第1天

    • 01.hive介绍
    • 02.hive安装与初始化
    • 03.hive基本操作
    • 04.hive脚本分析-hiveserver2
    • 05.jdbc API编程访问hiveserver2
    • 06.hive数据类型-外部表内部
    • 07.hive-函数-explode函数
    • 08.hive-显式表头-修改hadoop静态用户名
    • 09.hive-复制表-CTAS
    • 10.hive-分区表
    • 11.hive-连接查询-sql执行过程分析1
    • 11.hive-连接查询-sql执行过程分析2
  • Hive第2天

    • 01.桶表
    • 02.map端连接-查询暗示-自动转换配置
    • 03.严格检查
    • 04.导出导入
    • 05.排序-sort-order1
    • 05.排序-sort-order2
    • 06.函数-时间函数-集合函数-复杂类型函数
    • 07.lateral view-虚列
    • 08.事务支持
    • 09.mysql精确查询时间设置
    • 10.高级聚合函数-groupingset
    • 11.分析函数-开窗函数-range-rows1
    • 11.分析函数-开窗函数-range-rows2
    • 11.分析函数-开窗函数-range-rows3
    • 11.分析函数-开窗函数-range-rows4
  • Hive第3天

    • 01.采样-随机-桶-block1
    • 01.采样-随机-桶-block2
    • 01.采样-随机-桶-block3
    • 02.explain sql解释1
    • 02.explain sql解释2
    • 03.索引和文件格式-rcfile-orc1
    • 03.索引和文件格式-rcfile-orc2
    • 04.map端合并1
    • 04.map端合并2
    • 04.map端合并3
  • Hive第4天

    • 01.google pb多对象读写-hive查询优化1
    • 01.google pb多对象读写-hive查询优化2
    • 01.google pb多对象读写-hive查询优化3
    • 02.sortby全排序-动态分区1
    • 02.sortby全排序-动态分区2
    • 03.自定义函数-add
  • Avropb

    • 01.avro使用-编译串行化-反串
    • 02.avro串行化-反串-和java性能评测
    • 03.google pb基础
    • 04.google pb性能评测
  • Hbase第1天

    • 01.hbase介绍-集群搭建
    • 02.hbase配置
    • 03.awk命令-xkill脚本实现
    • 04.重新初始化hbase
    • 05.重新初始化hbase2
    • 06.hbase shell使用
    • 07.hbase API使用
  • Hbase第2天

    • 01.hbase脚本-HA配置
    • 02.hbase架构-meta表-split1
    • 02.hbase架构-meta表-split2
    • 03.hbase区域管理
    • 04.hbase client写入过程剖析1
    • 04.hbase client写入过程剖析2
    • 05.hbase批量写入
    • 06.hbase架构分析1
    • 06.hbase架构分析2
    • 07.hbase查询优化1
    • 07.hbase查询优化2
    • 07.hbase查询优化3
    • 08.hbaseBatch-cache验证
    • 09.hivetaggen函数-注册使用
  • Hbase第3天

    • 01.回顾-hive标签生成实现1
    • 01.回顾-hive标签生成实现2
    • 02.hbase过滤器
    • 03.hbase复杂过滤查询-分页过滤器
    • 04.hbase的计数器操作
    • 05.hbase的计数器操作2
    • 06.hbase统计操作-deleteall
    • 07.hbase原生扫描-时间戳范围检索1
    • 07.hbase原生扫描-时间戳范围检索2
    • 08.hbaseTTL-MIN_VERSIONS
    • 09.hbase Keep_deleted
    • 10.hbaseregion-assign
    • 11.hbase协处理器1
    • 11.hbase协处理器2
    • 12.hbase并发put-sql分析
  • Hbase第4天

    • 01.编程添加协处理器
    • 02.rowkey设计原则-CallLogs项目分析1
    • 02.rowkey设计原则-CallLogs项目分析2
    • 03.calllogs实现1
    • 03.calllogs实现2
    • 04.callLogs-get-scan方法重写1
    • 04.callLogs-get-scan方法重写2
    • 05.callLogs模拟数据1
    • 05.callLogs模拟数据2
    • 06.动态添加协处理器-时间处理
  • Hbase第5天

    • 01.hbase重新初始化-回顾1
    • 01.hbase重新初始化-回顾2
    • 02.hbase范围查询通话记录实现1
    • 02.hbase范围查询通话记录实现2
    • 03.hbase作为input实现wordcount1
    • 03.hbase作为input实现wordcount2
    • 04.hbase在yarn上执行mr1
    • 04.hbase在yarn上执行mr2
    • 05.hbase在yarn执行在s101上执行配置
    • 06.hbase数据迁移-bulkload
    • 07.hive操纵hbase数据
  • Phoenix第1天

    • 01.Phoenix介绍-安装
    • 02.Phoenix-二级索引
    • 03.Phoenix-client jdbc访问
  • Phoenix第2天

    • 01.Phoenix-爬虫java实现1
    • 01.Phoenix-爬虫java实现2
    • 01.Phoenix-爬虫java实现3
    • 02.Phoenix-string正则表达式-关键字抽取1
    • 02.Phoenix-string正则表达式-关键字抽取2
    • 03.Phoenix-抽取kw-手动更新索引表1
    • 03.Phoenix-抽取kw-手动更新索引表2
    • 04.Phoenix-爬虫下载测试1
    • 04.Phoenix-爬虫下载测试2
  • Redis

    • 01.redis简介-windows安装
    • 02.redis Linux下编译安装
    • 03.常用命令-保护模式-client API访问
    • 04.redis hash类型
    • 05.redis list类型1
    • 05.redis list类型2
    • 06.set集合-sorted_set集合1
    • 06.set集合-sorted_set集合2
    • 07.redis sorted_set-string
    • 08.redis事务
    • 09.redis发布订阅
    • 10.redis中存放图片
    • 11.redis watch观测key对事务的干扰
    • 12.redis搭建集群
    • 13.redis集群client API
    • 14.redis集群修改命令-权限问题
  • Ganglia

    • 01.ganglia-安装-配置-使用1
    • 01.ganglia-安装-配置-使用2
    • 01.ganglia-安装-配置-使用3
  • Flume第1天

    • 01.flume-简介-安装
    • 02.使用nc源-内存通道-体验flume日志收集
    • 03.常用源-seq-stress-spooldir
    • 04.flume-常用源-exec-实时收集
    • 05.flume-常用sink-fileRoll
    • 06.flume-常用sink-hdfsSink
    • 07.常用sink-hiveSink(问题)1
    • 07.常用sink-hiveSink(问题)2
    • 08.flume-常用sink-hbasesink
    • 09.hbasesink-正则字段名称指定
    • 10.flume-常用通道-memory-file1
    • 10.flume-常用通道-memory-file2
    • 11.flume-自定义sink-验证file通道1
    • 11.flume-自定义sink-验证file通道2
  • Flume第2天

    • 01.flume-高级应用-hop跃点1
    • 01.flume-高级应用-hop跃点2
    • 02.flume拦截器-内置拦截器
    • 03.avroc-client配合使用
    • 04.selector-replicating
    • 05.flume-selector-multi
    • 06.sinkProcessor-failover
    • 07.flume-sinkProcessor-lb
    • 08.flume-自定义拦截器-限速拦截器
    • 09.自定义拦截器-限速拦截器-运行时动态修改-zk1
    • 09.自定义拦截器-限速拦截器-运行时动态修改-zk2
  • Sqoop

    • 01.sqoop-简介-安装
    • 02.sqoop-import
    • 03.sqoop-import增量导入
    • 04.sqoop-import hive导入
    • 05.sqoop-import hbase
    • 06.sqoop-import job(问题)
    • 07.job问题-hbase导入问题解决办法
  • Kafka第1天

    • 01.kafka-jms-介绍
    • 02.kafka安装
    • 03.kafka配置与启动
    • 04.kafka集群脚本编写
    • 05.kafka消息生产与消费-主题创建
    • 06.kafka主题-分区-副本对应关系
    • 07.编写生产者代码
    • 08.新型API生产者
    • 09.验证ack回执
    • 10.kafka消息生产这的分区选择算法1
    • 10.kafka消息生产这的分区选择算法2
    • 11.kafka 消费者客户端1
    • 11.kafka 消费者客户端2
    • 11.kafka 消费者客户端3
    • 12.kafka group.id与消费能力控制
    • 13.kafka新版消费空间控制-assign
  • Kafka第2天

    • 01.kafka容灾能力测试1
    • 01.kafka容灾能力测试2
    • 02.kafka集成flume-sink方式
    • 03.kafka集成flume-source方式
    • 04.kafka集成flume-channel方式
    • 05.kafka从指定位置开始消费
    • 06.kafka实现bc屏广

    订阅失败

    30天大数据Hadoop生态圈体系完整教程
    30天大数据Hadoop生态圈体系完整教程 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    03.hbase作为input实现wordcount1

    课程介绍

    本教程为版权作品,盗版必究


    精心规划,课程涵盖Hadoop大数据生态圈全方位剖析,做到知识无死角,挑战高薪大数据职位;

    循序渐进,由浅入深学习大数据技能,大数据处理技术方方面面一览无余,积跬步以至千里。
    企业案例,理论与实际相结合,技术与操作同进行,学以致用,止于至善。
    从内到外理解大数据各种技术,Linux、Zookeeper、Hadoop、Hive、Avropb、HBase+Phoenix、Redis、Ganglia、Flume、Sqoop、Kafka等全部技术源码级传授,从无到有掌握Hadoop生态圈技术。
    推荐课程

    信息系统项目管理师自考笔记

    李明 · 928人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22870人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4297人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 838人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 902人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5206人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1536人在学

    Python Django 深度学习 小程序

    钟翔 · 2416人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 685人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4087人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~