MapReduce高阶编程实例09_大数据全栈式运维开发-CSDN在线视频培训

Hadoop大数据分析平台
- chukwa安装配置01
- Chukwa安装配置02
- Hadoop1.2.1安装-01
- Hadoop1.2.1安装-02
- HBase安装-HBase shell常用命令
- HDFS和MapReduce应用开发
- Hive UDF和项目实战
- HiveQL使用
- Hive安装
- MapReduce应用开发和HBase安装
- Pig UDF编程和综合实战
- Pig安装及使用
- Pig实战和Zookeeper安装
- Zookeeper安装使用和Chukwa安装
Hadoop2.0
- Hadoop2.0安装01
- Hadoop2.0安装02
- Hadoop2.0安装03
- Spark Standalone部署
- SparkOnYarn实战
- Spark独立模式HA实现
- Spark服务配置及应用
- Spark监控加Scala编程实例
- Storm on YARN部署01
- Storm on YARN部署02
- Storm On YARN加Tez部署
- Tez部署测试
MapReduce&HBase高阶
- Hadoop Streaming实例01
- Hadoop_Streaming实例02
- hadoop1.0和2.0-eclipse插件编译
- Hadoop2 eclipse配置测试
- HBase API编程实例
- HBase MapReduce编程01
- HBase MapReduce编程02
- HBase Thrift PHP编程01
- HBase Thrift PHP编程02
- HBase Thrift部署
- HBase0.98.5-Hadoop2部署
- MapReduce2.0实例
- MapReduce高阶编程实例01
- MapReduce高阶编程实例02
- MapReduce高阶编程实例03
- MapReduce高阶编程实例04
- MapReduce高阶编程实例05
- MapReduce高阶编程实例06
- MapReduce高阶编程实例07
- MapReduce高阶编程实例08
- MapReduce高阶编程实例09
- MapReduce高阶编程实例10
- MapReduce高阶编程实例11
Sqoop&Flume
- Flume NG复杂实例1
- Flume NG复杂实例2
- Flume NG复杂实例3
- Flume NG实例1
- Flume NG实例2
- Flume NG综合实战
- Flume OG部署
- Flume OG配置案例-Flume NG部署
- Flume OG配置案例
- Sqoop import
- Sqoop1 Export-Job
- Sqoop1 Job-Sqoop2
- Sqoop1.4.5_ Hadoop2-Hive0.13安装
- Sqoop2使用
Mahout数据挖掘
- Mahout fkmeans-canopy聚类实例
- Mahout Kmeans聚类实例1
- Mahout Kmeans聚类实例2
- Mahout LDA聚类实例
- Mahout Spectral聚类实例
- Mahout 逻辑回归实例
- Mahout安装及测试
- Mahout朴素贝叶斯实例
- Mahout协同过滤推荐实例
- 文本挖掘项目01
- 文本挖掘项目02
- 文本挖掘项目03
- 文本挖掘项目04
- 文本挖掘项目05
Hadoop2.0节点操作
- 怎样添加节点
- 添加新的服务器节点
- 新节点操作系统配置
- 新节点Hadoop配置
- 调整新节点副本数
- 怎样删除节点
- 删除Hadoop2.0集群节点
- 测试监控删除节点后的集群
Hadoop2.0 HDFS HA部署
- HDFS HA的实现方式
- HDFS HA的实现步骤
- HA集群环境配置
- HA hdfs-site.xml参数配置
- HA其他参数配置
- JournalNode服务启动及初始化
- HDFS HA服务启动及手工切换
- 基于ZK自动切换模式的实现
- HDFS HA中ZooKeeper部署
- 配置HDFS HA自动切换模式
- HDFS HA自动故障切换测试
Hadoop2.0 HA+Federation部署
- HDFS Federation的实现方式及规划
- HDFS Federation的配置步骤
- 配置HDFS Federation
- HDFS Federation服务启动及测试
- HDFS HA加Federation实现及配置步骤
- HDFS HA加Federation的配置及服务启动
- HDFS HA加Federation集群故障模拟测试
Hadoop升级
- Hadoop内部升级的实现
- Hadoop1.0升级到2.0步骤
- HDFS升级配置操作
- 执行HDFS升级并测试验证
- MapReduce升级
YARN HA部署
- YARN HA的实现
- YARN HA的配置步骤及其相关参数
- Hadoop2.0 YARN HA配置操作
- YARN HA服务启动及测试
- YARN HA测试及错误处理
- 解决YARN HA启动错误的问题
- HDFS加YARN HA故障模拟测试
Hadoop安全管理
- Hadoop安全背景
- Hadoop1.0安全问题及处理机制
- Kerberos基本概念及授权认证过程
- Kerberos在Hadoop中的应用
- Hadoop1.0安全机制的具体实现
- RPC安全之身份认证机制
- RPC安全之服务访问控制机制
- HDFS安全策略
- Mapreduce安全策略
- Hadoop上层服务的安全策略
- Hadoop1.0安全机制的应用场景
- Hadoop2.0安全认证机制的实现
- Yarn中的各类令牌及其作用
- Hadoop2.0授权机制的实现
Hadoop安全管理实战
- 为什么选择CDH
- CDH的体系架构
- CDH的集群规划
- CDH操作系统配置步骤
- CDH集群主机名及网络配置
- 操作系统yum源配置
- CDH5的yum源配置
- 主机间信任关系的建立
- NTP时间同步服务配置
- JDK安装
- 安装和配置HDFS步骤
- YUM安装HDFS
- CDH集群环境变量配置
- CDH5 HDFS核心配置
- HDFS其他重要配置及服务启动
- 安装和配置YARN的步骤
- YARN的安装
- YARN的核心参数配置
- MapReduce相关参数配置
- 服务启动及验证
- CDH5集群测试
- web HDFS的使用
基于kerberos的安全管理
- Kerberos集群规划及配置步骤
- Kerberos安装配置
- Kerberos数据库创建及服务启动
- Kerberos的使用及测试
- Kerberos principal和keytab概念剖析
- HDFS上配置Kerberos步骤
- HDFS principal创建及生成keytab文件
- HDFS keytab文件部署
- HDFS安全参数配置
- Namenode服务的安全启动
- Datanode服务的安全启动
- HDFS安全使用测试
- YARN配置Kerberos步骤
- YARN principal创建及keytab文件生成部署
- YARN安全参数配置
- YARN服务安全启动及测试
- 自动化集群管理
Zookeeper&HIVE&HBASE&LDAP安全认证管理
- Zookeeper配置Kerberos步骤
- 通过Yum安装Zookeeper
- Zookeeper Server配置Kerberos
- Zookeeper Client配置kerberos
- HBase相关概念深度解析
- HBase配置Kerberos步骤
- 通过Yum安装HBase 01
- 通过Yum安装HBase 02
- 为HBase配置Kerberos
- HBase启动错误诊断及测试
- CDH Hive架构及配置Kerberos认证步骤
- 安装HIVE组件及配置PostgreSQL
- Hive的基础配置
- 为Hive配置Kerberos认证
- Hive shell及Beeline安全访问测试
- hive与hbase集成原理
- hive-hbase集成安装配置
- hive-hbase映射表创建
- LDAP基本概念
- LDAP模式设计
- LDAP集成Kerberos配置步骤
- LDAP安装和基础配置
- LDAP集成Kerberos及数据库创建
- 导入系统用户到LDAP
- OpenLDAP客户端配置和使用
Impala大数据分析引擎
- 什么是Impala
- Impala架构和进程
- Impala安装配置步骤
- Impala安装部署
- Impala配置及服务启动
- Impala配置Kerberos认证
- Impala启停故障处理及测试
- Impala的使用
- Impala-shell基本功能的使用
- Impala连接查询
- Impala聚合及子查询
- Impala分区表的使用
- Impala的优化
- Impala收集统计信息及生成查询计划
- HDFS缓存池在Impala中的使用
Oozie
- 什么是oozie
- Oozie安装和配置步骤
- Oozie安装和基本配置
- Oozie安全配置及服务启动
- Oozie启动问题处理
- Oozie Mapreduce作业测试
- Oozie常用命令及工作流程定义
- Oozie MR-hive-sqoop动作节点配置
- Oozie pig-ssh-java-sw-shell动作节点配置
- Oozie Coordinator作业
- Coordinator动作和应用定义
- Oozie Bundle应用定义
- 什么是Hue
- 安装配置Hue-HDFS-YARN
- Hue配置Hive Kerberos Imapala和Zookeeper
- Hue安装启动问题处理
- Hue页面初始化及查询问题解决
- Hue控制台的使用
Hadoop2.0授权及资源调度管理
- Hadoop授权管理基础知识
- 服务访问授权
- 服务级授权配置实例
- 队列访问控制列表
- 队列访问控制配置实例
- 公平调度器配置步骤
- 公平调度器配置实例
- 公平调度器验证
- 容量调度器配置
- 容量调度器配置
- 容量调度配置测试验证
- 基于标签的调度器
Hadoop压缩
- hadoop压缩概念及支持的格式
- hadoop常用几种压缩格式对比
- 压缩格式的选择
- Snappy压缩配置
- Snappy-Gzip压缩测试
- Hadoop LZO压缩安装配置步骤
- cdh5 lzo压缩安装
- lzo安装问题处理
- lzo压缩配置及测试
- hive配置使用lzo压缩
- Hive外部表使用lzo压缩文件
- Hive使用lzo压缩实例
- hbase压缩配置
- hbase压缩测试
Hadoop文件存储格式
- 大数据存储需求及方式
- Hadoop常用文件格式
- HDFS块内三种存储方式实例
- RCFile的设计和实现
- ORCFile文件结构
- Hive文件存储格式的选择
- Hive不同文件格式数据加载测试
- 多种文件格式查询存储效率测试
- RCFile性能测试
Cassandra
- 调优思路
- 应用程序优化
- Linux系统优化
- Hadoop实现机制调优
- 机架感知策略实现
- Hadoop参数调优综述及NameNode调优
- Datanode参数调优
- 集中化缓存管理
- 集中缓存架构和概念
- 缓存管理及缓存池命令
- 缓存操作实例
- 缓存参数配置
- YARN调优概述
- Slave和Container资源分配
- 配置资源分配和进程大小属性
- YARN内存监控
- Reducer调度调优
- Mapreduce其他关键参数调优

课时介绍

MapReduce高阶编程实例09

课程介绍

本次课程让学员全面系统地学习大数据平台运维，开发的操作。课程内容涉及到大数据生态系统的各项工具，内容全面，讲解细致，助您全面掌握大数据平台运维及开发工具的作用