Hadoop大数据Hive on MR/TEZ与hadoop的整合应用
本课程主要介绍hive的架构与应用，首先介绍了hive的实现结构，然后介绍了Hive Metastore三种模式，接着重点介绍hive的安装与配置，以及hive sql的基本操作，后面又介绍了hive beeline、hive on tez的使用，并测试了hive on MR和TEZ的性能优缺。本课程以apache hadoop发行版本为例，介绍如何实现hadoop与hive的整合，hadoop环境采用手动安装的hadoop3.2.1环境，hive版本同样采用apache hive3.1.2发行版本。以3台主机为例作为hive安装环境，采用Centos7.7操作系统。课程大纲如下： 1、hive的架构与应用场景2、Hive Metastore三种运行模式3、hive安装以及与hadoop整合4、hive的安装与配置5、启动metastore与hiveserver2服务 6、hive常用SQL操作7、beeline的使用8、tez的编译以及tez与hive整合步骤9、测试tez功能以及与MR性能比较
共12节 266人已学习¥99.0 免费试学
Hadoophadoop自动化运维工具Ambari应用实践
Apache Ambari是一种基于Web的运维工具，支持Apache Hadoop集群的自动化部署、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。 Ambari使用Ganglia收集度量指标，用Nagios支持系统报警，当需要引起管理员的关注时（比如，节点停机或磁盘剩余空间不足等问题），系统将向其发送邮件。 本课程主要讲解Ambari工具的使用，主要涉及Ambari的安装部署、在Ambari下自动化部署一套hadoop3.x集群、在Ambari下扩容hadoop集群节点、在Ambari下添加Hive、hbase、spark等服务，以及如何实现hadoop集群中服务的自动化管理，还介绍了Ambari下如何进行故障告警和故障通知功能。 本课程采用Centos7.x版本，Ambari版本为Ambari2.7.x，hadoop版本为HDP3.1(hadoop3.x)。 1、Ambari的工作原理与架构2、安装与部署Ambari3、通过Ambari部署一个Hadoop3.x集群4、通过Ambari扩容hadoop集群节点5、通过Ambari在hadoop集群中新增hive/hbase/tez服务组件6、通过Ambari在hadoop中新增spark计算引擎7、通过Ambari管理hadoop集群中的各种组件和服务8、通过Ambari修改hadoop集群各个组件配置参数9、在Ambari平台配置监控告警、并设置通知策略
共13节 566人已学习¥199.0 免费试学
- 1
高俊峰
高校教师 / 培训机构讲师
高老师，Linux技术讲师，知名IT作家，10年一线工作经验和5年授课经验，曾就职于新浪、阿里云等公司，拥有10余年的企业一线实战经验，曾出版《循序渐进Linux》、《高性能Linux服务器构建实战》等Linux技术畅销书籍。
课程数 2 学生数 832