Hive体系结构及原理_Spark开发工程师（含项目）-CSDN在线视频培训

项目需求与分析
- 课程介绍
- 金融信贷项目-介绍
- 金融信贷项目-需求分析
- 金融信贷项目-系统架构设计
- 金融信贷项目-数据流程设计
- 金融信贷项目-大数据平台集群规划
集群节点准备
- VMware虚拟机软件安装配置
- Linux操作系统介绍
- Linux操作系统安装1
- VMware三种网络类型详解
- Linux操作系统安装2
- Linux系统网络配置
- Linux虚拟机克隆
- Linux静态IP技术
- x-shell远程连接工具使用
- Linux用户和用户组创建
- Linux主机名配置
- Linux防火墙配置
- openssh-clients服务安装
- Linux主机名与IP地址映射配置
- SSH免密码登录
- FileZilla工具使用
- 节点2所有配置
- 节点3所有配置
Eclipse环境搭建
- 本地JDK安装配置
- Eclipse下载安装
- 本地maven安装配置
- Eclipse配置maven
- Eclipse构建maven项目
Zookeeper分布式协调系统
- Zookeeper概述
- Zookeeper架构原理
- Zookeeper读写流程
- Zookeeper服务
- Zookeeper安装模式及不同厂商版本选择
- Zookeeper集群规划
- 搭建时钟同步服务器
- 集群节点IP地址映射与防火墙配置
- 集群节点SSH免密码登录
- 集群脚本配置文件开发
- 集群分发shell脚本开发
- 集群远程执行shell脚本开发
- 集群JDK安装配置
- Zookeeper集群安装部署
- Zookeeper四字命令详解
- Zookeeper shell实操
- Zookeeper 连接Watcher开发
- Zookeeper Java API创建znode
- Zookeeper Java API判断znode是否存在
- Zookeeper Java API获取znode数据
- Zookeeper Java API更新znode节点数据
- Zookeeper Java API获取znode子节点
- Zookeeper Java API删除znode节点
- Zookeeper集群配置管理项目案例
HDFS分布式文件系统
- hdfs特点
- hdfs体系架构
- hdfs读数据流程
- hdfs写数据流程
- NameNode HA工作原理
- ZKFC工作原理
- QJM工作原理与防止脑裂
- NameNode主备切换完成流程详解
YARN资源管理系统
- YARN概述
- YARN与MapReduce之间的关系
- YARN基本架构
- MapReduce ON YARN
- YARN HA高可用
Hadoop分布式集群搭建
- HDFS分布式文件系统安装配置
- HDFS服务启动与测试
- HDFS文件系统测试运行
- YARN集群安装配置
- YARN服务启动与测试
- YARN测试运行
- HDFS HA和YARN HA 故障转移实战演示
- Hadoop默认配置详解
MapReduce离线计算框架
- MapReduce概述
- MapReduce基本设计思想
- MapReduce编程模型
- MapReduce案例分析
Eclipse与MapReduce集成开发
- Eclipse开发MapReduce程序1
- Eclipse开发MapReduce程序2
- Eclipse本地调试运行MapReduce1
- Eclipse本地调试运行MapReduce2
- Eclipse项目打包的两种方式
- MapReduce提交YARN集群运行
- maven管理多个MapReduce程序1
- maven管理多个MapReduce程序2
- MapReduce调试、打包及部署运行
Eclipse与HDFS集成开发
- 获取HDFS文件系统
- Java API创建HDFS目录
- Java API文件上传HDFS
- Java API实现HDFS文件下载
- Java API查看HDFS文件目录
- Java API删除HDFS文件目录
HBase分布式实时数据库
- HBase概述
- HBase数据模型
- HBase物理模型
- HBase系统架构
- HBase淘宝案例
- HBase移动案例
- HBase集群规划
- HBase安装配置
- HBase服务启动测试
- shell对HBase表进行测试
- hbase Java客户端基本操作
Hive大数据仓库
- Hive体系结构及原理
- HiveMetaStore安装方式与Hive部署方式
- MySQL元数据库安装
- Hive安装配置
- Hive服务启动与测试
- HiveServer1与HiveServer2区别与联系
- JDBC访问HiveServer2
- beeline访问HiveServer2
- Hive与HBase集成开发
- Hive概述
Sqoop数据导入导出
- Sqoop安装部署
- Sqoop将MySQL数据导入HDFS
- Sqoop将HDFS数据导入MySQL
- 利用Sqoop实现Hive与MySQL数据导入导出
- 利用Sqoop实现HBase与MySQL数据导入导出
- MySQL数据库乱码以及访问权限问题解决
- Sqoop数据导入导出原理
Flume数据采集系统
- Flume系统架构
- Flume安装部署
- Flume集群构建
- Flume官网文档使用详解
- flume概述
Kafka消息系统
- Kafka系统架构
- Kafka拓扑结构
- Kafka集群配置
- Kafka集群服务启动与测试
- Kafka 新api数据发送与消费
- Kafka旧api数据发送与消费
- Kafka集群监控
- Kafka与flume集成开发
- Kafka概述
Spark 快速入门
- Spark最简安装
- Eclipse开发并测试Java版本的Spark Wordcount
- Spark Submit提交运行Java版本的Wordcount
- Eclipse安装Scala插件
- Eclipse构建Scala maven项目
- Eclipse开发Scala版本的Spark Wordcount
- Scala Wordcount本地和线上分别测试运行
- Spark概述
Spark 编程模型
- RDD窄依赖与宽依赖
- 创建RDD
- RDD转换操作与行动操作
- PairRDD转换操作与行动操作
- RDD本质
Spark集群安装部署
- Spark集群配置
- spark集群服务启动测试
- Spark Standalone工作流程
- 提交作业到Spark Standalone集群运行
- Spark ON YARN 工作原理
- Spark ON YARN集群搭建
- scala安装配置
Spark Streaming实时计算
- Spark Streaming运行原理
- Spark Streaming 编程套路
- 窗口函数普通规约与增量规约
- DStream输出及持久化操作
- Spark Streaming概述
Spark SQL离线计算
- DataFrame、DataSet与RDD之间的区别与联系
- RDD转DataFrame
- RDD转DataSet
- DataSet转DataFrame
- DataSet转RDD
- DataFrame转RDD
- SparkSQL与Hive集成开发
- Spark SQL与mysql集成开发
- Spark SQL与HBase集成开发
- Spark SQL架构原理
Spark Structured Streaming实时计算
- Spark Structured Streaming编程模型
- Spark Structured Streaming数据源
- Spark Streaming Streaming案例
金融信贷项目离线分析
- 数据格式说明
- 业务数据导入Hive平台
- 信用卡持卡用户特征分析
- 信用卡用户消费行为分析
- 用户信用卡管理行为分析
- 开发Hive Shell脚本
- MySQL业务数据建模
- 业务汇总数据入库
- 启动集群相关服务
Spark Streaming金融信贷项目实时分析
- 应用服务器模拟程序开发
- Flume集群实时采集APP日志
- 应用服务器模拟+flume+kafka集成开发
- 业务建模
- spark Streaming业务代码实现
- Spark Streaming与MySQL集成开发（1）
- Spark Streaming与MySQL集成开发（2）
- 应用服务器程序+flume+kafka+SparkStreaming+MySQL集成开发
- 需求分析与数据流程
Spark SQL金融信贷项目实时分析
- Spark SQL业务代码实现
- Spark SQL与MySQL集成开发
- 业务建模
Structured Streaming金融信贷项目实时分析
- Spark Streaming Streaming页面代码实现
- 自定义JDBCSink
- Structured Streaming与MySQL集成开发
- 应用服务器+Flume+Kafka+Structured Streaming+MySQL集成开发
- 项目业务完善与优化
- 业务建模
金融信贷项目可视化
- Eclipse与tomcat集成
- Eclipse构建Web项目
- 后台业务代码实现
- 前端业务代码实现
- 项目离线数据可视化
- 项目实时数据可视化
- 项目总结

课时介绍

Hive体系结构及原理

课程介绍

本课程为大数据金融信贷项目实战课，着重讲解企业中常用的大数据技术理论与实战，如Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark Streaming、Spark SQL、Spark Structured Streaming等。课程包含离线项目和实时项目，从项目业务需求、技术选型、架构设计、集群安装部署、集成开发以及项目可视化进行全方位实战讲解。