你将收获

结合业务实现数据湖平台,让大家在实践中理解和掌握数据湖技术。

项目中将以热门的互联网电商业务场景为案例讲解

适用人群

适合有一定基础的大数据学员。

课程介绍

随着互联网的发展,数据的不断膨胀,从刚开始的关系型数据库到非关系型数据库,再到大数据技术,技术的不断演进最终是随着数据膨胀而不断改变,最初的数据仓库能解决我们的问题,但是随着时代发展,企业已经不满足于数据仓库,希望有更强大的技术来支撑数据的存储,包括结构化,非结构化的数据等,希望能够积累企业的数据,从中挖掘出更大的价值。基于这个背景,数据湖的技术应运而生。

本课程基于真实的企业数据湖案例进行讲解,结合业务实现数据湖平台,让大家在实践中理解和掌握数据湖技术,未来数据湖的需求也会不断加大,希望同学们抓住这个机遇。项目中将以热门的互联网电商业务场景为案例讲解,具体分析指标包含:流量分析,订单分析,用户行为分析,营销分析,广告分析等,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。

Apache Hudi代表Hadoop Upserts anD Incrementals,管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。
Hudi的出现解决了现有hadoop体系的几个问题:1、HDFS的可伸缩性限制 2、需要在Hadoop中更快地呈现数据 3、没有直接支持对现有数据的更新和删除 4、快速的ETL和建模 5、要检索所有更新的记录,无论这些更新是添加到最近日期分区的新记录还是对旧数据的更新,Hudi都允许用户使用最后一个检查点时间戳,此过程不用执行扫描整个源表的查询。

 

本课程包含的技术:
开发工具为:IDEA、WebStorm
Flink1.9.0、Hudi
ClickHouse
Hadoop2.7.5
Hbase2.2.6
Kafka2.1.0
Hive2.2.0
HDFS、MapReduce
Spark、Zookeeper
Binlog、Canal、MySQL
SpringBoot2.0.2.RELEASE
SpringCloud Finchley.RELEASE
Vue.js、Nodejs、Highcharts
Linux Shell编程

课程亮点:
1.与企业接轨、真实工业界产品
2.ClickHouse高性能列式存储数据库
3.大数据热门技术Flink
4.Flink join 实战
5.Hudi数据湖技术
6.集成指标明细查询
7.主流微服务后端系统
8.数据库实时同步解决方案
9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS
10.集成SpringCloud实现统一整合方案
11.互联网大数据企业热门技术栈
12.支持海量数据的实时分析
13.支持全端实时数据分析
14.全程代码实操,提供全部代码和资料
15.提供答疑和提供企业技术方案咨询

企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  

版权归作者所有,盗版将进行法律维权。 

 

课程目录