基于Flink+Doris构建高性能高扩展的全端实时数据仓库教程
课时介绍
课程介绍
课程总体架构请观看89讲。
数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。
数据仓库的应用有:1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。2.数据化运营、精准运营。3.广告精准、智能投放等等。
数据仓库是伴随着企业信息化发展起来的,在企业信息化的过程中,随着信息化工具的升级和新工具的应用,数据量变的越来越大,数据格式越来越多,决策要求越来越苛刻,数据仓库技术也在不停的发展。
数据仓库有两个环节:数据仓库的构建与数据仓库的应用。
随着IT技术走向互联网、移动化,数据源变得越来越丰富,在原来业 务数据库的基础上出现了非结构化数据,比如网站log,IoT设备数据,APP埋点数据等,这些数据量比以往结构化的数据大了几个量级,对ETL过程、存储都提出了更高的要求。
互联网的在线特性也将业务需求推向了实时化 ,随时根据当前客户行为而调整策略变得越来越常见,比如大促过程中库存管理,运营管理等(即既有中远期策略型,也有短期操作型)。同时公司业务互联网化之后导致同时服务的客户剧增,有些情况人工难以完全处理,这就需要机器 自动决策 。比如欺诈检测和用户审核。总结来看,对数据仓库的需求可以抽象成两方面: 实时产生结果、处理和保存大量异构数据。
本课程基于真实热门的互联网电商业务场景为案例讲解,结合分层理论和实战对数仓设计进行详尽的讲解,基于Flink+DorisDB实现真正的实时数仓,数据来及分析,实时报表应用。具体数仓报表应用指标包括:实时大屏分析、流量分析、订单分析、商品分析、商家分析等,数据涵盖全端(PC、移动、小程序)应用,与互联网企业大数据技术同步,让大家能够学到大数据企业级实时数据仓库的实战经验。
本课程包含的技术:
开发工具为:IDEA、WebStorm
Flink 1.11.3
Hadoop 2.7.5
Hive 2.2.0
Zookeeper
Kafka 2.1.0、
Spring boot 2.0.8.RELEASE
Spring Cloud Finchley.SR2
Flume 、Hbase 2.2.6
DorisDB 0.13.9、Redis
VUE+jQuery+Ajax+NodeJS+ElementUI+Echarts+Datav
等
课程亮点:
1.与企业接轨、真实工业界产品
2.DorisDB高性能分布式数据库
3.大数据热门技术Flink最新版
4.真正的实时数仓以及分层设计
5.海量数据大屏实时报表
6.数据分析涵盖全端(PC、移动、小程序)应用
7.主流微服务后端系统
8.数据库实时同步解决方案
9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI+Echarts+Datav
10.集成SpringCloud实现统一整合方案
11.互联网大数据企业热门技术栈
12.支持海量数据的实时数仓报表分析
13.支持全端实时实时数仓报表分析
14.全程代码实操,提供全部代码和资料
15.提供答疑和提供企业技术方案咨询
企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。
版权归作者所有,盗版将进行法律维权。
信息系统项目管理师自考笔记
李明 · 513人在学
python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据
王先生 · 20610人在学
手把手搭建Java超市管理系统【附源码】(毕设)
汤小洋 · 4050人在学
Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教
黄菊华 · 732人在学
基于SSM酒店管理系统(毕设)
小尼老师 · 786人在学
java项目实战之购物商城(java毕业设计)
Long · 5073人在学
手把手搭建Java求职招聘系统【附源码】(毕设)
汤小洋 · 1459人在学
Python Django 深度学习 小程序
钟翔 · 2235人在学
城管局门前三包管理系统+微信小程序(vue+springboot)
赖国荣 · 497人在学
Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序
李杰 · 3843人在学