【完整】Flink大数据实时仓库项目实战

【完整】Flink大数据实时仓库项目实战
共146节 305人在学 课程详情
  • 课程介绍

    • 大数据实时数仓项目实战
  • 大数据仓库概述

    • 1.何为数据仓库
    • 2.数据仓库VS数据库
    • 3.数仓的由来
    • 4.何为大数据仓库
    • 5数仓的价值与作用
    • 6大数据仓库的应用场景
  • 数仓项目规划

    • 7项目可行性评估
    • 8业务范围确定
    • 9项目人员配备
  • 项目需求分析

    • 10智慧社区项目背景
    • 11智慧社区子系统介绍1
    • 12智慧社区子系统介绍2
    • 13智慧社区子系统介绍3
    • 14智慧社区子系统4
    • 15项目需求分析
  • 实时数仓架构设计

    • 16.数仓架构演进过程
    • 17.数据仓库分层结构
    • 18.离线数仓架构设计
    • 19.Lambda架构设计
    • 20.Kappa架构设计
    • 21.数仓架构选型
  • 实时数仓技术选型

    • 22.日志文件采集-技术选型
    • 23.数据库采集-技术选型
    • 24.维度表存储-技术选型
    • 25.事实表存储-技术选型
    • 26.多维聚合分析-技术选型
    • 27.实时数仓-技术架构
  • 搭建Hadoop大数据平台

    • 28.搭建Hadoop大数据平台
    • 29.搭建IDEA开发环境
    • 30.VMware WorkStations安装
    • 31.Linux系统介绍
    • 32.创建新的虚拟机
    • 33.安装Centos7操作系统
    • 34.Linux静态IP配置
    • 35.Linux系统配置
    • 36.JDK安装与配置
    • 37.3节点集群环境准备
    • 38.配置集群hosts文件
    • 39.配置集群时钟服务器
    • 40.配置集群ssh免密登录
    • 41.集群脚本开发
    • 42.搭建zookeeper分布式集群
    • 43.Hadoop集群规划
    • 44.HDFS集群配置
    • 45.启动HDFS集群服务
    • 46.HDFS集群测试运行
    • 47.YARN集群配置
    • 48.启动YARN集群服务
    • 49.YARN集群测试运行
    • 50.Hadoop集群故障转移测试
    • 51.安装MySQL元数据库
    • 52.Hive客户端安装部署
  • 准备智慧社区数据集

    • 53.创建智慧社区业务表
    • 54.开启MySQL数据库binlog日志
    • 55.导入维表数据
    • 56.导入实时表数据
  • 搭建数据采集与存储平台

    • 57.搭建FlinkOnYARN集群环境(1)
    • 58.搭建FlinkOnYARN集群环境(2)
    • 59.搭建FlinkCDC数据采集平台(1)
    • 60.搭建FlinkCDC数据采集平台(2)
    • 61.搭建Kafka分布式集群环境
  • 数仓建模理论

    • 62.数仓建模理论模块整体介绍
    • 63.数仓建模目标
    • 64.关系范式模式介绍
    • 65.数据库范式优缺点
    • 66.第一范式(1NF)
    • 67.第二范式(2NF)
    • 68.第三范式(3NF)
    • 69.ER实体模型
    • 70.维度建模-事实表
    • 71.维度建模-维度表
    • 72.星型模型与雪花模型介绍
    • 73.雪花模型与星型模型对比
    • 74.维度建模模型如何选择
    • 75.DataVault模型与Anchor模型
    • 76.主流建模方法对比
    • 77.数仓架构为什么分层?
    • 78.数据源与ETL
    • 79.ODS原始数据层
    • 80.DWD明细数据层
    • 81.维度建模过程
    • 82.DWS服务数据层
    • 83.DM与ADS的区别与联系
    • 84.数据集市与数据仓库的区别与联系
  • 数仓设计规范

    • 85.数仓设计规范模块整体介绍
    • 86.数据埋点规范
    • 87.数仓层次规范
    • 88.表命名规范
    • 89.字段命名规范
    • 90.脚本命名规范
    • 91.脚本开发规范
  • 搭建实时数仓ODS层

    • 92.实时数仓ODS核心概念介绍
    • 93.启动实时数仓相关集群服务
    • 94.FlinkCDC实时采集cars表至DIM层
    • 95.FlinkCDC实时采集community表至DIM层
    • 96.FlinkCDC实时采集date表至DIM层
    • 97.FlinkCDC实时采集district表至DIM层
    • 98.FlinkCDC实时采集house表至DIM层
    • 99.FlinkCDC实时采集owner表至DIM层
    • 100.FlinkCDC实时采集room表至DIM层
    • 101.FlinkSQL与Kafka集成环境准备
    • 102.FlinkCDC实时采集cars_log表至ODS层
    • 103.FlinkCDC实时采集entrance_guard_log表至ODS层
  • 搭建实时数仓DWD层

    • 104.实时数仓DWD层维表关联实现方式
    • 105.搭建实时数仓DWD层-车辆进出事实表(1)
    • 106.搭建实时数仓DWD层-车辆进出事实表(2)
    • 107.搭建实时数仓DWD层-车辆进出事实表(3)
    • 108.搭建实时数仓DWD层-门禁事实表(1)
    • 109.搭建实时数仓DWD层-门禁事实表(2)
    • 110.搭建实时数仓DWD层-门禁事实表(3)
  • 搭建实时数仓工具Clickhouse

    • 111.搭建Clickhouse运行环境
    • 112.配置客户端远程访问Clickhouse
  • 搭建实时数仓DWS层

    • 113.Java客户端远程连接Clickhouse
    • 114.搭建实时数仓DWS层-每日车辆出行行为(1)
    • 115.搭建实时数仓DWS层-每日车辆出行行为(2)
    • 116.搭建实时数仓DWS层-每日车辆出行行为(3)
    • 117.搭建实时数仓DWS层-每日车辆出行行为(4)
    • 118.搭建实时数仓DWS层-每日车辆出行行为(5)
    • 119.搭建实时数仓DWS层-每日车辆出行行为(6)
    • 120.搭建实时数仓DWS层-每日用户进程行为(1)
    • 121.搭建实时数仓DWS层-每日用户进程行为(2)
    • 122.搭建实时数仓DWS层-每日用户进程行为(3)
    • 123.搭建实时数仓DWS层-每日用户进程行为(4)
    • 124.搭建实时数仓DWS层-每日用户进程行为(5)
    • 125.FlinkSQL流表与维表关联产生的问题
    • 126.FlinkWindowJoin双流Join及应用场景
    • 127.FlinkIntervalJoin双流Join及应用场景
    • 128.FlinkRegularJoin双流Join及应用场景
  • 搭建实时数仓ADS层

    • 129.搭建数仓ADS层-车辆出行数据统计
    • 130.搭建数仓ADS层-小区出现数据统计
  • 实时数仓大屏制作

    • 131.制作实时数仓数据大屏
    • 132.Davinci架构
    • 133.Davinci安装配置
    • 134.Davinci初始化数据库
    • 135.Davinci初始化配置
    • 136.Davinci注册登录
    • 137.Davinci创建项目并添加数据源
    • 138.Davinci创建视图1
    • 139.Davinci创建视图2
    • 140.Davinci创建视图3
    • 141.Davinci创建可视化组件1
    • 142.Davinci创建可视化组件2
    • 143.Davinci数仓大屏制作1
    • 144.Davinci数仓大屏制作2
    • 145.Davinci数仓大屏制作3

    订阅失败

    【完整】Flink大数据实时仓库项目实战
    【完整】Flink大数据实时仓库项目实战 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    36.JDK安装与配置36.JDK安装与配置36.JDK安装与配置

    课程介绍

    课程介绍
    本课程为大数据实时数仓项目实战课程,以大数据实时数仓项目为主线,理论和实战相结合,全方位、全流程、无死角讲解数仓项目的数仓基础、项目规划、需求分析、架构设计与技术选型、大数据平台构建、项目业务介绍、数据采集、数仓建模理论、数仓设计规范、数仓搭建、实时分析以及数据大屏制作。学完本课程,零基础的学员能入行大数据仓库工程师,有开发基础的学员也能快速积累项目实战经验。


    课程特色
    1.课程以实时数仓项目为主线,理论与项目实战交替讲解,层层递进。
    2.课程从数仓基础、项目规划、需求分析、架构设计与技术选型、大数据平台构建、项目业务介绍、数据采集、数仓建模理论、数仓设计规范、数仓搭建、实时分析以及大屏制作等项目完整流程讲解,不会跳讲和断讲。
    3.课程中无论案例代码开发还是项目业务代码开发,每一行代码都会边实现讲解。
    4.课程中目前使用Flink1.14.3最新稳定版本。

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 861人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22632人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4280人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 824人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 889人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5193人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1524人在学

    Python Django 深度学习 小程序

    钟翔 · 2386人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 662人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4063人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~