16.2数据同步策略_【项目课】大数据智慧社区离线数仓项目-CSDN在线视频培训

课程目录

讨论留言

课程整体介绍
- 数仓项目课程介绍
大数据仓库概述
- 1.1何为数据仓库
- 1.2数据仓库VS数据库
- 1.3数仓的由来
- 1.4何为大数据仓库
- 1.5.数仓的价值与作用
- 1.6大数据仓库的应用场景
数仓项目规划
- 2.1项目可行性评估
- 2.2业务范围确定
- 2.3项目人员配备
项目需求分析
- 3.1智慧社区项目背景
- 3.2智慧社区子系统介绍1
- 3.3智慧社区子系统介绍2
- 3.4智慧社区子系统介绍3
- 3.5智慧社区子系统4
- 3.6项目需求分析
架构设计与技术选型
- 4.1数仓总体架构
- 4.2技术选型
- 4.3技术架构
- 4.4数据流程设计
- 4.5技术版本选择与集群规划
大数据集群节点准备
- 5.1大数据集群节点准备
- 5.2VMware WorkStations安装
- 5.3Linux系统介绍
- 5.4创建新的虚拟机
- 5.5安装Centos7操作系统
- 5.6Linux静态IP配置
- 5.7Linux系统配置
- 5.8JDK安装与配置
- 5.9Hadoop伪分布集群配置
- 5.10Hadoop伪分布集群启动与测试
HDFS分布式文件系统
- 6.1HDFS分布式文件系统
- 6.2HDFS设计思想与系统架构
- 6.3HDFS读写流程与副本策略
- 6.4HDFS HA架构及原理
- 6.5HDFS联邦机制
- 6.6HDFS shell基本操作
- 6.7HDFS shell管理员操作
YARN资源管理系统
- 7.1YARN资源管理系统
- 7.2YARN架构设计与工作原理
- 7.3MapReduce ON YARN详细工作流程
- 7.4YARN的容错性
- 7.5YARN的高可用原理
- 7.6YARN调度器使用原理
MapReduce离线计算框架
- 8.1MapReduce离线计算框架
- 8.2初识MapReduce
- 8.3MapReduce的编程模型
- 8.4开发第一个MapReduce程序
- 8.5测试与调试MapReduce程序
- 8.6剖析MapReduce作业运行机制
- 8.7作业失败与容错
- 8.8MapReduce shuffle过程详解
Zookeeper分布式协调服务
- 9.1Zookeeper分布式协调服务
- 9.2Zookeeper基本架构与工作原理
- 9.3三节点集群环境准备
- 9.4配置集群hosts文件
- 9.5配置集群时钟服务器
- 9.6配置集群ssh免密登录
- 9.7集群脚本开发
- 9.8搭建zookeeper分布式集群
- 9.9zookeeper shell实操
搭建Hadoop分布式集群
- 10.1搭建Hadoop分布式集群环境
- 10.2Hadoop集群规划
- 10.3HDFS集群配置
- 10.4启动HDFS集群服务
- 10.5HDFS集群测试运行
- 10.6YARN集群配置
- 10.7启动YARN集群服务
- 10.8YARN集群测试运行
- 10.9Hadoop集群故障转移测试
- 10.10Hadoop集群运维技巧
智慧社区业务表结构及数据导入
- 11.1智慧社区业务表介绍
- 11.2车辆表结构介绍与数据导入
- 11.3业主表结构介绍与数据导入
- 11.4房间表结构介绍与数据导入
- 11.5楼栋表结构介绍与数据导入
- 11.6小区表结构介绍与数据导入
- 11.7地区表结构介绍与数据导入
- 11.8时间表结构介绍与数据导入
- 11.9车辆进出表结构介绍与数据导入
- 11.10门禁表结构介绍与数据导入
Hive数据仓库工具
- 12.1Hive离线数仓工具
- 12.2Hive概述
- 12.3Hive原理及架构
- 12.4安装MySQL元数据库
- 12.5Hive客户端安装部署
- 12.6Hive对数据库的操作
- 12.7Hive对数据表的操作
- 12.8Hive数据相关操作
- 12.9Hive查询相关操作
- 12.10Hive表连接相关操作
- 12.11Hive内部表和外部表相关操作
- 12.12Hive分区与分桶相关操作
Sqoop数据迁移
- 13.1Sqoop数据迁移
- 13.2Sqoop架构及工作原理
- 13.3Sqoop客户端安装部署
- 13.4Sqoop迁移Hive仓库数据
数仓建模理论
- 14.1数仓建模目标
- 14.2关系范式模式介绍
- 14.3数据库范式优缺点
- 14.4第一范式（1NF）
- 14.5第二范式（2NF）
- 14.6第三范式（3NF）
- 14.7ER实体模型
- 14.8维度建模-事实表
- 14.9维度建模-维度表
- 14.10星型模型与雪花模型介绍
- 14.11雪花模型与星型模型对比
- 14.12维度建模模型如何选择
- 14.13DataVault模型与Anchor模型
- 14.14主流建模方法对比
- 14.15数仓架构为什么分层？
- 14.16数据源与ETL
- 14.17ODS原始数据层
- 14.18DWD明细数据层
- 14.19维度建模过程
- 14.20DWS服务数据层
- 14.21DM与ADS的区别与联系
- 14.22数据集市与数据仓库的区别与联系
数仓设计规范
- 15.1数据埋点规范
- 15.2数仓层次规范
- 15.3表命名规范
- 15.4字段命名规范
- 15.5脚本命名规范
- 15.6脚本开发规范
- 15.7数仓元数据库设计
搭建数仓ODS层
- 16.1数仓ODS层介绍
- 16.2数据同步策略
- 16.3搭建数仓ODS层-车辆进出1
- 16.4搭建数仓ODS层-车辆进出2
- 16.5搭建数仓ODS层-车辆进出3
- 16.6搭建数仓ODS层-门禁日志
- 16.7搭建数仓ODS层-车辆
- 16.8搭建数仓ODS层-社区
- 16.9搭建数仓ODS层-业主
- 16.10搭建数仓ODS层-地区
- 16.11搭建数仓ODS层-楼栋
- 16.12搭建数仓ODS层-房间
- 16.13搭建数仓ODS层-日期
搭建数仓DWD层
- 17.1搭建数仓DWD层-数仓DWD层概述
- 17.2搭建数仓DWD层-车辆进出事实表1
- 17.3搭建数仓DWD层-车辆进出事实表2
- 17.4搭建数仓DWD层-业主拉链表理论
- 17.5搭建数仓DWD层-拉链表实现原理与步骤
- 17.6搭建数仓DWD层-初始化拉链表
- 17.7搭建数仓DWD层-制作临时拉链表
- 17.8搭建数仓DWD层-生成业主拉链表
- 17.9搭建数仓DWD层-门禁事实表
- 17.10搭建数仓DWD层-车辆维度表
- 17.11搭建数仓DWD层-时间维度表
- 17.12搭建数仓DWD层-地区维度表
搭建数仓DWS层
- 18.1数仓DWS层概述
- 18.2搭建数仓DWS层-每日用户出行行为
- 18.3搭建数仓DWS层-每日车辆出行行为
搭建数仓ADS层
- 19.1数仓ADS层概述
- 19.2搭建数仓ADS层-小区出行数据统计
- 19.3搭建数仓ADS层-车辆出行数据统计
报表数据导入mysql
- 20.1小区出行报表数据导出mysql
- 20.2车辆出行报表数据导出mysql
Azkaban作业调度系统
- 21.1Azkaban概述
- 21.2Azkaban核心组件及部署模式
- 21.3Azkaban下载与编译1
- 21.4Azkaban下载与编译2
- 21.5Azkaban下载与编译3
- 21.6Azkaban下载与编译4
- 21.7Azkaban下载与编译5
- 21.8MySQL安装与配置准备
- 21.9Azkaban建表准备
- 21.10Azkaban web server配置
- 21.11Azkaban 用户管理
- 21.12Azkaban Executor server配置
- 21.13Azkaban服务启动
- 21.14Azkaban手动调度与自动调度
大数据作业调度
- 22.1Azkaban服务启动
- 22.2Azkaban Schedule详解
- 22.3Azkaban邮件通知
- 22.4Azkaban大数据作业调度1
- 22.5Azkaban大数据作业调度2
智慧社区数仓大屏制作
- 23.1Davinci架构
- 23.2Davinci安装配置
- 23.3Davinci初始化数据库
- 23.4Davinci初始化配置
- 23.5Davinci注册登录
- 23.6Davinci创建项目并添加数据源
- 23.7Davinci创建视图1
- 23.8Davinci创建视图2
- 23.9Davinci创建视图3
- 23.10Davinci创建可视化组件1
- 23.11Davinci创建可视化组件2
- 23.12Davinci数仓大屏制作1
- 23.13Davinci数仓大屏制作2
- 23.14Davinci数仓大屏制作3

搭建数仓ODS层

16.2数据同步策略

课时介绍

16.2数据同步策略16.2数据同步策略

课程介绍

项目介绍