导航

全新大数据企业电商数据仓库项目实战教程

全新大数据企业电商数据仓库项目实战教程
共142节 3248人在学 课程详情
课程目录
讨论留言
  • 122_面试题_总体架构
  • 123_面试题_技术框架
  • 124_面试题_用户行为、业务数据、即席查询
  • 125_面试题_开发经验
  • 126_CDH数仓_课程介绍
  • 127_CDH数仓_CM简介及架构
  • 128_CDH数仓_CM安装环境准备
  • 129_CDH数仓_CM、Hadoop、Zk安装
  • 130_CDH数仓_采集Flume的安装
  • 131_CDH数仓_Kafka安装
  • 132_CDH数仓_测试Flume和Kafka安装
  • 133_CDH数仓_消费Flume配置完成
  • 134_CDH数仓_Hive、Oozie、Hue安装
  • 135_CDH数仓_用户行为数仓ODS层导数据
  • 136_CDH数仓_用户行为数仓完结
  • 137_CDH数仓_业务数据生成
  • 138_CDH数仓_业务数仓完结
  • 139_CDH数仓_Oozie执行前准备
  • 140_CDH数仓_Oozie任务编写及运行
  • 141_CDH数仓_即席查询数仓搭建Impala
  • 142_CDH数仓_Spark安装及总结
  • 01_数仓项目介绍
  • 02_数仓采集_用户行为采集课程介绍
  • 03_数仓采集_数仓的概念
  • 04_数仓采集_项目需求
  • 05_数仓采集_项目技术选型
  • 06_数仓采集_系统数据流程设计
  • 07_数仓采集_框架版本选型
  • 08_数仓采集_框架版本具体型号
  • 09_数仓采集_服务器选型
  • 10_数仓采集_集群资源规划设计
  • 11_数仓采集_测试集群服务器规划
  • 12_数仓采集_埋点数据基本格式
  • 13_数仓采集_事件日志数据(上)
  • 14_数仓采集_事件日志数据(下)
  • 15_数仓采集_日志生成代码编写
  • 16_数仓采集_Logback日志打印控制
  • 17_数仓采集_服务器准备
  • 18_数仓采集_Hadoop安装
  • 19_数仓采集_项目经验之HDFS多目录配置
  • 20_数仓采集_项目经验之支持LZO压缩配置
  • 21_数仓采集_项目经验之基准测试
  • 22_数仓采集_项目经验之HDFS参数调优
  • 23_数仓采集_Zookeeper安装
  • 24_数仓采集_项目经验之ZK集群启动停止脚本
  • 25_数仓采集_生成测试日志
  • 26_数仓采集_集群日志生成启动脚本
  • 27_数仓采集_集群时间同步修改脚本
  • 28_数仓采集_集群所有进程查看脚本
  • 29_数仓采集_每日回顾
  • 30_数仓采集_日志采集Flume安装
  • 31_数仓采集_Flume组件及配置
  • 32_数仓采集_日志采集Flume配置分析
  • 33_数仓采集_ETL拦截器
  • 34_数仓采集_分类型拦截器
  • 35_数仓采集_日志采集Flume启动停止脚本
  • 36_数仓采集_Kafka集群安装
  • 37_数仓采集_Kafka集群启动停止脚本
  • 38_数仓采集_Kafka Manager安装及脚本
  • 39_数仓采集_项目经验之Kafka压力测试
  • 40_数仓采集_项目经验之Kafka机器数量计算
  • 41_数仓采集_消费Kafka数据Flume
  • 42_数仓采集_项目经验之Flume内存优化
  • 43_数仓采集_项目经验之Flume组件
  • 44_数仓采集_采集通道启动停止脚本
  • 45_数仓采集_调试经验
  • 46_数仓采集_面试题(Linux、Hadoop)
  • 47_数仓采集_面试题(Flume、Kafka)
  • 48_用户行为数仓_每日回顾
  • 49_用户行为数仓_用户行为数仓课程介绍
  • 50_用户行为数仓_为什么要分层
  • 51_用户行为数仓_数仓分层
  • 52_用户行为数仓_数据集市与数据仓库概念
  • 53_用户行为数仓_数仓命名规范
  • 54_用户行为数仓_Hive&MySQL安装
  • 55_用户行为数仓_Hive运行引擎Tez
  • 56_用户行为数仓_项目经验之元数据备份
  • 57_用户行为数仓_ODS层启动日志和事件日志表创建
  • 58_用户行为数仓_ODS层加载数据脚本
  • 59_用户行为数仓_DWD层启动日志建表及导入数据
  • 60_用户行为数仓_DWD层启动表加载数据脚本
  • 61_用户行为数仓_DWD层事件基础明细表创建
  • 62_用户行为数仓_自定义UDF函数(解析公共字段)
  • 63_用户行为数仓_自定义UDTF函数(解析事件)
  • 64_用户行为数仓_DWD层数据解析脚本
  • 65_用户行为数仓_DWD层事件表加载数据脚本
  • 66_用户行为数仓_今日回顾
  • 67_用户行为数仓_业务术语
  • 68_用户行为数仓_日期的系统函数
  • 69_用户行为数仓_每日活跃设备明细
  • 70_用户行为数仓_每周活跃设备明细
  • 71_用户行为数仓_每月活跃设备明细
  • 72_用户行为数仓_DWS层加载数据脚本
  • 73_用户行为数仓_需求一:ADS层日活等
  • 74_用户行为数仓_每日新增设备明细表
  • 75_用户行为数仓_需求二:ADS层每日新增设备表
  • 76_用户行为数仓_用户留存分析
  • 77_用户行为数仓_1、2、3、n日留存用户明细
  • 78_需求三:ADS层留存用户和留存比率
  • 79_用户行为数仓_新数据准备
  • 80_用户行为数仓_需求四:沉默用户
  • 81_用户行为数仓_需求五:本周回流用户数
  • 82_用户行为数仓_需求六:流失用户
  • 83_用户行为数仓_需求七:最近连续3周活跃用户数
  • 84_需求八:最近七天内连续三天活跃用户数
  • 85_用户行为数仓_用户行为数仓业务总结
  • 86_用户行为数仓_Hive企业面试题总结
  • 87_业务数仓_业务数仓课程介绍
  • 88_业务数仓_电商业务与数据结构简介
  • 89_业务数仓_表的分类
  • 90_业务数仓_同步策略
  • 91_业务数仓_范式理论
  • 92_业务数仓_雪花模型、星型模型和星座模型
  • 93_业务数仓_配置Hadoop支持Snappy压缩
  • 94_业务数仓_业务数据生成
  • 95_业务数仓_Sqoop安装及参数
  • 96_业务数仓_Sqoop导入数据
  • 97_业务数仓_ODS层建表及数据导入
  • 98_业务数仓_DWD层建表及导入数据
  • 99_业务数仓_需求讲解
  • 100_业务数仓_DWS层之用户行为宽表
  • 101_业务数仓_需求九:GMV成交总额
  • 102_需求十:ADS层之新增用户占日活跃用户比率
  • 103_需求十一:ADS层之用户行为漏斗分析
  • 104_业务数仓_用户购买商品明细表(宽表)
  • 105_业务数仓_需求十二:ADS层品牌复购率
  • 106_需求十三:求每个用户对应复购率前十商品排行
  • 107_业务数仓_数据可视化
  • 108_业务数仓_Azkaban安装
  • 109_业务数仓_GMV指标获取的全调度流程
  • 110_业务数仓_拉链表理论
  • 111_业务数仓_拉链表制作
  • 112_业务数仓_业务数仓项目总结
  • 113_业务数仓_即席数仓课程介绍
  • 114_即席数仓_Presto简介
  • 115_即席数仓_Presto安装及使用
  • 116_即席数仓_Presto优化
  • 117_即席数仓_Druid概念、特点、场景
  • 118_即席数仓_Druid对比其他框架
  • 119_即席数仓_Druid框架原理
  • 120_即席数仓_Druid数据结构
  • 121_即席数仓_Druid安装
播放页问题反馈
视频学习中有任何产品建议都可由此反
馈,我们将及时处理!

课时介绍

130_CDH数仓_采集Flume的安装

课程介绍

本教程为授权出品


一、课程简介
数据仓库(Data Warehouse,可简写为DW或DWH),是面向分析的集成化数据环境,为企业决策制定过程,提供系统数据支持的战略集合,是国内外各大公司正在重点投入的战略级技术领域。


二、课程内容
《大数据电商数仓项目实战》视频教程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。


三、课程目标
本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。


四、课程亮点
本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。


推荐课程

信息系统项目管理师自考笔记

李明 · 723人在学

python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

王先生 · 22097人在学

手把手搭建Java超市管理系统【附源码】(毕设)

汤小洋 · 4204人在学

Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

黄菊华 · 788人在学

基于SSM酒店管理系统(毕设)

小尼老师 · 841人在学

java项目实战之购物商城(java毕业设计)

Long · 5154人在学

手把手搭建Java求职招聘系统【附源码】(毕设)

汤小洋 · 1506人在学

Python Django 深度学习 小程序

钟翔 · 2319人在学

城管局门前三包管理系统+微信小程序(vue+springboot)

赖国荣 · 598人在学

Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

李杰 · 3985人在学

正在试验
后自动删除环境
课程实验
本次实验时间已到期 00:00:00

    订阅失败

    全新大数据企业电商数据仓库项目实战教程
    全新大数据企业电商数据仓库项目实战教程 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    课件正在飞速打包中,请耐心等待几秒钟~
    联系我们
    工作时间: 8:30 - 22:00
    客服电话: 400-660-0108
    kefu@csdn.net在线客服
    • 关于我们
    • 招贤纳士
    • 商务合作
    • 寻求报道
    • 京ICP备19004658号
    • 经营性网站备案信息
    • 公安备案号11010502030143
    • 营业执照
    • 北京互联网违法和不良信息举报中心
    • 家长监护
    • 中国互联网举报中心
    • 网络110报警服务
    • Chrome商店下载
    • 账号管理规范
    • 版权与免责声明
    • 版权申诉
    • 出版物许可证
    • ©1999-2024北京创新乐知网络技术有限公司