导航

大数据—电商数仓项目

大数据—电商数仓项目
共142节 7244人在学 课程详情
课程目录
讨论留言
  • 拉链表制作
  • GMV指标获取的全调度流程
  • 拉链表理论
  • 业务数仓项目总结
  • 即席数仓课程介绍
  • Presto简介
  • Presto安装及使用
  • Presto优化
  • Druid概念、特点、场景
  • Druid对比其他框架
  • Druid数据结构
  • Druid框架原理
  • Druid安装
  • 总体架构
  • 技术框架
  • 用户行为、业务数据、即席查询
  • 开发经验
  • 课程介绍
  • CM简介及架构
  • CM安装环境准备
  • CM、Hadoop、Zookeeper安装
  • 采集Flume的安装
  • Kafka安装
  • 测试Flume和Kafka安装
  • 消费Flume配置完成
  • Hive、Oozie、Hue安装
  • 用户行为数仓ODS层导数据
  • 用户行为数仓完结
  • 业务数据生成
  • 业务数仓完结
  • Oozie执行前准备
  • Oozie任务编写及运行
  • 即席查询数仓搭建Impala
  • Spark安装及总结
  • 数仓项目介绍
  • 用户行为采集课程介绍
  • 数仓的概念
  • 项目需求
  • 项目技术选型
  • 系统数据流程设计
  • 框架版本选型
  • 框架版本具体型号
  • 服务器选型
  • 集群资源规划设计
  • 测试集群服务器规划
  • 埋点数据基本格式
  • 事件日志数据(上)
  • 事件日志数据(下)
  • 日志生成代码编写
  • Logback日志打印控制
  • 服务器准备
  • Hadoop安装
  • 项目经验之HDFS参数调优
  • 项目经验之支持LZO压缩配置
  • 项目经验之HDFS多目录配置
  • 项目经验之基准测试
  • Zookeeper安装
  • 项目经验之ZK集群启动停止脚本
  • 生成测试日志
  • 集群日志生成启动脚本
  • 集群时间同步修改脚本
  • 集群所有进程查看脚本
  • 日志采集Flume安装
  • 每日回顾
  • Flume组件及配置
  • 日志采集Flume配置分析
  • ETL拦截器
  • 分类型拦截器
  • 日志采集Flume启动停止脚本
  • Kafka集群安装
  • Kafka集群启动停止脚本
  • Kafka Manager安装及脚本
  • 项目经验之Kafka压力测试
  • 项目经验之Kafka压力测试
  • 消费Kafka数据Flume
  • 项目经验之Flume内存优化
  • 项目经验之Flume组件
  • 采集通道启动停止脚本
  • 面试题(Linux、Shell、Hadoop)
  • 调试经验
  • 每日回顾
  • 面试题(Flume、Kafka)
  • 用户行为数仓课程介绍
  • 为什么要分层
  • 数仓分层
  • 数据集市与数据仓库概念
  • 数仓命名规范
  • Hive&MySQL安装
  • Hive运行引擎Tez
  • 项目经验之元数据备份
  • ODS层启动日志和事件日志表创建
  • ODS层加载数据脚本
  • ODS层加载数据脚本
  • DWD层启动表加载数据脚本
  • DWD层事件基础明细表创建
  • 自定义UDF函数(解析公共字段)
  • 自定义UDTF函数(解析事件日志基础明细表)
  • DWD层数据解析脚本
  • DWD层事件表加载数据脚本
  • 今日回顾
  • 业务术语
  • 日期的系统函数
  • 每日活跃设备明细
  • 每周活跃设备明细
  • 每月活跃设备明细
  • DWS层加载数据脚本
  • 需求一:ADS层日活、周活、月活用户数
  • 每日新增设备明细表
  • 需求二:ADS层每日新增设备表
  • 用户留存分析
  • 1、2、3、n日留存用户明细
  • 需求三:ADS层留存用户和留存比率
  • 新数据准备
  • 需求四:沉默用户
  • 需求五:本周回流用户数
  • 需求六:流失用户
  • 需求七:最近连续3周活跃用户数
  • 需求八:最近七天内连续三天活跃用户数
  • 用户行为数仓业务总结
  • Hive企业面试题总结
  • 业务数仓课程介绍
  • 电商业务与数据结构简介
  • 表的分类
  • 同步策略
  • 范式理论
  • 雪花模型、星型模型和星座模型
  • 配置Hadoop支持Snappy压缩
  • 业务数据生成
  • Sqoop安装及参数
  • Sqoop导入数据
  • ODS层建表及数据导入
  • 需求讲解
  • DWD层建表及导入数据
  • DWS层之用户行为宽表
  • 需求九:GMV成交总额
  • 需求十:ADS层之新增用户占日活跃用户比率
  • 需求十一:ADS层之用户行为漏斗分析
  • 用户购买商品明细表(宽表)
  • 需求十二:ADS层品牌复购率
  • 需求十三:求每个等级的用户对应的复购率前十的商品排行(学生分享)
  • 数据可视化
  • Azkaban安装
播放页问题反馈
视频学习中有任何产品建议都可由此反
馈,我们将及时处理!

课时介绍

Zookeeper安装

课程介绍

一、课程简介

随着技术的飞速发展,经过多年的数据积累,各互联网公司已保存了海量的原始数据和各种业务数据,所以数据仓库技术是各大公司目前都需要着重发展投入的技术领域。数据仓库是面向分析的集成化数据环境,为企业所有决策制定过程,提供系统数据支持的战略集合。通过对数据仓库中数据的分析,可以帮助企业改进业务流程、控制成本、提高产品质量等。

二、课程内容

本次精心打造的数仓项目的课程,从项目架构的搭建,到数据采集模块的设计、数仓架构的设计、实战需求实现、即席查询的实现,我们针对国内目前广泛使用的Apache原生框架和CDH版本框架进行了分别介绍,Apache原生框架介绍中涉及到的技术框架包括Flume、Kafka、Sqoop、MySql、HDFS、Hive、Tez、Spark、Presto、Druid等,CDH版本框架讲解包括CM的安装部署、Hadoop、Zookeeper、Hive、Flume、Kafka、Oozie、Impala、HUE、Kudu、Spark的安装配置,透彻了解不同版本框架的区别联系,将大数据全生态系统前沿技术一网打尽。在过程中对大数据生态体系进行了系统的讲解,对实际企业数仓项目中可能涉及到的技术点都进行了深入的讲解和探讨。同时穿插了大量数仓基础理论知识,让你在掌握实战经验的同时能够打下坚实的理论基础。


三、课程目标

本课程以国内电商巨头实际业务应用场景为依托,对电商数仓的常见实战指标以及难点实战指标进行了详尽讲解,具体指标包括:每日、周、月活跃设备明细,留存用户比例,沉默用户、回流用户、流失用户统计,最近连续3周活跃用户统计,最近7天内连续3天活跃用户统计,GMV成交总额分析,转化率及漏斗分析,品牌复购率分析、订单表拉链表的设计等,让学生拥有更直观全面的实战经验。通过对本课程的学习,对数仓项目可以建立起清晰明确的概念,系统全面的掌握各项数仓项目技术,轻松应对各种数仓难题。

四、课程亮点
本课程结合国内多家企业实际项目经验,特别加入了项目架构模块,从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建大数据集群。并且总结大量项目实战中会遇到的问题,针对各个技术框架,均有调优实战经验,具体包括:常用Linux运维命令、Hadoop集群调优、Flume组件选型及性能优化、Kafka集群规模确认及关键参数调优。通过这部分学习,助学生迅速成长,获取前沿技术经验,从容解决实战问题。



推荐课程

信息系统项目管理师自考笔记

李明 · 721人在学

python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

王先生 · 22091人在学

手把手搭建Java超市管理系统【附源码】(毕设)

汤小洋 · 4203人在学

Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

黄菊华 · 787人在学

基于SSM酒店管理系统(毕设)

小尼老师 · 840人在学

java项目实战之购物商城(java毕业设计)

Long · 5153人在学

手把手搭建Java求职招聘系统【附源码】(毕设)

汤小洋 · 1506人在学

Python Django 深度学习 小程序

钟翔 · 2319人在学

城管局门前三包管理系统+微信小程序(vue+springboot)

赖国荣 · 598人在学

Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

李杰 · 3985人在学

正在试验
后自动删除环境
课程实验
本次实验时间已到期 00:00:00

    订阅失败

    大数据—电商数仓项目
    大数据—电商数仓项目 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    课件正在飞速打包中,请耐心等待几秒钟~
    联系我们
    工作时间: 8:30 - 22:00
    客服电话: 400-660-0108
    kefu@csdn.net在线客服
    • 关于我们
    • 招贤纳士
    • 商务合作
    • 寻求报道
    • 京ICP备19004658号
    • 经营性网站备案信息
    • 公安备案号11010502030143
    • 营业执照
    • 北京互联网违法和不良信息举报中心
    • 家长监护
    • 中国互联网举报中心
    • 网络110报警服务
    • Chrome商店下载
    • 账号管理规范
    • 版权与免责声明
    • 版权申诉
    • 出版物许可证
    • ©1999-2024北京创新乐知网络技术有限公司