基于阿里云的海量数据处理数据仓库(离线)实战教程

基于阿里云的海量数据处理数据仓库(离线)实战教程
共74节 2304人在学 课程详情
  • 59_数据导出与作业调度_创建商品销售数据同步节点
  • 60_数据导出与作业调度_创建同步节点及作业调度
  • 61_数据导出与作业调度_业务数仓全流程作业调度
  • 62_数据可视化_DataV简介
  • 63_数据可视化_购买QuickBI
  • 64_数据可视化_各个渠道日活占比图_配置数据源
  • 65_数据可视化_各个渠道日活占比图_配置数据集
  • 66_数据可视化_各个渠道日活占比图_配置饼图仪表盘
  • 67_数据可视化_地区销售额分析
  • 68_数据可视化_年龄段销售额占比分析
  • 69_数据可视化_热门商品分析
  • 70_数据可视化_分享仪表盘
  • 71_数据可视化_数据门户(高级版)简介
  • 72_协同工作_RAM管理界面
  • 73_协同工作_RAM账号如何登录
  • 74_项目总结
  • 01_项目课程简介
  • 02_数据仓库概念
  • 03_项目需求及架构设计_项目需求分析
  • 04_项目需求及架构设计_阿里云计算框架
  • 05_项目需求及架构设计_项目技术选型
  • 06_项目需求及架构设计_系统数据流程设计
  • 07_项目需求及架构设计_服务器选型
  • 08_项目需求及架构设计_集群规模及购买服务器建议
  • 09_数据生成模块_埋点数据基本格式
  • 10_数据生成模块_事件日志数据
  • 11_数据生成模块_数据生成脚本
  • 12_数据采集模块_注册购买ECS云服务器
  • 13_数据采集模块_配置防火墙
  • 14_数据采集模块_ECS配置升级
  • 15_数据采集模块_阿里云服务器连接
  • 16_数据采集模块_配置主机名称映射
  • 17_数据采集模块_创建普通用户atguigu
  • 18_数据采集模块_集群分发脚本xsync
  • 19_数据采集模块_配置SSH无密登录
  • 20_数据采集模块_集群整体操作脚本
  • 21_数据采集模块_JDK安装
  • 22_数据采集模块_日志生成
  • 23_数据采集模块_Flume安装及使用
  • 24_数据采集模块_DataHub简介
  • 25_数据采集模块_创建DataHub与Topic
  • 26_数据采集_Flume推送数据到DataHub
  • 27_DataWorks和MaxCompute简介
  • 28_数据采集模块_创建工作空间
  • 29_用户行为数仓搭建_数仓分层概念
  • 30_用户行为数仓搭建_数仓分层配置
  • 31_用户行为数仓搭建_原始数据层(ODS层)
  • 32_DataHub推送数据到MaxCompute
  • 33_用户行为数仓搭建_dwd层日志格式分析
  • 34_用户行为数仓搭建_自定义UDTF
  • 35_用户行为数仓搭建_DWD层建表(启动日志表)
  • 36_手动将ODS层数据导入DWD层
  • 37_用户行为数仓搭建_DWD层数据导入脚本
  • 38_手动将DWD层数据导入DWS层
  • 39_用户行为数仓搭建_DWS层数据导入脚本
  • 40_ADS层脚本及日活需求:全流程业务调度
  • 41_业务数仓理论_表的分类
  • 42_业务数仓理论_表的同步策略
  • 43_业务数仓搭建_业务数仓架构图
  • 44_业务数仓搭建_RDS服务器准备
  • 45_业务数仓搭建_创建业务数据库及表
  • 46_业务数仓搭建_ODS层数据表创建
  • 47_业务数仓搭建_建立数据同步节点
  • 48_业务数仓搭建_每日全量表同步
  • 49_业务数仓搭建_每日增量表同步
  • 50_业务数仓搭建_每日新增及变化表同步
  • 51_业务数仓搭建_ODS层调度
  • 52_业务数仓搭建_DWD层建表语句
  • 53_业务数仓搭建_手动将数据导入DWD层
  • 55_业务数仓搭建_DWS层建表及脚本编写
  • 54_业务数仓搭建_DWD层数据导入脚本
  • 56_业务数仓搭建_ADS层建表及手动导入数据
  • 57_业务数仓搭建_作业调度
  • 58_业务数仓搭建_作业调度执行

    订阅失败

    基于阿里云的海量数据处理数据仓库(离线)实战教程
    基于阿里云的海量数据处理数据仓库(离线)实战教程 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    65_数据可视化_各个渠道日活占比图_配置数据集

    课程介绍

    一、项目简介 
    本项目教程以国内电商巨头实际业务应用场景为依托,同时以阿里云ECS服务器为技术支持,紧跟大数据主流场景,对接企业实际需求,对电商数仓的常见实战指标进行了详尽讲解,让你迅速成长,获取最前沿的技术经验。 

    二、项目架构 
    版本框架:Flume、DateHub、DataWorks、MaxCompute、MySql以及QuickBI等; 
    Flume:大数据领域被广泛运用的日志采集框架; 
    DateHub:类似于传统大数据解决方案中Kafka的角色,提供了一个数据队列功能。对于离线计算,DataHub除了供了一个缓冲的队列作用。同时由于DataHub提供了各种与其他阿里云上下游产品的对接功能,所以DataHub又扮演了一个数据的分发枢纽工作; 
    据上传和下载通道,提供SQL及MapReduce等多种计算分析服务,同时还提供完善的安全解决方案; 
    DataWorks:是基于MaxCompute计算引擎,从工作室、车间到工具集都齐备的一站式大数据工厂,它能帮助你快速完成数据集成、开发、治理、服务、质量、安全等全套数据研发工作; 
    QuickBI & DataV:专为云上用户量身打造的新一代智能BI服务平台。 

    三、项目场景 
    数仓项目广泛应用于大数据领域,该项目技术可以高度适配电商、金融、医疗、在线教育、传媒、电信、交通等各领域; 

    四、项目特色 
    本课程结合国内多家企业实际项目经验。从集群规模的确定到框架版本选型以及服务器选型,手把手教你从零开始搭建基于阿里云服务器的大数据集群。采用阿里云ECS服务器作为数据平台,搭建高可用的、高可靠的Flume数据采集通道,运用阿里云DateHub构建中间缓冲队列并担任数据分发枢纽将数据推送至阿里自主研发的DataWorks对数据进行分层处理,采用MaxCompute作为处理海量数据的方案,将计算结果保存至MySQL并结合阿里的QuickBI工作做最终数据展示。
    推荐课程

    信息系统项目管理师自考笔记

    李明 · 861人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22631人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4280人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 824人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 889人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5193人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1524人在学

    Python Django 深度学习 小程序

    钟翔 · 2386人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 662人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4063人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~