导航
课程首页
  • PM-Summit 全球产品经理大会云会员
  • SDCon 全球软件研发技术大会云会员
  • ML-Summit 全球机器学习技术大会云会员
  • C++性能优化高端培训
  • AI全栈开发实战营
精品课 极客时间

AI 搜索

登录
登录后您可以:
  • 复制代码和一键运行
  • 与博主大V深度互动
  • 解锁海量精选资源
  • 获取前沿技术资讯
立即登录
会员中心
消息
历史
创作中心
创作
学习中心
成为讲师

基于Flink+Doris构建亿级全端电商实时数据分析平台 1、Flink+Doris课程说明

基于Flink+Doris构建亿级全端电商实时数据分析平台
共73节 2799人在学 课程详情
课程目录
讨论留言
  • 1、Flink+Doris课程说明
  • 2、Flink+Doris课程价值说明
  • 3、整体项目构建
  • 4、Zookeeper环境安装
  • 5、Hadoop环境构建
  • 6、Kafka环境构建
  • 7、Hbase环境构建
  • 8、MySQL环境构建
  • 9、Hive环境构建
  • 10、SpringBoot讲解以及构建web应用
  • 11、SpringCloud注册中心构建
  • 12、数据收集服务构建
  • 13、埋点日志结构讲解以及实体构建
  • 14、上报服务整合kafka
  • 15、上报服务整合kafka补充
  • 16、Flink实时分析服务构建
  • 17、DorisDB讲解以及安装
  • 18、DorisDB基础概念与使用实战讲解
  • 19、DorisDB数据模型实战讲解
  • 20、DorisDB之Rollup实战讲解
  • 21、DorisDB之Broker 部署实战讲解
  • 22、AB版指标分析之产品等级pv趋势map代码编写
  • 23、产品等级pv趋势reduce及sink实现
  • 24、AB版指标分析之产品类别pv趋势补充
  • 25、AB版指标分析之pv整体趋势代码编写
  • 26、AB版指标分析之uv趋势分析代码编写
  • 27、Binlog讲解
  • 28、Binlog使用以及查看
  • 29、Canal讲解
  • 30、Canal安装以及整合kafka实战
  • 31、分析表结构构建
  • 32、DorisDB工具类代码编写
  • 33、前端vue项目构建
  • 34、vue整合Highcharts实战
  • 35、vue整合vue-resource实现动态加载
  • 36、vue整合后端接口服务代码编写
  • 37、vue联调后端接口
  • 38、vue联调后端接口补充
  • 39、下砖分析前端开发1
  • 40、下砖分析前端开发2
  • 41、下砖分析接口开发1
  • 42、下砖分析接口开发2
  • 43、下砖分析接口开发3以及效果演示
  • 44、Hbase工具类开发
  • 45、业务数据构建
  • 46、实时数据转换服务开发
  • 47、反射技术实现数据转换工具开发
  • 48、Kafka工具开发
  • 49、终端流量分析日志实体完善
  • 50、终端流量分析代码编写
  • 51、终端用户趋势分析代码编写
  • 52、营销流量分析代码编写
  • 53、营销成交分析代码编写
  • 54、订单趋势分析代码编写
  • 55、ABtest指标分析完善
  • 56、Abtest指标分析service层代码完善1
  • 57、Abtest指标分析service层代码完善2
  • 58、Abtest指标分析service层代码完善3
  • 59、营销分析、订单分析、终端分析前端实现及效果演示
  • 60、营销分析、订单分析、终端分析后端接口及联调演示
  • 61、营销分析接口完善
  • 62、订单分析接口完善
  • 63、终端分析接口完善
  • 64、Doris业务表构建实战
  • 65、DorisDB工具优化以及业务sink优化
  • 66、业务接口优化
  • 67、业务SQL优化
  • 68、日期工具类开发
  • 69、Flume及同步Kafka数据建立数据仓库实战
  • 70、Flume及同步Kafka数据建立数据仓库补充
  • 71、整体联调以及效果演示
  • 72、整体联调以及效果演示2
  • 73、课程总结
回复
切换为未回复评论
切换为时间正序
请发表友善的回复…
发表回复
发表回复
按下Enter换行,Ctrl+Enter发表内容
编辑
预览
    轻敲空格完成输入
    • 显示为
    • 卡片
    • 标题
    • 链接

    反馈

    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    1、Flink+Doris课程说明

    课程介绍

    上层应用业务对实时数据的需求,主要包含两部分内容:1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求,都需要进行的下钻分析支持,我们希望能够建立统一的实时OLAP数据仓库,并提供一套安全、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录,再细拆到AB实验更细维度时,数据量则多达上百亿记录,多维数据组合下的聚合查询要求秒级响应时间,这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型,需要满足以下几点:
    1:数据延迟在分钟级,查询响应时间在秒级
    2:标准SQL交互引擎,降低使用成本
    3:支持join操作,方便维度增加属性信息
    4:流量数据可以近似去重,但订单行要精准去重
    5:高吞吐,每分钟数据量在千W级记录,每天数百亿条新增记录
    6:前端业务较多,查询并发度不能太低

    通过对比开源的几款实时OLAP引擎,可以发现Doris和ClickHouse能够满足上面的需求,但是ClickHouse的并发度太低是个潜在的风险,而且ClickHouse的数据导入没有事务支持,无法实现exactly once语义,对标准SQL的支持也是有限的。所以针对以上需求Doris完全能解决我们的问题,DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库,非常的强大,随着互联网发展,数据量会越来越大,实时查询需求也会要求越来越高,DorisDB人才需求也会越来越大,越早掌握DorisDB,以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解,具体分析指标包含:AB版本分析,下砖分析,营销分析,订单分析,终端分析等,能承载海量数据的实时分析,数据分析涵盖全端(PC、移动、小程序)应用。

    整个课程,会带大家实践一个完整系统,大家可以根据自己的公司业务修改,既可以用到项目中去,价值是非常高的。

    本课程包含的技术:
    开发工具为:IDEA、WebStorm
    Flink1.9.0
    DorisDB
    Hadoop2.7.5
    Hbase2.2.6
    Kafka2.1.0
    Hive2.2.0
    HDFS、MapReduce
    Flume、Zookeeper
    Binlog、Canal、MySQL
    SpringBoot2.0.8.RELEASE
    SpringCloud Finchley.SR2
    Vue.js、Nodejs、Highcharts、ElementUI
    Linux Shell编程等

    课程亮点:
    1.与企业接轨、真实工业界产品
    2.DorisDB高性能分布式数据库
    3.大数据热门技术Flink
    4.支持ABtest版本实时监控分析
    5.支持下砖分析
    6.数据分析涵盖全端(PC、移动、小程序)应用
    7.主流微服务后端系统
    8.天级别与小时级别多时间方位分析
    9.数据库实时同步解决方案
    10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI
    11.集成SpringCloud实现统一整合方案
    12.互联网大数据企业热门技术栈
    13.支持海量数据的实时分析
    14.支持全端实时数据分析
    15.全程代码实操,提供全部代码和资料
    16.提供答疑和提供企业技术方案咨询
    企业一线架构师讲授,代码在老师的指导下企业可以复用,提供企业解决方案。  
    版权归作者所有,盗版将进行法律维权。
     

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 784人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22298人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4239人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 804人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 857人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5172人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1517人在学

    Python Django 深度学习 小程序

    钟翔 · 2351人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 617人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4020人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00

      订阅失败

      基于Flink+Doris构建亿级全端电商实时数据分析平台
      基于Flink+Doris构建亿级全端电商实时数据分析平台 ...

      订阅列表已满,请先移出部分订阅内容。

      当前章节需购买后观看
      开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
      提交答案

      购买课程

      扫码完成付费,可继续学习全部课程内容

      加载中...
      课件正在飞速打包中,请耐心等待几秒钟~
      首页
      博客
      下载
      学习
      社区
      AI搜索
      GitCode
      InsCodeAI
      技术会议
      会员中心
      创作中心
      联系我们
      工作时间: 8:30 - 22:00
      客服电话: 400-660-0108
      kefu@csdn.net在线客服
      • 关于我们
      • 招贤纳士
      • 商务合作
      • 寻求报道
      • 友情链接
      • 视觉中国
      • 500px
      • 直聘网
      • 优设网
      • CSDN文库
      • CSDN下载
      • CSDN问答
      • 京ICP备19004658号
      • 经营性网站备案信息
      • 公安备案号11010502030143
      • 营业执照
      • 北京互联网违法和不良信息举报中心
      • 家长监护
      • 中国互联网举报中心
      • 网络110报警服务
      • Chrome商店下载
      • 账号管理规范
      • 版权与免责声明
      • 版权申诉
      • 出版物许可证
      • ©1999-2025北京创新乐知网络技术有限公司

      视频问题反馈

      提交遇到的问题我们会尽快解决的 ~