包含课程

  • 2742人 学习人数
    4.6分 课程评分
    基于Flink+Doris构建亿级全端电商实时数据分析平台
    上层应用业务对实时数据的需求，主要包含两部分内容：1、 整体数据的实时分析。2、 AB实验效果的实时监控。这几部分数据需求，都需要进行的下钻分析支持，我们希望能够建立统一的实时OLAP数据仓库，并提供一套安全、可靠的、灵活的实时数据服务。目前每日新增的曝光日志达到几亿条记录，再细拆到AB实验更细维度时，数据量则多达上百亿记录，多维数据组合下的聚合查询要求秒级响应时间，这样的数据量也给团队带来了不小的挑战。OLAP层的技术选型，需要满足以下几点：1：数据延迟在分钟级，查询响应时间在秒级2：标准SQL交互引擎，降低使用成本3：支持join操作，方便维度增加属性信息4：流量数据可以近似去重，但订单行要精准去重5：高吞吐，每分钟数据量在千W级记录，每天数百亿条新增记录6：前端业务较多，查询并发度不能太低通过对比开源的几款实时OLAP引擎，可以发现Doris和ClickHouse能够满足上面的需求，但是ClickHouse的并发度太低是个潜在的风险，而且ClickHouse的数据导入没有事务支持，无法实现exactly once语义，对标准SQL的支持也是有限的。所以针对以上需求Doris完全能解决我们的问题，DorisDB是一个性能非常高的分布式、面向交互式查询的分布式数据库，非常的强大，随着互联网发展，数据量会越来越大，实时查询需求也会要求越来越高，DorisDB人才需求也会越来越大，越早掌握DorisDB，以后就会有更大的机遇。本课程基于真实热门的互联网电商业务场景为案例讲解，具体分析指标包含：AB版本分析，下砖分析，营销分析，订单分析，终端分析等，能承载海量数据的实时分析，数据分析涵盖全端（PC、移动、小程序）应用。整个课程，会带大家实践一个完整系统，大家可以根据自己的公司业务修改，既可以用到项目中去，价值是非常高的。本课程包含的技术：开发工具为：IDEA、WebStormFlink1.9.0DorisDBHadoop2.7.5Hbase2.2.6Kafka2.1.0Hive2.2.0HDFS、MapReduceFlume、ZookeeperBinlog、Canal、MySQLSpringBoot2.0.8.RELEASESpringCloud Finchley.SR2Vue.js、Nodejs、Highcharts、ElementUILinux Shell编程等课程亮点：1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink4.支持ABtest版本实时监控分析5.支持下砖分析6.数据分析涵盖全端（PC、移动、小程序）应用7.主流微服务后端系统8.天级别与小时级别多时间方位分析9.数据库实时同步解决方案10.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI11.集成SpringCloud实现统一整合方案12.互联网大数据企业热门技术栈13.支持海量数据的实时分析14.支持全端实时数据分析15.全程代码实操，提供全部代码和资料16.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。  版权归作者所有，盗版将进行法律维权。 
    Flink+Doris
    Doris
    大数据电商实时分析
    云计算/大数据
    大数据
    免费试学 查看详情
  • 2894人 学习人数
    4.6分 课程评分
    基于Flink+Doris构建高性能高扩展的全端实时数据仓库教程
    课程总体架构请观看89讲。数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合，用于对管理决策过程的支持。数据仓库的应用有：1.数据分析、数据挖掘、人工智能、机器学习、风险控制、无人驾驶。2.数据化运营、精准运营。3.广告精准、智能投放等等。数据仓库是伴随着企业信息化发展起来的，在企业信息化的过程中，随着信息化工具的升级和新工具的应用，数据量变的越来越大，数据格式越来越多，决策要求越来越苛刻，数据仓库技术也在不停的发展。数据仓库有两个环节：数据仓库的构建与数据仓库的应用。随着IT技术走向互联网、移动化，数据源变得越来越丰富，在原来业  务数据库的基础上出现了非结构化数据，比如网站log，IoT设备数据，APP埋点数据等，这些数据量比以往结构化的数据大了几个量级，对ETL过程、存储都提出了更高的要求。互联网的在线特性也将业务需求推向了实时化 ，随时根据当前客户行为而调整策略变得越来越常见，比如大促过程中库存管理，运营管理等（即既有中远期策略型，也有短期操作型）。同时公司业务互联网化之后导致同时服务的客户剧增，有些情况人工难以完全处理，这就需要机器 自动决策 。比如欺诈检测和用户审核。总结来看，对数据仓库的需求可以抽象成两方面： 实时产生结果、处理和保存大量异构数据。本课程基于真实热门的互联网电商业务场景为案例讲解，结合分层理论和实战对数仓设计进行详尽的讲解，基于Flink+DorisDB实现真正的实时数仓,数据来及分析,实时报表应用。具体数仓报表应用指标包括：实时大屏分析、流量分析、订单分析、商品分析、商家分析等，数据涵盖全端（PC、移动、小程序）应用，与互联网企业大数据技术同步，让大家能够学到大数据企业级实时数据仓库的实战经验。本课程包含的技术： 开发工具为：IDEA、WebStorm Flink 1.11.3Hadoop 2.7.5Hive 2.2.0ZookeeperKafka 2.1.0、Spring boot 2.0.8.RELEASESpring Cloud Finchley.SR2Flume 、Hbase 2.2.6DorisDB 0.13.9、RedisVUE+jQuery+Ajax+NodeJS+ElementUI+Echarts+Datav等课程亮点： 1.与企业接轨、真实工业界产品2.DorisDB高性能分布式数据库3.大数据热门技术Flink最新版4.真正的实时数仓以及分层设计5.海量数据大屏实时报表6.数据分析涵盖全端（PC、移动、小程序）应用7.主流微服务后端系统8.数据库实时同步解决方案9.涵盖主流前端技术VUE+jQuery+Ajax+NodeJS+ElementUI+Echarts+Datav10.集成SpringCloud实现统一整合方案11.互联网大数据企业热门技术栈12.支持海量数据的实时数仓报表分析13.支持全端实时实时数仓报表分析14.全程代码实操，提供全部代码和资料 15.提供答疑和提供企业技术方案咨询企业一线架构师讲授，代码在老师的指导下企业可以复用，提供企业解决方案。  版权归作者所有，盗版将进行法律维权。 
    Doris
    云计算/大数据
    实时数据仓库
    Flink
    大数据
    免费试学 查看详情
  • 382人 学习人数
    4.6分 课程评分
    基于Flink+Alink构建电商全端智能AI个性化实时推荐系统
    如今随着互联网发展，数据量不断增大，大数据已经成为各个互联网公司的重点方向，而推荐系统成为互联网必不可少的配置，一个好的推荐系统，能为企业带来了可观的用户流量和销售额，特别对于电商系统，好的推荐系统可以大大提升电商企业的销售业绩和增加流量。像国内的很多知名电商，在推荐系统上投入了大量的研发力量，相关的人才需求也必然会很大。学好新技术的推荐系统，增加自己的竞争力，为以后跳槽涨薪做准备。 基于Flink+Alink构建电商全端智能AI个性化实时推荐系统课程，将带领大家一步一步实现一个个性化推荐系统，该系统以热门的互联网电商实际业务应用场景为案例讲解，具体包含：统计推荐、离线推荐、文本内容推荐、实时推荐几大指标内容。本课程采用全新的大数据技术栈：Flink+Alink,让你体验到全新技术栈的强大，感受时代变化的气息，通过学习完本课程可以节省你摸索的时间，节省企业成本，提高企业开发效率。本课程包含的技术： 开发工具为：IDEA、WebStorm Flink1.13.0Alink1.4.0 HadoopHbaseKafkaMongoDBRedisZookeeper SpringBoot2.0.8.RELEASE SpringCloud Finchley.SR2BinlogCanal MySQL Vue.js、Nodejs、ElementUI 课程亮点： 1.与企业接轨、真实工业界产品2.Alink算法技术框架 3.大数据热门技术Flink新版本 4.主流微服务后端系统 5.数据库实时同步解决方案 6.全方位个性化推荐7.涵盖主流前端技术VUE+NodeJS+ElementUI 8.集成SpringCloud实现统一整合方案 9.互联网大数据企业热门技术栈 10.支持海量数据的实时推荐 11.支持全端实时数据推荐 12.全程代码实操，提供全部代码和资料 13.提供答疑和提供企业技术方案咨询
    大数据推荐系统
    云计算/大数据
    实时推荐系统
    Flink
    Alink
    免费试学 查看详情
  • 1155人 学习人数
    4.6分 课程评分
    基于Flink+Alink构建全端亿级实时用户画像系统
    用户画像，作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像在各领域得到了广泛的应用。用户画像最初是在电商领域得到应用的，在大数据时代背景下，用户信息充斥在网络中，将用户的每个具体信息抽象成标签，利用这些标签将用户形象具体化，从而为用户提供有针对性的服务。还记得年底收到的支付宝年度消费账单吗？帮助客户回顾一年的消费细节，包括消费能力、消费去向、信用额度等等，再根据每位客户的消费习惯，量身定制商品推荐列表……这一活动，将数据这个量化的词以形象生动的表现手法推到了大众面前。这就是用户画像在电商领域的一个应用，随着我国电子商务的高速发展，越来越多的人注意到数据信息对于电商市场的推动作用。基于数据分析的精准营销方式，可以最大限度的挖掘并留住潜在客户，数据统计与分析为电商市场带来的突破不可估量。在大数据时代，一切皆可“量化”，看似普通的小小数字背后，蕴藏着无限商机，也正在被越来越多的企业所洞悉。如何从大数据中挖掘商机？建立用户画像和精准化分析是关键。什么是用户画像呢？用户画像是根据市场研究和数据，创建的理想中客户虚构的表示。创建用户画像，这将有助于理解现实生活中的目标受众。企业创建的人物角色画像，具体到针对他们的目标和需求，并解决他们的问题，同时，这将帮助企业更加直观的转化客户。用户画像最重要的一个步骤就是对用户标签化，我们要明确要分析用户的各种维度，才能确定如何对用户进行画像。用户画像建立步骤首先，基础数据收集，电商领域大致分为行为数据、内容偏好数据、交易数据，如浏览量、访问时长、家具偏好、回头率等等。而金融领域又有贷款信息，信用卡，各种征信信息等等。然后，当我们对用户画像所需要的基础数据收集完毕后，需要对这些资料进行分析和加工，提炼关键要素，构建可视化模型。对收集到的数据进行行为建模，抽象出用户的标签。电商领域可能是把用户的基本属性、购买能力、行为特征、兴趣爱好、心理特征、社交网络大致的标签化，而金融风控领域则是更关注用户的基本信息，风险信息，财务信息等等。随后，要利用大数据的整体架构对标签化的过程进行开发实现，对数据进行加工，将标签管理化。同时将标签计算的结果进行计算。这个过程中需要依靠Hive，Hbase等大数据技术，为了提高数据的实时性，还要用到Flink，Kafka等实时计算技术。最后，也是最关键的一步，要将我们的计算结果，数据，接口等等，形成服务。比如，图表展示，可视化展示。基于Flink+Alink构建全端亿级实时用户画像系统课程，将带领大家一步一步实现一个强大的实时用户画像系统，该系统以热门的互联网电商实际业务应用场景为案例讲解，具体包含：标签管理（支持动态标签扩展，动态标签指标）、用户预测、用户群体画像、用户行为画像、用户中心、几大内容。本课程采用全新的大数据技术栈：Flink+Alink,让你体验到全新技术栈的强大，感受时代变化的气息，通过学习完本课程可以节省你摸索的时间，节省企业成本，提高企业开发效率。本课程包含的技术： 开发工具为：IDEA、WebStorm Flink1.13.0Alink1.5.0 ClickHouseDolphinSchedulerHadoopHbaseKafkaZookeeper SpringBoot2.0.8.RELEASE SpringCloud Finchley.SR2BinlogCanal MySQL MybatisVue.js、Nodejs、ElementUI 课程亮点： 1.与企业接轨、真实工业界产品2.标签化管理模块功能,支持动态标签扩展3.动态标签指标分析和维护4.Alink算法技术框架 5.大数据热门技术Flink新版本 6.主流微服务后端系统 7.数据库实时同步解决方案 8.涵盖主流前端技术VUE+NodeJS+ElementUI 9.集成SpringCloud实现统一整合方案 10.互联网大数据企业热门技术栈 11.支持海量数据的实时画像 12.支持全端实时画像 13.全程代码实操，提供全部代码和资料 14.提供答疑和提供企业技术方案咨询 
    用户画像
    云计算/大数据
    DolphinScheduler
    Flink
    Alink
    免费试学 查看详情

套餐介绍

课程学习对象： 1.拥有理论基础扎实和想跳槽，且缺乏项目实战的学员 2.想了解和熟悉一些前沿技术在项目中的实践效果 3.不建议零基础购买课程。 一线在职架构师答疑，提供技术指导和支持，同时提供企业内训服务 课题一基于Flink+Alink构建全端亿级实时用户画像系统 课题二基于Flink+Alink构建电商全端智能AI个性化实时推荐系统 课题三基于Flink+Doris构建亿级全端电商实时数据分析平台 课题四基于Flink+Doris构建高性能高扩展的全端实时数据仓库
用AI创作
推荐

Web前端开发工程师全套课程（笔记+项目案例）

18课程￥399.00

Android音视频开发详解

3课程￥279.00

小白零基础入门MySQL数据库

2课程￥29.00

嵌入式软件工程师完全学习路线图专题-项目实战来袭

70课程￥1209.00

YOLOv3目标检测实战系列课程

3课程￥128.00

C#/.Net开发精品系列课程——初级至高端完整技能体系

20课程￥2185.00