Spark3+Clickhouse+Hadoop大数据实战课程

Spark3+Clickhouse+Hadoop大数据实战课程
共85节 1705人在学 课程详情
  • 课程简介及学习环境安装

    • Spark3+Clickhouse课程大纲简介
    • 大数据生态圈现状
    • 彻底理解Spark RDD
    • 开发环境安装JDK+Scala2.12
    • Spark3源码跟踪学习技巧
    • Spark IDEA调试环境搭建
    • Net网络配置及虚拟机静态IP配置
    • VMWare Workstation克隆主机
    • SSH无密钥登陆及关闭防火墙
    • Hadoop集群搭建
    • Spark3.x集群搭建
  • Hadoop/Yarn光速入门

    • Hadoop集群动态扩容
    • Yarn核心组件及调度原理
    • Spark Yarn两种调度模式原理及代码实战
  • Spark RDD光速入门

    • Spark JdbcRDD等多种方式创建RDD
    • Jupter Notebook PySpark学习环境搭建
    • 累加器和广播变量等8个知识点
    • SparkContext上的20个知识点
    • combineByKey等6个知识点
    • 牢记容易被混淆的xxxByKey算子
    • RDD集合的差并补集
    • RDD上其余的20个知识点
    • 通过隐式转换扩充RDD转换算子
    • 通过隐式转换扩充RDD Action算子
    • 常用的Action算子汇总(1)
    • 常见的Action算子汇总(2)
    • SparkConfig配置对象
    • Spark任务调度源码走读
    • 基于Spark RDD的项目实战
  • DataFrame/Dataset光速入门

    • SparkSession详解
    • SparkSession read and write
    • SparkSQL模块简介
    • Spark DataFrame核心算子知识点16
    • Spark DataFrame核心知识点60
    • GroupedData和Column知识点
    • Catalog和Row知识点
    • 空数据处理和数据统计
    • Spark读写数据详细知识点
    • Spark数据类型及functions核武库
    • 基于DataFrame的数据挖掘实战
  • SparkSQL进阶

    • 人生苦短我用SparkSQL
    • SparkSQL join原理及优化思路
    • SparkUDF用户自定义函数
    • Spark UDAF用户自定义聚合函数
    • SparkSQL整合Hive
    • Spark UDTF用户自定义表生成函数
    • SparkSQL性能优化数据倾斜之两阶段聚合
    • SparkSQL大表关联小表数据倾斜优化以及broad
    • Sql执行顺序及数仓分层理论
    • SparkSQL+Hive构建离线数仓
    • DWD明细数据生成
  • Structured Streaming光速入门

    • Structured Streaming流式处理的两种模式
    • Structured Streaming核心概念
    • Structured Streaming滑动窗口和水印
    • Zokeeper集群搭建
    • Kafka集群搭建
    • pykafka推送hive订单数据到topic
    • Structured Streaming消费kafka数据
  • SparkML快速入门

    • SparkML pipline管道
    • SparkML交叉验证及网格搜索
    • SparkML房价预测
    • 机器学习项目python数据处理
    • SparkML向量及矩阵表示
    • SparkML中四种分布式矩阵表示
    • SparkML特征转换(1)
    • SparkML特征转换(2)
  • Spark性能调优

    • Spark程序编写9大准则
    • Spark程序性能优化8大技巧
  • Clickhouse光速入门

    • Clickhouse安装及用户和密码配置
    • TinyLog、Memory、Merge引擎
    • MergeTree引擎
    • Clickhouse集群配置及分布式表
    • Clickhouse单机多实例部署
    • Clickhouse三机双实例部署
    • Clickhouse三分片两副本集群配置
    • ReplicatedMergeTree实战
    • 查询工具Tabix及DBeaver配置及使用
    • SSB数据分析实战
    • Catboost安装及回归分析应用
    • Catboost回归模型在clickhouse sql中应用
  • clickhouse集群监控

    • Clickhouse集群监控之Prometheus安装
    • Clickhouse集群监控之Grafana配置
    • Clickhouse集群监控之node_exporter配置
    • Grafana导入clickhouse集群监控模板
    • Nginx反向代理Tabix+Pro+CK+Grafana

    订阅失败

    Spark3+Clickhouse+Hadoop大数据实战课程
    Spark3+Clickhouse+Hadoop大数据实战课程 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    SparkSQL性能优化数据倾斜之两阶段聚合

    课程介绍

    数据分析职业是一个多金的职业,数据分析职位是一个金饭碗的职位,前景美好,但是要全面掌握大数据分析技术,非常困难,大部分学员的痛点是不能快速找到入门要点,精准快速上手。

    本课程采用项目驱动的方式,以Spark3和Clickhouse技术为突破口,带领学员快速入门Spark3+Clickhouse数据分析,促使学员成为一名高效且优秀的大数据分析人才。

    学员通过本课程的学习,不仅可以掌握使用Python3进行Spark3数据分析,还会掌握利用Scala/java进行Spark数据分析,多语言并进,力求全面掌握;另外通过项目驱动,掌握Spark框架的精髓,教导Spark源码查看的技巧;会学到Spark性能优化的核心要点,成为企业急缺的数据分析人才;更会通过Clickhouse和Spark搭建OLAP引擎,使学员对大数据生态圈有一个更加全面的认识和能力的综合提升。真实的数据分析项目,学完即可拿来作为自己的项目经验,增加面试谈薪筹码。

    课程涉及内容:

    Ø  Spark内核原理(RDD、DataFrame、Dataset、Structed Stream、SparkML、SparkSQL)

    Ø  Spark离线数据分析(千万简历数据分析、雪花模型离线数仓构建)

    Ø  Spark特征处理及模型预测

    Ø  Spark实时数据分析(Structed Stream)原理及实战

    Ø  Spark+Hive构建离线数据仓库(数仓概念ODS/DWD/DWS/ADS)

    Ø  Clickhouse核心原理及实战

    Ø  Clickhouse engine详解

    Ø  Spark向Clickhouse导入简历数据,进行数据聚合分析

    Ø  catboost训练房价预测机器学习模型

    Ø  基于Clickhouse构建机器学习模型利用SQL进行房价预测

    Ø  Clickhouse集群监控,Nginx反向代理Grafana+Prometheus+Clickhouse+node_exporter

    Ø  Spark性能优化

    Ø  Spark工程师面试宝典

     

          课程组件:

    集群监控:

    福利:

    本课程凡是消费满359的学员,一律送出价值109元的实体书籍.

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 915人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22821人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4294人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 838人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 900人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5203人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1532人在学

    Python Django 深度学习 小程序

    钟翔 · 2409人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 681人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4077人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~