微信
支付宝
【课程介绍】
本课程讲解大规模数据处理的统一分析引擎——Spark2.4。在本课程中基于大量案例实战，深度剖析和讲解Spark2.4原理和新特性，且会包含完全从企业真实业务需求中抽取出的案例实战。除Spark2.4全体系外还包含机器学习、算法、推荐系统等。 本套大型Spark2.4架构师系列教程共计13季，本套为第六季。 配套资料-答疑专属答疑群 购买课程后加入qq群 831186576 （备注订单号后四位）
本课程讲解大规模数据处理的统一分析引擎——Spark2.4。在本课程中基于大量案例实战，深度剖析和讲解Spark2.4原理和新特性，且会包含完全从企业真实业务需求中抽取出的案例实战。除Spark2.4全体系外还包含机器学习、算法、推荐系统等。 本套大型Spark2.4架构师系列教程共计13季，本套为第六季。 配套资料-答疑专属答疑群 购买课程后加入qq群 831186576 （备注订单号后四位）
阅读更多
【课程收益】
1.代码和原理驱动讲解Spark2.4的各个技术点（全部手敲代码），全程图文解读
2.能够对常见的Spark2.4性能问题，使用各种技术进行性能调优
3.熟练掌握Spark2.4全体系的知识和操作，可以开发各种复杂的大数据离线批处理程序
4.透彻理解Spark2.4新特性和原理，可以对Spark企业级案例，进行调优和故障排查
1.代码和原理驱动讲解Spark2.4的各个技术点（全部手敲代码），全程图文解读
2.能够对常见的Spark2.4性能问题，使用各种技术进行性能调优
3.熟练掌握Spark2.4全体系的知识和操作，可以开发各种复杂的大数据离线批处理程序
4.透彻理解Spark2.4新特性和原理，可以对Spark企业级案例，进行调优和故障排查
- 章节目录
-
- 01. 01.shuffle机制回顾 30:16
- 02. 02.UnfaseShuffleWriter溢出过程源代码分析 46:00
- 03. 03.UnfaseShuffleWriter溢出过程Rose分析 10:18
- 04. 04.SortShuffleWriter源代码分析 01:01:46
- 05. 05.Spark Shuffle总结 10:15
- 06. 06.spark textFile默认最小分区源代码分析 25:02
- 07. 07.spark内存管理-结构划分 29:42
- 08. 08.spark-shell测试-内存分配-保留内存控制 21:34
- 09. 09.spark内存的管理的源代码考察 8:44
- 10. 10.spark rdd缓存机制源代码分析 50:09
- 11. 11.spark与hive集成 10:51
- 12. 12.spark与hive集成-关闭schema版本检查 2:23
- 13. 13.spark sql调用hive函数-查看hive函数帮助 3:01
- 14. 14.spark sql在idea下的编程开发 12:49
- 15. 15.spark sql在idea下的java编程-DataFrame cache 24:14
阅读更多
发布回复
