1.代码和原理驱动讲解Spark2.4的各个技术点(全部手敲代码),全程图文解读
2.能够对常见的Spark2.4性能问题,使用各种技术进行性能调优
3.熟练掌握Spark2.4全体系的知识和操作,可以开发各种复杂的大数据离线批处理程序
4.透彻理解Spark2.4新特性和原理,可以对Spark企业级案例,进行调优和故障排查
你将收获
1.代码和原理驱动讲解Spark2.4的各个技术点(全部手敲代码),全程图文解读
2.能够对常见的Spark2.4性能问题,使用各种技术进行性能调优
3.熟练掌握Spark2.4全体系的知识和操作,可以开发各种复杂的大数据离线批处理程序
4.透彻理解Spark2.4新特性和原理,可以对Spark企业级案例,进行调优和故障排查
适用人群
课程介绍
本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。
通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。
本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。
Spark应用场景
Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。
淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。
腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。
优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。
本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第11季。
课程目录