导航
课程首页
  • PM-Summit 全球产品经理大会云会员
  • SDCon 全球软件研发技术大会云会员
  • ML-Summit 全球机器学习技术大会云会员
  • C++性能优化高端培训
  • AI全栈开发实战营
精品课 极客时间

AI 搜索

登录
会员中心
消息
历史
创作中心
创作
学习中心
成为讲师

徐培成8天Spark2.1从入门到精通

徐培成8天Spark2.1从入门到精通
共79节 428人在学 课程详情
课程目录
讨论留言
  • Spark2.1第一章spark入门

    • 01.spark简介
    • 02.spark安装-local
    • 03.spark实现wc(shell版)
    • 04.spark实现wordcount(idea编程)
    • 05.spark实现wordcount(java版实现)
    • 06.spark独立模式集群搭建-wordcount实现
    • 07.spark独立模式集群搭建-wc集群运行
    • 08.spark实现数据倾斜处理
    • 09.spark集群管理命令
    • 10.spark常用方法-api简介-变换-动作
  • Spark2.1第二章spark入门

    • 01.taggen spark实现(scala)
    • 02.taggen spark实现(java版)
    • 03.spark概念分析-stage-task-job-rdd
    • 04.spark job提交分析-1
    • 05.spark job提交分析-2
    • 06.spark job提交分析-3
  • Spark2.1第三章spark工作流程

    • 01.spark job提交流程回顾
    • 02.spark job并发度-并发能力-并发线程
    • 03.spark job 变换-分区指定-mapPartition
    • 04.spark job distinct-union-intersect-aggregate
    • 05.agg实现groupby分组-join实现查询
    • 06.cogroup-repartition-coalesce-迪尔卡
  • Spark2.1第四章

    • 01.sparkjob资源分配
    • 02.sparkjob配置参数指定-task内核数控制
    • 03.spark job部署模式-client-cluster
    • 04.spark job执行事件触发流出考察
    • 05.spark yarn模式原理-关闭虚拟内存检查
    • 06.spark yarn提交jar内容考察-spark.yarn.archive配置
    • 07.spark自定义分区解决数据倾斜
    • 08.spark shuffle管理
    • 09.spark shuffle-handle-writer
  • Spark2.1第五章spark原理剖析

    • 01.spark shuffleHandle的采用判断方式
    • 02.spark bypassshuffleWriter写入剖析
    • 03.spark bypassshuffleWriter后期合成文件考察
    • 04.spark shuffleWriter总结
    • 05.spark shuffle reader
    • 06.spark内存管理-结构划分
    • 07.spark内存管理内部实现
    • 08.spark rdd持久化
    • 09.spark广播变量
    • 10.spark累加器
    • 11.spark累加器-自定义累加器
  • Spark2.1第六章spark sql

    • 01.shuffle-内存-广播-累加器回顾
    • 02.体验spark sql
    • 03.编程实现spark sql访问hive(scala版)
    • 04.编程实现spark sql访问hive(java版)
    • 05.spark sql操纵list和rdd
    • 06.spark sql操纵list和rdd(java版)
    • 07.spark sql实现taggen(scala版)
    • 08.spark sql访问json
    • 09.spark sql dataFrame API使用
    • 10.spark sql访问json-parquet-hive读写
    • 11.spark sql访问jdbc访问mysql
    • 12.spark sql分布式查询引擎
  • Spark2.1第七章Spark Streaming

    • 01.Spark流计算体验
    • 02.Spark流计算基础-集群模式运行流
    • 03.Spark流计算reciever-DStream的注意事项
    • 04.Spark流计算 windows化操作
    • 05.Spark流计算java版实现wordcount
    • 06.Spark流计算updateStateBykey操作
    • 07.Spark流计算windows和updateStateBykey组合使用a.vi
    • 08.Spark流计算join连接操作与注意事项
    • 09.Spark流计算组合使用Spark SQL
    • 10.Spark流集成kafaka
    • 11.Spark streaming-kafka-LocationStratagies(位置策略)
    • 12.Spark streaming-kafka-ConsumerStrategies(消费者策略)
    • 13.Spark streaming-kafka考察位置策略
  • Spark2.1第八章机器学习

    • 01.spark streaming Kafka分区和RDD分区对应关系-检查点控制
    • 02.spark streaming Kafka调优处理
    • 03.spark机器学习-概念-术语
    • 04.spark机器学习-贝叶斯-TF-IDF-regress
    • 05.spark机器学习线性回归-预测红酒质量
    • 06.spark机器学习线性回归-预测红酒质量-执行调错
    • 07.spark机器学习-模型持久化
    • 08.spark机器学习-逻辑回归
    • 09.spark机器学习-垃圾邮件分类-管线化(分词-哈希词频-逻辑回归)
    • 10.中文分词
    • 11.贝叶斯分类-贝叶斯对酒质量进行预测
    • 12.贝叶斯分类-kmean聚类
播放页问题反馈
视频学习中有任何产品建议都可由此反
馈,我们将及时处理!

课时介绍

09.spark机器学习-垃圾邮件分类-管线化(分词-哈希词频-逻辑回归)

课程介绍

本套Spark2.1教程全面涵盖了Spark生态系统的概述及其编程模型,深入内核的研究,Spark on Yarn,Spark Streaming流式计算原理与实践,Spark SQL,Spark的多语言编程以及机器学习的原理和运行。不仅面向项目开发人员,甚至对于研究Spark的学员,都建议深入学习。
推荐课程

信息系统项目管理师自考笔记

李明 · 758人在学

python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

王先生 · 22205人在学

手把手搭建Java超市管理系统【附源码】(毕设)

汤小洋 · 4222人在学

Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

黄菊华 · 794人在学

基于SSM酒店管理系统(毕设)

小尼老师 · 844人在学

java项目实战之购物商城(java毕业设计)

Long · 5161人在学

手把手搭建Java求职招聘系统【附源码】(毕设)

汤小洋 · 1511人在学

Python Django 深度学习 小程序

钟翔 · 2333人在学

城管局门前三包管理系统+微信小程序(vue+springboot)

赖国荣 · 605人在学

Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

李杰 · 4001人在学

正在试验
后自动删除环境
课程实验
本次实验时间已到期 00:00:00

    订阅失败

    徐培成8天Spark2.1从入门到精通
    徐培成8天Spark2.1从入门到精通 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    课件正在飞速打包中,请耐心等待几秒钟~
    首页
    博客
    下载
    学习
    社区
    AI搜索
    GitCode
    InsCodeAI
    技术会议
    会员中心
    创作中心
    联系我们
    工作时间: 8:30 - 22:00
    客服电话: 400-660-0108
    kefu@csdn.net在线客服
    • 关于我们
    • 招贤纳士
    • 商务合作
    • 寻求报道
    • 京ICP备19004658号
    • 经营性网站备案信息
    • 公安备案号11010502030143
    • 营业执照
    • 北京互联网违法和不良信息举报中心
    • 家长监护
    • 中国互联网举报中心
    • 网络110报警服务
    • Chrome商店下载
    • 账号管理规范
    • 版权与免责声明
    • 版权申诉
    • 出版物许可证
    • ©1999-2024北京创新乐知网络技术有限公司