大数据热门技术Spark+机器学习+贝叶斯算法第4季

大数据热门技术Spark+机器学习+贝叶斯算法第4季
共17节 145人在学 课程详情
  • 01.回顾spark核心组件和逻辑关系图
  • 02.回顾spark job执行流程-两步走
  • 03.作业讲解-实现分区索引携带
  • 04.数据倾斜处理-重新设计key-自定义随机分区
  • 05.spark job部署模式介绍
  • 06.standalone组合模式考察进程
  • 07.spark yarn部署模式
  • 08.client job部署模式考察
  • 09.关闭hadoop虚拟内存和物理内存检查配置
  • 10.配置属性避免每次上传spark类库
  • 11.yarn-cluser配置
  • 12.spark standalone资源配置
  • 13.spark worker数-集群管理命令
  • 14.模式下资源配置-cores-memory
  • 15.spark job yarn client配置
  • 16.编写spark远程调试函数sendInfo
  • 17.task占用core配置-task执行考察

    订阅失败

    大数据热门技术Spark+机器学习+贝叶斯算法第4季
    大数据热门技术Spark+机器学习+贝叶斯算法第4季 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    16.编写spark远程调试函数sendInfo

    课程介绍

    本套大数据热门技术Spark+机器学习+贝叶斯算法系列课程,历经5年沉淀,调研企业上百家,通过上万学员汇总,保留较为完整的知识体系的同时,让每个模块看起来小而精,碎而不散。在本课程中基于大量案例实战,深度剖析和讲解Spark2.4原理和新特性,且会包含完全从企业真实业务需求中抽取出的案例实战。内容涵盖Spark核心编程、Spark SQL和Spark Streaming、Spark内核以及源码剖析、推荐系统、Kafka消费机制、Spark机器学习、朴素贝叶斯算法、企业级实战案例等。


    通过理论和实际的紧密结合,可以使学员对大数据Spark技术栈有充分的认识和理解,在项目实战中对Spark和流式处理应用的场景、以及大数据开发有更深刻的认识;并且通过对流处理原理的学习和与批处理架构的对比,可以对大数据处理架构有更全面的了解,为日后成长为架构师打下基础。


    本套教程可以让学员熟练掌握Spark技术栈,提升自己的职场竞争力,实现更好的升职或者跳槽,或者从J2EE等传统软件开发工程师转型为Spark大数据开发工程师,或是对于正在从事Hadoop大数据开发的朋友可以拓宽自己的技术能力栈,提升自己的价值。


    Spark应用场景

    Yahoo将Spark用在Audience Expansion中的应用,进行点击预测和即席查询等。

    淘宝技术团队使用了Spark来解决多次迭代的机器学习算法、高计算复杂度的算法等。应用于内容推荐、社区发现等。

    腾讯大数据精准推荐借助Spark快速迭代的优势,实现了在“数据实时采集、算法实时训练、系统实时预测”的全流程实时并行高维算法,最终成功应用于广点通pCTR投放系统上。

    优酷土豆将Spark应用于视频推荐(图计算)、广告业务,主要实现机器学习、图计算等迭代计算。


    本套大数据热门技术Spark+机器学习+贝叶斯算法共计13季,本套为第4季。

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 859人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22621人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4280人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 824人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 888人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5193人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1524人在学

    Python Django 深度学习 小程序

    钟翔 · 2385人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 661人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4062人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~