大数据Spark实战视频教程

大数据Spark实战视频教程
共135节 37012人在学 课程详情

  • Spark实战part1

    • 1.spark介绍_整体架构_源码下载
    • 2.spark虚拟机安装_centos安装
    • 3.网络配置与关闭防火墙
    • 4.操作远程工具的使用（winscp_CRT）
    • 5.yum配置
    • 6.jdk安装
    • 7.配置集群ssh免密码登录
    • 8.hadoop安装
    • 9.hive与mysql安装与链接
    • 10.zookeeper安装
    • 11.scala安装
    • 12.kafka安装
    • 13.spark安装
    • 14wordcount小程序

  • Spark实战part2

    • 1.架构图
    • 2.案例讲解
    • 3.通过scala计算wordcount
    • 4.scala在window上面安装与path配置
    • 5.scala简单语法的介绍
    • 6.scala类的编写和演示
    • 8.IDAE的安装与配置
    • 9函数与方法的转换
    • 10添加数组与遍历数组
    • 11元组集合操作
    • 12可变类型map set
    • 13 scala常用的函数通过小案例讲解
    • 14scala单词统计案例讲解

  • Spark实战part3

    • 1回顾昨天语法
    • 2类与伴随对象的权限讲解
    • 3构造方法讲解
    • 4.辅助构造器
    • 5.单利对象与伴生对象
    • 6短信案例分享
    • 7apply方法
    • 8scala继承与实现
    • 9匹配字符串_类型_数组_元组
    • 10可选函数_偏函数
    • 11scala基础语法回顾
    • 12actor多线程案例讲解

  • Spark实战part4

    • 1回顾类对象_Actor
    • 2单机版本的wordcount
    • 3.架构
    • 4分享
    • 5回顾ActorWorCount
    • 6spark一个简单的运算过程
    • 7柯里化
    • 8在IDEA里面搭建maven工程
    • 9代码实现spark集群Master与worker通信
    • 10在IDEA里面通过maven打jar

  • Spark实战part5

    • 1.wordcount原理回顾
    • 2.隐士转换
    • 3隐式转换2
    • 4并行化操作
    • 5transformation与action总体介绍
    • 6统计每行出现的次数
    • 7将集合中每个元素乘以2
    • 8过滤出集合中的偶数
    • 9flatMap案例_将文本行拆分为多个单词
    • 10通过groupbyKey进行分组
    • 11reduceByKey统计每个班级的总分
    • 12sortbyKey学生分数进行排序
    • 13join案例班级合并
    • 14常用的action操作
    • 15saveAsTextFile保存到hdfs

  • Spark实战part6

    • 1.任务调度器
    • 2.任务调度器一个补充
    • 3spark工作原理与RDD介绍
    • 4maven安装
    • 5sparkjava版本wordcount本地执行
    • 6一些spark专业名词
    • 7人人车爬虫分享
    • 8项目分享
    • 9spark_java版本的集群模式
    • 10spark集群上面参数一些介绍
    • 11spark_scala_单机版本
    • 12spark_scala集群演示
    • 12回顾spark架构
    • 13服务器时间校准
    • 14wordcount原理分析
    • 15spark架构原理

  • Spark实战part7

    • 4统计单词降序排列
    • 5二次排序
    • 6取出前三个排名最高的数据
    • 7取出每个班级里面最高分数的三个学生
    • 8sparlsql发展史
    • 9sparksql_scala版本jar包替换
    • 10spark中RDD与DateFrame互相转换
    • 11通过反射讲RDD转换为DataFrame_java版本
    • 12通过反射讲RDD转换为DataFrame_scala版本
    • 1.持久化操作
    • 2持久化一个补充
    • 3accumulator与共享变量

  • Spark实战part8

    • 1.回顾_动态将RDD转换成DF
    • 2.动态将RDD转换成DF_scala版本
    • 3.通用的load和save操作
    • 4手动指定数据源类型
    • 5数据源Parquet之使用编程方式加载数据
    • 6.编译新的hive源码
    • 7.学生分享
    • 8自动分区推断
    • 9.合并元数据
    • 10总结sparksql的作用
    • 11JSON综合性复杂案例查询80分以上学生信息
    • 12JSON综合性复杂案例查询80分以上学生信息_scala
    • 13hive数据源实战java版本
    • 13hive数据源实战scala版本

  • Spark实战part9

    • 1jdbc简介与创建数据库和表
    • 2.spark_sql_java版本_jdbc
    • 3.mysql权限设置
    • 4学生分享
    • 6公司移动实战代码实战5根据移动公司数据统计家庭和工作地址业务介绍
    • 6公司移动实战代码实战
    • 7公司移动实战代码实战_第二种方法处理
    • 8复习spark原理
    • 9.公司移动实战读取文件夹

  • Spark实战part10

    • 1.简单的回顾
    • 2.sparkstream的介绍
    • 3Spark Streaming基本工作原理
    • 4.spark_streaming单词统计
    • 5输入DStream之基础数据源
    • 6sparkstream读取HDFS中的数据
    • 7sparkstream读取kafka数据
    • 8sparkstream读取kafka数据_direct方式
    • 9updateStateByKey统计所以单词

  • Spark实战part11

    • 1.sparkstreaming滑动窗口讲解
    • 2.滑块统计最高搜索单词
    • 3.公司业务流程介绍
    • 4.手机项目流程
    • 5.html简单介绍
    • 6.简单介绍一下跨平台开发
    • 7php和手机业务的介绍
    • 8生成数据方式
    • 9.简单分析一下业务流程
    • 1
    • 1

    订阅失败

    大数据Spark实战视频教程
    大数据Spark实战视频教程 ...

    订阅列表已满，请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看！专家精选系列课程，满足你从入门到精通！更有问答月卡免费送，你的问题有问必答！
    提交答案

    购买课程

    扫码完成付费，可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈，我们将及时处理！

    课时介绍

    9updateStateByKey统计所以单词-Spark实战part10大数据Spark实战视频教程

    课程介绍

    大数据Spark实战视频培训教程：本课程内容涉及，Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
    推荐课程

    信息系统项目管理师自考笔记

    李明 · 852人在学

    python从0到1：期货量化交易系统（CTP实战，高频及合成K线数据

    王先生 · 22564人在学

    手把手搭建Java超市管理系统【附源码】（毕设）

    汤小洋 · 4275人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 821人在学

    基于SSM酒店管理系统（毕设）

    小尼老师 · 881人在学

    java项目实战之购物商城（java毕业设计）

    Long · 5193人在学

    手把手搭建Java求职招聘系统【附源码】（毕设）

    汤小洋 · 1522人在学

    Python Django 深度学习 小程序

    钟翔 · 2384人在学

    城管局门前三包管理系统+微信小程序（vue+springboot）

    赖国荣 · 656人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4059人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中，请耐心等待几秒钟～