导航

大数据Spark实战视频教程

大数据Spark实战视频教程
共135节 37005人在学 课程详情
课程目录
讨论留言
  • Spark实战part1

    • 1.spark介绍_整体架构_源码下载
    • 2.spark虚拟机安装_centos安装
    • 3.网络配置与关闭防火墙
    • 4.操作远程工具的使用(winscp_CRT)
    • 5.yum配置
    • 6.jdk安装
    • 7.配置集群ssh免密码登录
    • 8.hadoop安装
    • 9.hive与mysql安装与链接
    • 10.zookeeper安装
    • 11.scala安装
    • 12.kafka安装
    • 13.spark安装
    • 14wordcount小程序
  • Spark实战part2

    • 1.架构图
    • 2.案例讲解
    • 3.通过scala计算wordcount
    • 4.scala在window上面安装与path配置
    • 5.scala简单语法的介绍
    • 6.scala类的编写和演示
    • 8.IDAE的安装与配置
    • 9函数与方法的转换
    • 10添加数组与遍历数组
    • 11元组集合操作
    • 12可变类型map set
    • 13 scala常用的函数通过小案例讲解
    • 14scala单词统计案例讲解
  • Spark实战part3

    • 1回顾昨天语法
    • 2类与伴随对象的权限讲解
    • 3构造方法讲解
    • 4.辅助构造器
    • 5.单利对象与伴生对象
    • 6短信案例分享
    • 7apply方法
    • 8scala继承与实现
    • 9匹配字符串_类型_数组_元组
    • 10可选函数_偏函数
    • 11scala基础语法回顾
    • 12actor多线程案例讲解
  • Spark实战part4

    • 1回顾类对象_Actor
    • 2单机版本的wordcount
    • 3.架构
    • 4分享
    • 5回顾ActorWorCount
    • 6spark一个简单的运算过程
    • 7柯里化
    • 8在IDEA里面搭建maven工程
    • 9代码实现spark集群Master与worker通信
    • 10在IDEA里面通过maven打jar
  • Spark实战part5

    • 1.wordcount原理回顾
    • 2.隐士转换
    • 3隐式转换2
    • 4并行化操作
    • 5transformation与action总体介绍
    • 6统计每行出现的次数
    • 7将集合中每个元素乘以2
    • 8过滤出集合中的偶数
    • 9flatMap案例_将文本行拆分为多个单词
    • 10通过groupbyKey进行分组
    • 11reduceByKey统计每个班级的总分
    • 12sortbyKey学生分数进行排序
    • 13join案例班级合并
    • 14常用的action操作
    • 15saveAsTextFile保存到hdfs
  • Spark实战part6

    • 1.任务调度器
    • 2.任务调度器一个补充
    • 3spark工作原理与RDD介绍
    • 4maven安装
    • 5sparkjava版本wordcount本地执行
    • 6一些spark专业名词
    • 7人人车爬虫分享
    • 8项目分享
    • 9spark_java版本的集群模式
    • 10spark集群上面参数一些介绍
    • 11spark_scala_单机版本
    • 12spark_scala集群演示
    • 12回顾spark架构
    • 13服务器时间校准
    • 14wordcount原理分析
    • 15spark架构原理
  • Spark实战part7

    • 4统计单词降序排列
    • 5二次排序
    • 6取出前三个排名最高的数据
    • 7取出每个班级里面最高分数的三个学生
    • 8sparlsql发展史
    • 9sparksql_scala版本jar包替换
    • 10spark中RDD与DateFrame互相转换
    • 11通过反射讲RDD转换为DataFrame_java版本
    • 12通过反射讲RDD转换为DataFrame_scala版本
    • 1.持久化操作
    • 2持久化一个补充
    • 3accumulator与共享变量
  • Spark实战part8

    • 1.回顾_动态将RDD转换成DF
    • 2.动态将RDD转换成DF_scala版本
    • 3.通用的load和save操作
    • 4手动指定数据源类型
    • 5数据源Parquet之使用编程方式加载数据
    • 6.编译新的hive源码
    • 7.学生分享
    • 8自动分区推断
    • 9.合并元数据
    • 10总结sparksql的作用
    • 11JSON综合性复杂案例查询80分以上学生信息
    • 12JSON综合性复杂案例查询80分以上学生信息_scala
    • 13hive数据源实战java版本
    • 13hive数据源实战scala版本
  • Spark实战part9

    • 1jdbc简介与创建数据库和表
    • 2.spark_sql_java版本_jdbc
    • 3.mysql权限设置
    • 4学生分享
    • 6公司移动实战代码实战5根据移动公司数据统计家庭和工作地址业务介绍
    • 6公司移动实战代码实战
    • 7公司移动实战代码实战_第二种方法处理
    • 8复习spark原理
    • 9.公司移动实战读取文件夹
  • Spark实战part10

    • 1.简单的回顾
    • 2.sparkstream的介绍
    • 3Spark Streaming基本工作原理
    • 4.spark_streaming单词统计
    • 5输入DStream之基础数据源
    • 6sparkstream读取HDFS中的数据
    • 7sparkstream读取kafka数据
    • 8sparkstream读取kafka数据_direct方式
    • 9updateStateByKey统计所以单词
  • Spark实战part11

    • 1.sparkstreaming滑动窗口讲解
    • 2.滑块统计最高搜索单词
    • 3.公司业务流程介绍
    • 4.手机项目流程
    • 5.html简单介绍
    • 6.简单介绍一下跨平台开发
    • 7php和手机业务的介绍
    • 8生成数据方式
    • 9.简单分析一下业务流程
    • 1
    • 1
回复
切换为未回复评论
切换为时间正序
请发表友善的回复…
发表回复
播放页问题反馈
视频学习中有任何产品建议都可由此反
馈,我们将及时处理!

课时介绍

9sparksql_scala版本jar包替换-Spark实战part7大数据Spark实战视频教程

课程介绍

大数据Spark实战视频培训教程:本课程内容涉及,Spark虚拟机安装、Spark表配置、平台搭建、快学Scala入门、Spark集群通信、任务调度、持久化等实战内容。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。
推荐课程

信息系统项目管理师自考笔记

李明 · 721人在学

python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

王先生 · 22093人在学

手把手搭建Java超市管理系统【附源码】(毕设)

汤小洋 · 4203人在学

Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

黄菊华 · 788人在学

基于SSM酒店管理系统(毕设)

小尼老师 · 841人在学

java项目实战之购物商城(java毕业设计)

Long · 5153人在学

手把手搭建Java求职招聘系统【附源码】(毕设)

汤小洋 · 1506人在学

Python Django 深度学习 小程序

钟翔 · 2319人在学

城管局门前三包管理系统+微信小程序(vue+springboot)

赖国荣 · 598人在学

Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

李杰 · 3985人在学

正在试验
后自动删除环境
课程实验
本次实验时间已到期 00:00:00

    订阅失败

    大数据Spark实战视频教程
    大数据Spark实战视频教程 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    课件正在飞速打包中,请耐心等待几秒钟~
    联系我们
    工作时间: 8:30 - 22:00
    客服电话: 400-660-0108
    kefu@csdn.net在线客服
    • 关于我们
    • 招贤纳士
    • 商务合作
    • 寻求报道
    • 京ICP备19004658号
    • 经营性网站备案信息
    • 公安备案号11010502030143
    • 营业执照
    • 北京互联网违法和不良信息举报中心
    • 家长监护
    • 中国互联网举报中心
    • 网络110报警服务
    • Chrome商店下载
    • 账号管理规范
    • 版权与免责声明
    • 版权申诉
    • 出版物许可证
    • ©1999-2024北京创新乐知网络技术有限公司