大数据课程30天掌握 spark内存计算（python ） Spark Spark-day04-04.spark持久化-shuffle
大数据课程30天掌握 spark内存计算（python ）
课程目录
讨论留言
Scala
- Scala-day01-01.Scala安装-体验scala语法
- Scala-day01-02.Scala操作符重载-apply方法
- Scala-day01-03.Scala C风格printf函数-readLine读行数据
- Scala-day01-04.Scalawhile循环99表格
- Scala-day01-05.for训话守卫条件和yield推导式
- Scala-day01-06.函数-带名函数-默认值-过程
- Scala-day01-07.数组-变长数组-转换
- Scala-day01-08.数组常用操作-sum-max-min-排序-mkdString
- Scala-day01-09.多维数组
- Scala-day01-10.类型自动转换
- Scala-day01-11.map-可变immutable-不可变mutable-迭代
- Scala-day01-12.tuple-zip操作
- Scala-day01-13.OOP-类-this关键字-var变量-val-get-set-主构造
- Scala-day01-14.OOP-对象-伴生对象
- Scala-day01-15.OOP-抽象类-方法覆盖
- Scala-day01-16.安装idea下的scala插件-创建scala模块-运行程序
- Scala-day01-17.scala包的导入-package object
- Scala-day02-01.扩展-类型检查-转换-类型树
- Scala-day02-02.文件和正则表达式-爬虫实现网页图片下载
- Scala-day02-03.爬虫实现原理-正则href解析
- Scala-day02-04.trait
- Scala-day02-05.操作符-apply-unapply
- Scala-day02-06.apply-unapply2
- Scala-day02-07.高阶函数-匿名函数
- Scala-day02-08.复杂高阶函数演示
- Scala-day02-09.高阶函数进化演示
- Scala-day02-10.柯里化-控制抽象
- Scala-day02-11.集合操作
- Scala-day02-12.集合操作2
- Scala-day02-13.模式匹配
- Scala-day02-14.样例类-密封样例类
- Scala-day02-15.偏函数
- Scala-day02-16.泛型-界定-型变-逆变
- Scala-day02-17.隐式转换-隐式参数值
Python
- Python-01.python简介
- Python-02.python的安装
- Python-03.helloworld与中文编码问题
- Python-04.python基本语法&缩进代码表示法&字符串表现形式&缩进注意事项
- Python-05.python键盘输入-多条语句-代码组概念-子句概念
- Python-06.python数据类型-int-long-float-complex
- Python-07.python数据类型-String-区间操作-正序-反序
- Python-08.python数据类型-list-访问-区间-重复
- Python-09.python数据类型-tuple-访问-区间-重复
- Python-10.python数据类型-dict-构造-访问
- Python-11.python数据类型转换函数-元组-list-字典-冻结集合-unicode
- Python-12-比较运算符和算术运算符-幂运算-整除运算
- Python-13-位运算符-移位运算
- Python-14-逻辑运算符-and-or-not
- Python-15-成员运算符in-not in-身份运算符-is-is not
- Python-16-条件语句-if-elif-else
- Python-17-while循环语句-99乘法表
- Python-18-for循环语句-99乘法表
- Python-19-break控制循环语句
- Python-20-tuple-定义-操作-重复操作-连接操作-空元组-内置API
- Python-21-string内置函数-索引-查找-长度
- Python-22-函数定义-参数类型-变长-默认-命名
- Python-23-模块与导入-使用
- Python-24-Python的windows安装与IDEA插件安装
- Python-25-Python在IDEA下的模块开发
- Python-26-Python在IDEA下的进行文件访问以及bug处理开发
- Python-27-Python在IDEA下的File访问-read-write-close
- Python-28-Python在IDEA下os进行mkdir-rmdir-rename操作
- Python-29.文件访问-获得文件大小-文件读行遍历
- Python-30.文件访问-二进制文件复制-rb-wb模式指定
- Python-31.文件访问-递归访问-输出整个目录树
Python-高级型篇
- python-高级型篇-01.面向对象编程
- python-高级型篇-02.mysql模块安装-连接-测试
- python-高级型篇-03.python中创建数据库
- python-高级型篇-04.python中创建表操作
- python-高级型篇-05.python中创建insert into操作
- python-高级型篇-06.python中update-delete
- python-高级型篇-07.python中select-格式化打印输出
- python-高级型篇-08.python中struct模块实现输出串行和反串行
- python-高级型篇-09.python中Socket TCP协议服务端编程
- python-高级型篇-10.python中Socket TCP协议客户端编程
- python-高级型篇-11.python中Socket UDP协议发送方编程
- python-高级型篇-12.python中Socket UDP协议接收方编程
- python-高级型篇-13.python中多线程编程-低级API实现
- python-高级型篇-14.python中多线程编程-高级API实现编程
- python-高级型篇-15.python中多线程编程-高级API实现编程-join作用
- python-高级型篇-16.python中多线程编程-高级API实现编程-线程安全性问题
- python-高级型篇-17.python中多线程编程-高级API实现编程-同步枷锁处理
Spark
- Spark-day01-01.Spark介绍
- Spark-day01-02.安装Spark
- Spark-day01-03.使用Spark实现word count
- Spark-day01-04.Spark编程实现wordcount
- Spark-day01-05.Spark java版单词统计
- Spark-day01-06.Spark程序包找不到问题-配置idea下的全局库-在模块中指定全局库
- Spark-day01-07.部署spark完全分布式集群
- Spark-day01-08.spark脚本分析-进程管理
- Spark-day02-01.Scala文件的maven编译问题
- Spark-day02-02.核心API模块介绍
- Spark-day02-03.RDD弹性分布式数据集
- Spark-day02-04.RDD并发度-分区-变换
- Spark-day02-05.RDD变换-wordcount-count-reduce
- Spark-day02-06.RDD变换-groupByKey-join
- Spark-day02-07.RDD变换-cogroup
- Spark-day02-08.RDD变换-笛卡尔积
- Spark-day02-09.RDD变换-pipe
- Spark-day02-10.RDD Action-collect-count-countByKey
- Spark-day02-11.RDD数据倾斜处理
- Spark-day02-12.Spark和hadoop HA整合-数据倾斜使用
- Spark-day03-01.spark运行代码解析-1
- Spark-day03-02.spark-dag调度器-task调度器-job-taskset
- Spark-day03-03.spark-activeJob-taskSchedulerImpl
- Spark-day03-04.spark作业提交-事件loop-调度器处理-监听器总线
- Spark-day03-05.spark作业提交-后台调度器-RpcEndpoint-消息发送
- Spark-day04-01.spark提交流程回顾
- Spark-day04-02.spark提交流程图形总结-宽窄依赖1
- Spark-day04-03.spark启动模式
- Spark-day04-04.spark持久化-shuffle
- Spark-day04-05.spark持久化-删除数据-丢失数据的恢复
- Spark-day04-06.spark累加器-广播变量
- Spark-day04-07.spark分布式计算PI值
- Spark-day04-08.Spark SQL模块
- Spark-day05-01.SparkSQL操纵json文件-read-write
- Spark-day05-02.SparkSQL使用jdbc操纵Mysql数据库
- Spark-day05-03.SparkSQL交互hive
- Spark-day05-04.SparkSQL交互hive-thriftserver
- Spark-day05-05.SparkSQL分布式SQL查询引擎
- Spark-day05-06.Spark Streaming流计算
- Spark-day05-07.Spark Streaming流计算JavaAPI编程实现-提交作业
- Spark-day05-08.Spark Streaming流计算集群上提交演示
- Spark-day05-09.Spark Streaming DStream类考察-Receiver
- Spark-day05-10.Spark Streaming 和Kafka集成
- Spark-day05-11.Spark Streaming RDD-DStream
- Spark-day05-12.Spark Streaming updateStateByKey
- Spark-day06-01.spark streaming windows化操作
- Spark-day06-02.spark streaming容错处理
- Spark-day06-03.spark streaming容错代码测试-checkpoint
Spark机器学习
- Spark机器学习-day01-01.推荐算法
- Spark机器学习-day01-02.ALS最小二乘法实现推荐模型
- Spark机器学习-day01-03.ALS实现电影推荐
- Spark机器学习-day01-04.spark机器学习-介绍-分类-聚类-推荐(协同过滤)
- Spark机器学习-day01-05.推荐model应用-商品推荐-用户推荐-topn推荐
- Spark机器学习-day01-06.spark分类算法
- Spark机器学习-day01-07.spark机器学习-逻辑回归测试
- Spark机器学习-day01-08.spark机器学习-逻辑回归测试2
- Spark机器学习-day01-09.spark机器学习-分类-spamFilter
Python爬虫与Hbase Spark结合
- python与hbase spark结合-day01-05.python体验
- python与hbase spark结合-day01-06.pythonwindows的安装
- python与hbase spark结合-day01-07.python基础-语句块
- python与hbase spark结合-day01-08.python基本数据类型
- python与hbase spark结合-day01-09.python运算符
- python与hbase spark结合-day01-10.python循环
- python与hbase spark结合-day01-11.python String
- python与hbase spark结合-day01-12.python文件访问
- python与hbase spark结合-day02-01.mysql集成python3.4
- python与hbase spark结合-day02-02.mysql大数据量插入-查询-条件查询
- python与hbase spark结合-day02-03.python操纵mysql事务管理
- python与spark结合-day02-04.python操纵mysql 存储过程和函数
- python与hbase spark结合-day02-05.python操纵多线程-时间函数
- python与spark结合-day02-06.python OOP
- python与spark结合-day02-07.python多线程
- python与spark结合-day02-08.python Socket编程
- python与spark结合-day02-09.python Socket UDP编程
- python与spark结合-day02-10.python 爬虫实现
- python与spark结合-day03-01.python协同hbase实现数据写入
- python与spark结合-day03-02.python编写wordcount
- python与spark结合-day03-03.python编译hbase.thrift文件-put
- python与spark结合-day03-04.python编译错误纠正-测试
- python与spark结合-day03-05.python查询hbase scan-delete
- python与spark结合-day03-06.python爬虫存储页面在hbase中
- python与spark结合-day03-07.python & spark实现数据分析-图表
- python与spark结合-day03-08.实现数据分析-直方图-饼图-嵌套子图-条形图
- python与spark结合-day04-01.商品价格抓取
- day04-02.Spark闭包处理-local-cluster模式下区别
- day04-03.SparkApp部署模式-client-cluster区分演示
- day04-04.Spark yarn集群运行模式
- day04-05.Spark yarn client模式运行
- day04-06.Spark yarn cluster模式运行-上传sparkjar到hdfs
- day04-07.Spark HA模式配置与测试
- day04-08.Spark hive集成
- day05-01.sparkSQL集成hive访问hbase库-类库问题
项目一-团购网站的标签生成（真实企业项目）
项目二-用户画像 （真实企业项目）
项目三-电信电话callLog（真实企业项目）
- 用户画像第01天-06.性别-年龄进行用户画像总结
- callLog-day01-01.ssm简介
- callLog-day01-02.ssm-mybatis-项目初始化
- callLog-day01-03.ssm-mybatis-配置文件和数据库创建-表创建
- callLog-day01-04.ssm-mybatis-使用API测试是否连通
- callLog-day01-05.ssm-mybatis-创建mapper文件和javabean
- callLog-day01-06.ssm-mybatis-实现insert操作
- callLog-day01-07.ssm-mybatis-实现update操作
- callLog-day01-08.ssm-mybatis-实现selectOne操作
- callLog-day01-09.ssm-mybatis-实现selectAll操作
- callLog-day01-10.ssm-mybatis-复杂关系-准备数据-表结构
- callLog-day01-11.ssm-mybatis-复杂关系-设计java类
- callLog-day01-12.ssm-mybatis-复杂关系-orderMapper映射文件
- callLog-day01-13.ssm-mybatis-复杂关系-修改配置-插入关联数据
- callLog-day01-14.ssm-mybatis-复杂关系-多对一关联查询
- callLog-day01-15.ssm-mybatis-复杂关系-多对一映射编写
- callLog-day01-16.ssm-mybatis-复杂关系-多对一API编程测试
- callLog-day01-17.ssm-mybatis-项目改造-规范化-Dao-Util
- callLog-day01-18.ssm-mybatis-项目改造-样板代码-接口回调实现封装
- callLog-day01-19.ssm-mybatis-项目改造-接口回调原理图说明
- callLog-day02-01.体验Spring
- callLog-day02-02.spring注解方式-扫描组件-依赖配置
- callLog-day02-03.spring整合mybatis原理图
- callLog-day02-04.spring整合mybatis-项目初始化-连接数据源c3p0
- callLog-day02-05.spring整合mybatis-sf-dao设计实现
- callLog-day02-06.spring整合mybatis-service接口和实现类设计
- callLog-day02-07.spring整合mybatis-配置文件-事务通知-aop配置
- callLog-day02-08.spring整合mybatis-rose图分析
- callLog-day02-09.spring整合mybatis-调错
- callLog-day02-10.spring整合mybatis-整合回顾
- callLog-day02-11.spring整合mybatis-业务增加-item处理
- callLog-day02-12.spring整合mybatis-业务增加-item处理2
- callLog-day02-13.spring整合mybatis-事务管理原理介绍-现象展示
- callLog-day03-01.web程序简介
- callLog-day03-02.搭建tomcat服务器
- callLog-day03-03.tomcat目录结构-端口修改-server.xml
- callLog-day03-04.在idea下创建web模块-配置tomcat-运行程序
- callLog-day03-05.在idea下配置tomcat服务器热部署
- callLog-day03-06.在idea添加maven支持-修改热部署-默认浏览器
- callLog-day03-07.bs结构程序的工作流程
- callLog-day03-08.Spring MVC结构
- callLog-day03-09.引入Springmvc依赖-配置servlet
- callLog-day03-10.spring注解驱动配置mvc-编写controller
- callLog-day03-11.IDEA下的weeb模块运行找不到第三方类库的解决办法
- callLog-day03-12.配置视图解析器-增加jsp页面-增加控制器方法
- callLog-day03-13.实现注册用户功能
- callLog-day03-14.获得表单提交数据-HttpServletRequest
- callLog-day03-15.Controller向jsp传递参数-Model
- callLog-day03-16.Controller向jsp传递集合数据进行显示
- callLog-day03-17.springMVC完成CRUD-forward-redirect
- callLog-day03-18.forward-redirect区别
- callLog-day04-01.数据范围-session-application-request
- callLog-day04-02.数据范围-session登录处理-session数据保存
- callLog-day05-01.SSM整合-项目初始化-maven依赖
- callLog-day05-02.SSM整合-整合架构-包结构分析
- callLog-day05-03.SSM整合-基本类库创建-service-dao-domain
- callLog-day05-04.SSM整合-控制器-spring配置文件-分发器配置文件
- callLog-day05-05.SSM整合-实现user查看-web.xml配置监听
- callLog-day05-06.SSM整合-SpringMVC静态资源访问
- callLog-day05-07.SSM整合-引入css表
- callLog-day05-08.SSM整合-删除用户
- callLog-day05-09.SSM整合-中文乱码问题
- callLog-day05-10.SSM整合-分页查询
- callLog-day05-11.SSM整合-分页查询2
- callLog-day06-01.通话记录系统架构分析
- callLog-day06-02.通话记录模拟生成程序
- callLog-day06-03.通话记录模拟生成程序生成jar部署到centos运行
- callLog-day06-04.部署数据生成程序到centos运行-编写执行脚本-生成测试数据
- callLog-day06-05.启动zk集群和kafka集群
- callLog-day06-06.创建kafka主题-并查看主体列表
- callLog-day06-07.创建flume配置文件-启动收集程序-F持续收集-从头收集
- callLog-day06-08.启动数据生成程序，查看数据收集状况
- callLog-day06-09.启动hadoop的hdfs集群-进行容灾切换-查看状态
- callLog-day06-10.启动hbase集群-双master节点做HA容灾处理-容器切换
- callLog-day06-11.创建hbase名字空间和表
- callLog-day06-12.编写HbaseDao实现数据的hbase写入-配置文件外部化
- callLog-day06-13.编使用maven命令下载工件需要的所有第三方类库到指定目录下
- callLog-day06-14.导出消费者jar组织安装目录-编写运行脚本-执行程序
- callLog-day06-15.编写centos下的脚本-运行程序-查看消费数据
- callLog-day06-16.导入IDEA中其他模块到新项目中-调整配置
- callLog-day06-17.web项目集成-hbase数据查询展示
- callLog-day07-01.按照时间段查询通话记录
- callLog-day07-02.实现CallLogController查询页面和接受参数
- callLog-day07-03.编写jsp查询通话记录页面
- callLog-day07-04.查询时间段的通话记录分析
- callLog-day07-05.计算时间范围
- callLog-day07-06.实现范围时段查询
- callLog-day07-07.实现范围时段查询2
- callLog-day07-08.创建CallLog日志表的协处理器-完成被叫数据的保存
- callLog-day07-09.打包CallLog日志表的协处理器并进行部署-测试web程序
- callLog-day07-10.重写postGetOp方法，实现被叫查询返回主叫结果
- callLog-day07-11.web程序集成协处理器实现被叫查询返回主叫结果
- callLog-day07-12.重写postScannerNext方法实现scan时数据的主被处理
- callLog-day08-01.启动yarn的集群-HA
- callLog-day08-02.启动hive-完成hive到hbase表映射-实现最近通话信息查询
- callLog-day08-03.SSM集成hive查询-交互与hiveserver2服务器
- callLog-day08-04.SSM集成hive查询-修改pom依赖
- callLog-day08-05.SSM集成hive-jdbc访问hiveser2时bug解决
- callLog-day08-06.通话记录增加名字信息
- callLog-day08-07.通话记录增加名字信息-准备数据
- callLog-day08-08.测试SSMWEB部分关联名字信息展示数据
- callLog-day08-09.修改物理内存和虚拟内存对MR的限制，否则Hive查询无法执行
- callLog-day08-10.使用Fastjson返回json的数据串-ajax访问后台
- callLog-day08-11.集成jQuery库实现ajax访问-动态刷新通话记录
- callLog-day08-12.集成jQuery实现周期性刷新页面-javascript
- callLog-day08-13.全流程数据链演示
- callLog-day08-14.真正分布式配置指导
- callLog-day09-01.kafka存活时间设置
- callLog-day09-02.hive中substr的方法-按照年份统计指定人各月的通话次数
- callLog-day09-03.hive查询统计指标-controller实现
- callLog-day09-04.hive查询统计指标-jsp页面实现
- callLog-day09-05.linux awk命令批量按照java进程名称kill进程
- callLog-day09-06.ssh远程命令解决命令找不到-改造xcall.sh文件
- callLog-day09-07.编写管理脚本-hive查询统计结果数据
- callLog-day09-08.hive中查询所有用户的每个月的通话次数
- callLog-day09-09.ajax异步访问服务器中文数据乱码问题
- callLog-day09-10.使用echarts脚本库实现数据展现-柱状图
- callLog-day09-11.json数据后台查询-字符串处理-echart图表展示
- callLog-day09-12.使用ganglia进行集群监控-安装-注意事项-权限问题
- callLog-day09-13.yum源安装问题-cdh源使用
- callLog-day09-14.使用udp协议实现进程监控
- callLog-day09-15.使用udp协议实现接收方-发送方代码实现
- callLog-day09-16.使用udp协议实现接收方-发送方代码实现2
- callLog-day10-01.sparkSQL idea编程实现spark对hbase数据的统计
- callLog-day10-02.sparkSQL同web项目集成
- callLog-day10-03.sparkSQL同web项目集成2
flink
- flink-01.flink介绍
- flink-02.flink-无界数据集-有界数据集
- flink-03.flink-两种执行模型
- flink-04.flink-特点
- flink-05.flink-特点2
- flink-06.flink-流计算模型-有界数据集处理
- flink-07.flink-从下到上的架构层次说明
- flink-08.flink-datasource-flink-datasink结构
- flink-09.flink-总结
- flink-10.flink-体验
- flink-11.flink-体验-下载flink
- flink-12.flink-体验-解压flink
- flink-13.flink-体验-启动flink本地集群脚本-验证启动是否成功
- flink-14.flink-体验-启动webui查看flink状态
- flink-15.flink-编写java版wordcount程序-启动nc-运行程序
- flink-16.flink集群运行模式-从IDEA中导出jar包
- flink-17.flink集群运行模式-检查flink集群运行状况-传递jar到centos上
- flink-18.flink集群运行模式-启动centos上的nc服务器地址-端口指定9999
- flink-19.flink程序运行-执行结果查看-注意事项
Spark
Spark-day04-04.spark持久化-shuffle
视频学习中有任何产品建议都可由此反
馈，我们将及时处理！
馈，我们将及时处理！
课时介绍
Spark-day04-04.spark持久化-shuffle-Spark大数据课程30天掌握 spark内存计算（python ）
课程介绍
本部分内容全面涵盖了Spark生态系统的概述及其编程模型，深入内核的研究，Spark on Yarn,Spark Streaming流式计算原理与实践，Spark SQL,Spark的多语言编程以及SparkR的原理和运行。
Python语言的部分大家在学习后可以完全掌握Python的精髓，并通过这部分的学习给大家打好一个基础。
推荐课程
信息系统项目管理师自考笔记
李明 · 736人在学
python从0到1：期货量化交易系统（CTP实战，高频及合成K线数据
王先生 · 22146人在学
手把手搭建Java超市管理系统【附源码】（毕设）
汤小洋 · 4210人在学
Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教
黄菊华 · 791人在学
基于SSM酒店管理系统（毕设）
小尼老师 · 842人在学
java项目实战之购物商城（java毕业设计）
Long · 5157人在学
手把手搭建Java求职招聘系统【附源码】（毕设）
汤小洋 · 1508人在学
Python Django 深度学习 小程序
钟翔 · 2327人在学
城管局门前三包管理系统+微信小程序（vue+springboot）
赖国荣 · 600人在学
Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序
李杰 · 3992人在学
