大数据40天精英计划
Linux
- Linux第01天-01..vmware安装-centos安装
- Linux第01天-02..CentOS基本命令
- Linux基础第02天-01.centos命令基础
- Linux基础第02天-02.centos命令-文件类型-权限
- Linux基础第02天-03.centos网络连接模式-虚拟网络编辑
- Linux基础第02天-04.centos网路配置-域名解析-光驱挂载
- Linux基础第02天-05.centos虚拟机增强工具的安装-文本模式的安装
- Linux基础第03天-01.符号连接-sudoers
- Linux基础第03天-02.进程查看-主机名-dirname-basename-磁盘分区
- Linux基础第03天-03.hostname-hosts-useradd-userdel
- Linux基础第03天-04.nc
- Linux基础第03天-05.nc传输文件-centosmin安装
- Linux第04天-01.CentOS-yum源修改-yum命令
- Linux第04天-02.CentOS-iso文件制作
- Linux第04天-03.CentOS-min版虚拟机增强
Hadoop
- Hadoop第01天-01.大数据介绍
- Hadoop第01天-02.hadoop介绍-jdk安装
- Hadoop第01天-03.hadoop安装-配置(独立模式-伪分布)
- Hadoop第02天-01.伪分布式启动-fs格式化-webui
- Hadoop第02天-02.完全分布式-准备工作-虚拟机克隆
- Hadoop第02天-03.完全分布式-搭建
- Hadoop第02天-04.完全分布式-调错2
- Hadoop第02天-05.完全分布式-编写脚本-xcall-xsync
- Hadoop第03天-01.脚本分析-单个进程启动
- Hadoop第03天-02.hdfs常用操作
- Hadoop第03天-03.hadoop基础-hdfs-block
- Hadoop第03天-04.hadoop API-网络拓扑
- Hadoop第04天-01.maven搭建
- Hadoop第04天-02.maven-idea
- Hadoop第04天-03.maven-idea-创建项目-模块
- Hadoop第04天-04.idea-快捷键设置-项目调整-maven设置
- Hadoop第04天-05.hadoop最小块设置-指定副本数
- Hadoop第04天-06.hadoop滚动日志-安全模式-保存名称空间
- Hadoop第04天-07.配额管理-空间配合-目录配额
- Hadoop第04天-08.快照管理-删除-创建-重命名-启用-禁用
- Hadoop第04天-09.节点的服役和退役
- Hadoop第04天-10.rose建模-虚拟光驱安装
- Hadoop第05天-01-hdfs写入剖析
- Hadoop第05天-02-hdfs写入剖析2
- Hadoop第05天-03-2nn融合nn的镜像文件和编辑日志
- Hadoop第05天-04-MR介绍
- Hadoop第05天-05-MR编写以及运行原理
- Hadoop第05天-06-MR原理图剖析
- Hadoop第05天-07-MR集群模式部署-运行
- Hadoop第06天-01.Yarn作业提交过程
- Hadoop第06天-02.job的文件split计算法则
- Hadoop第06天-03.切片和recorderreader读取法则
- Hadoop第06天-04.压缩文件
- Hadoop第06天-05.程序打包-centos运行-远程调试
- Hadoop第06天-06.5pom中引入antrun插件-远程调试-snappy库centos安装
- Hadoop第06天-07.LZO压缩编解码配置与测试
- Hadoop第06天-08.seqfile文件结构-同步点-压缩类型
- Hadoop第06天-09.自定义分区-数据倾斜-combiner类
- Hadoop第07天-01.多输入问题
- Hadoop第07天-02.计数器使用-跟踪运行信息
- Hadoop第07天-03.hadoop全排序
- Hadoop第07天-04.hadoop全排序-采样器
- Hadoop第07天-05.hadoop二次排序-原理-实现
- Hadoop第07天-06.hadoop二次排序-编程实现-年份最高气温值提取
- Hadoop第08天-01.二次排序-链条化
- Hadoop第08天-02.数据倾斜-自定义分区-随机分配
- Hadoop第08天-03.链式处理map和reduce tasks
- Hadoop第08天-04.DBInputFormat-DBWritable-实现数据库读取内容
- Hadoop第08天-05.DBInputFormat-DBWritable-输出数据到数据库中
- Hadoop第09天-01.机架感知
- Hadoop第09天-02.机架感知实现-配置
- Hadoop第09天-03.手动移动块数据-HA介绍
- Hadoop第09天-04.hadoop-ha介绍-配置-原理
- Hadoop第09天-05.hadoop-ha-配置
- Hadoop第09天-06.hadoop-ha-配置总结
- Hadoop第10天-01.mysql-jdbc加强
- Hadoop第10天-02.mysql-jdbc加强-state-ppst
- Hadoop第10天-03.mysql-定义存储过程
- Hadoop第10天-04.jdbc通过callableStatement调用存储过程
- Hadoop第10天-05.jdbc通过callableStatement实现百万数据插入
- Hadoop第10天-06.jdbc通过CallableStatement数据库函数
- Hadoop第10天-07.jdbc事务处理并发现象-脏读-不可重复读-幻读
- Hadoop第10天-08.mysql并发现象-脏读设置与演示
- Hadoop第10天-09.mysql并发现象-不可重复设置与演示
- Hadoop第10天-10.mysql并发现象-serializable-悲观锁-查询时使用foru
- Hadoop第10天-11.java编程展现隔离级别-连接查询处理-内连接-左右外链接-笛卡尔积
- Hadoop第10天-12.mysql查询语法构成-where-分组-having-orderby-
- Hadoop第10天-13.mysql嵌套子查询-分组-having-二次分组
- Hadoop第11天-01.Hadoop实现join操作原理分析
- Hadoop第11天-02.MR Map端连接实现
- Hadoop第11天-03.MR Reduce端连接实现-组合key-分区类-mapper类
- Hadoop第11天-04.MR Reduce端连接实现-排序对比器-分组对比器-App
Hive
- Hive第01天-01.hive的安装-配置
- Hive第01天-02.hive基本操作-建库-建表
- Hive第01天-03.hive中使用hiveserver2和beeline命令采用jdbc协议
- Hive第01天-04.hive中使用API通过jdbc访问数据藏库
- Hive第01天-05.hive中分区表-添加-删除-加载-查询
- Hive第01天-06.hive中桶表-实现-操作
- Hive第02天-01.hive操作-排序
- Hive第02天-02.hive动态分区-严格模式-非严格模式
- Hive第02天-03.hive事务处理-聚合
- Hive第02天-04.hive实现单词统计-嵌套子查询-分组聚合-topN
- Hive第02天-05.hive实现单词统计-结果存储-事务性表处理
- Hive第02天-06.hive视图操作
- Hive第02天-07.hive调优-mr严格模式-map端连接-explain
- Hive第02天-08.JVM重用-MR数量限制-本地模式
- Hive第02天-09.HiveUDF函数
- Hive第02天-10.HiveUDF函数-注册函数-使用函数
- Hive第02天-11.HiveUDF函数-日期时间函数
- Hive第02天-12.HiveUDF-使用GenericUDF
- Hive第02天-13.HiveUDF-GenericUDF-date日期函数
- Hive第03天-01.hive的数据倾斜
Avro和Protobuf
Zookeeper
- ZooKeeper第01天-01.zk介绍-相关概念
- ZooKeeper第01天-02.zk安装-配置-服务器启动
- ZooKeeper第01天-03.zk命令操作
- ZooKeeper第01天-04.zk API访问zk数据
- ZooKeeper第01天-05.zk递归方式输出zk系统目录
- ZooKeeper第01天-06.zk观察者模式-编程API使用-监控演示
- ZooKeeper第01天-07.zk的读写操作过程
- ZooKeeper第02天-01.leader推选法则
- ZooKeeper第02天-02.zk完全分布式集群配置
- ZooKeeper第02天-03.HA分布式自动容灾1
- ZooKeeper第02天-04.HA分布式自动容灾2-配置实现-容灾演示
- ZooKeeper第02天-05.RM的HA配置
Hbase
- Hbase第01天-01.Hbse介绍
- Hbase第01天-02.Hbse完全分布式集群搭建
- Hbase第01天-03..HA集群架构回顾
- Hbase第02天-01.hbase HA
- Hbase第02天-02.hbase shell基本操作
- Hbase第02天-03.hbase API方式实现插入和查询
- Hbase第02天-04.hbase 架构介绍
- Hbase第02天-05.hbase写入过程剖析-百万数据插入测试
- Hbase第02天-06.hbase表和区域的切割
- Hbase第02天-07.hbase和hadoop HA集成配置
- Hbase第02天-08.hbase手动移动区域
- Hbase第02天-09.hbaseAPI访问hbase数据库-crud-scan-动态元数据访问
- Hbase第03天-01.hbase预切割
- Hbase第03天-02.hbase版本数据-检查时版本数指定
- Hbase第03天-03.hbase版本TTL-原生扫描-KeepDeleteCells
- Hbase第03天-04.hbase扫描器缓存-设置-测试
- Hbase第03天-05.hbase扫描器批处理设置
- Hbase第03天-06.hbase过滤器-row-family-col-value-dep
- Hbase第03天-07.hbasePage过滤-复杂查询
- Hbase第03天-08.hbase计数器
- Hbase第03天-09.hbase协处理器
- Hbase第04天-01.rowkey的设计原则
- Hbase第04天-02rowkey的设计原则2
- Hbase第04天-03.rowkey的Calllogs呼叫日志设计实现
- Hbase第04天-04.CallLog日志数据put和协处理器实现
- Hbase第04天-05.CallLog实现-测试
- Hbase第04天-06.CallLog实现-查询通化详单
- Hbase第04天-07.hbase的布隆过滤器
- Hbase第04天-08.hbase的phonix
- Hbase第04天-09.phonix客户端SQuirrel安装
- Hbase第04天-10.SQuirrel使用-SQL语句-upsert-select-delete
- Hbase第05天-01.Hive-Hbase集成,hive
Flume
Kafka
Storm
- Storm第01天-01.storm
- Storm第01天-02.storm和hadoop对别
- Storm第01天-03.storm优点
- Storm第01天-04.storm架构介绍-核心组件
- Storm第01天-05.storm安装
- Storm第01天-06.storm完全分布式集群部署和配置-webui查看
- Storm第01天-07.storm编程实现电话呼叫日志处理-本地模式执行
- Storm第01天-08.storm完全分布式集群运行top作业
- Storm第01天-09.storm集群logviewer查看器进程-日志目录
- Storm第01天-10.wordcount的storm实现
- Storm第01天-11.定义工具类，使用nc结合socket编程实现分布式程序的调试功能
- Storm第01天-12.调整任务的并发度和任务数-worker数-执行线程数
- Storm第02天-01.回顾
- Storm第02天-02.storm分组策略-shuffle-field-数据倾斜
- Storm第02天-03.storm分组策略-wordcount-二次聚合-数据倾斜
- Storm第02天-04.storm分组使用守护线程按时间片定时清分-集合同步问题
- Storm第02天-05.storm分组-all-direct-global
- Storm第02天-06.storm分组-none分组
- Storm第02天-07.storm分组log设置
- Storm第02天-08.storm分组-自定义分组
- Storm第02天-09.storm确保消息被消费
- Storm第02天-10.storm确保消息被消费-使用双队列方式实现
- Storm第02天-11.storm与kafka集成
- Storm第02天-12.storm与kafka集成-log4j注意事项
- Storm第02天-13.storm与hbase集成
- Storm第03天-01.storm与hbase集成
SSM
- SSM第01天-01.ssm简介
- SSM第01天-02.ssm-mybatis-项目初始化
- SSM第01天-03.ssm-mybatis-配置文件和数据库创建-表创建
- SSM第01天-04.ssm-mybatis-使用API测试是否连通
- SSM第01天-05.ssm-mybatis-创建mapper文件和javabean
- SSM第01天-06.ssm-mybatis-实现insert操作
- SSM第01天-07.ssm-mybatis-实现update操作
- SSM第01天-08.ssm-mybatis-实现selectOne操作
- SSM第01天-09.ssm-mybatis-实现selectAll操作
- SSM第01天-10.ssm-mybatis-复杂关系-准备数据-表结构
- SSM第01天-11.ssm-mybatis-复杂关系-设计java类
- SSM第01天-12.ssm-mybatis-复杂关系-orderMapper映射文件
- SSM第01天-13.ssm-mybatis-复杂关系-修改配置-插入关联数据
- SSM第01天-14.ssm-mybatis-复杂关系-多对一关联查询
- SSM第01天-15.ssm-mybatis-复杂关系-多对一映射编写
- SSM第01天-16.ssm-mybatis-复杂关系-多对一API编程测试
- SSM第01天-17.ssm-mybatis-项目改造-规范化-Dao-Util
- SSM第01天-18.ssm-mybatis-项目改造-样板代码-接口回调实现封装
- SSM第01天-19.ssm-mybatis-项目改造-接口回调原理图说明
Spring
- Spring第01天-01.体验Spring
- Spring第01天-02.spring注解方式-扫描组件-依赖配置
- Spring第01天-03.spring整合mybatis原理图
- Spring第01天-04.spring整合mybatis-项目初始化-连接数据源c3p0-测试
- Spring第01天-05.spring整合mybatis-sf-dao设计实现
- Spring第01天-06.spring整合mybatis-service接口和实现类设计
- Spring第01天-07.spring整合mybatis-配置文件-事务通知-aop配置
- Spring第01天-08.spring整合mybatis-rose图分析
- Spring第01天-09.spring整合mybatis-调错
- Spring第01天-10.spring整合mybatis-整合回顾
- Spring第01天-11.spring整合mybatis-业务增加-item处理
- Spring第01天-12.spring整合mybatis-业务增加-item处理2
- Spring第01天-13.spring整合mybatis-事务管理原理介绍-现象展示
SpringMVC
- SpringMVC第01天-01.web程序简介
- SpringMVC第01天-02.搭建tomcat服务器
- SpringMVC第01天-03.tomcat目录结构-端口修改-server.xml
- SpringMVC第01天-04.在idea下创建web模块-配置tomcat-运行程序
- SpringMVC第01天-05.在idea下配置tomcat服务器热部署
- SpringMVC第01天-06.在idea添加maven支持-修改热部署-默认浏览器
- SpringMVC第01天-07.bs结构程序的工作流程
- SpringMVC第01天-08.Spring MVC结构
- SpringMVC第01天-09.引入Springmvc依赖-配置servlet
- SpringMVC第01天-10.spring注解驱动配置mvc-编写controller
- SpringMVC第01天-11.IDEA下的weeb模块运行找不到第三方类库的解决办法
- SpringMVC第01天-12.配置视图解析器-增加jsp页面-增加控制器方法
- SpringMVC第01天-13.实现注册用户功能
- SpringMVC第01天-14.获得表单提交数据-HttpServletRequest
- SpringMVC第01天-15.Controller向jsp传递参数-Model
- SpringMVC第01天-16.Controller向jsp传递集合数据进行显示
- SpringMVC第01天-17.springMVC完成CRUD-forward-redirect
- SpringMVC第01天-18.forward-redirect区别
- SpringMVC第02天-01.数据范围-session-application-request
- SpringMVC第02天-02.数据范围-session登录处理-session数据保存
SSM整合
- SSM整合第01天-01.SSM整合-项目初始化-maven依赖
- SSM整合第01天-02.SSM整合-整合架构-包结构分析
- SSM整合第01天-03.SSM整合-基本类库创建-service-dao-domain
- SSM整合第01天-04.SSM整合-控制器-spring配置文件-分发器配置文件
- SSM整合第01天-05.SSM整合-实现user查看-web.xml配置监听-beans加载myb
- SSM整合第01天-06.SSM整合-SpringMVC静态资源访问
- SSM整合第01天-07.SSM整合-引入css表
- SSM整合第01天-08.SSM整合-删除用户
- SSM整合第01天-09.SSM整合-中文乱码问题
- SSM整合第01天-10.SSM整合-分页查询
- SSM整合第01天-11.SSM整合-分页查询2
- SSM整合第01天-12.SSM整合-jsp页面参数获取
项目一电商项目
- 电商项目第01天-01.项目阐述
- 电商项目第01天-02.项目在idea中的初始化
- 电商项目第01天-03.项目在model创建和hibernate类库引入以及配置
- 电商项目第01天-04.项目Spring依赖项引入与spring配置文件与c3p0数据源配置
- 电商项目第01天-05.测试数据源和连接
- 电商项目第01天-06.编写Dao接口和基本实现类
- 电商项目第01天-07.编写Service和基本service实现
- 电商项目第01天-08.编写Service与beans配置-事务管理回顾-jvm结构回顾
- 电商项目第01天-09.编写tx事务管理
- 电商项目第01天-10.编写webmvc部分代码-controller程序
- 电商项目第02天-01.idea的web项目库配置-类找不到问题
- 电商项目第02天-02.idea的web中用户注册于登录
- 电商项目第02天-03.idea的web中完善User信息-验证注册过程
- 电商项目第02天-04.idea的web用户信息显示
- 电商项目第02天-05.web程序的用户编辑和修改
- 电商项目第02天-06.web nginx服务器centos安装启动停止
- 电商项目第03天-01.集群上安装tomcat
- 电商项目第03天-02.配置win7 nginx反向代理¢os; nginxweb服务器配置
- 电商项目第03天-03.配置nginxweb服务器的日志格式以及切割注意事项
- 电商项目第03天-04.配置pom.xml项目打成war与war插件依赖设置
- 电商项目第03天-05.web项目打包成war在tomcat集群上进行分发
- 电商项目第03天-06.通过反向代理服务器访问web静态资源-查看日志记录情况
- 电商项目第03天-07.通过apache ab测试软件模拟高并发访问产生大量的日志信息
- 电商项目第03天-08.数据收集模式分析-flume-kafka模式收集
- 电商项目第03天-09.nginx实现logs滚动
- 电商项目第04天-01.flume+kafka集成-flume日志收集
- 电商项目第04天-02.kafka集群配置
- 电商项目第04天-03.kafka消费者编程-hdfs启动
- 电商项目第04天-04.web项目中使用curl标签部署web项目到tomcat集群
- 电商项目第04天-05.测试hdfs单元测试-读取hdfs文件数据
- 电商项目第04天-06.hdfs写入-工具类-日志解析格式处理
- 电商项目第04天-07.hdfs输出流池化处理
- 电商项目第05天-01.数据输出流池化以及优化处理(重用)
- 电商项目第05天-02.池化模式测试数据存储
- 电商项目第05天-03.使用TimerTask实现流池中的流周期性关闭
- 电商项目第05天-04.使用cron调度周期性添加hive分区表
- 电商项目第05天-05.导出消费者成jar到centos运行
- 电商项目第05天-06.hive清洗消费者
- 电商项目第05天-07.hive清洗消费者测试清洗过程
- 电商项目第06天-01.Hive使用load加载数据并进行数据topN统计
- 电商项目第06天-02.使用sqoop将Hive统计算出的结果导出到mysql
- 电商项目第06天-03.编写hive脚本和bash脚本实现统计数据的处理和导出
- 电商项目第06天-04.编写bash脚本动态等成hive脚本并执行批处理任务
- 电商项目第06天-05.前端读取mysql存放的统计生成图表
- 电商项目第06天-06.用户推荐系统处理-web部分
- 电商项目第06天-07.spark模型训练与模型存储与外部推荐系统集成
- 电商项目第06天-08.spark推荐
项目二用户画像，代码案例来源于企业实战
提交答案
视频学习中有任何产品建议都可由此反
馈，我们将及时处理！
馈，我们将及时处理！
课时介绍
电商项目第04天-01.flume+kafka集成-flume日志收集-项目一电商项目大数据40天精英计划
课程介绍
离线数据分析平台是一种利用hadoop集群开发工具的一种方式，主要作用是帮助公司对网站的应用有一个比较好的了解。
尤其是在电商、旅游、银行、证券、游戏等领域有非常广泛，因为这些领域对数据和用户的特性把握要求比较高，所以对于离线数据的分析就有比较高的要求了。
是一切大数据的基础。
推荐课程
信息系统项目管理师自考笔记
李明 · 512人在学
python从0到1：期货量化交易系统（CTP实战，高频及合成K线数据
王先生 · 20582人在学
手把手搭建Java超市管理系统【附源码】（毕设）
汤小洋 · 4047人在学
Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教
黄菊华 · 731人在学
基于SSM酒店管理系统（毕设）
小尼老师 · 785人在学
java项目实战之购物商城（java毕业设计）
Long · 5073人在学
手把手搭建Java求职招聘系统【附源码】（毕设）
汤小洋 · 1458人在学
Python Django 深度学习 小程序
钟翔 · 2234人在学
城管局门前三包管理系统+微信小程序（vue+springboot）
赖国荣 · 496人在学
Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序
李杰 · 3843人在学