1.什么是大数据?2.大数据的核心问题3.大数据的核心思想(Google的三篇论文) (1)GFS(Google的分布式文件系统) (2)MapReduce(分布式计算模型) (3)BigTable(大表)4.Hadoop和Spark生态体系 Demo演示
0
48
¥
99.00/月
会员免费学
你将收获
适用人群
零基础学员,或者想进一步学习大数据的学员。
课程介绍
大数据技术入门视频课程,会从基础思想和原理架构开始,全面介绍大数据的思想体系和架构,为学员进一步学习大数据奠定良好的基础。内容涉及大数据的核心问题、大数据核心思想,Google的三篇论文、GFS,Google的分布式文件系统,MapReduce,BigTable、Hadoop和Spark生态体系以及具体应用演示。
同学笔记
2021-01-07 17:16:00
路线:
1. Java 基础 :Java SE
2. Hadoop : HDFS 、Yarn 、MapReduce 、HBase 、Hive 、 ZooKeeper
3. spark
4. Storm :大数据实时计算引擎
5.Redis : 内存NoSQL数据库
6.scala编程语言
7. Spark: Spark core 、 spark SQL、 spark streaming 等
8. Apache Kafka
2021-01-07 16:58:11
一些命令
hdfs dfs -命令
jps 查看所有java进程
hadoop jar *.jar wordcount
先Hadoop 在spark
1. spark 和 hadoop 没有关系
2.spark 可以处理hdfs文件中的数据
spark-shell --master spark://bigdata111:7077
scala 语言
2021-01-07 15:43:25
客户端与服务器端数据传输模式:
1. 客户端上传数据到服务器
2. 数据块进行水平复制
HDFS体系 架构:
主节点:NameNode(管理员)
从节点:DataNode
第二名称节点:SecondaryNameNode
Hadoop安装部署模式:
1. 本地模式
2. 伪分布模式
3. 全分布模式
全分布式环境至少需要3台机器,其他模式只需要1台
伪分布模式1台机器,节点进程包括:NameNode、DataNode、SecondaryNameNode
没有更多了
课程讨论
qq_14944689
来源:大数据的起源和核心思想-1
weixin_52074376
来源:大数据的起源和核心思想-1
Kiko_Lai
来源:大数据的起源和核心思想-2
teth
来源:大数据的起源和核心思想-6
钱锋0519