大数据的入门视频教程-1-大数据的起源和核心思想-1-CSDN讲师的在线视频教程

¥ 99.00/月会员免费学

课程介绍
课程讨论
同学笔记

你将收获

1.什么是大数据？2.大数据的核心问题3.大数据的核心思想（Google的三篇论文） (1)GFS（Google的分布式文件系统） (2)MapReduce（分布式计算模型） (3)BigTable（大表）4.Hadoop和Spark生态体系 Demo演示

适用人群

零基础学员，或者想进一步学习大数据的学员。

课程介绍

大数据技术入门视频课程，会从基础思想和原理架构开始，全面介绍大数据的思想体系和架构，为学员进一步学习大数据奠定良好的基础。内容涉及大数据的核心问题、大数据核心思想，Google的三篇论文、GFS，Google的分布式文件系统，MapReduce，BigTable、Hadoop和Spark生态体系以及具体应用演示。

课程讨论

qq_14944689

来源：大数据的起源和核心思想-1

2021-01-01

錄音品質太不給力了。

weixin_52074376

来源：大数据的起源和核心思想-1

2020-11-22

声音是都卡，还是就我自己卡

Kiko_Lai

来源：大数据的起源和核心思想-2

2020-08-07

普通话听得贼难受啊啊啊啊啊啊

teth

来源：大数据的起源和核心思想-6

2020-02-08

简单易懂，了解了大数据的皮毛。。。

钱锋0519

2019-09-18

这个课程对大数据的说明简单准确，就是大量的数据需要存储，大量的数据需要计算，老的数据处理系统不能适应这样的问题，所以大数据解决方案应运而生。确实是非常聪明的方式，分布式，即通过联盟的形式解决问题。空间不足就增加，计算困难就拆分。这个分布式的思想日常生活中经常用。东西箱子放不下，就多拿几个箱子放。工作太多做不完，就多找几个人一起干。思想简单，可实际应用起来有很多需要解决的问题，不过我们只要知道原理即可，不需要知道细节内容，因为基本上用不到。 ———————————————— 版权声明：本文为CSDN博主「钱锋0519」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/weixin_42258472/article/details/99696605

同学笔记

luchuxi12345 2021-01-07 17:16:00

来源：大数据的起源和核心思想-6 查看详情

路线：

1. Java 基础：Java SE

2. Hadoop ： HDFS 、Yarn 、MapReduce 、HBase 、Hive 、 ZooKeeper

3. spark

4. Storm :大数据实时计算引擎

5.Redis ：内存NoSQL数据库

6.scala编程语言

7. Spark: Spark core 、 spark SQL、 spark streaming 等

8. Apache Kafka
luchuxi12345 2021-01-07 16:58:11

来源：大数据的起源和核心思想-5 查看详情

一些命令

hdfs dfs -命令

jps 查看所有java进程

hadoop jar *.jar wordcount

先Hadoop 在spark

1. spark 和 hadoop 没有关系

2.spark 可以处理hdfs文件中的数据

spark-shell --master spark://bigdata111:7077

scala 语言
luchuxi12345 2021-01-07 15:43:25

来源：大数据的起源和核心思想-3 查看详情

客户端与服务器端数据传输模式：

1. 客户端上传数据到服务器

2. 数据块进行水平复制

HDFS体系架构：

主节点：NameNode（管理员）

从节点：DataNode

第二名称节点：SecondaryNameNode

Hadoop安装部署模式：

1. 本地模式

2. 伪分布模式

3. 全分布模式

全分布式环境至少需要3台机器，其他模式只需要1台

伪分布模式1台机器，节点进程包括：NameNode、DataNode、SecondaryNameNode

没有更多了

问题反馈