0
48

你将收获

1.什么是大数据?2.大数据的核心问题3.大数据的核心思想(Google的三篇论文) (1)GFS(Google的分布式文件系统) (2)MapReduce(分布式计算模型) (3)BigTable(大表)4.Hadoop和Spark生态体系 Demo演示

适用人群

零基础学员,或者想进一步学习大数据的学员。

课程介绍

大数据技术入门视频课程,会从基础思想和原理架构开始,全面介绍大数据的思想体系和架构,为学员进一步学习大数据奠定良好的基础。内容涉及大数据的核心问题、大数据核心思想,Google的三篇论文、GFS,Google的分布式文件系统,MapReduce,BigTable、Hadoop和Spark生态体系以及具体应用演示。

课程讨论

錄音品質太不給力了。

声音是都卡,还是就我自己卡

普通话听得贼难受啊啊啊啊啊啊

简单易懂,了解了大数据的皮毛。。。

这个课程对大数据的说明简单准确,就是大量的数据需要存储,大量的数据需要计算,老的数据处理系统不能适应这样的问题,所以大数据解决方案应运而生。 确实是非常聪明的方式,分布式,即通过联盟的形式解决问题。空间不足就增加,计算困难就拆分。这个分布式的思想日常生活中经常用。东西箱子放不下,就多拿几个箱子放。工作太多做不完,就多找几个人一起干。 思想简单,可实际应用起来有很多需要解决的问题,不过我们只要知道原理即可,不需要知道细节内容,因为基本上用不到。 ———————————————— 版权声明:本文为CSDN博主「钱锋0519」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/weixin_42258472/article/details/99696605

同学笔记

  • luchuxi12345 2021-01-07 17:16:00

    来源:大数据的起源和核心思想-6 查看详情

    路线:

    1.  Java 基础 :Java SE

    2. Hadoop : HDFS 、Yarn 、MapReduce 、HBase 、Hive 、 ZooKeeper

    3. spark

    4. Storm :大数据实时计算引擎

    5.Redis : 内存NoSQL数据库

    6.scala编程语言

    7. Spark: Spark core 、 spark SQL、 spark streaming 等

    8. Apache Kafka

  • luchuxi12345 2021-01-07 16:58:11

    来源:大数据的起源和核心思想-5 查看详情

    一些命令

    hdfs dfs -命令

    jps 查看所有java进程

    hadoop jar *.jar wordcount

    先Hadoop 在spark

    1. spark 和 hadoop 没有关系

    2.spark 可以处理hdfs文件中的数据

    spark-shell --master spark://bigdata111:7077

    scala 语言

  • luchuxi12345 2021-01-07 15:43:25

    来源:大数据的起源和核心思想-3 查看详情

    客户端与服务器端数据传输模式:

    1. 客户端上传数据到服务器

    2. 数据块进行水平复制

    HDFS体系 架构:

    主节点:NameNode(管理员)

    从节点:DataNode

    第二名称节点:SecondaryNameNode

    Hadoop安装部署模式:

    1. 本地模式

    2. 伪分布模式

    3. 全分布模式

    全分布式环境至少需要3台机器,其他模式只需要1台

     

    伪分布模式1台机器,节点进程包括:NameNode、DataNode、SecondaryNameNode

     

     

     

     

没有更多了