0
156

你将收获

1.从0开始能成功搭建大数据平台

2.各个技术组件从版本选择、兼容性、下载、安装、配置和测试运行,都会一一讲解到位,不会出现跳讲和断讲

3.各个技术组件使用较新版本,如JDK1.8、CDH5.10、Spark2.3.0

适用人群

0基础学员

课程介绍

本课程主要是构建大数据平台,包含目前大数据常用的所有技术组件的环境部署。所有技术组件的安装部署,都是手把手操作,不会出现跳讲和断讲,0基础同学也能一站式搞定大数据平台环境。

课程讨论

讲地非常好,很系统,很成体系,学完后感觉学到很多运维的知识

文档传给我,393013345@qq.com

很好的视频,手把手教学,讲得很细,老师很有耐心,讲课也很清晰,感谢老师!

有word文档? 请发下我邮箱1103022627@qq.com,谢谢,不错的视频

同学笔记

  • weixin_45899520 2020-09-30 16:01:12

    来源:集群分发shell脚本开发 查看详情

    5.集群脚本配置文件开发脚本文件开发

    在hadoop用户下的/home/hadoop/

    下 mkdir tools

    cd tools/

    vi deploy.conf 

    #集群角色规划
    localhost01,master,all,zk,
    localhost02,slave,all,zk,
    localhost03,slave,all,zk,

    开发脚本 

    vi deploy.sh

    给脚本添加权限

    chmod u+x deploy.sh

    测试使用

    ./deploy.sh 或者 sh deploy.sh

    例如 将 deploy.conf 拷贝到 其他两个节点的/home/hadoop/下

    ./deploy.sh deploy.conf /home/hadoop

     

     

     

     

     


    ~                         

     

  • weixin_45899520 2020-09-30 11:49:05

    来源:集群节点SSH免密码登录 查看详情

    4.各个节点免密码登录

    将localhost02 03的公钥id_rsa.pub拷贝到localhost01的authorized_keys文件中

    cat ~/ .ssh/id_rsa.pub | ssh hadoop@localhost01 'cat >> ~/ .ssh/authorized_keys'

    再把01 的公钥发布到02 03 上

    在hadoop的ssh目录下

    scp -r authorized_keys hadoop@localhost02:~/.ssh/

     

     

  • weixin_45899520 2020-09-30 10:51:15

    来源:搭建时钟同步服务器 查看详情

    搭建时间服务器

    date 查看时间

    改成CST上海时间  覆盖现在的时间

    cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

    我已经是上海时间 不需要覆盖了

    2.配置NTP时间服务器

    检查NTP服务器是否安装

    rpm -qa | grep ntp  查找是否存在

    没有 就 yum install -y ntp 安装‘’

    vi /etc/ntp.conf

    改成自己的网段

    restrict  192.168.214.131 mask 255.255.255.0 nomodify notrap

    注释掉0-3服务器

    添加两行  和本机硬件

    server 127.127.1.0

    fudge 127.127.1.0 stratum 10

    保存

    启动NTP服务

    chkconfig ntpd on

    在其他节点配置其他机器的定时时间同步  和主机localhost01保持

    crontab -e

    0-59/5 * * * * /usr/sbin/ntpdate localhost01  每五分钟同步一次

     

     

     

     

     

没有更多了