Facebook数据查询引擎Presto教程(含配套资料)

Facebook数据查询引擎Presto教程(含配套资料)
共36节 1096人在学 课程详情
  • 01.presto的起因
  • 02.facebook为何要开发presto
  • 03.presto的架构图
  • 04.presto简介
  • 05.presto的安装需求
  • 06.presto的需要安装的软件
  • 07:VM的安装
  • 08.centos的安装和网络配置
  • 09.通过第三方连接centos的方法
  • 10.CentOS的yum源更新已经关闭防火墙
  • 11.JAVA的安装和hadoop安装
  • 12.完全分布式搭建(上)
  • 13.完全分布式搭建(下)
  • 14.通过hadoop自带的demo运行单词统计
  • 15.写一个sh脚本,可以通过一台机器控制多台机器
  • 16.hadoop常用的命令
  • 17.maven的安装
  • 18.maven使用时出现问题以及解决问题方法
  • 19.MAPREDUCE 示例编写及编程规范
  • 20.安装时间同步工具,让所有电脑进行同步
  • 21.Hive简介和工作流程
  • 22.数据库安装,centos7安装mysql注意点
  • 23.安装Hive,并且使用Hive做一个小案例
  • 24.把txt文件的数据导入到Hive表中
  • 25.xshell的使用教程
  • 26.presto的安装过程
  • 27.presto的运行错误的解决方法
  • 28.hive和presto的开启
  • 29.hive和presto的小demo验证
  • 30.presto的配置文件的讲解
  • 31.presto的集群的配置演示
  • 32.presto的集群的启动过程
  • 33.presto的集群的管理页面的介绍
  • 34.presto和impala性能对比
  • 35.案例一通过jdbc方式获取hive数据库的表
  • 36.案例二通过jdbc方式获取hive数据

    订阅失败

    Facebook数据查询引擎Presto教程(含配套资料)
    Facebook数据查询引擎Presto教程(含配套资料) ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    17.maven的安装

    课程介绍

    版本:presto-server-0.214.tar

    软件版本

    presto-cli-0.214-executable

    CentOS7


    1、presto的起因

    hadoop ---hdfs----MR(java)-----hive

    hive底层原理用MR,速度比较慢,公司hadoop集群主要集中于晚上到凌晨,平日工作时间负载不是很高。但在工作时间内,公司业务人员有实时查询的需求,现在主要借助于hive提供业务人员的查询。hive是基于MR类的SQL查询工具,他会输入的查询SQL解析为MapReduce,能极大的降低使用大数据门槛,让一般的业务人员可以直接准对大数据进行查询,但是有一个利弊,它的查询基于MR,会让人等待比较着急,等待的时间可能是几个小时或者一天。 spark基于内存提高改良的hive,sql,现在factbook在hive上面开发一套利器,准对hive可以通过sql语句快速查询,presto。


    2、Facebook为何开发Presto

     Facebook的2011的数据仓库存储在少量大型hadoopfs集群,Hive是FaceBook在几年前专门为Hadoop打造的一款数据仓库工具,在以前,facebook的科学家和分析师一直靠hive进行数据分析.但hive使用MR作为底层计算框架,是专为批处理设计的,但是随着数据的不断增多,使用hive进行一个简单的数据查询可能要花费分钟或者几个小时,显然不能满足查询需求,FaceBooke也调研了其他比hive更快的工具,但是他们需要在功能有限的条件下做简单操作,以至于无法操作Facebook庞大的数据要求。
    2012年开始研究自己的框架--presto,每日可以超过1pb查询,而且速度比较快,faceBook声称Presto的性能比hive要好上10倍或者100倍,presto和hive都是facebook开发的 



    Presto是一个开源的分布式SQL查询引擎,适用于交互式查询,数据量支持GB到PB字节。

    Presto的设计和编写完全是为了解决Facebook这样规模的商业数据仓库交互式分析和处理速度的问题


    Presto可以做什么

    Presto支持在线数据查询,包括Hive kafka Cassandra关系数据库以及专门数据存储,一条Presto查询可以将多个数据源进行合并,可以跨越整个组织进行分析。

    Presto以分析师的需求作为目标,他们期望相应速度小于1秒到几分钟,Presto要么在使用速度的快的昂贵的商业方案,提高内存,要么是消耗大量的硬件进行快速查询。(128G 64G)


    本套课程教给如何在企业环境中使用Presto技术。
    推荐课程

    信息系统项目管理师自考笔记

    李明 · 729人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22117人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4209人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 788人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 842人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5155人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1506人在学

    Python Django 深度学习 小程序

    钟翔 · 2323人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 599人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 3987人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~