基于Spark3.x的数据湖技术Delta Lake开发实战

基于Spark3.x的数据湖技术Delta Lake开发实战
共13节 670人在学 课程详情
  • delta lake简介、开发环境和增删改查操作
  • delta lake整合CDH6.2(HDFS)集群开发环境配置
  • delta lake建表实战
  • delta lake数据增删改查实战
  • delta lake时间旅行实战
  • delta lake处理schema更新实战
  • delta lake merge操作实战
  • delta lake 自动模式演变
  • delta lake流处理实战
  • delta lake CDC操作实战
  • delta lake SCD操作实战
  • delta lake表元数据查看实战
  • 在Streamsets transformer中使用delta lake

    订阅失败

    基于Spark3.x的数据湖技术Delta Lake开发实战
    基于Spark3.x的数据湖技术Delta Lake开发实战 ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    播放页问题反馈
    视频学习中有任何产品建议都可由此反
    馈,我们将及时处理!

    课时介绍

    了解当前流行的数据湖技术;搭建Spark3.1.2和Delta Lake开发环境

    课程介绍

    本课程内容整理自一个湖仓一体的数仓项目。Delta Lake、Hudi和Iceberg是三大数据湖技术,当前处于发展初期,已有很多大型互联网公司采用这类技术。在搭建数据平台的过程中,一般会将数据湖和数据仓库结合起来使用,数据湖技术主要解决数据仓库的痛点之一:源头数据的表结构(Schema)变化如何处理?数仓如何存储非结构化数据?

    本课程通过一个一个代码示例,展示Delta Lake的每个特性,同时会结合实际项目,讲解Delta Lake技术的设计思路,其在湖仓一体建设过程中究竟起到了什么作用。

    推荐课程

    信息系统项目管理师自考笔记

    李明 · 859人在学

    python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

    王先生 · 22619人在学

    手把手搭建Java超市管理系统【附源码】(毕设)

    汤小洋 · 4280人在学

    Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

    黄菊华 · 824人在学

    基于SSM酒店管理系统(毕设)

    小尼老师 · 888人在学

    java项目实战之购物商城(java毕业设计)

    Long · 5193人在学

    手把手搭建Java求职招聘系统【附源码】(毕设)

    汤小洋 · 1524人在学

    Python Django 深度学习 小程序

    钟翔 · 2385人在学

    城管局门前三包管理系统+微信小程序(vue+springboot)

    赖国荣 · 661人在学

    Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

    李杰 · 4062人在学

    正在试验
    后自动删除环境
    课程实验
    本次实验时间已到期 00:00:00
    课件正在飞速打包中,请耐心等待几秒钟~