基于Spark3.x的数据湖技术Delta Lake开发实战
课时介绍
了解当前流行的数据湖技术;搭建Spark3.1.2和Delta Lake开发环境
课程介绍
本课程内容整理自一个湖仓一体的数仓项目。Delta Lake、Hudi和Iceberg是三大数据湖技术,当前处于发展初期,已有很多大型互联网公司采用这类技术。在搭建数据平台的过程中,一般会将数据湖和数据仓库结合起来使用,数据湖技术主要解决数据仓库的痛点之一:源头数据的表结构(Schema)变化如何处理?数仓如何存储非结构化数据?
本课程通过一个一个代码示例,展示Delta Lake的每个特性,同时会结合实际项目,讲解Delta Lake技术的设计思路,其在湖仓一体建设过程中究竟起到了什么作用。
推荐课程
信息系统项目管理师自考笔记
李明 · 393人在学
python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据
王先生 · 17731人在学
手把手搭建Java超市管理系统【附源码】(毕设)
汤小洋 · 3763人在学
Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教
黄菊华 · 669人在学
基于SSM酒店管理系统(毕设)
小尼老师 · 694人在学
java项目实战之购物商城(java毕业设计)
Long · 4934人在学
手把手搭建Java求职招聘系统【附源码】(毕设)
汤小洋 · 1372人在学
Python Django 深度学习 小程序
钟翔 · 2115人在学
城管局门前三包管理系统+微信小程序(vue+springboot)
赖国荣 · 400人在学
Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序
李杰 · 3542人在学