你将收获

了解数据湖技术

掌握数据湖技术Delta Lake的开发方式

理解数仓架构中的数据湖技术

具备实时数仓架构设计思维

适用人群

大数据开发工程师、Spark开发工程师、数据仓库架构师

课程介绍

本课程内容整理自一个湖仓一体的数仓项目。Delta Lake、Hudi和Iceberg是三大数据湖技术,当前处于发展初期,已有很多大型互联网公司采用这类技术。在搭建数据平台的过程中,一般会将数据湖和数据仓库结合起来使用,数据湖技术主要解决数据仓库的痛点之一:源头数据的表结构(Schema)变化如何处理?数仓如何存储非结构化数据?

本课程通过一个一个代码示例,展示Delta Lake的每个特性,同时会结合实际项目,讲解Delta Lake技术的设计思路,其在湖仓一体建设过程中究竟起到了什么作用。

课程讨论

暂无评论