delta lake处理schema更新实战_基于Spark3.x的数据湖技术Delta Lake开发实战-CSDN在线视频培训

课时介绍

Delta Lake自动验证正在写入的DataFrame的schema是否与表的schema兼容。Delta Lake使用以下规则来确定从DataFrame写入表是否兼容： ● 所有DataFrame列必须存在于目标表中。如果DataFrame中的列没有出现在表中，则会引发异常。在表中但不在DataFrame中的列被设置为空。 ● DataFrame列数据类型必须与目标表中的列数据类型匹配。如果它们不匹配，将引发异常。

课程介绍

本课程内容整理自一个湖仓一体的数仓项目。Delta Lake、Hudi和Iceberg是三大数据湖技术，当前处于发展初期，已有很多大型互联网公司采用这类技术。在搭建数据平台的过程中，一般会将数据湖和数据仓库结合起来使用，数据湖技术主要解决数据仓库的痛点之一：源头数据的表结构(Schema)变化如何处理？数仓如何存储非结构化数据？

本课程通过一个一个代码示例，展示Delta Lake的每个特性，同时会结合实际项目，讲解Delta Lake技术的设计思路，其在湖仓一体建设过程中究竟起到了什么作用。