delta lake时间旅行实战_基于Spark3.x的数据湖技术Delta Lake开发实战-CSDN在线视频培训

课时介绍

使用时间旅行查询Delta表以前的快照。如果你想访问被覆盖的数据，可以使用versionAsOf选项查询表的快照。时间旅行有很多用例，包括: ● 重新创建分析、报告或输出(例如，机器学习模型的输出)。这对于调试或审计很有用，特别是在受监管的行业。 ● 编写复杂的临时查询。 ● 修复数据中的错误。

课程介绍

本课程内容整理自一个湖仓一体的数仓项目。Delta Lake、Hudi和Iceberg是三大数据湖技术，当前处于发展初期，已有很多大型互联网公司采用这类技术。在搭建数据平台的过程中，一般会将数据湖和数据仓库结合起来使用，数据湖技术主要解决数据仓库的痛点之一：源头数据的表结构(Schema)变化如何处理？数仓如何存储非结构化数据？

本课程通过一个一个代码示例，展示Delta Lake的每个特性，同时会结合实际项目，讲解Delta Lake技术的设计思路，其在湖仓一体建设过程中究竟起到了什么作用。