Paimon核心原理及架构
Paimon中的CDC数据摄取功能
Paimon底层存储文件深入剖析
Paimon性能优化和管理维护
你将收获
Paimon核心原理及架构
Paimon中的CDC数据摄取功能
Paimon底层存储文件深入剖析
Paimon性能优化和管理维护
适用人群
课程介绍
为什么要学习这门课程?
·新一代流式数据湖技术组件深入讲解,帮助你快速构造数据湖知识体系。
·为构建湖仓一体架构提供底层技术支撑。
本课程将从原理、架构、底层存储细节、性能优化、管理等层面对Paimon流式数据湖组件进行详细讲解,原理+实战,帮助你快速上手使用数据湖技术。
讲师介绍
华为HCIP认证大数据高级工程师
北京猎豹移动大数据技术专家
中科院大数据研究院大数据技术专家
51CTO企业IT学院优秀讲师
电子工业出版社2022年度优秀作者
出版书籍:《Flink入门与实战》、《大数据技术及架构图解实战派》。
本课程提供配套课件、软件、试题、以及源码。
课程内容介绍:
1、什么是Apache Paimon
2、Paimon的整体架构
3、Paimon的核心特点
4、Paimon支持的生态
5、基于Flink SQL操作Paimon
6、基于Flink DataStream API 操作Paimon
7、Paimon中的内部表和外部表
8、Paimon中的分区表和临时表
9、Paimon中的Primary Key表(主键表)
10、Paimon中的Append Only表(仅追加表)
11、Changelog Producers原理及案例实战
12、Merge Engines原理及案例实战
13、Paimon中的Catalog详解
14、Paimon中的Table详解
15、Paimon之Hive Catalog的使用
16、动态修改Paimon表属性
17、查询Paimon系统表
18、批量读取Paimon表
19、流式读取Paimon表
20、流式读取高级特性Consumer ID
21、Paimon CDC数据摄取功能
22、CDC之MySQL数据同步到Paimon
23、CDC之Kafka数据同步到Paimon
24、CDC高级特性之Schema模式演变
25、CDC高级特性之计算列
26、CDC高级特性之特殊的数据类型映射
27、CDC高级特性之中文乱码
28、Hive引擎集成Paimon
29、在Hive中配置Paimon依赖
30、在Hive中读写Paimon表
31、在Hive中创建Paimon表
32、Hive和Paimon数据类型映射关系
33、Paimon底层文件基本概念
34、Paimon底层文件布局
35、Paimon底层文件操作详解
36、Flink流式写入Paimon表过程分析
37、读写性能优化详细分析
38、Paimon中快照、分区、小文件的管理
39、管理标签(自动管理+手工管理)
40、管理Bucket(创建+删除+回滚)
课程目录