【徐葳】流式数据湖新秀-Apache Paimon
课时介绍
课程介绍
为什么要学习这门课程?
·新一代流式数据湖技术组件深入讲解,帮助你快速构造数据湖知识体系。
·为构建湖仓一体架构提供底层技术支撑。
本课程将从原理、架构、底层存储细节、性能优化、管理等层面对Paimon流式数据湖组件进行详细讲解,原理+实战,帮助你快速上手使用数据湖技术。
讲师介绍
华为HCIP认证大数据高级工程师
北京猎豹移动大数据技术专家
中科院大数据研究院大数据技术专家
51CTO企业IT学院优秀讲师
电子工业出版社2022年度优秀作者
出版书籍:《Flink入门与实战》、《大数据技术及架构图解实战派》。
本课程提供配套课件、软件、试题、以及源码。
课程内容介绍:
1、什么是Apache Paimon
2、Paimon的整体架构
3、Paimon的核心特点
4、Paimon支持的生态
5、基于Flink SQL操作Paimon
6、基于Flink DataStream API 操作Paimon
7、Paimon中的内部表和外部表
8、Paimon中的分区表和临时表
9、Paimon中的Primary Key表(主键表)
10、Paimon中的Append Only表(仅追加表)
11、Changelog Producers原理及案例实战
12、Merge Engines原理及案例实战
13、Paimon中的Catalog详解
14、Paimon中的Table详解
15、Paimon之Hive Catalog的使用
16、动态修改Paimon表属性
17、查询Paimon系统表
18、批量读取Paimon表
19、流式读取Paimon表
20、流式读取高级特性Consumer ID
21、Paimon CDC数据摄取功能
22、CDC之MySQL数据同步到Paimon
23、CDC之Kafka数据同步到Paimon
24、CDC高级特性之Schema模式演变
25、CDC高级特性之计算列
26、CDC高级特性之特殊的数据类型映射
27、CDC高级特性之中文乱码
28、Hive引擎集成Paimon
29、在Hive中配置Paimon依赖
30、在Hive中读写Paimon表
31、在Hive中创建Paimon表
32、Hive和Paimon数据类型映射关系
33、Paimon底层文件基本概念
34、Paimon底层文件布局
35、Paimon底层文件操作详解
36、Flink流式写入Paimon表过程分析
37、读写性能优化详细分析
38、Paimon中快照、分区、小文件的管理
39、管理标签(自动管理+手工管理)
40、管理Bucket(创建+删除+回滚)
信息系统项目管理师自考笔记
李明 · 536人在学
python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据
王先生 · 20807人在学
手把手搭建Java超市管理系统【附源码】(毕设)
汤小洋 · 4093人在学
Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教
黄菊华 · 734人在学
基于SSM酒店管理系统(毕设)
小尼老师 · 794人在学
java项目实战之购物商城(java毕业设计)
Long · 5109人在学
手把手搭建Java求职招聘系统【附源码】(毕设)
汤小洋 · 1469人在学
Python Django 深度学习 小程序
钟翔 · 2250人在学
城管局门前三包管理系统+微信小程序(vue+springboot)
赖国荣 · 514人在学
Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序
李杰 · 3873人在学