【徐葳】流式数据湖新秀-Apache Paimon

【徐葳】流式数据湖新秀-Apache Paimon
共64节 484人在学 课程详情
课程目录
讨论留言
  • Paimon核心原理及架构

    • Paimon简介及整体架构分析
    • Paimon的核心特点及生态圈介绍
    • 课件下载
    • 软件下载
    • 源码下载
  • 快速上手使用Paimon

    • 快速上手使用Paimon原理介绍
    • 在Flink sql-client.sh中操作Paimon
    • 在Flink SQL代码中操作Paimon
    • 使用Flink DataStream API操作Paimon
  • Paimon中的表类型详解

    • Paimon内部表和外部表的使用
    • Paimon分区表和临时表的使用
    • Paimon主键表高级特性之Bucket
    • 高级特性Changelog Producers之None
    • 高级特性Changelog Producers之Input
    • 高级特性Changelog Producers之Lookup
    • 高级特性Changelog Producers之Full Compaction
    • 高级特性Merge Engines之Deduplicate
    • 高级特性Merge Engines之Partial Update
    • 高级特性Merge Engines之Aggregation
    • Paimon主键表高级特性之Sequence Field
    • Paimon仅追加表的使用
    • Paimon表中的核心参数及支持的Flink数据类型
  • Paimon的核心操作

    • Paimon中Hive Catalog的使用
    • 动态修改Paimon表的属性信息
    • Paimon中系统表的使用
    • Paimon中的时间旅行特性详解
    • 时间旅行特性在批量读取中的使用
    • 时间旅行特性在流式读取中的使用
    • Paimon中Consumer ID在流式读取中的使用
  • Paimon中的CDC数据摄取功能

    • CDC数据摄取功能之MySQL同步表
    • CDC数据摄取功能之MySQL同步数据库
    • CDC数据摄取功能之Kafka同步表
    • CDC数据摄取功能之Kafka同步数据库
    • CDC高级特性之Schema模式演变
    • CDC高级特性之计算列
    • CDC高级特性之特殊的数据类型映射
    • CDC高级特性之中文乱码
  • Hive引擎集成Paimon

    • 在Hive中配置Paimon依赖
    • 在Hive中读写Paimon表
    • 在Hive中创建Paimon表
    • Hive和Paimon数据类型映射关系
  • Paimon底层存储文件深入剖析

    • Paimon底层文件基本概念
    • Paimon底层文件布局
    • Paimon底层文件操作-创建表+写入数据
    • Paimon底层文件操作-第二次写入数据
    • Paimon底层文件操作-删除数据
    • Paimon底层文件操作-完全压缩表数据
    • Paimon底层文件操作-修改表的属性
    • Paimon底层文件操作-触发快照过期
    • Flink流式写入Paimon表过程分析
  • Paimon性能优化和管理维护

    • 读写性能优化之写入和读取
    • 读写性能优化之存储和压缩格式
    • 读写性能优化之多Writer并发写入
    • 管理Paimon快照
    • 管理Paimon分区
    • 管理Paimon小文件
    • 管理Paimon标签之原理分析
    • 管理Paimon标签之自动管理标签
    • 管理Paimon标签之手工管理标签
    • 管理Paimon表中的Bucket之原理及案例分析
    • 管理Paimon表中的Bucket之案例实战-1
    • 管理Paimon表中的Bucket之案例实战-2
    • 管理Paimon表中的Bucket之案例实战-3
    • 管理Paimon表中的Bucket之案例实战-4
播放页问题反馈
视频学习中有任何产品建议都可由此反
馈,我们将及时处理!

课时介绍

Consumer ID在流式读取中的使用详解

课程介绍

为什么要学习这门课程?
·新一代流式数据湖技术组件深入讲解,帮助你快速构造数据湖知识体系。
·为构建湖仓一体架构提供底层技术支撑。

本课程将从原理、架构、底层存储细节、性能优化、管理等层面对Paimon流式数据湖组件进行详细讲解,原理+实战,帮助你快速上手使用数据湖技术。

讲师介绍
华为HCIP认证大数据高级工程师
北京猎豹移动大数据技术专家
中科院大数据研究院大数据技术专家
51CTO企业IT学院优秀讲师
电子工业出版社2022年度优秀作者
出版书籍:《Flink入门与实战》、《大数据技术及架构图解实战派》。


本课程提供配套课件、软件、试题、以及源码。

课程内容介绍:
1、什么是Apache Paimon
2、Paimon的整体架构
3、Paimon的核心特点
4、Paimon支持的生态
5、基于Flink SQL操作Paimon
6、基于Flink DataStream API 操作Paimon
7、Paimon中的内部表和外部表
8、Paimon中的分区表和临时表
9、Paimon中的Primary Key表(主键表)
10、Paimon中的Append Only表(仅追加表)
11、Changelog Producers原理及案例实战
12、Merge Engines原理及案例实战
13、Paimon中的Catalog详解
14、Paimon中的Table详解
15、Paimon之Hive Catalog的使用
16、动态修改Paimon表属性
17、查询Paimon系统表
18、批量读取Paimon表
19、流式读取Paimon表
20、流式读取高级特性Consumer ID
21、Paimon CDC数据摄取功能
22、CDC之MySQL数据同步到Paimon
23、CDC之Kafka数据同步到Paimon
24、CDC高级特性之Schema模式演变
25、CDC高级特性之计算列
26、CDC高级特性之特殊的数据类型映射
27、CDC高级特性之中文乱码
28、Hive引擎集成Paimon
29、在Hive中配置Paimon依赖
30、在Hive中读写Paimon表
31、在Hive中创建Paimon表
32、Hive和Paimon数据类型映射关系
33、Paimon底层文件基本概念
34、Paimon底层文件布局
35、Paimon底层文件操作详解
36、Flink流式写入Paimon表过程分析
37、读写性能优化详细分析
38、Paimon中快照、分区、小文件的管理
39、管理标签(自动管理+手工管理)
40、管理Bucket(创建+删除+回滚)

推荐课程

信息系统项目管理师自考笔记

李明 · 721人在学

python从0到1:期货量化交易系统(CTP实战,高频及合成K线数据

王先生 · 22092人在学

手把手搭建Java超市管理系统【附源码】(毕设)

汤小洋 · 4203人在学

Java毕设springboot外卖点餐系统 毕业设计毕设源码 使用教

黄菊华 · 788人在学

基于SSM酒店管理系统(毕设)

小尼老师 · 841人在学

java项目实战之购物商城(java毕业设计)

Long · 5153人在学

手把手搭建Java求职招聘系统【附源码】(毕设)

汤小洋 · 1506人在学

Python Django 深度学习 小程序

钟翔 · 2319人在学

城管局门前三包管理系统+微信小程序(vue+springboot)

赖国荣 · 598人在学

Vue+Uni-app(uniapp)入门与实战+赠送仿美团点餐小程序

李杰 · 3985人在学

正在试验
后自动删除环境
课程实验
本次实验时间已到期 00:00:00

    订阅失败

    【徐葳】流式数据湖新秀-Apache Paimon
    【徐葳】流式数据湖新秀-Apache Paimon ...

    订阅列表已满,请先移出部分订阅内容。

    当前章节需购买后观看
    开通超级会员免费看!专家精选系列课程,满足你从入门到精通!更有问答月卡免费送,你的问题有问必答!
    提交答案

    购买课程

    扫码完成付费,可继续学习全部课程内容

    加载中...
    课件正在飞速打包中,请耐心等待几秒钟~