数据湖【徐葳】流式数据湖新秀-Apache Paimon
为什么要学习这门课程？·新一代流式数据湖技术组件深入讲解，帮助你快速构造数据湖知识体系。·为构建湖仓一体架构提供底层技术支撑。本课程将从原理、架构、底层存储细节、性能优化、管理等层面对Paimon流式数据湖组件进行详细讲解，原理+实战，帮助你快速上手使用数据湖技术。讲师介绍华为HCIP认证大数据高级工程师北京猎豹移动大数据技术专家中科院大数据研究院大数据技术专家51CTO企业IT学院优秀讲师电子工业出版社2022年度优秀作者出版书籍：《Flink入门与实战》、《大数据技术及架构图解实战派》。本课程提供配套课件、软件、试题、以及源码。课程内容介绍：1、什么是Apache Paimon2、Paimon的整体架构3、Paimon的核心特点4、Paimon支持的生态5、基于Flink SQL操作Paimon6、基于Flink DataStream API 操作Paimon7、Paimon中的内部表和外部表8、Paimon中的分区表和临时表9、Paimon中的Primary Key表(主键表)10、Paimon中的Append Only表(仅追加表)11、Changelog Producers原理及案例实战12、Merge Engines原理及案例实战13、Paimon中的Catalog详解14、Paimon中的Table详解15、Paimon之Hive Catalog的使用16、动态修改Paimon表属性17、查询Paimon系统表18、批量读取Paimon表19、流式读取Paimon表20、流式读取高级特性Consumer ID21、Paimon CDC数据摄取功能22、CDC之MySQL数据同步到Paimon23、CDC之Kafka数据同步到Paimon24、CDC高级特性之Schema模式演变25、CDC高级特性之计算列26、CDC高级特性之特殊的数据类型映射27、CDC高级特性之中文乱码28、Hive引擎集成Paimon29、在Hive中配置Paimon依赖30、在Hive中读写Paimon表31、在Hive中创建Paimon表32、Hive和Paimon数据类型映射关系33、Paimon底层文件基本概念34、Paimon底层文件布局35、Paimon底层文件操作详解36、Flink流式写入Paimon表过程分析37、读写性能优化详细分析38、Paimon中快照、分区、小文件的管理39、管理标签(自动管理+手工管理)40、管理Bucket(创建+删除+回滚)
共64节 425人已学习¥299.0 免费试学
Java40小时掌握Java之Java概述
本套课程的主要特点如下：1：内容精简 抛弃一些使用场景很少的知识点2：贴近实战 增加一些工作中常用的工具类 例如：StringUtils、FileUtils、MapUtils、线程池等内容...3：资源完整 完整的配套PPT+视频+源码+软件包+【内部教材】 内部教材是基于本套视频课程对应的教材，方便大家后续复习，不需要频繁的去查看视频，更加节约时间和精力。 作者倾力打造完整的java基础课程内容。 本章主要内容包含： * Java编程入门 * Java开发环境搭建 * Java程序开发体验 * Java开发工具体验
共12节 148人已学习¥24.0 免费试学
- 1
徐葳
大数据架构师
华为HCIP认证大数据高级工程师
北京猎豹移动大数据技术专家
中科院大数据研究院大数据技术专家
51CTO企业IT学院优秀讲师
电子工业出版社2022年度优秀作者
出版书籍：《Flink入门与实战》、《大数据技术及架构图解实战派》。
课程数 2 学生数 573