课程简介
案例背景:
1.传统大数据离线按天调度，如何通过增量生产解决数据高效产出
2.超大规模的数据upsert更新落地
3.传统数仓到湖仓一体的平滑过渡机制
解决思路:
flink，iceberg，hudi
1、数据ETL的痛点
2、基于数据湖的增量ETL
3、增量Append及Upsert的实现
4、未来展望
成果：
引入数据湖，打造湖仓一体，落地数据从ods到dw层的湖化，包括append以及upsert类型数据
目标收益
1.了解数据湖在数仓体系的一些落地应用场景
2.了解如何基于Flink结合Iceberg/Hudi构建一套通用的ETL增量管道
3.了解数据在万亿规模下如何打造高性能和高可用的综合型ETL管道化服务
培训对象
课程内容
案例方向
数据湖/数据中台/用户画像/NLP
案例背景
1.传统大数据离线按天调度，如何通过增量生产解决数据高效产出
2.超大规模的数据upsert更新落地
3.传统数仓到湖仓一体的平滑过渡机制
收益
1.了解数据湖在数仓体系的一些落地应用场景
2.了解如何基于Flink结合Iceberg/Hudi构建一套通用的ETL增量管道
3.了解数据在万亿规模下如何打造高性能和高可用的综合型ETL管道化服务
解决思路
flink，iceberg，hudi
1、数据ETL的痛点
2、基于数据湖的增量ETL
3、增量Append及Upsert的实现
4、未来展望
结果
引入数据湖，打造湖仓一体，落地数据从ods到dw层的湖化，包括append以及upsert类型数据
近期公开课推荐
