开发经理
互联网
推荐课程
average > 0 ? $model->average . '分' : '10.0分' ?>

流式计算(Flink)实战

课程费用

5800.00 /人

课程时长

3小时

成为教练

课程简介

以Flink为核心技术来介绍当前最先进的流式处理架构和编程模型;详细拆解了Flink的流式计算中的几个重要技术点,如Window聚合计算、状态与容错机制等;以生产环境的流式应用为背景,介绍常见的问题和最优的解决方案;Flink在各个一线互联网的典型应用,如阿里、腾讯、微博等。

目标收益

学员通过实践本课程,能够熟悉大数据行业和分布式系统的技术核心知识点;通过Flink知识的学习,能够掌握大数据应用的开发和运维能力,并能够掌握海量数据处理的编码和性能调优经验。让学员能够从0到1独立完成Flink流式计算的程序编写和功能、性能上的调优;熟悉中国Top5互联网企业(如阿里巴巴,腾讯)的大数据平台中Flink的技术的应用案例和最佳实践。

培训对象

本课程不仅适合大数据 Hadoop, Flink, Spark 相关从业人员,同时也适合热爱或者希望未来从事大数据相关工作的在校学生,软件开发工程师,运维工程师以及架构师学习。通过本课程,学员将能够快速熟悉和掌握大数据利器Flink,尤其是流式计算的核心技术,在生产中解决实际问题。


课程内容

1. 流式处理架构

1.1 流式处理背景及架构介绍

1.2 流式处理行业案例以及Flink的适用场景及应用概述

1.3 Flink 与 Spark的比较以及为什么选择Flink

1.4 Flink流式计算的编程模型[1]:DataStream API

1.5 Flink流式计算的编程模型[2]:FlinkSQL与UDF



2. Flink流式处理核心技术

2.1 三种Time与Watermark

2.2 Window窗口有状态聚合计算详解

2.3 开发自己的Flink Connector(Source & Sink)

2.4 看懂Flink WebUI和Flink Metrics体系

2.5 常见Flink Connector(Kafka,Elasticsearch,HDFS)的使用与调优

2.6 Flink的Exactly-Once处理、状态维护与容错机制。

2.7 Flink 流式处理时的反压机制



3. 流式计算常见问题的技术方案:

3.1 如何处理乱序和延迟的数据?

3.2 海量数据规模下的性能调优?

3.3 双流Join怎么用?

3.4 实时数据与纬度表关联怎么样做最高效?

3.5 如何在Flink中实现业务计算逻辑动态更新?

3.6 窗口聚合数据希望尽早输出怎么办?



4. Flink在各大互联网公司的典型应用剖析

4.1 Flink在阿里、腾讯、微博的应用

4.2 Flink在短视频直播用户行为分析的实战

课程费用

5800.00 /人

课程时长

3小时

预约体验票 我要分享
提交需求