课程简介

案例背景:
大数据时代，数据量增量迅速，相应的计算力的提升也就尤为重要，我们再实践中遇到了以下问题：
1. Container 分布集中，导致单机 IO 过高，影响 Task 处理性能。
2. Task 调度不均，每个 Container 内部调度的 Task 数量不等，整体需要按照最大值配置，导致了计算资源的大量浪费。

解决思路:
针对上述问题，YARN 团队针对实时计算场景也开发了 GangScheduler，具备 Container 维度更优的调度能力。同时我们也优化了 Flink 引擎的调度策略，使其更均衡的将 Task 调度到各 TaskManager，减少资源浪费，也便于用户配置资源。

成果:

经过上述优化，我们减少了资源浪费，并提升了数据处理能力。

目标收益

1. 了解 Flink 内部调度机制
2. 了解调度对计算力提升的价值
3. 了解一种新的调度优化方案

培训对象

课程内容

案例方向

---

智能数据分析/企业级大数据架构演进/流式计算系统设计/数据库的未来

案例背景

---

大数据时代，数据量增量迅速，相应的计算力的提升也就尤为重要，我们再实践中遇到了以下问题：
1. Container 分布集中，导致单机 IO 过高，影响 Task 处理性能。
2. Task 调度不均，每个 Container 内部调度的 Task 数量不等，整体需要按照最大值配置，导致了计算资源的大量浪费。

收益

---

1. 了解 Flink 内部调度机制
2. 了解调度对计算力提升的价值
3. 了解一种新的调度优化方案

解决思路

---

针对上述问题，YARN 团队针对实时计算场景也开发了 GangScheduler，具备 Container 维度更优的调度能力。同时我们也优化了 Flink 引擎的调度策略，使其更均衡的将 Task 调度到各 TaskManager，减少资源浪费，也便于用户配置资源。

结果

---

经过上述优化，我们减少了资源浪费，并提升了数据处理能力。