Flink 的任务槽和槽共享

在 Apache Flink 中，任务槽（Task Slot） 和 槽共享组（Slot Sharing Group） 是资源管理和任务调度的关键机制。它们决定了 Flink 如何在集群中分配资源并执行任务。

一、任务槽（Task Slot）

1. 定义

• Task Slot 是 TaskManager 提供的资源单位，代表一个独立的线程或资源隔离单元。
• 每个 Slot 可以运行多个 SubTask（来自不同 JobVertex），但这些 SubTask 必须属于同一个 Job，并且可以共享 Slot。

2. 配置方式

# flink-conf.yaml
taskmanager.numberOfTaskSlots: 4

• 一个 TaskManager 可以配置多个 Slot（例如 4 个）。
• 每个 Slot 默认拥有相同的内存资源（可通过 taskmanager.memory.task.heap.size 等参数精细控制）。

3. Slot 的作用

二、槽共享（Slot Sharing）

1. 定义

• 槽共享（Slot Sharing） 是指多个 Operator 或 SubTask 可以运行在同一个 Slot 中。
• 这是 Flink 优化资源利用的重要机制，避免为每个 Operator 单独分配 Slot。

2. Slot Sharing Group

• 通过 slotSharingGroup() 方法将一组 Operator 分配到同一个槽共享组。
• 同一个组内的 Operator 可以共享 Slot，即可以在同一个 Slot 中执行。

示例代码：

stream.map(new MyMapper()).name("Mapper").slotSharingGroup("group1");
stream.keyBy(...).process(new MyProcessFunction()).name("Processor").slotSharingGroup("group1");

• 上述两个 Operator 属于同一个 Slot Sharing Group，Flink 将尝试将它们部署在同一个 Slot 中。

三、Slot 共享的条件

四、Slot 分配策略

1. Slot 分配流程

• Flink Scheduler 根据 JobGraph 构建 ExecutionGraph。
• 根据 Slot Sharing Group 和并行度，将 SubTasks 分配到各个 Slot。
• 每个 Slot 包含多个连续的 Operators（SubTasks），形成 Operator Chain。

2. Slot 分配示意图

假设一个 Job 包含如下结构：

Source → Map → Filter → Sink

如果所有 Operators 都允许共享 Slot，则整个链可能被分配到一个 Slot 中。

五、资源分配与并行度关系

注意：Job 的并行度不能超过 Slot 总数。

六、高级配置与优化建议

七、总结对比表