Kafka topic 中的 partition 数据倾斜问题

在 Kafka 中，如果一个 Topic 有多个 Partition，但这些 Partition 中的消息数量或流量分布不均衡，就会出现 数据倾斜（Data Skew） 的问题。

✅ 什么是数据倾斜？

数据倾斜指的是：

• 某些 Partition 接收到大量消息，而其他 Partition 接收很少甚至没有；
• 导致部分 Kafka Broker 压力过大；
• 消费端负载不均，有的 Consumer 处理不过来，有的却很空闲；
• 严重时会造成消费延迟、系统资源浪费甚至服务不稳定。

❓ 为什么会出现数据倾斜？

1. 生产者分区策略问题：
   • 默认使用 key hash 分区器，如果 key 分布不均，hash 后也会不均；
   • 或者显式指定了某些 Partition，使得只有少数 Partition 被使用。
2. 没有设置 key：
   • Kafka 会使用轮询（Round-Robin）策略分发；
   • 如果某些 Producer 实现有问题或批次不均，也可能造成不均衡。
3. 动态 topic 扩容不合理：
   • 增加 Partition 后老的消息还在旧的几个 Partition 中积压。

📉 数据倾斜带来的问题

• Broker 负载不均衡；
• 消费组中的 Consumer 无法均衡分配 Partition；
• 消息处理延迟拉大；
• 系统资源浪费，甚至可能引起消息堆积、告警、服务不可用。

❗Kafka 遇到数据倾斜时 不会自动触发重平衡，因为：

Kafka 的 重平衡（Rebalance）机制，是**针对消费组（Consumer Group）**的，不是针对生产端的 Partition 数据分布。

🔄 Kafka 的重平衡是什么？

当满足以下条件时，Kafka 的 Consumer Group 会触发重平衡：

• 有新的消费者加入或离开消费组；
• 某个消费者崩溃或断连；
• 订阅的 Topic 改变；
• Kafka Broker 宕机或恢复。

⚠️ 重平衡只是重新分配 Partition 给消费者，不会改变 Partition 中的数据分布。

🤔 数据倾斜触发不了重平衡的原因

Kafka 本身并不知道“数据是否分布均匀”或“某个 Partition 太热”——它只是把数据按照 Producer 的分区逻辑写入特定 Partition。

即使某个 Partition 压力特别大，Kafka 也不会主动调整数据写入的 Partition，也不会因为数据倾斜自动调整 Consumer 分配（除非有 Consumer 崩溃等情况）。

✅ 那么应该怎么处理数据倾斜？

Kafka 不会自动解决，你需要：

1. 优化生产者分区策略，确保 key 均匀分布或用 Round-Robin；
2. 监控各 Partition 的消息量与延迟，定位热 Partition；
3. 扩展 Topic 的 Partition，并重新设计 key 分布策略；
4. 在消费端使用多线程消费单个 Partition（针对极端倾斜）；
5. 引入中间层流量调度逻辑（如 Kafka Connect、流处理框架 Flink/Spark Streaming 进行动态 repartition）。
6. 自定义分区器 编写 Partition 分配逻辑，使消息均匀地分发到各 Partition。