文章目录
1. 一个消费者组中只有 1 个消费者
假设我们有一个 TopicT1，它包含 4 个分区（partition），并且有 1 个消费者组（consumer group），这个消费者组中只有 1 个消费者（consumer）。此时，唯一的消费者订阅了 TopicT1，会被分配到 所有的 4 个分区，负责读取这些分区中的全部消息。这个场景可以用下图表示：
2. 一个消费者组中有 2 个消费者
下面扩展一下上面的场景，同样是 TopicT1，但同一个消费者组中有 2 个消费者。在这种情况下，Kafka 会自动将 不同的分区分配给不同的消费者。例如：
- Consumer1 被分配读取分区 0 和 2
- Consumer2 被分配读取分区 1 和 3
问：Kafka 如何保证在同一个消费者组内，一条消息不会被多个消费者重复消费？
答：在同一个消费者组内，Kafka 会自动将 每个分区分配给 唯一一个消费者，确保一个分区只会被一个消费者读取。由于同一个 Topic 的不同分区中存储的是 不同的消息序列，因此两个消费者之间 不会读取到相同的消息，从而避免了重复消费。
3. 消费者数量 > 分区数量
如果消费者组中的消费者数量 多于 Topic 的分区数量，会发生什么呢？假设 TopicT1 依然有 4 个分区，但此时消费者组中有 5 个消费者，那么：
- 前 4 个消费者会各自被分配到一个分区；
- 多余的消费者（例如 Consumer5）会处于空闲状态，因为没有多余的分区可以分配给它。
4. 多个消费者读取同一个分区
对于 多个消费者同时读取同一个分区的需求，不能通过同一个消费者组实现，因为 Kafka 的原则是：同一个分区在同一个消费者组中只能被一个消费者消费。
解决方案是：
- 将这些消费者 放到不同的消费者组中；
- 然后让这些消费者组都 订阅同一个 Topic。
例如：
- 在 ConsumerGroup1 中的 Consumer1 会读取 TopicT1 的 Partition0；
- 在 ConsumerGroup2 中的 Consumer1 也会读取 TopicT1 的 Partition0。
这样，两个不同消费者组中的消费者可以同时读取同一个分区中的消息。
5. 消费者放入消费者组
5.1 何时放入同一个消费者组
如果需求是：提高消费吞吐量，或 加快消息消费速度，应该将多个消费者 放到同一个消费者组中，并让该消费者组订阅同一个 Topic。若TopicT1 有 4 个分区，如果消费者组中有 4 个消费者，那么每个消费者会各自消费一个分区中的消息，达到 并行消费的效果。
5.2 何时放入不同的消费者组
如果需求是：让多个消费者读取同样的消息，需要将消费者放在 不同的消费者组中。每个消费者组都会 独立地消费同一个 Topic 中的所有消息，不会互相影响。