Apache Pulsar 是一款云原生分布式消息流平台，融合了消息队列、流处理和存储能力，采用独特的“存储计算分离”架构（Broker 无状态 + BookKeeper 持久化存储）。以下从核心特性、对比优势及适用场景展开分析：
一、Pulsar 的核心架构与特性
分层架构设计
- 计算层（Broker）：无状态代理节点，负责消息路由、负载均衡，支持秒级水平扩容。
- 存储层（BookKeeper）：分布式日志存储，数据分片（Ledger）多副本强一致，故障时自动迁移数据，保障金融级可靠性。
- 元数据层（ZooKeeper）：管理集群配置和状态（社区正逐步减少依赖）。
关键特性
- 多租户隔离：租户（Tenant）与命名空间（Namespace）天然隔离资源，支持独立配置策略（如权限、TTL）。
- 订阅模式灵活：
- 独占（Exclusive）、共享（Shared）、灾备（Failover）、Key-Shared（按消息Key分区消费）。
- 百万级Topic支持：Topic数量增长不影响性能，无需预分区（Kafka万级Topic后性能下降）。
- 流批一体：分层存储（Hot/Cold Data）支持实时流处理与历史批处理统一平台。
- 多协议兼容：原生支持Kafka（KoP）、RabbitMQ（AMQP）、MQTT协议，迁移成本低。
二、对比主流消息队列的优劣势
| 维度 | Pulsar | Kafka | RabbitMQ | RocketMQ |
|---|---|---|---|---|
| 架构 | 存储计算分离，扩展性强 | 存储计算耦合，扩容需数据迁移 | 单体架构，扩展复杂 | 存储计算半分离（5.0+优化） |
| 性能 | 低延迟（<5ms）且高吞吐（百万QPS） | 高吞吐但分区数增多时延迟飙升 | 中小规模吞吐，延迟稳定 | 高吞吐，延迟中等 |
| 可靠性 | 强一致（Quorum写入）多地域复制 | 依赖副本同步，跨地域复制复杂 | 依赖镜像队列，性能损耗大 | 主从复制，故障切换慢 |
| 功能丰富度 | 内置延迟消息、死信队列、事务消息 | 需外部组件支持延迟消息 | 支持延迟队列，无原生事务 | 支持事务、顺序消息 |
| 运维成本 | 自动负载均衡，支持K8s部署 | 分区Rebalance开销大，运维复杂 | 集群管理复杂 | 需手动调整分区 |
优势总结：
- 扩展性碾压：Broker无状态扩容秒级完成，BookKeeper存储层独立扩展。
- 场景覆盖广：兼顾队列模型（Queue）和流模型（Stream），替代多套中间件。
- 金融级容灾：跨地域复制（Geo-Replication）支持异步/同步强一致模式。
- 云原生友好：Serverless化设计，按需弹性和计费（如腾讯云TDMQ）。
局限性：
- 部署复杂度高：依赖ZooKeeper+BookKeeper，组件较多（社区正简化）。
- 生态成熟度：Kafka生态更庞大（Connectors、Streams），Pulsar生态快速追赶中。
三、典型应用场景
- 金融交易系统
- 腾讯计费平台用Pulsar处理每天数亿美元交易，依赖其强一致性和跨地域容灾。
- 实时数仓与流批一体
- 分层存储将热数据实时处理（Flink）+ 冷数据批分析（Spark），避免数据搬迁。
- 物联网海量设备接入
- 百万级Topic支持每个设备独立通道，共享集群资源。
- 微服务异步解耦
- 延迟消息（订单超时关单）、死信队列（异常重试）原生支持。
四、选型建议
- 选 Pulsar：
✅ 需超大规模扩展（如百万Topic）
✅ 强一致性与跨地域容灾是关键需求
✅ 流批一体降低架构复杂度
✅ 混合协议（Kafka/MQTT等）迁移场景 - 选 Kafka：
✅ 生态成熟度优先（如Connect生态）
✅ 纯日志流处理且分区数可控 - 选 RabbitMQ：
✅ 轻量级业务，需快速搭建队列
✅ 复杂路由规则（Exchange机制）
💡 技术趋势：Pulsar凭借云原生架构成为新一代消息系统标杆，已在腾讯、Yahoo、BIGO等企业替代Kafka。若团队面临性能瓶颈或运维痛点，Pulsar是更面向未来的选择。