如果一个Broker组有Master和Slave,消息需要从Master复制到Slave上,有同步和异步两种复制方式。
1)同步复制
同步复制方式是等Master和Slave均写成功后才反馈给客户端写成功状态;
在同步复制方式下,如果Master出故障,Slave上有全部的备份数据,容易恢复,但是同步复制会增大数据写入延迟,降低系统吞吐量。
2)异步复制
异步复制方式是只要Master写成功即可反馈给客户端写成功状态。
在异步复制方式下,系统拥有较低的延迟和较高的吞吐量,但是如果Master出了故障,有些数据因为没有被写入Slave,有可能会丢失;
3)配置
同步复制和异步复制是通过Broker配置文件里的brokerRole参数进行设置的,这个参数可以被设置成ASYNC_MASTER、SYNC_MASTER、SLAVE三个值中的一个。
/opt/rocket/conf/broker.conf文件:Broker的配置文件
参数名 |
默认值 |
说明 |
listenPort |
10911 |
接受客户端连接的监听端口 |
namesrvAddr |
null |
nameServer 地址 |
brokerIP1 |
网卡的 InetAddress |
当前 broker 监听的 IP |
brokerIP2 |
跟 brokerIP1 一样 |
存在主从 broker 时,如果在 broker 主节点上配置了 brokerIP2 属性, broker 从节点会连接主节点配置的 brokerIP2 进行同步 |
brokerName |
null |
broker 的名称 |
brokerClusterName |
DefaultCluster |
本 broker 所属的 Cluser 名称 |
brokerId |
0 |
broker id, 0 表示 master,其他的正整数表示 slave |
storePathCommitLog |
$HOME/store/commitlog/ |
存储 commit log的路径 |
storePathConsumerQueue |
$HOME/store/consumequeue/ |
存储 consume queue 的路径 |
mapedFileSizeCommitLog |
1024 * 1024 * 1024(1G) |
commit log 的映射文件大小 |
deleteWhen |
04 |
在每天的什么时间删除已经超过文件保留时间的 commit log |
fileReserverdTime |
72 |
以小时计算的文件保留时间 |
brokerRole |
ASYNC_MASTER |
SYNC_MASTER或者ASYNC_MASTER或者SLAVE SYNC_MASTER表示当前broker是一个同步复制的Master。 ASYNC_MASTER表示当前broker是一 个异步复制的Master。 SLAVE表示当前borker是一个Slave。 |
flushDiskType |
ASYNC_FLUSH |
SYNC_FLUSH/ASYNC_FLUSH SYNC_FLUSH 模式下的 broker 保证在 收到确认生产者之前将消息刷盘。 ASYNC_FLUSH 模式下的 broker 则利 用刷盘一组消息的模式,可以取得更好的性能。 |
4)总结
实际应用中要结合业务场景,合理设置刷盘方式和主从复制方式,尤其是SYNC_FLUSH方式,由于频繁地触发磁盘写动作,会明显降低性能。通常情况下,应该把Master和Save配置成ASYNC_FLUSH的刷盘方式,主从之间配置成SYNC_MASTER的复制方式,这样即使有一台机器出故障,仍然能保证数据不丢,是个不错的选择。