做微官网什么网站好,wordpress制作评论模板,网站群建设进展情况汇报,开发公司交房流程及注意事项目录 生产者的ACK参数
ack等于0
ack等于1#xff08;默认#xff09;
ack等于-1或all
Kafka的同步复制
使用误区 生产者的ACK参数
Kafka的ack机制可以保证生产者发送的消息被broker接收成功。
Kafka producer有三种ack机制 #xff0c;分别是 0#xff0c;1#xf…目录 生产者的ACK参数
ack等于0
ack等于1默认
ack等于-1或all
Kafka的同步复制
使用误区 生产者的ACK参数
Kafka的ack机制可以保证生产者发送的消息被broker接收成功。
Kafka producer有三种ack机制 分别是 01-1。这个配置可以在初始化producer时在config中进行配置。默认值是1。
ack等于0
producer不等待broker同步完成的确认只要发送一次消息后就不再发送了不管是否发送成功。这种方式延迟最低但是持久性也最差当服务器发生故障时就很可能发生数据丢失。
例如leader已经宕机了但producer还会继续发送消息broker接收不到数据就会数据丢失。
ack等于1默认
producer只要收到一个分区副本成功写入的通知就认为推送消息成功了这一个副本就是Leader。
当集群中Partition的Leader发生宕机时此时由于follwer可能尚未同步到消息数据可能就丢失了。此选项提供了较好的持久性较低的延迟性实现了吞吐量和消息可靠性的平衡。
ack等于-1或all
这个值意味着开启同步复制机制后你ISR列表里面的所有副本必须都要同步成功才会反馈给生产者这条消息发送成功了。
Kafka的同步复制
之前Kafka的Replication策略和ISR同步机制 已经写过关于同步复制的实现机制本文再次提及是因为在实际使用场景下kafka的生产者ack参数其实与同步复制的相关配置是相互配合才能起到真正的作用。
min.insync.replicas
min.insync.replicas这个参数指定了一个写操作被认为是成功时最小的ISR副本确认数。如不能满足这个条件producer将会触发异常(either NotEnoughReplicas or NotEnoughReplicasAfterAppend)。
当开启同步复制且生产者ACK参数设置为-1或all时在消息发送时只要写入副本数满足了min.insync.replicas的数值即可返回给生产者消息发送成功的通知。
个人理解这个参数其实是用来平衡kafka集群的数据安全性和吞吐量的以及可用性。min.insync.replicas配置控制的是同步复制ISR副本的下限要使用同步复制机制需要合理配置min.insync.replicas的值在此基础上kafka服务端可以实现同步复制并发挥其作用但是生产者最终到底能不能把一条消息发送成功取决于生产者的acks参数配置。
场景举例
topic中ISR副本数为4min.insync.replicas设置为2生产者ack设置为-1当生产者发送消息时满足leader节点写入成功且另外3个ISR其中一个写入完成后即可完成消息发送成功的响应无需等待全量ISR都写入完成。
使用误区
min.insync.replicas配置的默认值是1这种情况并没有同步复制机制的作用。因为leader本身也是一个副本所以1这个值表示leader写入成功后即可返回给生产者发送成功的标识。
此时即使生产者ackall 结果也是等同于ack1的情况即producer只要收到一个分区副本成功写入的通知就认为推送消息成功了这一个副本就是Leader。
