如何生成一个网站,跨境贸易电子商务服务平台,怎么做网站导航外链,湛江市品牌网站建设怎么样我们一直在讲一个主题会有多个分区#xff0c;这多个分区可以分布在一台服务器上#xff0c;也可以分布在多台服务器上#xff0c;还可以增加分区#xff08;Kafka目前只支持分区#xff09;#xff0c;这是Kafka提供的一种横向扩展的手段 比如我们创建了一个主题#x… 我们一直在讲一个主题会有多个分区这多个分区可以分布在一台服务器上也可以分布在多台服务器上还可以增加分区Kafka目前只支持分区这是Kafka提供的一种横向扩展的手段 比如我们创建了一个主题给主题分配50个分区这个数不大_consumer_offset主题默认就50个分区每个分区放在不同的broker上那么我们要保证这50台服务器都不能宕机一旦服务器宕机分区数据就丢失了保障服务不宕机这是很难的所以Kafka给我们提供了副本机制 副本机制
在Kafka中将主题分成多个分区分区有两个角色Leader分区和Follower分区Kafka对外提供读写服务的是Leader分区Follower分区只负责从Leader分区同步消息与Leader分区保持一致Follower分区一定和Leader分区放在不同的服务器broker上否则就没有意义了一宕全宕当Leader分区宕机会从Follower分区ISR同步副本选出一个转换成Leader分区继续对外提供服务
我们举个如下图
Kafka 集群有三个节点3个broker主题Topic有3个分区Partition_0、Partition_1 、Partition_2三个分区分别放在不同的broker上粉色为Leader分区灰色为Follower分区每个分区有一个副本也分别放在不同分区上并且与其Leader分区放在不同的broker上上图灰色分区就是粉色分区的副本分区Kafka 通过副本分区实现高可用replication-factor 副本因子 leader follower replication-factor3则leader2followerFollower 分区像普通的Kafka消费者一样消费来自Leader分区的消息并将其持久化到自己的日志中Kafka允许Follower对日志数据拉取进行批处理
ISR - 同步副本
节点与zookeeper保持通信通过zookeeper的心跳机制与zookeeper要保持一个长连接允许副本分区与Leader分区有一定消息的偏移
