做网站读哪个专业,网络营销策略的演变,哈尔滨建设银行网站首页,深圳网站建设代理商Kafka MQ 主题和分区
Kafka 的消息通过 主题 进行分类。主题就好比数据库的表#xff0c;或者文件系统里的文件夹。主题可以被分为若干个 分区 #xff0c;一个分区就是一个提交日志。消息以追加的方式写入分区#xff0c;然 后以先入先出的顺序读取。要注意#xff0c;由…Kafka MQ 主题和分区
Kafka 的消息通过 主题 进行分类。主题就好比数据库的表或者文件系统里的文件夹。主题可以被分为若干个 分区 一个分区就是一个提交日志。消息以追加的方式写入分区然 后以先入先出的顺序读取。要注意由于一个主题一般包含几个分区因此无法在整个主 题范围内保证消息的顺序但可以保证消息在单个分区内的顺序。图 1-5 所示的主题有 4 个分区消息被追加写入每个分区的尾部。Kafka 通过分区来实现数据冗余和伸缩性。分 区可以分布在不同的服务器上也就是说一个主题可以横跨多个服务器以此来提供比 单个服务器更强大的性能。 图 1-5:包含多个分区的主题表示
我们通常会使用流这个词来描述 Kafka 这类系统的数据。很多时候人们把一个主题的数 据看成一个流不管它有多少个分区。流是一组从生产者移动到消费者的数据。当我们讨 论流式处理时一般都是这样描述消息的。Kafka Streams、Apache Samza 和 Storm 这些框 架以实时的方式处理消息也就是所谓的流式处理。我们可以将流式处理与离线处理进行 比较比如 Hadoop 就是被设计用于在稍后某个时刻处理大量的数据。第 11 章将会介绍流 式处理。
