2017手机网站建设方案,做电影字幕的网站,wordpress实现浮动联系,手机与电脑网站制作一、Broker 相关配置
1、一般配置
broker.id 当前kafka服务的sid(server id)#xff0c;在kafka集群中#xff0c;该值是唯一的#xff08;unique#xff09;#xff0c;如果未设置此值#xff0c;kafka会自动生成一个int值#xff1b;为了防止自动生成的值与用户设置…一、Broker 相关配置
1、一般配置
broker.id 当前kafka服务的sid(server id)在kafka集群中该值是唯一的unique如果未设置此值kafka会自动生成一个int值为了防止自动生成的值与用户设置的值冲突自动生成的逻辑是从reserved.broker.max.id 1这个值开始。 Type: int Default: -1 Valid Values: Importance: high Update Mode: read-only reserved.broker.max.id 用户可以设置broker.id的最大值自动生成的broker.id从reserved.broker.max.id 1这个值开始 Type: int Default: 1000 Valid Values: [0,…] Importance: medium Update Mode: read-only broker.id.generation.enable 开启自动生成brokerid的功能 Type: boolean Default: true Valid Values: Importance: medium Update Mode: read-only 注意 1000以上的Broker ID现在默认保留为自动分配的Broker ID。如果集群的现有broker id高于该阈值请确保相应地增加reserved.broker.max.id broker配置属性。
advertised.listeners kafka会将该监听地址注册到zk上同时该地址也是客户端访问地址如果该值未设置则将同listeners与listeners不同的是advertised.listeners无法使用0.0.0.0地址 Type: string Default: null Valid Values: Importance: high Update Mode: per-broker 2、 日志数据相关配置
log.dir 存储数据的目录 Type: string Default: /tmp/kafka-logs Valid Values: Importance: high Update Mode: read-only log.dirs 逗号分隔的路径列表用于存放数据如果未设置则使用log.dir Type: string Default: null Valid Values: Importance: high Update Mode: read-only log.flush.interval.messages
在一个日志分区 log partition上需要达到多少个消息才会将这些消息持久化刷新到磁盘上 Type: long Default: 9223372036854775807 Valid Values: [1,…] Importance: high Update Mode: cluster-wide log.flush.interval.ms
topic中的消息存放在内存中的最大时间超过这个时间就会被刷新到磁盘上如果未设置就使用 log.flush.scheduler.interval.ms Type: long Default: null Valid Values: Importance: high Update Mode: cluster-wide log.flush.scheduler.interval.ms
log flusher检查日志是否需要刷新到磁盘的频率
3、ZK相关配置
zookeeper.connect 指定ZK服务器的连接串格式hostname:port为了保障高可用一般要指定多个地址即hostname:port,hostname1:port1,hostname2:port2也可以在配置连接串的时候指定根路径chroot path即hostname1:port1,hostname2:port2,hostname3:port3/chroot/path Type: string Default: null Valid Values: Importance: high Update Mode: read-only zookeeper.connection.timeout.ms
kafka连接zk的超时时长如果未设置将会使用zookeeper.session.timeout.ms值 Type: int Default: null Valid Values: Importance: high Update Mode: read-only zookeeper.session.timeout.ms
kafka连接zk的一个session的超时时间 Type: int Default: 18000 (18 seconds) Valid Values: Importance: high Update Mode: read-only 二、如何更新broker相关配置
broker的配置有三种更新模式read-only、per-broker、cluster-wide
read-only需要重启才能生效per-broker 可以针对每一个broker动态更新cluster-wide在集群范围内更新或者针对每一个broker更新只为了测试
对于read-only模式配置只能通过修改config/server.properties配置文件然后重启生效 对于 per-broker模式的可以使用命令行进行修改
## 修改
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --alter --add-config log.cleaner.threads2
## 查询
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --describe
##删除
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-name 0 --alter --delete-config log.cleaner.threads对于这些被修改的per-broker模式的配置会被存储在zk 的/config/brokers/id中 对于 cluster-wide模式的可以使用命令行进行修改
## 新增
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --alter --add-config log.cleaner.threads2
## 查询
bin/kafka-configs.sh --bootstrap-server localhost:9092 --entity-type brokers --entity-default --describe对于这些被修改的cluster-wide模式的配置会被存储在zk 的/config/brokers/default中
注意 在cluster-wide集群级别可配置的所有配置也可以在per-broker级别进行配置如果在不同级别定义配置值则使用以下优先顺序
Dynamic per-broker config stored in ZooKeeper存储在zk中的 per-broker配置Dynamic cluster-wide default config stored in ZooKeeper存储在zk中的 cluster-wide配置Static broker config from server.properties 对于一个新启动的kafka在zk中是没有per-broker和 cluster-wide 动态配置存储的所以这个时候是以配置文件为主当对某些动态配置进行配置之后对应的ZK node中就会有相应数据了使用顺序如上。
三、kafka-configs.sh 命令详解
kafka-configs.sh 命令必须包含 --alter 或者 --describe 其中一个 kafka-configs.sh --help kafka-configs.sh --version –bootstrap-server lStrng ocalhost:9092 指定kafka的地址 –entity-type String 指定要修改的实体类型topics、clients、users、brokers、broker-loggers、ips –entity-name String 指定上述实体类型的名 –entity-default 在上述类型中的cluster-wide范围内更新配置 –alter 修改相应配置 –add-config ’k1v1‘ 修改或者更新相应配置 log.cleaner.threads2多个值需要用引号引住并用逗号分隔开即’k1v1,k2v2,k3[v1,v2,v3]‘ –describe 列出相应配置 –all 列出所有配置 –delete-config String 删除相应配置 –broker id 指定要配置的brokerid –broker-defaults 更新所有的broker即cluster-wide模式
