招聘网站上怎么做推广,毕业设计 网站开发简单吗,又顺又旺的公司名字大全,如何做网站粘贴广告文章目录 概要broker端参数producer端参数consumer端参数 概要
kafka broker、consumer、和producer都有很多可配置的参数。本文主要总结日常开发中常用到的参数。其中producer端可以在org.apache.kafka.clients.producer.ProducerConfig 中找到配置项#xff0c;consumer端可… 文章目录 概要broker端参数producer端参数consumer端参数 概要
kafka broker、consumer、和producer都有很多可配置的参数。本文主要总结日常开发中常用到的参数。其中producer端可以在org.apache.kafka.clients.producer.ProducerConfig 中找到配置项consumer端可以在org.apache.kafka.clients.consumer.ConsumerConfig中找到各配置项。
broker端参数
$KAFKA_HOME/config/server.properties文件中的配置。
参数名称描述举例/默认值zookeeper.connect用于配置Kafka要连接的Zookeeper/集群的地址。它的值是一个字符串使用逗号分隔Zookeeper的多个地址Zookeeper的单个地址是 host:port形式的可以在最后添加Kafka在Zookeeper中的根节点路径zookeeper.connectnode2:2181,node3:2181,node4:2181/myKafkalisteners用于指定当前Broker向外发布服务的地址和端口。listenersPLAINTEXT://0.0.0.0:9092listener.security.protocol.map监听器名称和安全协议的映射配置比如可以将内外网隔离listener.security.protocol.mapINTERNAL:SSL,EXTERNAL:SSLinter.broker.listener.name于配置broker之间通信使用的监听器名称该名称必须在advertised.listeners列表中inter.broker.listener.nameEXTERNALadvertised.listeners将该地址发布到zookeeper供客户端使用
典型配置
listener.security.protocol.mapINTERNAL:PLAINTEXT,EXTERNAL:PLAINTEXT
listenersINTERNAL://192.168.100.101:9092,EXTERNAL:node1:9093
inter.broker.listener.nameEXTERNAL
advertised.listenersPLAINTEXT://node1:9092参数名称描述举例/默认值broker.id用于唯一标记一个Kafka的Broker它的值是一个任意integer值broker.id0log.dir定Kafka在磁盘上保存消息的日志片段的目录
producer端参数
参数名称描述举例/默认值bootstrap.servers生产者客户端与broker集群建立初始连接需要的broker地址列表node1:9092,node2:9092acksacks0生产者不等待broker的任何消息确认。只要将消息放到了socket的缓冲区就认为消息已发送。不能保证服务器是否收到该消息retries设置也不起作用因为客户端不关心消息是否发送失败。客户端收到的消息偏移量永远是-1。acks1leader将记录写到它本地日志就响应客户端确认消息而不等待follower副本的确认。如果leader确认了消息就宕机则可能会丢失消息因为follower副本可能还没来得及同步该消息。acksallleader等待所有同步的副本确认该消息。保证了只要有一个同步副本存在消息就不会丢失。这是最强的可用性保证。等价于acks-1默认值为1字符串。可选值[all, -1, 0, 1]compression.type生产者生成数据的压缩格式。默认是none没有压缩。允许的值nonegzipsnappy和lz4。压缩是对整个消息批次来讲的。消息批的效率也影响压缩的比例。消息批越大压缩效率越好。默认是noneretries设置该属性为一个大于1的值将在消息发送失败的时候重新发送消息允许重试但是不设置max.in.flight.requests.per.connection为1存在消息乱序的可能因为如果两个批次发送到同一个分区第一个失败了重试第二个成功了则第一个消息批在第二个消息批后默认0可选值[0,…,2147483647]retry.backoff.ms在向一个指定的主题分区重发消息的时候重试之间的等待时间。避免了密集循环的重新发送请求long型值默认100。可选值[0,…]request.timeout.ms客户端等待请求响应的最大时长。如果服务端响应超时则会重发请求除非达到重试次数。该设置应该比 replica.lag.time.max.ms (a broker configuration)要大以免在服务器延迟时间内重发消息int类型值默认30000msbatch.size当多个消息发送到同一个分区的时候生产者尝试将多个记录作为一个批来处理。批处理提高了客户端和服务器的处理效率。该配置项以字节为单位控制默认批的大小。所有的批小于等于该值发送给broker的请求将包含多个批次每个分区一个如果该值设置的比较小会限制吞吐量设置为0会完全禁用批处理。如果设置的很大又有一点浪费内存因为Kafka会永远分配这么大的内存来参与到消息的批整合中16384client.id生产者发送请求的时候传递给broker的id字符串。用于在broker的请求日志中追踪什么应用发送了什么消息。一般该id是跟业务有关的字符串buffer.memory生产者可以用来缓存等待发送到服务器的记录的总内存字节。如果记录的发送速度超过了将记录发送到服务器的速度则生产者将阻塞 max.block.ms 的时间此后它将引发异常。此设置应大致对应于生产者将使用的总内存long型数据。默认值33554432max.block.ms控制 KafkaProducer.send() 和 KafkaProducer.partitionsFor() 阻塞的时长。当缓存满了或元数据不可用的时候这些方法阻塞。在用户提供的序列化器和分区器的阻塞时间不计入long型值默认60000可选值[0,…]linger.ms一批消息发往broker的时机由两个参数控制一个时batch.size,另一个时linger.mslinger.ms表示这批消息的等待时间消息不管有没达到batche.size的大小达到了linger.ms的等待时间也会向broker端发送long型值默认0max.request.size单个请求的最大字节数。该设置会限制单个请求中消息批的消息个数以免单个请求发送太多的数据。服务器有自己的限制批大小的设置与该配置可能不一样int类型值默认1048576max.in.flight.requests.per.connection单个连接上未确认请求的最大数量。达到这个数量客户端阻塞。如果该值大于1且存在失败的请求在重试的时候消息顺序不能保证int类型值默认5
consumer端参数
参数名称描述默认值bootstrap.servers向Kafka集群建立初始连接用到的host/port列表client.id当从服务器消费消息的时候向服务器发送的id字符串在ip/port基础上提供应用的逻辑名称记录在服务端的请求日志中用于追踪请求的源。group.id用于唯一标志当前消费者所属的消费组的字符串auto.offset.resetearliest自动重置偏移量到最早的偏移量latest自动重置偏移量为最新的偏移量none如果消费组原来的previous偏移量不存在则向消费者抛异常anything向消费者抛异常默认值latestenable.auto.commit是否自动提交位移trueauto.commit.interval.ms如果设置了 enable.auto.commit 的值为true则该值定义了消费者偏移量向Kafka提交的频率5000msfetch.min.bytes服务器对每个拉取消息的请求返回的数据量最小值。如果数据量达不到这个值请求等待以让更多的数据累积达到这个值之后响应请求。默认设置是1个字节表示只要有一个字节的数据就立即响应请求或者在没有数据的时候请求超时。将该值设置为大一点儿的数字会让服务器等待稍微长一点儿的时间以累积数据。如此则可以提高服务器的吞吐量代价是额外的延时间。1字节fetch.max.wait.ms如果服务器端的数据量达不到 fetch.min.bytes 的话服务器端不能立即响应请求。该时间用于配置服务器端阻塞请求的最大时长session.timeout.ms当使用Kafka的消费组的时候消费者周期性地向broker发送心跳数表明自己的存在。如果经过该超时时间还没有收到消费者的心跳则broker将消费者从消费组移除并启动再平衡。该值必须在broker配置 group.min.session.timeout.ms 和group.max.session.timeout.ms 之间。45000msheartbeat.interval.ms当使用消费组的时候该条目指定消费者向消费者协调器发送心跳的时间间隔。心跳是为了确保消费者会话的活跃状态同时在消费者加入或离开消费组的时候方便进行再平衡。该条目的值必须小于 session.timeout.ms 也不应该高于session.timeout.ms 的1/3。可以将其调整得更小以控制正常重新平衡的预期时间。3000msmax.poll.records一次调用poll()方法返回的记录最大数量500max.poll.interval.ms使用消费组的时候调用poll()方法的时间间隔。该条目指定了消费者调用poll()方法的最大时间间隔。如果在此时间内消费者没有调用poll()方法则broker认为消费者失败触发再平衡将分区分配给消费组中其他消费者。300000ms
