郑州做网站的公司哪家,别墅设计,网站开发属于哪个税收分类,做网站组服务器一、Log Flush Policy#xff08;log flush 策略#xff09; 1、设置内存中保留日志的个数#xff0c;当达到这个数量的时候#xff0c;内存中的数据会被强制刷到disk中 log.flush.interval.messages10000 2、设置内存中保留日志的时间#xff0c;当达到这个时间的时候log flush 策略 1、设置内存中保留日志的个数当达到这个数量的时候内存中的数据会被强制刷到disk中 log.flush.interval.messages10000 2、设置内存中保留日志的时间当达到这个时间的时候日志会被刷新到disk中 log.flush.interval.ms1000 二、Log Retention Policy 日志保留策略 1、 日志保留时间超过该时间日志会被删除 log.retention.hours48 2、设置一个分区的大小该分区包含所有的segment文件segment文件会被删除pruned直到剩余的segment文件小于drop below该设置大小 A size-based retention policy for logs. Segments are pruned from the log unless the remaining segments drop below log.retention.bytes. Functions independently of log.retention.hours. log.retention.bytes1073741824 3、设置一个segment的大小当达到这个大小的时候会创建一个新的segment新文件重新写日志 log.segment.bytes1073741824 4、设置一个时间间隔用于检查是否需要删除segment文件检查是否需要删除的频率 log.retention.check.interval.ms300000 5、日志文件被真正删除前的保留时间 log.segment.delete.delay.ms60000 注意当删除的条件满足的视乎日志将会被删除但是这里的删除其实只是将该日志进行了”delete“标注文件只是无法被索引到了而已但是文件本身仍然是存在的只有当过了log.segment.delete.delay.ms这个时间后文件才会被删除 三、问题
Q1 kafka消费的是内存中的数据还是磁盘中的数据?消息流转流程?
既会消费内存中的数据也会消费磁盘上的数据
producer----broker内存------flush到磁盘----加载到broker内存----consumer消费 |-------consumer消费
Q2 log.flush.interval.messages 与 log.flush.interval.ms 这两个参数以哪个为准
上述两个参数设置了哪个参数则哪个参数生效如果没设置则按照默认值来如果都设置了则任意一个达到要求都会执行flush log.flush.interval.messages 默认值 9223372036854775807 log.flush.interval.ms 默认值为ull如果未设置则使用log.flush.scheduler.interval.ms 默认值 9223372036854775807
Q3 log.retention.hours 与 log.retention.bytes 这两个参数以哪个为准
上述两个参数设置了哪个参数则哪个参数生效如果没设置则按照默认值来如果都设置了则任意一个达到要求都会执行删除 log.retention.hours 默认是168h达到这个时间会执行清理策略 log.retention.bytes 默认是-1 则大小无上限
Q4 未被消费的数据但是达到了时间上限或者大小上限 日志会被删除吗
会被删除
Q5 如何查看消息消费进度
kafka-consumer-groups --bootstrap-server ip1:port1,ip2:port2,ip3,port3 --group group1 --group group2 --describe
