互助平台网站建设,网站建设佛,泰安网签查询系统,设计制作心得体会〇、前言
在Kafka系列的上一篇文章中#xff0c;我们介绍了Kafka的体系结构#xff0c;那么本篇文章呢#xff0c;我们就着手来把Kafka的运行环境搭建起来。
此处 #xff0c;我们采用线上环境普遍使用的ZooKeeper作为管理存储和管理kafka集群元数据#xff0c;或者辅助…〇、前言
在Kafka系列的上一篇文章中我们介绍了Kafka的体系结构那么本篇文章呢我们就着手来把Kafka的运行环境搭建起来。
此处 我们采用线上环境普遍使用的ZooKeeper作为管理存储和管理kafka集群元数据或者辅助Controller选举操作等。
那么在管理界面的展示端我们采用了EFAK即kafka-eagle,所以这部分的安装步骤我们也会在下文中展示出来。
一、安装ZooKeeper
首先进入Zookeeper官网https://zookeeper.apache.org/下载你所需要的ZooKeeper版本如下图所示 然后将下载下来的ZooKeeper解压到本地路径进入ZooKeeper的conf目录下复制zoo_sample.cfg配置文件将其命名为zoo.cfg如下图所示 其中zoo.cfg配置文件中各配置项的含义如下所示
# zookeeper时间配置中的基本单位毫秒
tickTime2000# 允许follower初始化连接到leader最大时长它表示tickTime时间的倍数 即initLimit*tickTime
initLimit10# 运行follower与leader数据同步最大时长它表示tickTime时间倍数 即syncLimit*tickTime
syncLimit5# zookeeper数据存储目录及日志保存目录如果没有指明dataLogDir则日志也保存在这个文件中
dataDir/tmp/zookeeper# 对客户端提供的端口号
clientPort2181# 单个客户端于zookeeper最大并发连接数
maxClientCnxns60# 保存的数据快照数量之外的将会被清除
autopurge.snapRetainCount3# 自动出发清除任务时间间隔以小时为单位。默认为0表示不自动清除
autopurge.purgeInterval1## Metrics Providers
# https://prometheus.io Metrics Exporter
#metricsProvider.classNameorg.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider
#metricsProvider.httpPort7000
#metricsProvider.exportJvmInfotrue## ttl settings
extendedTypesEnabledtrue## 由于AdminServer默认使用8080端口此处修改为8888
admin.serverPort8888配置好zoo.conf配置文件后我们就可以启动ZooKeeper了如下图所示 启动完ZooKeeper之后我们也可以通过调用zkServer.sh status命令来查看zookeeper的运行状态如下图所示 二、安装Kafka
上面我们安装完ZooKeeper之后我们就可以开始着手安装Kafka了
首先进入Kafka官网下载kafkahttp://kafka.apache.org/如下图所示 然后将下载下来的Kafka解压到本地路径然后进入config目录下编辑 server.properties 配置文件如下图所示 server.properties 配置项解析如下所示
属性默认值描述broker.id0每个broker都可以用一个唯一的非负整数id进行标识这个id可以作为broker的名字你可以选择任意数字作为id但是一定要保证唯一性log.dirs/tmp/kafka-logskafka存放数据的路径。这个路径并不是唯一的可以是多个路径之间使用逗号分隔每当创建新的partition时都会选择在包含最少partitions的路径下进行listenersPLAINTEXT://192.168.65.60:9092server接受客户端连接的端口ip配置kafka本机ip即可zookeeper.connectlocalhost:2181zookeeper连接字符串的格式为hostname:port此处分别对应zk集群中的节点连接方式为:hostname1:port1,hostname2:port2,hostname3:port3log.retention.hours168每个日志文件删除之前保存的时间。默认数据保存时间对所有topic都一样num.partitions1创建topic的默认分区数default.replication.factor1自动创建topic的默认副本数量建立设置为大于等于2min.insync.replicas1当producer设置acks-1时min.insync.replicas指定的最小数目必须确认每一个repica的写数据都是成功的如果这个数目没有达到producer发送消息会产生异常delete.topic.enablefalse是否允许删除主题
在以上的配置项中我们最主要需要关注如下几个配置内容 【broker的序号】broker.id0 【当前kafka的监听地址】listenersPLAINTEXT://localhost:9092 【日志的存储路径】log.dirs/Users/muse/kafka_2.13-3.0.0/kafka-logs 【zookeeper的服务地址】zookeeper.connectlocalhost:2181 修改完相应的配置后启动Kafka并通过查看kafka的进程来判断是否启动起来了如下图所示 查看启动日志是否正常如下图所示 也可以链接ZooKeeper之后在客户端的终端上面查看broker是否注册成功如下图所示 三、安装EFAK
最后我们来安装一下Kafka的监控界面首先进入EFAK官网下载Eagle (http://download.kafka-eagle.org/)如下图所示 修改EFAK的conf目录下配置文件——system-config.properties如下图所示 配置环境变量KE_HOME并调用source .zshrc使其立即生效。如果不配置的话启动时会报错如下图所示 启动EFAK如下图所示 启动成功界面如下图所示 访问EFAK界面 (http://192.168.1.3:8048)默认的用户名为admin默认的密码为123456如下图所示 管理界面如下所示 今天的文章内容就这些了 写作不易笔者几个小时甚至数天完成的一篇文章只愿换来您几秒钟的 点赞 分享 。 更多技术干货欢迎大家关注公众号“爪哇缪斯” ~ \(^o^)/ ~ 「干货分享每天更新」
