h5网站页面设计,wordpress访问加密,本地wordpress预览,郴州北京网站建设好久没用参与大数据之类的开发了#xff0c;近日接触到一个项目中使用到kafka#xff0c;因此要在本地搭建一个简易的kafka服务。时间比较紧急#xff0c;之前有使用docker的经验#xff0c;因此本次就使用docker来完成搭建。在搭建过程中出现的一些问题#xff0c;及时记…好久没用参与大数据之类的开发了近日接触到一个项目中使用到kafka因此要在本地搭建一个简易的kafka服务。时间比较紧急之前有使用docker的经验因此本次就使用docker来完成搭建。在搭建过程中出现的一些问题及时记录以便后期再遇见。
环境 计算机环境win10 22H2 docker Version4.13.1 (90346)
zookeeper和kafka搭建
由于zookeeper与kafka是集群性质的,本次使用的目的简单就是开发一个Topic 生产者,然后通过消费者进行验证
zookeeper与kafka(理论知识后期补充吧)
zookeeper镜像下载
docker pull wurstmeister/zookeeper
kafka镜像的下载
docker pull wurstmeister/kafka
搭建网桥
docker network create kafka-network
启动zookeeper
docker run -d --name zookeeper --network kafka-network -p 2181:2181 wurstmeister/zookeeper
启动kafka docker run -d --name kafka --network kafka-network -p 9092:9092 -e KAFKA_ZOOKEEPER_CONNECTzookeeper:2181 -e KAFKA_LISTENERSPLAINTEXT://kafka:9092 -e KAFKA_ADVERTISED_LISTENERSPLAINTEXT://kafka:9092 wurstmeister/kafka
查看IP地址
docker inspect -f {{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}} kafka
由于使用的是网桥可以通过服务的名称来描述ip。
kafka 日志中报错
WARN [Producer clientIdconsole-producer] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient) 警告可能是由于 Kafka 代理broker未正确配置或者未正确运行导致的 或者 WARN [Controller id1001, targetBrokerId1001] Connection to node 1001 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient) 警告 Kafka 控制器Controller无法与本地主机的 Kafka 代理建立连接
解决办法
上述警告Kafka 消费者无法连接到本地主机的 Kafka 代理broker经过检查发现当时PLAINTEXT://kafka:9092 配置错误引用的是PLAINTEXT://localhost:9092。 修改PLAINTEXT://localhost:9092 ---- PLAINTEXT://kafka:9092 最终完美解决
在本地操作kafka报错
%3|1711527992.579|FAIL|rdkafka#producer-1| [thrd:kafka:9092/1002]: kafka:9092/1002: Failed to resolve kafka:9092: 不知道这样的主机。 (after 2269ms in state CONNECT) %3|1711527992.579|ERROR|rdkafka#producer-1| [thrd:app]: rdkafka#producer-1: kafka:9092/1002: Failed to resolve kafka:9092: 不知道这样的主机。 (after 2269ms in state CONNECT) %3|1711527993.640|FAIL|rdkafka#producer-1| [thrd:kafka:9092/1002]: kafka:9092/1002: Failed to resolve kafka:9092: 不知道这样的主机。 (after 48ms in state CONNECT, 1 identical error(s) suppressed) %3|1711527993.640|ERROR|rdkafka#producer-1| [thrd:app]: rdkafka#producer-1: kafka:9092/1002: Failed to resolve kafka:9092: 不知道这样的主机。 (after 48ms in state CONNECT, 1 identical error(s) suppressed)
解决办法
这个错误是由于程序无法解析主机名 kafka:9092 导致的。所以我想到改网络通过ip与域名的配置。由于是win10系统所有需要修改C:\Windows\System32\drivers\etc\hosts 文件末尾加上
127.0.0.1 zookeeper
127.0.0.1 kafka
