手机如何创建简易网站,广州头条新闻最近一周,如何设置wordpress博客摘要模式,湖南省建设人力资源网文章目录一、zookeeper伪集群搭建1. 下载安装包2. 解压安装包3. 创建目录4. 修改配置文件5. 修改dataDir#xff0c;clientPort两个配置项5. 在data目录下创建myid文件6. 复制多个zookeeper7. 修改内存大小8. 启动zookeper9. 查看zookeeper运行状态二、kafka 伪集群搭建2.1. 下…
文章目录一、zookeeper伪集群搭建1. 下载安装包2. 解压安装包3. 创建目录4. 修改配置文件5. 修改dataDirclientPort两个配置项5. 在data目录下创建myid文件6. 复制多个zookeeper7. 修改内存大小8. 启动zookeper9. 查看zookeeper运行状态二、kafka 伪集群搭建2.1. 下载2.2. 解压安装包2.3. 新建目录2.4. 修改配置文件2.5. 复制多个kafka2.6. 配置kafka90922.7. 配置kafka90932.8. 修改内存大小2.9. 防火墙策略2.10. 启动kafka集群2.11. 关闭kafka三、测试3.1. 创建Topic3.2. 查看已经创建的Topic信息3.3. 发送消息3.4. 创建Topic3.5. kafka集群搭建一、zookeeper伪集群搭建 腾讯云安装参考腾讯云~ zookeeper集群安装、配置、验证 在同一台服务器上以不同端口218121822183运行三个zookeeper形成一个伪集群
1. 下载安装包
cd /app
wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz2. 解压安装包
tar -zxvf apache-zookeeper-3.8.0-bin.tar.gz
mv apache-zookeeper-3.8.0-bin/ zookeeper-21813. 创建目录
cd /app/zookeeper-2181
mkdir data logs4. 修改配置文件
cd /app/zookeeper-2181/conf
cp zoo_sample.cfg zoo.cfg5. 修改dataDirclientPort两个配置项
修改
dataDir/app/zookeeper-2181/data
clientPort2181并添加以下配置项
dataLogDir/app/zookeeper-2181/logs
server.1localhost:2287:3387
server.2localhost:2288:3388
server.3localhost:2289:33895. 在data目录下创建myid文件
cd /app/zookeeper-2181/data
vim myid在myid中指定节点id在一个集群中不能重复。例如将2181节点的id设置为12182节点设置为22183节点设置为3 6. 复制多个zookeeper
cd /app
cp -r zookeeper-2181 zookeeper-2182
cp -r zookeeper-2181 zookeeper-2183修改conf/zoo.cfg配置文件中的配置参考第4小节
7. 修改内存大小
在各个节点的配置目录下新增配置配置文件
cd /app/zookeeper-2181/conf
vim zkEnv.sh添加以下内容
#!/bin/sh
export JVMFLAGS-Xms100m -Xmx100m $JVMFLAGS2182/2183依次新增
8. 启动zookeper
进入到每个zookeeper中启动zookeeper
cd /app/zookeeper-2181
./bin/zkServer.sh start conf/zoo.cfg9. 查看zookeeper运行状态
for i in {1,2,3}; do sh /opt/module/zookeeper/zookeeper-218${i}/bin/zkServer.sh status; done查看某个节点的状态
/app/zookeeper-2181/bin/zkServer.sh status二、kafka 伪集群搭建
在同一台服务器上以不同的端口909190929093启动三个kafka节点组成伪集群
2.1. 下载
cd /app
wget https://archive.apache.org/dist/kafka/2.4.0/kafka_2.13-2.4.0.tgz2.2. 解压安装包
tar -zxvf kafka_2.13-2.4.0.tgz
mv kafka_2.13-2.4.0 kafka_90912.3. 新建目录
mkdir /app/kafka_9091/logs -p2.4. 修改配置文件
复制配置修改server1.properties配置
cd /app/kafka_9091/config修改配置文件server.properties
broker.id1
listenersPLAINTEXT://localhost:9091
log.dirs/app/kafka_9091/logs
zookeeper.connectlocalhost:2181,localhost:2182,localhost:2183broker.id节点id在同一个集群中不能重复listeners节点监听的端口在同一台机器上也不能相同log.dris存储数据的位置zookeeper.connectzookeeper集群的连接地址
2.5. 复制多个kafka
cd /app
cp -r kafka_9091 kafka_9092
cp -r kafka_9091 kafka_90932.6. 配置kafka9092
cd /app/kafka_9092/config修改配置文件server.properties
broker.id2
listenersPLAINTEXT://localhost:9092
log.dirs/app/kafka_9092/logs
zookeeper.connectlocalhost:2181,localhost:2182,localhost:2183broker.id节点id在同一个集群中不能重复listeners节点监听的端口在同一台机器上也不能相同log.dris存储数据的位置zookeeper.connectzookeeper集群的连接地址
2.7. 配置kafka9093
cd /app/kafka_9093/config修改配置文件server.properties
broker.id3
listenersPLAINTEXT://localhost:9093
log.dirs/app/kafka_9093/logs
zookeeper.connectlocalhost:2181,localhost:2182,localhost:2183broker.id节点id在同一个集群中不能重复listeners节点监听的端口在同一台机器上也不能相同log.dris存储数据的位置zookeeper.connectzookeeper集群的连接地址
2.8. 修改内存大小
在各个节点下修改脚本文件
kafka 9091节点
cd /app/kafka_9091/bin
vim kafka-server-start.sh修改配置项KAFKA_HEAP_OPTS
export KAFKA_HEAP_OPTS-Xmx200M -Xms200Mkafka 9092节点
cd /app/kafka_9092/bin
vim kafka-server-start.sh修改配置项KAFKA_HEAP_OPTS
export KAFKA_HEAP_OPTS-Xmx200M -Xms200Mkafka 9093节点
cd /app/kafka_9093/bin
vim kafka-server-start.sh修改配置项KAFKA_HEAP_OPTS
export KAFKA_HEAP_OPTS-Xmx200M -Xms200M2.9. 防火墙策略
firewall-cmd --zonepublic --add-port9091/tcp --permanent
firewall-cmd --zonepublic --add-port9092/tcp --permanent
firewall-cmd --zonepublic --add-port9093/tcp --permanent
firewall-cmd --reload2.10. 启动kafka集群
前台启动
./bin/kafka-server-start.sh config/server.properties kafka 9091节点
cd /app/kafka_9091
./bin/kafka-server-start.sh -daemon config/server.properties kafka 9092节点
cd /app/kafka_9092
./bin/kafka-server-start.sh -daemon config/server.properties kafka 9093节点
cd /app/kafka_9093
./bin/kafka-server-start.sh -daemon config/server.properties 2.11. 关闭kafka
kafka 9091节点
cd /app/kafka_9091/bin
./bin/kafka-server-stop.sh -daemon config/server.properties kafka 9092节点
cd /app/kafka_9092/bin
./bin/kafka-server-stop.sh -daemon config/server.properties kafka 9093节点
cd /app/kafka_9093/bin
./bin/kafka-server-stop.sh -daemon config/server.properties 三、测试
3.1. 创建Topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic gblfy-topic3.2. 查看已经创建的Topic信息
bin/kafka-topics.sh --list --zookeeper localhost:2181或者
bin/kafka-topics.sh --bootstrap-server localhost:9091,localhost:9092,localhost:9093 --list查询效果一样因为zk本身咱们就是集群信息共享
3.3. 发送消息
消息发送命令
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic gblfy-topic消息内容
{domainName:gblfy.com,operation:666}3.4. 创建Topic
在开一个窗口
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic gblfy-topic3.5. kafka集群搭建
kafka集群下载、启动、部署、测试 https://gblfy.blog.csdn.net/article/details/104428791
