黄骅港引航站,wordpress 全站404,百度浏览器官方下载,网站维护要做哪些工作Elk#xff08;Elasticsearch, Logstash, Kibana#xff09;是一套日志收集、存储和展示方案#xff0c;是由Elastic公司开发的开源软件组合。 Elasticsearch#xff1a;是一个分布式的搜索和分析引擎。它能够处理大量的数据#xff0c;并提供快速、准确的搜索结果#x…ElkElasticsearch, Logstash, Kibana是一套日志收集、存储和展示方案是由Elastic公司开发的开源软件组合。 Elasticsearch是一个分布式的搜索和分析引擎。它能够处理大量的数据并提供快速、准确的搜索结果支持复杂的数据分析和可视化。 Logstash是一个日志收集和处理工具。它可以从各种数据源收集数据并对数据进行过滤、解析和转换使其能够被Elasticsearch等系统所理解。 Kibana是一个数据可视化工具提供了强大的图形化界面能够帮助用户更好地理解和分析数据。它支持各种图表和图形可以直观地展示数据趋势、关系和特征。
使用Elk可以方便地收集和分析各种类型的数据如服务器日志、应用程序日志、网络流量、传感器数据等等。它的使用非常广泛包括企业级应用、安全监控、搜索引擎、日志分析等领域。
部署ELk
安装软件配置主机名IP地址系统版本Elasticsearch/Logstash/kibanaELK10.36.192.157CentOs7.9.2009 2核4GElasticsearchEs110.36.192.158CentOs7.9.2009 2核3GElasticsearchEs210.36.192.159CentOs7.9.2009 2核2Gzookeeper/kafkaKafka110.36.192.160CentOs7.9.2009 1核2Gzookeeper/kafkaKafka210.36.192.161CentOs7.9.2009 1核2Gzookeeper/kafkaKafka310.36.192.166CentOs7.9.2009 1核2G
环境部署
1.获取系统版本信息
[rootinitial ~]# cat /etc/centos-release
CentOS Linux release 7.9.2009 (Core)
2.添加主机名解析
#每个节点都添加下解析
[rootelk bin]# vim /etc/hosts
10.36.192.157 elk
10.36.192.158 es1
10.36.192.159 es2
10.36.192.160 kafka1
10.36.192.161 kafka2
10.36.192.166 kafka3
3.软件包的版本号
#相应的版本最好下载对应的插件
Elasticsearch: 7.13.2
Logstash: 7.13.2
Kibana: 7.13.2
Kafka: 2.11-1
Filebeat: 7.13.2
4.搭建架构 1、日志数据由filebeat进行收集定义日志位置定义kafka集群定义要传给kafka的那个topic 2、kafka接受到数据后,端口为9092等待消费 3、logstash消费kafka中的数据对数据进行搜集、分析根据输入条件过滤条件输出条件处理后将数据传输给es集群 4、es集群接受数据后搜集、分析、存储 5、kibana提供可视化服务将es中的数据展示。 5.相关地址
相关地址
官网地址https://www.elastic.co
官网搭建Starting with the Elasticsearch Platform and its Solutions | Elastic elasticsearch集群部署 软件包elasticsearch-7.13.2-linux-x86_64.tar.gz 示例节点IP10.36.192.157 10.36.192.158 10.36.192.159
安装es
1.创建普通用户es
[rootelk ~]# useradd es
2.安装es
[rootelk ~]# tar xf elasticsearch-7.13.2-linux-x86_64.tar.gz -C /usr/local/
[rootelk ~]# cd /usr/local/
[rootelk local]# mv elasticsearch-7.13.2/ es
3.创建es数据目录日志目录
[rootelk ~]# mkdir -p /data/elasticsearch/data
[rootelk ~]# mkdir -p /data/elasticsearch/logs
4.修改文件属性
[rootelk ~]# chown -R es.es /data/elasticsearch
[rootelk ~]# chown -R es.es /usr/local/es
5.编辑yml配置文件
#node.name每个节点要不同
#data路径、logs路径要在提前创建好
#discovery.seed_hosts写其它节点的IP
[rootelk ~]# vim /usr/local/es/config/elasticsearch.yml
cluster.name: bjbpe01-elk
cluster.initial_master_nodes: [10.36.192.157,10.36.192.158,10.36.192.159] # 单节点模式这里的地址只填写本机地址
node.name: elk01
node.master: true
node.data: true
path.data: /data/elasticsearch/data
path.logs: /data/elasticsearch/logs
bootstrap.memory_lock: false
bootstrap.system_call_filter: false
network.host: 0.0.0.0
http.port: 9200
transport.tcp.port: 9300
discovery.seed_hosts: [10.36.192.158, 10.36.192.159]
discovery.zen.minimum_master_nodes: 2
discovery.zen.ping_timeout: 150s
discovery.zen.fd.ping_retries: 10
client.transport.ping_timeout: 60s
http.cors.enabled: true
http.cors.allow-origin: *
6.设置jvm堆大小
#默认为4G
[rootelk ~]# sed -i s/## -Xms4g/-Xms4g/ /usr/local/es/config/jvm.options
[rootelk ~]# sed -i s/## -Xmx4g/-Xmx4g/ /usr/local/es/config/jvm.options
7.系统优化
#增加最大文件打开数
[rootelk ~]# echo * soft nofile 65536 /etc/security/limits.conf
#增加最大进程数
[rootelk ~]# echo * soft nproc 65536 /etc/security/limits.conf
* soft nofile 65536
* hard nofile 131072
* soft nproc 4096
* hard nproc 4096
#更多的参数调整可以直接用这个
#增加最大内存映射数
[rootelk ~]# echo vm.max_map_count262144 /etc/sysctl.conf
[rootelk ~]# sysctl -p
8.启动es
#su 与su -的区别是su切换用户后当前的路径不变
#可以使用将服务放在后台
[rootelk ~]# cd /usr/local/es/bin
[rootelk bin]# su es
[eselk bin]$ ./elasticsearch
9.验证是否正常启动
默认访问端口9200 安装es监控软件head 软件包node-v10.24.1-linux-x64.tar.gz 示例节点10.36.192.157
1.安装配置head监控插件
解压插件
[rootelk ~]# tar xf node-v10.24.1-linux-x64.tar.gz -C /usr/local/
[rootelk ~]# cd /usr/local/
[rootelk local]# mv node-v10.24.1-linux-x64/ node
添加node环境变量
[rootelk local]# vim /etc/profile.d/node.sh
NODE_HOME/usr/local/node
PATH$PATH:$NODE_HOME/bin
[rootelk local]# source /etc/profile.d/node.sh
[rootelk local]# node -v
v10.24.1
安装head插件
[rootelk ~]# yum provides unzip
[rootelk ~]# yum -y install unzip
[rootelk ~]# unzip elasticsearch-head-master.zip -d /usr/local/ /dev/null
安装grunt组件 [rootelk ~]# cd /usr/local/elasticsearch-head-master
[rootelk ~]# npm install -g grunt-cli
[rootelk ~]# grunt -version
grunt-cli v1.4.3
修改head源码文件 [rootelk elasticsearch-head-master]# cp /usr/local/elasticsearch-head-master/Gruntfile.js /usr/local/elasticsearch-head-master/Gruntfile.js.bak
[rootelk elasticsearch-head-master]# vi /usr/local/elasticsearch-head-master/Gruntfile.js [rootelk elasticsearch-head-master]# cp /usr/local/elasticsearch-head-master/_site/app.js /usr/local/elasticsearch-head-master/_site/app.js.bak
[rootelk elasticsearch-head-master]# vim /usr/local/elasticsearch-head-master/_site/app.js 4373
#如果head与ES不在同一个节点那么就需要在head的这个配置文件里指名ES的IP
2.下载head其他必要组件
[rootelk ~]# mkdir /tmp/phantomjs
[rootelk ~]# tar -xjf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /tmp/phantomjs/
[rootelk ~]# chmod 777 -R /tmp/phantomjs
3.运行head
[rootelk ~]# cd /usr/local/elasticsearch-head-master/
[rootelk elasticsearch-head-master]# npm install phantomjs-prebuilt2.1.16 --ignore-scripts
[rootelk elasticsearch-head-master]# nohup grunt server
[rootelk elasticsearch-head-master]# ss -nplt
如果显示找不到grunt #安装grunt组件时有时候会出现错误再次安装下载后虽然可以使用grunt -version看到版本号但是一般这个grunt是组件不全的
#上图这个错误提示表明在运行grunt缺少一些必要的grunt插件。
#解决办法它显示有几个没发现就下载对应几个插件
npm install grunt-contrib-clean --save-dev
npm install grunt-contrib-concat --save-dev
npm install grunt-contrib-watch --save-dev
npm install grunt-contrib-copy --save-dev
npm install grunt-contrib-connect --save-dev
npm install grunt-contrib-jasmine --save-dev
head正常运行后默认使用9100端口 4.页面测试
http://10.36.192.157:9100 安装部署kibana 软件包kibana-7.13.2-linux-x86_64.tar.gz 示例节点10.36.192.157 1.解压kibana
[rootelk ~]# tar -xzf kibana-7.13.2-linux-x86_64.tar.gz -C /usr/local/
2.配置kibana
[rootelk ~]# echo
server.port: 5601
server.host: 10.36.192.157
elasticsearch.hosts: [http://10.36.192.157:9200]
kibana.index: .kibana
i18n.locale: zh-CN
/usr/local/kibana-7.13.2-linux-x86_64/config/kibana.yml
3.访问kibana页面
[rootelk kibana-7.13.2-linux-x86_64]# nohup ./bin/kibana --allow-root
如果访问kibana界面显示服务还没准备好请将所有es集群的节点的es服务都启动启动
http://10.36.192.157:5601/ 使用nginx实现head和kibana的反向代理
1.下载nginx仓库
[rootelk ~]# rpm -ivh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
2.配置nginx的反向代理
[rootelk ~]# yum -y install nginx[rootelk ~]# vim /etc/nginx/nginx.conf
user nginx;
worker_processes 4;
error_log /var/log/nginx/error.log;
pid /var/run/nginx.pid;
worker_rlimit_nofile 65535;events {worker_connections 65535;use epoll;
}http {include mime.types;default_type application/octet-stream;log_format main $remote_addr - $remote_user [$time_local] $request $status $body_bytes_sent $http_referer $http_user_agent $http_x_forwarded_for;access_log /var/log/nginx/access.log main;server_names_hash_bucket_size 128;autoindex on;sendfile on;tcp_nopush on;tcp_nodelay on;keepalive_timeout 120;fastcgi_connect_timeout 300;fastcgi_send_timeout 300;fastcgi_read_timeout 300;fastcgi_buffer_size 64k;fastcgi_buffers 4 64k;fastcgi_busy_buffers_size 128k;fastcgi_temp_file_write_size 128k;#gzip模块设置gzip on; #开启gzip压缩输出gzip_min_length 1k; #最小压缩文件大小gzip_buffers 4 16k; #压缩缓冲区gzip_http_version 1.0; #压缩版本默认1.1前端如果是squid2.5请使用1.0gzip_comp_level 2; #压缩等级gzip_types text/plain application/x-javascript text/css application/xml; #压缩类型默认就已经包含textml所以下面就不用再写了写上去也不会有问题但是会有一个warn。gzip_vary on;#开启限制IP连接数的时候需要使用#limit_zone crawler $binary_remote_addr 10m;#tips:#upstream bakend{#定义负载均衡设备的Ip及设备状态}{# ip_hash;# server 127.0.0.1:9090 down;# server 127.0.0.1:8080 weight2;# server 127.0.0.1:6060;# server 127.0.0.1:7070 backup;#}#在需要使用负载均衡的server中增加 proxy_pass http://bakend/;server {listen 80;server_name localhost;#charset koi8-r;# access_log /var/log/nginx/host.access.log main;access_log off;location / { #与你创建的用户对应起来auth_basic kibana; #可以是string或off任意string表示开启认证off表示关闭认证。auth_basic_user_file /etc/nginx/passwd.db; #指定存储用户名和密码的认证文件。proxy_pass http://10.36.192.157:5601;proxy_set_header Host $host:5601; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header Via nginx; }location /status { stub_status on; #开启网站监控状态 access_log /var/log/nginx/kibana_status.log; #监控日志 auth_basic NginxStatus; } location /head/{#与你创建的用户对应起来auth_basic head;auth_basic_user_file /etc/nginx/passwd.db;proxy_pass http://10.36.192.157:9100/;proxy_set_header Host $host:9100;proxy_set_header X-Real-IP $remote_addr;proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;proxy_set_header Via nginx;} # redirect server error pages to the static page /50x.htmlerror_page 500 502 503 504 /50x.html;location /50x.html {root html;}}
}配置用户及密码
[rootelk es]# cd /etc/nginx/
[rootelk nginx]# echo passwd.db
[rootelk nginx]# yum provides htpasswd
[rootelk nginx]# yum -y install hthttpd-tools
[rootelk nginx]# htpasswd -cm /etc/nginx/passwd.db kibana
New password:
Re-type new password:
Adding password for user kibana
[rootelk nginx]# htpasswd -m /etc/nginx/passwd.db head
New password:
Re-type new password:
Adding password for user head
[rootelk nginx]# systemctl restart nginx
安装部署logstash 软件包logstash-7.13.2-linux-x86_64.tar.gz 示例节点10.36.192.15
1.解压包
[rootelk ~]# tar xf logstash-7.13.2-linux-x86_64.tar.gz -C /usr/local/
2.测试logstash
[rootelk local]# cd logstash-7.13.2/[rootelk logstash-7.13.2]# mkdir conf
[rootelk logstash-7.13.2]# cd conf#logstash文件目录里的conf目录默认是空可以在这里写测试的输入配置、输出配置文件
[rootelk conf]# vim stdin.conf
input {stdin {}
}
[rootelk conf]# vim stdout.conf
output {stdout {codec rubydebug}
}
#测试与ES集群是否连接通畅
[rootelk conf]# vim stdout.conf
output {stdout {codec rubydebug}#添加与ES集群的连接elasticsearch {hosts [10.3.145.14,10.3.145.56,10.3.145.57]index logstash-debug-%{YYYY-MM-dd}}
}
3.启动logstash
# -f 指定自定义的输出配置文件、输入配置文件、过滤配置文件
[rootelk conf]# ./bin/logstash -f conf/
4.测试页面访问
访问 http://10.36.192.157/head 5.配置logstash
[rootelk conf]# mkdir -p /usr/local/logstash-7.13.2/etc/conf.d
#配置logstash的输入
[rootelk conf]# vim /usr/local/logstash-7.13.2/etc/conf.d/input.conf
input {
kafka {type audit_logcodec jsontopics nginxdecorate_events truebootstrap_servers 10.36.192.157:9092, 10.36.192.158:9092, 10.36.192.159:9092}
}
#配置logstash的输出
[rootelk conf]# vim /usr/local/logstash-7.13.2/etc/conf.d/output.conf
output {if [type] audit_log {elasticsearch {hosts [10.36.192.157,10.36.192.158,10.36.192.159]index logstash-audit_log-%{YYYY-MM-dd}}}}
#配置logstash的过滤
[rootelk conf]# vim /usr/local/logstash-7.13.2/etc/conf.d/output.conf
filter {json { # 如果日志原格式是json的需要用json插件处理source messagetarget nginx # 组名}
}
6.启动logstash
[rootelk logstash-7.13.2]# nohup bin/logstash -f etc/conf.d/ --config.reload.automatic [2] 2398 kafka集群部署 软件包jdk-8u121-linux-x64.tar.gz、kafka_2.11-2.0.0.tgz 示例节点10.36.192.160
a. 安装jdk8
1.kafkazookeeper简称ZK运行依赖jdk8
[rootelk ~]# tar -xzf jdk-8u211-linux-x64.tar.gz -C /usr/local/
[rootelk ~]# cd /usr/local/
[rootelk local]# mv jdk1.8.0_211/ java
#配置环境变量JAVA_HOME的路径要与你实际的对应
[rootelk local]# vim /etc/profile.d/java.sh
JAVA_HOME/usr/local/java
PATH$PATH:$JAVA_HOME/bin
[rootelk local]# source /etc/profile.d/java.sh
[rootelk local]# java -version
java version 1.8.0_211
Java(TM) SE Runtime Environment (build 1.8.0_211-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.211-b12, mixed mode)
b. 安装配置ZK
[rootelk ~]# echo
dataDir/opt/data/zookeeper/data
dataLogDir/opt/data/zookeeper/logs
clientPort2181
tickTime2000
initLimit20
syncLimit10
server.110.36.192.160:2888:3888 //kafka集群IP:Port .1为id 3处要对应
server.210.36.192.161:2888:3888
server.310.36.192.166:2888:3888/usr/local/kafka_2.11-2.0.0/config/zookeeper.properties
3.创建ZK的数据日志目录
[rootkafka2 local]# mkdir -p /opt/data/zookeeper/{data,logs}
#所有的kafka节点需要有不同的myid在其它节点记得myid不能再是1了
[rootkafka2 local]# echo 1 /opt/data/zookeeper/data/myid
c. 配置kafka
[rootelk ~]# mkdir -p/opt/data/kafka/logs
[rootelk ~]# echo
broker.id1
listenersPLAINTEXT://10.36.192.160:9092
num.network.threads3
num.io.threads8
socket.send.buffer.bytes102400
socket.receive.buffer.bytes102400
socket.request.max.bytes104857600
log.dirs/opt/data/kafka/logs
num.partitions6
num.recovery.threads.per.data.dir1
offsets.topic.replication.factor2
transaction.state.log.replication.factor1
transaction.state.log.min.isr1
log.retention.hours168
log.segment.bytes536870912
log.retention.check.interval.ms300000
zookeeper.connect10.36.192.160:2181,10.36.192.161:2181,10.36.192.166:2181
zookeeper.connection.timeout.ms6000
group.initial.rebalance.delay.ms0/usr/local/kafka_2.11-2.0.0/config/server.properties
d. 其他kafka看节点配置 #只需把配置好的安装包直接分发到其他节点然后修改ZK的myidKafka的broker.id和listeners就可以了。 e.启动运行
#集群所有节点都执行一下
#先启动zookeeper
[rootkafka1 ~]# cd /usr/local/kafka_2.11-2.0.0/
[rootkafka1 ~]# nohup bin/zookeeper-server-start.sh config/zookeeper.properties
#再启动kafka
[rootkafka1 ~]# cd /usr/local/kafka_2.11-2.0.0/
[rootkafka1 ~]# nohup bin/kafka-server-start.sh config/server.properties
f. kafka集群验证
#在集群任一节点上创建topic如在10.36.192.160上创建topic
[rootkafka1 ~]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic#在集群的任一节点都可以看到如在10.36.192.161上查看topic
[rootkafka2 kafka_2.11-2.0.0]# bin/kafka-topics.sh --zookeeper 10.36.192.161:2181 --list
[rootkafka2 kafka 2.11-2.0.0]# bin/kafka-topics.sh --zookeeper 10,36.192.160:2181 --list
[rootkafka2 kafka 2.11-2.0.0]# bin/kafka-topics.sh --zookeeper 10,36.192.166:2181 --list #模拟消息的产生和消费
#在节点10.36.192.160上发送信息
[rootkafka1 ~]# bin/kafka-console-producer.sh --broker-list 10.3.145.41:9092 --topic testtopic
hello world!
#在另一节点10.36.192.161接收消息
[rootkafka2 ~]# bin/kafka-console-consumer.sh --bootstrap-server 10.36.192.161:9092 --topic testtopic --from-beginning
Hello World!
#删除kafka集群的topic
[rootkafka1 ~]# bin/kafka-topics.sh --delete --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic testtopic 安装部署filebeat filebeat需要部署在每台需要监控日志的应用服务器上面可以使用容器、ansilbe、Salt来批量部署 软件包filebeat-7.13.2-x86_64.tar.gz 示例节点10.36.192.161
[rootkafka2 ~]# tar -xzf filebeat-7.13.2-x86_64.tar.gz -C /usr/local
[rootkafka2 ~]# cd /usr/local
[rootkafka2 ~]# mv filebeat-7.13.2-x86_64 filebeat
[rootkafka2 ~]# cd filebeat
#修改filebeat配置输出到logstash多余的通过kafka集群进行缓存缓解logstash写的压力ELK
[rootkafka2 ~]# yum -y install nginx
[rootkafka2 ~]# systemctl start nginx
#启动zookeeper启动kafka集群示例获取nginx的日志信息创建名为nginx的topic
[rootkafka1 ~]# bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic nginx
[rootkafka2 ~]# vim filebeat.yml
filebeat.inputs:
- type: logenabled: truepaths:- /var/log/nginx/access.log
#filebeat6.x的版本只能有一个output了ELK架构就选择输出到kafka集群的topic那里
#下面是直接输出到logstash的与输出到kafka集群的
output.logstash:hosts: [10.36.192.161:5000]output.kafka: hosts: [10.36.192.160:9092,10.36.192.161:9092,10.36.192.166:9092]topic: nginx #与创建的topic名一致
案例 案例使用filebeat将mysql日志直接发送给ES集群 ELK基本已经部署完毕filebeat可以搜集应用服务器的日志并按需求发送给指定的集群或节点。 发送到Kafka集群 或者越过kafka集群发给logstash 又或者直接越过所有中间件直接发送给ES集群的任一节点 也可以发送给logstash和kafka集群ELK
#举例使用任意一台虚拟机作为一个数据库节点使用filebeat收集它的日志信息
#由于电脑配置限制我就选其中一个kafka节点作为web应用服务器来实验
[rootkafka2 ~]# yum -y install mysql-server mysql
[rootkafka2 ~]# systemctl start mysqld
#访问kibana网页界面在里面选择添加数据选择添加mysql日志
#然后根据页面步骤执行代码
#配置filebeat
#进入模块目录可以查看当前版本的filebeat支持那么服务的日志收集服务找到对应的模块名
[rootkafka2 filebeat]# cd modules.d/
#开启某一个模块如开启mysql模块日志收集
[rootkafka2 filebeat]# ./filebeat modules enable mysql
[rootkafka2 ~]# vim filebeat.yml
修改filebeat的输出位置指定一台ES服务器 指定接受filebeat日志信息的kibana节点 启动filebeat并在kibana建立索引模式
[rootkafka2 filebeat]# ./filebeat -e -c filebeat.yml 在kibana操作 #在最侧边栏点击三个横线的那里下拉选到Stack Management #我示例里面选的是timestamp是官方默认的时间字段其它字段可以查看官方文档酌情选择 最后效果 summary 1.ELK是怎么实现高效快速处理日志信息的呢 透过在所有的web应用服务器上面部署filebeat 然后filebeat收集服务的日志信息再发送给kafka集群的topic kafka集群极大的缓解了logstash的写的压力 logstash再对收集到日志信息进行过滤、分析、处理再发送给ES集群 ES集群接收到所有处理好的日志信息实时分析并为它们建立索引最后实现了日志信息的秒级查询速度 kibana将ES集群的日志信息进行可视化化展示 2.ELK组件的简单介绍 kibana就是可视化的将ES集群里的日志信息展示到页面上的工具 head是较为实用的监控ES集群的插件 kafka和rabbitMQ很像都是为了缓解写压力被研发出来的 filebeat是一款轻量高效的日志信息处理服务 logstash与filebeat不同的是功能更加多样可以对日志信息进行切割处理 ES服务器为所有的日志信息添加索引负载存储日志信息
