怎么把自己电脑建设网站,网络营销有哪些方面,深圳设计品牌网站,区块链技术做网站前言
随着企业级应用系统日益复杂#xff0c;随之产生的海量日志数据。传统的日志管理和分析手段#xff0c;难以做到高效检索、实时监控以及深度挖掘潜在价值。在此背景下#xff0c;ELK日志分析系统应运而生。本文将从ELK 日志分析系统的原理、架构及其在实践中的应用做相… 前言
随着企业级应用系统日益复杂随之产生的海量日志数据。传统的日志管理和分析手段难以做到高效检索、实时监控以及深度挖掘潜在价值。在此背景下ELK日志分析系统应运而生。本文将从ELK 日志分析系统的原理、架构及其在实践中的应用做相关介绍。
目录
一、ELK 简介
1. 概述
2. 组件
2.1 ElasticSearch
2.2 Logstash
2.3 Kiabana
3. ELK架构
4. 完整日志系统基本特征
5. ELK 的工作原理
二、ELK 部署
1. 环境准备
2. ELK Elasticsearch 集群部署
3. 安装 Elasticsearch-head 插件
4. ELK Logstash 部署
5. 收集系统日志 /var/log/messages
6. ELK Kiabana 部署 一、ELK 简介
1. 概述
ELK 和 ElasticStack 实质上指的是同一个概念ELK 平台是一套完整的日志集中处理方案。其拥有三个组件ElasticSearch、Logstash 和 Kiabana 配合使用组成一个功能全面的数据平台。另外当需要处理大量实时数据的场景ELK 与 Kafka 的集成可以提供一个强大的实时数据收集、存储、分析和可视化解决方案。
2. 组件
2.1 ElasticSearch
提供了一个分布式多用户能力的全文搜索和分析引擎可以把日志集中化管理。Elasticsearch 是用 Java 开发的可通过 RESTful Web 接口让用户可以通过浏览器与 Elasticsearch 通信。
下面是标准的 HTTP 方法与 RESTful 资源管理之间的映射关系
GET获取文档POST创建PUT更新DELTET删除GET搜索值
核心概念
接近实时一旦索引操作完成通常在几秒钟内文档就能几乎立刻被搜索到集群是由一个或多个节点组成的节点一个独立运行实例它可以存储数据、参与文档索引和搜索过程索引索引库——类型表——文档记录可以理解为一种数据库的特性是一个大的文档的集合分片允许将索引切分成多个分片可以在集群的不同节点上独立分布和操作副本允许为索引的每个分片创建副本可以分摊读请求、有冗余能力
2.2 Logstash
由 Ruby 语言编写运行在 Java 虚拟机JVM上是一款强大的数据处理工具。其主要功能是收集日志输入采集的数据进行加工如过滤、改写等以及数据的输出。相关概念有input数据采集、filter数据过滤和 output数据输出。
主要主件有
Shipper日志收集者监控微服务日志Indexer日志存储者Broker连接多个收集者指向 IndexerSearch and Storage搜索和存储Web Interface展示可视化数据界面
由于 Logstash 运行在 jvm 虚拟机环境中比较占用 cpu、内存资源可以添加其它组件直接在操作系统运行
Filebeat轻量级的开源日志文件数据搜集器可以直接部署在目标主机上实时读取日志文件并将数据发送到Elasticsearch、Logstash或其他输出目的地。Fluentd是一个流行的开源数据收集器可以收集来自各种数据源的日志数据并将其规范化后输出到多种存储或分析系统中如Elasticsearch、MongoDB、S3等。缓存/消息队列redis、kafka、RabbitMQ等可以对高并发日志数据进行流量削峰和缓冲这样的缓冲可以一定程度的保护数据不丢失还可以对整个架构进行应用解耦。
2.3 Kiabana
针对 Elasticsearch 的开源分析及可视化平台搜索查看索引中的数据。Kibana 通常与 Elasticsearch 一起部署对接 Es 接口。
3. ELK架构 ① 日志数据首先由应用程序产生。这些日志可能是应用程序运行时生成的标准输出、错误输出或者是通过API直接输出的日志事件。例如Web服务器、数据库服务、微服务等各类应用都会产生日志信息
② Kafka、Redis 可以起到缓冲的作用暂时存储本地的日志数据直到成功发送出去避免数据丢失同时具有抗高并发能力存储速度快等特点
③ Logstash 接收到来自缓冲区的日志数据后进入数据解析区。在这里Logstash通过配置的输入插件Input Plugins读取数据然后经过过滤插件Filter Plugins进行解析和转换最后输出数据Output
④ 经过解析和处理后的日志数据最终被发送到Elasticsearch中存储。Elasticsearch 是一个分布式搜索引擎和分析引擎它将数据按照索引index组织并将索引进一步划分为多个分片shards以实现水平扩展和高可用性
⑤ Kibana 是一个强大的可视化工具它连接到 Elasticsearch可以从存储在 Elasticsearch 中的日志数据构建实时仪表板和报表。开发人员和运维团队可以通过 Kibana 的搜索和可视化功能
4. 完整日志系统基本特征
收集能够采集多种来源的日志数据传输能够稳定的把日志数据解析过滤并传输到存储系统存储存储日志数据分析支持 UI 分析警告能够提供错误报告监控机制
5. ELK 的工作原理
① 在所有需要收集日志的服务器上部署Logstash或者先将日志进行集中化管理在日志服务器上在日志服务器上部署 Logstash
② Logstash 收集日志将日志格式化并输出到 Elasticsearch 群集中
③ Elasticsearch 对格式化后的数据进行索引和存储
④ Kibana 从 ES 群集中查询数据生成图表并进行前端数据的展示
总结logstash 作为日志搜集器从数据源采集数据并对数据进行过滤格式化处理然后交由Elasticsearch 存储kibana 对日志进行可视化处理。
二、ELK 部署
1. 环境准备
节点名ip地址安装软件node1192.168.190.100elasticsearch、kibananode2192.168.190.101elasticsearchlogstash192.168.190.102apache、logstash
systemctl stop firewalld.service
setenforce 0
# 关闭防火墙、核心防护功能
node1节点hostnamectl set-hostname node1
node2节点hostnamectl set-hostname node2
logstash节点hostnamectl set-hostname logstash
# 修改主机名方便查看
echo 192.168.190.100 node1 /etc/hosts
echo 192.168.190.101 node2 /etc/hosts
echo 192.168.190.102 logstash /etc/hosts
# 编辑域名解析制作映射
[rootnode1 ~]# java -version
openjdk version 1.8.0_131
[rootnode2 ~]# java -version
openjdk version 1.8.0_131
# 显示 Java 运行时环境版本信息如果没有yum -y install java
2. ELK Elasticsearch 集群部署
实际生产环境中常常会部署更多的节点来增强冗余能力、高可用性、负载均衡、数据扩容等这里部署两台在Node1、Node2节点上操作。
① 安装 elasticsearch rpm 包
分别在node1、node2节点上操作:
[rootnode1 opt]# ls
elasticsearch-5.5.0.rpm # 这里使用 elasticsearch-5.5.0.rpm 包
[rootnode1 opt]# rpm -ivh elasticsearch-5.5.0.rpm[rootnode1 opt]# systemctl daemon-reload
[rootnode1 opt]# systemctl enable elasticsearch.service
# 加载系统服务② 修改 elasticsearch 主配置文件
[rootnode1 ~]# rpm -qc elasticsearch
/etc/elasticsearch/elasticsearch.yml
[rootnode1 ~]# cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
# 备份配置文件
[rootnode1 ~]# vim /etc/elasticsearch/elasticsearch.yml17 cluster.name: my-application # 取消注释指定集群名字名字可以按需修改23 node.name: node1 # 取消注释指定节点名字node1、Node233 path.data: /data/elk_data # 取消注释指定数据存放路径37 path.logs: /var/log/elasticsearch/ # 取消注释指定日志存放路径43 bootstrap.memory_lock: false # 取消注释改为在启动的时候不锁定内存55 network.host: 0.0.0.0 # 取消注释设置监听地址0.0.0.0代表所有地址59 http.port: 9200 # 取消注释ES 服务的默认监听端口为920068 discovery.zen.ping.unicast.hosts: [node1, node2] # 取消注释集群发现通过单播实现指定要发现的节点 node1、node2[rootnode1 ~]# grep -v ^# /etc/elasticsearch/elasticsearch.yml # 显示去除了注释的配置内容③ 创建数据存放路径并授权
[rootnode1 ~]# mkdir -p /data/elk_data
[rootnode1 ~]# chown elasticsearch:elasticsearch /data/elk_data/
④ 启动 elasticsearch 是否成功开启
[rootnode1 ~]# systemctl start elasticsearch.service
[rootnode1 ~]# netstat -antp | grep 9200 # 启动的有点慢需要等一会
tcp6 0 0 :::9200 :::* LISTEN 2541/java
⑤ 查看节点信息
浏览器访问 http://192.168.190.100:9200 、 http://192.168.190.101:9200 查看节点 Node1、Node2 的信息 浏览器访问查看群集的健康情况 status 值
green绿色表示节点健康运行绿色健康 数据和副本 全都没有问题红色数据都不完整黄色数据完整但副本有问题
浏览器访问 http://192.168.190.100:9200/_cluster/state?pretty 可以检查群集状态信息。使用上述方式查看群集的状态对用户并不友好可以通过安装 Elasticsearch-head 插件可以更方便地管理群集。
3. 安装 Elasticsearch-head 插件
安装 Elasticsearch-head 插件的主要作用是为 Elasticsearch 提供一个可视化的 Web 界面方便用户管理和监控 Elasticsearch 集群。
Elasticsearch 在 5.0 版本后Elasticsearch-head 插件需要作为独立服务进行安装需要使用npm工具NodeJS的包管理工具安装。安装 Elasticsearch-head 需要提前安装好依赖软件 node 和 phantomjs。
node是一个基于 Chrome V8 引擎的 JavaScript 运行环境phantomjs是一个基于 webkit 的JavaScriptAPI可以理解为一个隐形的浏览器任何基于 webkit 浏览器做的事情它都可以做到
① 编译安装 node
[rootnode1 opt]# yum install gcc gcc-c make -y # 安装编译工具
[rootnode1 opt]# ls
elasticsearch-5.5.0.rpm node-v8.2.1.tar.gz # 准备软件包 node-v8.2.1.tar.gz
[rootnode1 opt]# tar zxvf node-v8.2.1.tar.gz
[rootnode1 opt]# cd node-v8.2.1/
[rootnode1 node-v8.2.1]# ./configure
[rootnode1 node-v8.2.1]# make make install② 安装 phantomjs前端的框架
[rootnode1 opt]# ls
phantomjs-2.1.1-linux-x86_64.tar.bz2 # 准备软件包
[rootnode1 opt]# tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
[rootnode1 opt]# cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
[rootnode1 bin]# cp phantomjs /usr/local/bin
③ 安装 Elasticsearch-head 数据可视化工具
[rootnode1 opt]# tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
[rootnode1 opt]# cd /usr/local/src/elasticsearch-head/
[rootnode1 elasticsearch-head]# npm install
④ 修改 Elasticsearch 主配置文件
[rootnode1 ~]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true # 开启跨域访问支持默认为 false
http.cors.allow-origin: * # 指定跨域访问允许的域名地址为所有
[rootnode1 ~]# systemctl restart elasticsearch
⑤ 启动 Elasticsearch-head 服务
必须在解压后的 elasticsearch-head 目录下启动服务进程会读取该目录下的 gruntfile.js 文件否则可能启动失败。
[rootnode1 ~]# cd /usr/local/src/elasticsearch-head/
[rootnode1 elasticsearch-head]# npm run start
[1] 85478
[rootnode1 elasticsearch-head]# elasticsearch-head0.0.0 start /usr/local/src/elasticsearch-headgrunt serverRunning connect:server (connect) task
Waiting forever...
Started connect web server on http://localhost:9100⑥ 通过 Elasticsearch-head 查看 Elasticsearch 信息
通过浏览器访问 http://192.168.190.100:9100/ 地址并连接群集。如果看到群集健康值为 green 绿色代表群集很健康。 [rootnode1 ~]# lsof -i:9100 # 列出所有打开指定TCP或UDP端口这里是9100的进程信息
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
grunt 85488 root 12u IPv4 98596 0t0 TCP *:jetdirect (LISTEN)⑦ 插入索引
[rootnode1 ~]# curl -X PUT localhost:9200/index-demo1/test/1?prettypretty -H content-Type: application/json -d {user:zhangsan,mesg:hello world}
{_index : index-demo1,_type : test,_id : 1,_version : 1,result : created,_shards : {total : 2,successful : 2,failed : 0},created : true
}浏览器访问 http://192.168.190.100:9100/ 查看索引信息可以看见索引默认被分片5个并且有一个副本。点击“数据浏览”会发现在node1上创建的索引为 index-demo类型为 test 的相关信息。 4. ELK Logstash 部署
Logstash 一般部署在需要监控其日志的服务器。
① 安装Apahce服务httpd
[rootlogstash ~]# yum -y install httpd
[rootlogstash ~]# systemctl start httpd.service
② 检查安装 Java 环境
[rootlogstash ~]# java -version
openjdk version 1.8.0_131
# 显示 Java 运行时环境版本信息如果没有yum -y install java
③ 安装 logstash
[rootlogstash opt]# ls
logstash-5.5.1.rpm # 准备 logstash-5.5.1.rpm 包
[rootlogstash opt]# rpm -ivh logstash-5.5.1.rpm
[rootlogstash opt]# systemctl start --now enable logstash.service
[rootlogstash opt]# ln -s /usr/share/logstash/bin/logstash /usr/local/bin/
④ 测试 Logstash
Logstash 命令常用选项
-f通过这个选项可以指定 Logstash 的配置文件根据配置文件配置 Logstash 的输入和输出流。
-e从命令行中获取输入、输出后面跟着字符串该字符串可以被当作 Logstash 的配置如果是空则默认使用 stdin 作为输入stdout 作为输出。
-t测试配置文件是否正确然后退出。
定义输入和输出流输入采用标准输入输出采用标准输出类似管道
[rootlogstash ~]# logstash -e input { stdin{} } output { stdout{} }
www.baidu.com # 键入内容标准输入
2024-04-10T13:43:30.574Z logstash www.baidu.com # 输出结果标准输出
www.sina.com.cn
2024-04-10T13:44:18.445Z logstash www.sina.com.cn
使用 rubydebug 输出详细格式显示codec 为一种编解码器
[rootlogstash ~]# logstash -e input { stdin{} } output { stdout{ codecrubydebug } }
www.baidu.com # 键入内容标准输入
{timestamp 2024-04-10T13:48:25.820Z, # 输出结果处理后的结果version 1,host logstash,message www.baidu.com
}使用 Logstash 将信息写入 Elasticsearch 中
[rootlogstash ~]# logstash -e input { stdin{} } output { elasticsearch { hosts[192.168.190.100:9200] } }
www.baidu.com # 键入内容标准输入结果不在标准输出显示而是发送至 Elasticsearch 中可浏览器访问 http://192.168.190.100:9100/ 查看索引信息和数据浏览 5. 收集系统日志 /var/log/messages
① 定义 logstash 配置文件
Logstash 配置文件基本由三部分组成input、output 以及 filter可选根据需要选择使用。
input表示从数据源采集数据常见的数据源如Kafka、日志文件等
filter表示数据处理层包括对数据进行格式化处理、数据类型转换、数据过滤等支持正则表达式
output表示将Logstash收集的数据经由过滤器处理之后输出到Elasticsearch。格式如下
input {...}
filter {...}
output {...}在每个部分中也可以指定多个访问方式。例如若要指定两个日志来源文件则格式如下
input {file { path /var/log/messages type syslog}file { path /var/log/httpd/access.log type apache}
② 修改 Logstash 配置文件让其收集系统日志/var/log/messages并将其输出到 elasticsearch 中
[rootlogstash ~]# vim /etc/logstash/conf.d/system.conf
vim /etc/logstash/conf.d/system.conf
input {file{path /var/log/messages # 指定要收集的日志的位置type system # 自定义日志类型标识start_position beginning # 表示从开始处收集}
}
output {elasticsearch { # 输出到 elasticsearchhosts [192.168.190.100:9200] # 指定 elasticsearch 服务器的地址和端口index system-%{YYYY.MM.dd} # 指定输出到 elasticsearch 的索引格式}
}
[rootlogstash ~]# chmod r /var/log/messages
[rootlogstash ~]# systemctl restart logstash浏览器访问 http://192.168.190.100:9100/ 查看索引信息 6. ELK Kiabana 部署
用于可视化和管理Elasticsearch中数据的开源分析和可视化平台。Kibana提供了丰富的图表、仪表盘和数据可视化工具使用户能够以直观的方式探索和分析数据。在 Node1 节点上操作
① 安装 Kiabana
[rootnode1 opt]# ls
kibana-5.5.1-x86_64.rpm # 安装包
[rootnode1 opt]# rpm -ivh kibana-5.5.1-x86_64.rpm
② 设置 Kibana 的主配置文件
[rootnode1 opt]# vim /etc/kibana/kibana.yml2 server.port: 5601 # 取消注释Kiabana 服务的默认监听端口为56017 server.host: 0.0.0.0 # 取消注释设置 Kiabana 的监听地址0.0.0.0代表所有地址21 elasticsearch.url: http://192.168.190.100:9200 # 取消注释设置和 Elasticsearch 建立连接的地址和端口30 kibana.index: .kibana # 取消注释设置在 elasticsearch 中添加.kibana索引
③ 启动 Kibana 服务
[rootnode1 opt]# systemctl start --now enable kibana.service
[rootnode1 opt]# netstat -natp | grep 5601
tcp 0 0 0.0.0.0:5601 0.0.0.0:* LISTEN 2808/node
④ 验证 Kibana
浏览器访问 http://192.168.190.100:5601
第一次登录需要添加一个 Elasticsearch 索引
Index name or pattern
//输入system-* #在索引名中输入之前配置的 Output 前缀“system”单击 “create” 按钮创建单击 “Discover” 按钮可查看图表信息及日志信息。
数据展示可以分类显示在“Available Fields”中的“host”然后单击 “add”按钮可以看到按照“host”筛选后的结果 ⑤ 将 Apache 服务器的日志访问的、错误的添加到 Elasticsearch 并通过 Kibana 显示
[rootlogstash ~]# vim /etc/logstash/conf.d/apache_log.conf
input {file{path /etc/httpd/logs/access_logtype accessstart_position beginning}file{path /etc/httpd/logs/error_logtype errorstart_position beginning}
}
output {if [type] access {elasticsearch {hosts [192.168.190.100:9200]index apache_access-%{YYYY.MM.dd}}}if [type] error {elasticsearch {hosts [192.168.190.100:9200]index apache_error-%{YYYY.MM.dd}}}
}[rootlogstash ~]# cd /etc/logstash/conf.d/
[rootlogstash conf.d]# /usr/share/logstash/bin/logstash -f apache_log.conf 浏览器访问 http://192.168.190.100:9100 查看索引是否创建 浏览器访问 http://192.168.190.100:5601 登录 Kibana单击“Create Index Pattern”按钮添加索引 在索引名中输入之前配置的 Output 前缀 apache_access-*并单击“Create”按钮。在用相同的方法添加 apache_error-*索引。 选择“Discover”选项卡在中间下拉列表中选择刚添加的 apache_access-* 、apache_error-* 索引 可以查看相应的图表及日志信息。
