胶州家园网站建设,网站icp备案条件,医院设计,初中文化如何提升学历目录
elastic-fleet架构
Elastic Agent的优势
Fleet JAVA日志收集流程
1.注册Fleet Sever
2.创建JAVA代理收集策略Agent Policy
3.添加集成 integration
4.调整Java log输出格式
5.添加Elastic Agent
6.添加Ingest
7.创建数据视图
8.其他Policy
nginx-policy
syst…目录
elastic-fleet架构
Elastic Agent的优势
Fleet JAVA日志收集流程
1.注册Fleet Sever
2.创建JAVA代理收集策略Agent Policy
3.添加集成 integration
4.调整Java log输出格式
5.添加Elastic Agent
6.添加Ingest
7.创建数据视图
8.其他Policy
nginx-policy
system-policy
elastic 视图分析
1.常用搜索
2.字段分析
3.视图分析 elastic-fleet架构 整个架构图中主要包含三个组件 fleetfleet是Kibana上的一个应用软件通过与后端的资源包仓库建立连接可以获取elastic最新发布的资源。同时fleet可以通过Agent policy的方式为我们定义采集端的规则和配置。Agent policy由fleet保存到elasticsearch fleet server 定期从elasticsearch拉取最新的Agent policy。并通知elastic agent及时获取最新的配置 elastic agentelastic agent采集的数据则是直接发送给elasticsearch每个agent会采用单独的api-key与elasticsearch建立连接保证数据及时的同步到elasticsearch当中 Elastic Agent的优势
简单来说就是一个集成了各种beats的代理插件原本需要部署n个beats收集n种日志现在只需要elastic Agent即可。
集成各类beats 配置文件通过Agent Policy来修改
原本需要调每一个服务器上的beat的配置文件现在直接改Agent Policy即可如一个关于nginx的policy可以供一群nginx服务器使用 使用keys取代password
不需要连接密码使用api keys来调用各类接口底层使用gRpc框架 参考文档
https://zhuanlan.zhihu.com/p/658197020
Elastic agent集群部署及注意事项-CSDN博客
腾讯云Elastic使用教程使用Fleet集中管理Elastic Agent-腾讯云开发者社区-腾讯云 Fleet JAVA日志收集流程
1.注册Fleet Sever
部署Fleet服务器在linux服务器上执行如果失败可以加上 --insecure 参数
curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.9.1-linux-x86_64.tar.gz
tar xzvf elastic-agent-8.9.1-linux-x86_64.tar.gz
cd elastic-agent-8.9.1-linux-x86_64
sudo ./elastic-agent install \--fleet-server-eshttp://es-cn-g4t3jwysq0006cyzu.elasticsearch.aliyuncs.com:9200 \--fleet-server-service-tokenAAEAAWVsYXN0aWMvZmxlZXQtc2VydmVyL3Rva2VuLTE3MDQ5NDI4MzAwNjU6V04tMGtTc09URnlvYWpDZmx6RkNaUQ \--fleet-server-policyfleet-server-policy \--fleet-server-port8220
格式为 https://172.16.0.58:8220填自己的ip)
8220 为Fleet Server的端口 2.创建JAVA代理收集策略Agent Policy 3.添加集成 integration 填写java日志的文件地址 在高级部分填写Custom configurations目的是为了加入多行日志收集功能默认为单行收集 multiline:type: patternpattern: ^\d{4}-\d{1,2}-\d{1,2}\s\d{1,2}:\d{1,2}:\d{1,2}.\d{3}negate: truematch: after 4.调整Java log输出格式
在服务上配置logback.xml注意level处这里屏蔽了DEBUG其他日志级别有INFOWARNING ERROR
!--level为 all 日志--appender nameFILE classch.qos.logback.core.rolling.RollingFileAppender!--将今天的日志保存在这个文件中,--filexxx.log/filerollingPolicy classch.qos.logback.core.rolling.TimeBasedRollingPolicyfileNamePatternxxx.%d{yyyy-MM-dd}.log/fileNamePattern!--保存最近7天的日志--maxHistory7/maxHistory!--所有的日志文件最大1G超过就会删除旧的日志;--totalSizeCap1GB/totalSizeCap/rollingPolicyencoder!--格式化输出%d表示日期%thread表示线程名%-5level级别从左显示5个字符宽度 %logger输出日志的logger名 %msg日志消息%n是换行符 --pattern%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n/patterncharsetUTF-8/charset/encoderfilter classch.qos.logback.classic.filter.LevelFilterlevelDEBUG/levelonMatchDENY/onMatchonMismatchACCEPT/onMismatch/filter/appender!-- 异步输出,采用异步写日志的方式而不让此次写日志发生磁盘IO阻塞线程从而造成不必要的性能损耗 --appender nameASYNC_FILE classch.qos.logback.classic.AsyncAppender!-- 不丢失日志.默认的,如果队列的80%已满,则会丢弃TRACT、DEBUG、INFO级别的日志 --discardingThreshold0/discardingThreshold!-- 更改默认的队列的深度,该值会影响性能.默认值为256 --queueSize256/queueSize!-- 添加附加的appender,最多只能添加一个 --appender-ref refFILE//appender!--这里如果是infospring、mybatis等框架则不会输出info之下的TRACE DEBUG INFO WARN ERROR--springProfile nameprodrootappender-ref refASYNC_FILE//root/springProfile5.添加Elastic Agent
agent的作用建立与fleet server的联系enroll后拉取提前配置好的Policy达到一次policy管理多个agent 策略处选择步骤2创建的Policy 执行失败可添加 --insecure参数
curl -L -O https://artifacts.elastic.co/downloads/beats/elastic-agent/elastic-agent-8.9.1-linux-x86_64.tar.gz
tar xzvf elastic-agent-8.9.1-linux-x86_64.tar.gz
cd elastic-agent-8.9.1-linux-x86_64
sudo ./elastic-agent install --urlhttps://172.16.0.58:8220 --enrollment-tokenMVF1Rzlvd0JKVUlHT3RnellIMW46czVpdTVHTFZUYVM0T0oyeVl3MmVmUQ
elastic-agent status 查看状态,也可以在数据流中看到日志了 6.添加Ingest
ingest为一个管道收集器可以定制如何收集日志 字段处填写message模式填写
%{TIME:timestamp} \[%{DATA:thread}\] %{WORD:loglevel} %{GREEDYDATA:logger} - %{GREEDYDATA:content} 7.创建数据视图
为了更好的数据展示可以创建数据视图创建好后在discover下查看即可 8.其他Policy
nginx-policy
logs位置以实际为准 system-policy /var/log/auth.log*录认证相关事件的日志文件。它通常包含与用户登录、sudo 操作等相关的信息。这个文件对于查看系统安全性和监视用户活动非常有用。 /var/log/secure*是在一些基于 Red Hat 的 Linux 发行版如 CentOS、Fedora上用于存储安全相关日志的文件。该文件通常包含与系统安全、认证、授权和相关事件有关的信息 /var/log/messages*是一个系统日志文件用于存储与系统运行相关的通用消息。它包含了各种系统级别的信息如启动和关机事件、硬件和内核消息等。这个文件通常是一个记录系统广泛信息的综合性日志文件 /var/log/syslog*用于存储来自系统日志守护程序syslogd的通用系统消息 elastic 视图分析
1.常用搜索
登录elasticsearch平台 》 打开 discover 》 选择视图 》 选择搜索模板 2.字段分析
在discover模式下选择时间段点击字段统计信息可以查看字段触发的次数 选择图标可以看到某台服务器或某个错误类型触发的次数可自由搭配 3.视图分析
视图分析的自由度比较高下面以统计error日志的服务器分布占比为例
查看visualize或dashboard可获取视图
