网站建设互联网营销营销推广,wordpress标题title优化代码,哪里可以学短视频剪辑制作,小程序微信filebeat是一款轻量级的日志收集工具#xff0c;可以在非JAVA环境下运行。
因此#xff0c;filebeat常被用在非JAVAf的服务器上用于替代Logstash#xff0c;收集日志信息。 实际上#xff0c;Filebeat几乎可以起到与Logstash相同的作用#xff0c; 可以将数据转发到Logst…filebeat是一款轻量级的日志收集工具可以在非JAVA环境下运行。
因此filebeat常被用在非JAVAf的服务器上用于替代Logstash收集日志信息。 实际上Filebeat几乎可以起到与Logstash相同的作用 可以将数据转发到Logstash、Redis或者是Elasticsearch中进行直接处理。
为什么要用filebeat来收集日志为什么不直接使用lohstash收集日志 因为logstash是jvm跑的资源消耗比较大启动一个logstash就需要消耗500M左右的内存 这就是为什么logstash启动特别慢的原因。
而filebeat只需要10M左右的内存资源。 常用的ELK日志采集方案中大部分的做法就是将所有节点的日志内容通过filebeat发送到logstash lostash根据配置文件进行过滤然后将过滤之后的文件传输到elasticsearch中最后通过kibana展示。
filebeat结合logstash带来的好处 1、通过logstash具有基于磁盘的自适应缓冲系统该系统将吸收传入的吞吐量 从而减轻Elasticsearch持续写入数据的压力。
2、从其它数据源例如数据库s3对象存储或消息传递队列中提取
3、将数据发送到多个目的地例如S3HDFShadoop分部署文件系统或写入文件
4、使用数据流逻辑组成更复杂的处理管道。
先部署ELK集群
4台机器 ####ELK1##
防火墙
改名
更改工作目录 #######同步操作
安装时间工具
yum install ntpdate -y
ntpdate ntp.aliyun.com
任意一台机器输入data 查看时间是否有一致 ####ELK1################## 为了方便识别 修改httpd 和NGINX的工作目录
这个NGINX是yum安装的 工作目录如下
编译安装是 /usr/local/nginx/ 页面测试一下端口老师上课改过 nginx是8080没记录改的过程
本来nginx的默认端口是80
不输入端口默认是80 ######如何来本地收集niginx的日志
设置 filebeat 的主配置文件
给nginx的日志赋权权限 能够读取日志内容 改配置之前 先备份filebeat的配置文件防止失误 配置输出流
5044是filebeat的默认端口
把outputs的下面elastisearch全部注释掉 因为日志只能发送给一个 这里发送给logstash
打开logstash的注释 修改ip地址
eastiscearch注释掉 修改为
删除下面 查看nginx的日志格式 注意空格 和- 输入下面 注意格式对齐
标识为nginx
索引名字为 192168.233.11_nginx
l类型为nginx
日志来源192.168.233.11 ####配置logsatsh 5044是filebeat的默认端口 少了input 在后面截图
input { beats { port 5044 } } output { if nginx in [tags] { elasticsearch { hosts [192.168.233.12:9200,192.168.233.13:9200] index %{[fields][service_name]}-%{YYYY.MM.dd}
}
} stdout { codec rubydebug } } #启动 filebeat
开启收集日志
nohup ./filebeat -e -c filebeat.yml filebeat.out
nohup 表示在后台记录执行命令的过程 ./filebeat 运行文件 -e 使用标准输出的同时进行syslog文件输出 ·c 指定配置文件 执行过程输出到filebeat.out这个文件当中 后台运行 开一台elk1、查看输出日志的文件 查看日志发现报错 指定配置文件再指定到数据工作目录
logstash -f file_nginx.conf --path.data /opt/test1
这个命令将启动logstash并使用file_nginx.conf作为配置文件–path.data参数指定了logstash的数据目录为/opt/test1。符号表示在后台运行logstash c测试下 索引已经创建成功 kabana也有索引 左边 选定字段 logstash通过filebeat远程收集多个日志
服务器装 mysql nginx httpd
在mysql 上192.168.233.21 日志目录一生成 cat mysql_general.log
目录
创表数据日志已生产 装 nginx httpd 改下端口 防止端口冲突 拖入安装包filebeat
j解压
改名
备份 把这之间注释掉的信息 全部删除 留着没用 注释掉下一个output
打开注释输入Lostash的IP 开一台mysql、
查看NGINX的日志目录路径格式 给NGINX日志目录授权 查看httpd目录路径格式 给httpd 日志目录授权 查看MySQL的日志目录路径格式授权 - type: log enabled: true paths: - /var/log/nginx/access.log - /var/log/nginx/error.log tags: [nginx] fields: service_name: 192.168.233.21_nginx log_type: nginx from: 192.168.233.21
- type: log enabled: true paths: - /etc/httpd/logs/access_log - /etc/httpd/logs/error_log tags: [httpd] fields: service_name: 192.168.233.21_httpd log_type: httpd from: 192.168.233.21
- type: log enabled: true paths: - /usr/local/mysql/data/mysql_general.log tags: [mysql] fields: service_name: 192.168.233.21_mysqld log_type: mysql from: 192.168.233.21 标识方便识别 再次修改下 在ELK1 上192.168.233.11
收日志到目录 /opt/log 接着上面 这里的标识也改下 先到mysql上 启动felibeat文件往loastash上发 再到elk1上
指定配置文件再指定到数据工作目录
这个命令将启动logstash并使用file_nginx.conf作为配置文件–path.data参数指定了logstash的数据目录为/opt/test2。符号表示在后台运行logstash vim filebeat.yml
优化性能 pipeline.workers 2 该参数用于设置 Logstash 处理事件的工作线程数量。默认值是核心数。 在一个拥有两个核心的系统上可以设置为 2以充分利用系统资源。 pipeline.batch.size 125 该参数定义了从输入中检索事件的批量大小然后将这批事件发送到过滤器和工作线程。 默认值是 125。你可以根据你的需求和系统性能进行调整。 pipeline.batch.delay 50 该参数定义了在轮询下一个事件之前等待的时间以确保形成一个适当大小的事件批量。 默认值是 50 毫秒。你可以根据实际情况进行调整。
