做优化网站哪个公司好,手机中国官网,小型生鲜超市店面设计,网站经典设计近年来#xff0c;日志管理平台越来越流行。使用日志管理平台可以实时地、统一地、方便地管理和查看日志#xff0c;挖掘日志数据价值#xff0c;驱动运维、运营#xff0c;提升服务管理效率。
方案架构 Beats 是轻量级采集器#xff0c;包括 Filebeat、Metricbeat 等。E…近年来日志管理平台越来越流行。使用日志管理平台可以实时地、统一地、方便地管理和查看日志挖掘日志数据价值驱动运维、运营提升服务管理效率。
方案架构 Beats 是轻量级采集器包括 Filebeat、Metricbeat 等。Easysearch 是个分布式搜索引擎提供搜集、分析、存储数据等主要功能。Console 是一个可视化工具提供可视化查询制作报表等功能。
本文将搭建一个统一日志管理平台。使用 Filebeat 采集 OS 中的日志其他日志大同小异发送到 Easysearch 中。最后通过 Console 进行日志的可视化查询与分析。
操作步骤
准备工作 部署 Easysearch 编辑 easysearch.yml 文件打开注释 elasticsearch.api_compatibility: true 部署 Console 安装并配置 Filebeat 下载 Filebeat版本建议选择 7.10.2。下载地址https://www.elastic.co/cn/downloads/past-releases/filebeat-oss-7-10-2修改配置 filebeat.yml 文件
setup.template.name: filebeat
setup.template.pattern: system-log*
setup.template.fields: ${path.config}/fields.ymloutput.elasticsearch:hosts: [localhost:9200]protocol: httpsssl.verification_mode: noneusername: adminpassword: 4ad8f8f792e81cd0a6deindex: system-log启用 system 模块并导入 pipeline
./filebeat modules enable system ./filebeat setup --pipelines --modules system
创建索引模板及初始索引使用 ZSTDSOURCE_REUSE 技术节省磁盘空间
PUT _template/system_log
{order: 100,index_patterns: [system_log*],settings: {index: {format: 7,lifecycle: {name: ilm_.infini_metrics-30days-retention,rollover_alias: system_log},codec: ZSTD,source_reuse: true,number_of_shards: 1,translog: {durability: async}}},mappings: {dynamic_templates: [{strings: {mapping: {ignore_above: 256,type: keyword},match_mapping_type: string}}]}
}PUT system-log-00001
{aliases:{system-log:{is_write_index:true}}
}启动 filebeat
nohup ./filebeat -c filebeat.yml 21/dev/null
进入 Console 查看、搜索日志 进入 Console 创建 dashboard 进行日志分析
关于极限科技INFINI Labs 极限科技全称极限数据北京科技有限公司是一家专注于实时搜索与数据分析的软件公司。旗下品牌极限实验室INFINI Labs致力于打造极致易用的数据探索与分析体验。
极限科技是一支年轻的团队采用天然分布式的方式来进行远程协作员工分布在全球各地希望通过努力成为中国乃至全球企业大数据实时搜索分析产品的首选为中国技术品牌输出添砖加瓦。
官网https://www.infinilabs.com
