成都微网站设计,广州公司注册名称查询,重庆网页制作设计营销,wordpress 环境搭建Kibana#xff08;一张图片胜过千万行日志#xff09;
Kibana是一个开源的分析和可视化平台#xff0c;设计用于和Elasticsearch一起工作。
你用Kibana来搜索#xff0c;查看#xff0c;并和存储在Elasticsearch索引中的数据进行交互。
你可以轻松地执行高级数据分析一张图片胜过千万行日志
Kibana是一个开源的分析和可视化平台设计用于和Elasticsearch一起工作。
你用Kibana来搜索查看并和存储在Elasticsearch索引中的数据进行交互。
你可以轻松地执行高级数据分析并且以各种图标、表格和地图的形式可视化数据。
Kibana使得理解大量数据变得很容易。它简单的、基于浏览器的界面使你能够快速创建和共享动态仪表板实时显示Elasticsearch查询的变化。
1. 安装Kibana 2. Kibana配置 https://www.elastic.co/guide/en/kibana/current/settings.html 3. 访问Kibana Kibana是一个Web应用程序你可以通过5601来访问它。例如localhost:5601 或者 http://YOURDOMAIN.com:5601
当访问Kibana时默认情况下Discover页面加载时选择了默认索引模式。时间过滤器设置为最近15分钟搜索查询设置为match-all(\*)
3.1. 检查Kibana状态
http://localhost:5601/status 或者 http://192.168.101.5:5601/api/status 返回JSON格式状态信息 4. 用Elasticsearch连接到Kibana 在你开始用Kibana之前你需要告诉Kibana你想探索哪个Elasticsearch索引。第一次访问Kibana是系统会提示你定义一个索引模式以匹配一个或多个索引的名字。
提示默认情况下Kibana连接允许在localhost上的Elasticsearch实例。为了连接到一个不同的Elasticsearch实例修改kabana.yml中Elasticsearch的URL然后重启Kibana。
为了配置你想要用Kibana访问的Elasticsearch索引 1、访问Kibana UI。例如localhost:56011 或者 http://YOURDOMAIN.com:5601 2、指定一个索引模式来匹配一个或多个你的Elasticsearch索引。当你指定了你的索引模式以后任何匹配到的索引都将被展示出来。 画外音*匹配0个或多个字符 指定索引默认是为了匹配索引确切的说是匹配索引名字 3、点击“Next Step”以选择你想要用来执行基于时间比较的包含timestamp字段的索引。如果你的索引没有基于时间的数据那么选择“I don’t want to use the Time Filter”选项。 4、点击“Create index pattern”按钮来添加索引模式。第一个索引模式自动配置为默认的索引默认以后当你有多个索引模式的时候你就可以选择将哪一个设为默认。提示Management Index Patterns 现在Kibana已经连接到你的Elasticsearch数据。Kibana展示了一个只读的字段列表这些字段是匹配到的这个索引配置的字段。
5. Discover 你可以从Discover页面交互式的探索你的数据。你可以访问与所选择的索引默认匹配的每个索引中的每个文档。你可以提交查询请求过滤搜索结构并查看文档数据。你也可以看到匹配查询请求的文档数量以及字段值统计信息。如果你选择的索引模式配置了time字段则文档随时间的分布将显示在页面顶部的直方图中。 5.1. 设置时间过滤 5.2. 搜索数据
你可以在搜索框中输入查询条件来查询当前索引模式匹配的索引。在查询的时候你可以使用Kibana标准的查询语言基于Lucene的查询语法或者完全基于JSON的Elasticsearch查询语言DSL。Kibana查询语言可以使用自动完成和简化的查询语法作为实验特性您可以在查询栏的“选项”菜单下进行选择。
当你提交一个查询请求时直方图、文档表和字段列表都会更新以反映搜索结果。命中匹配到的文档总数会显示在工具栏中。文档表格中显示了前500个命中。默认情况下按时间倒序排列首先显示最新的文档。你可以通过点击“Time”列来逆转排序顺序。 5.2.1. Lucene查询语法
Kibana查询语言基于Lucene查询语法。下面是一些提示可能会帮到你 为了执行一个文本搜索可以简单的输入一个文本字符串。例如如果你想搜索web服务器的日志你可以输入关键字safari这样你就可以搜索到所有有关safari的字段 为了搜索一个特定字段的特定值可以用字段的名称作为前缀。例如你输入status:200将会找到所有status字段的值是200的文档 为了搜索一个范围值你可以用括号范围语法[START_VALUE TO END_VALUE]。例如为了找到状态码是4xx的文档你可以输入status:[400 TO 499] 为了指定更改复杂的查询条件你可以用布尔操作符 AND , OR , 和 NOT。例如为了找到状态码是4xx并且extension字段是php或者html的文档你可以输入status:[400 TO 499] AND (extension:php OR extension:html) 5.2.2. Kibana查询语法增强
新的更简单的语法
如果你熟悉Kibana的旧Lucene查询语法那么你应该对这种新的语法也不会陌生。基本原理保持不变我们只是简单地改进了一些东西使查询语言更易于使用。
response:200 将匹配response字段的值是200的文档
用引号引起来的一段字符串叫短语搜索。例如message:Quick brown fox 将在message字段中搜索quick brown fox这个短语。如果没有引号将会匹配到包含这些词的所有文档而不管它们的顺序如何。这就意味着会匹配到Quick brown fox而不会匹配quick fox brown。画外音引号引起来作为一个整体
查询解析器将不再基于空格进行分割。多个搜索项必须由明确的布尔运算符分隔。注意布尔运算符不区分大小写。
在Lucene中response:200 extension:php 等价于 response:200 and extension:php。这将匹配response字段值匹配200并且extenion字段值匹配php的文档。
如果我们把中间换成or那么response:200 or extension:php将匹配response字段匹配200 或者 extension字段匹配php的文档。
默认情况下and 比 or 具有更高优先级。
response:200 and extension:php or extension:css 将匹配response是200并且extension是php或者匹配extension是css而response任意
括号可以改变这种优先级
response:200 and (extension:php or extension:css) 将匹配response是200并且extension是php或者css的文档
还有一种简写的方式
response:(200 or 404) 将匹配response字段是200或404的文档。字符值也可以是多个比如tags:(success and info and security)
还可以用not
not response:200 将匹配response不是200的文档
response:200 and not (extension:php or extension:css) 将匹配response是200并且extension不是php也不是css的文档
范围检索和Lucene有一点点不同
代替 byte:1000我们用byte 1000
, , , 都是有效的操作符
response:* 将匹配所有存在response字段的文档
通配符查询也是可以的。machine.os:win* 将匹配machine.os字段以win开头的文档像windows 7和windows 10这样的值都会被匹配到。
通配符也允许我们一次搜索多个字段例如假设我们有machine.os和machine.os.keyword两个字段我们想要搜索这两个字段都有windows 10那么我们可以这样写machine.os*:windows 10
5.2.3. 刷新搜索结果 5.3. 按字段过滤 以上是控制列表显示哪些字段还有一种方式是在查看文档数据的时候点那个像书一样的小图标 删除也是可以的 我们还可以编辑一个DSL查询语句用于过滤筛选例如 5.4. 查看文档数据 5.5. 查看文档上下文 5.6. 查看字段数据统计 6. Visualize Visualize使得你可以创建在你的Elasticsearch索引中的数据的可视化效果。然后你可以构建dashboard来展示相关可视化。
Kibana可视化是基于Elasticsearch查询的。通过用一系列的Elasticsearch聚集来提取并处理你的数据你可以创建图片来线上你需要了解的趋势、峰值和低点。
6.1. 创建一个可视化
为了创建一个可视化的视图
第1步点击左侧导航条中的“Visualize”按钮
第2步点击“Create new visualization”按钮或者加号()按钮
第3步选择一个可视化类型
第4步指定一个搜索查询来检索可视化数据
第5步在可视化的构建器中选择Y轴的聚合操作。例如sumaveragecount等等
第6步设置X轴
例如 更多请看这里
https://www.elastic.co/guide/en/kibana/current/createvis.html
https://www.elastic.co/guide/en/kibana/current/xy-chart.html
https://www.elastic.co/guide/en/kibana/current/visualize.html 7. Dashboard Kibana仪表板显示可视化和搜索的集合。你可以安排、调整和编辑仪表板内容然后保存仪表板以便共享它。
7.1. 构建一个Dashboard
第1步在导航条上点击“Dashboard”
第2步点击“Create new dashboard”或者“加号()”按钮
第3步点击“Add”按钮
第4步为了添加一个可视化从可视化列表中选择一个或者点击“Add new visualization”按钮新创建一个
第5步为了添加一个已保存的查询点击“Saved Search”选项卡然后从列表中选择一个
第6步当你完成添加并且调整了dashboard的内容后去顶部菜单栏点击“Save”然后输入一个名字。
默认情况下Kibana仪表板使用浅色主题。要使用深色主题单击“选项”并选择“使用深色主题”。要将dark主题设置为默认请转到管理Management Advanced 并将dashboard:defaultDarkTheme设置为On。 8. Monitoring Elasticsearch控制台打印日志
[2018-08-15T14:48:26,874][INFO ][o.e.c.m.MetaDataCreateIndexService] [Px524Ts] [.monitoring-kibana-6-2018.08.15] creating index, cause [auto(bulk api)], templates [.monitoring-kibana], shards [1]/[0], mappings [doc]Kibana控制台打印日志
log [03:26:53.605] [info][license][xpack] Imported license information from Elasticsearch for the [monitoring] cluster: mode: basic | status: activehttps://www.elastic.co/guide/en/kibana/current/elasticsearch-metrics.html
