南通给公司做网站的,世界足球排名,西安官网seo价格,公司设计网站推荐ELK#xff1a;ElasticSearch存储#xff0c;Logstash收集#xff0c;Kibana展示 版本较多#xff0c;使用时需要版本匹配#xff0c;还需要和mysql版本匹配#xff08;elastic官网给了版本对应关系#xff09;
本次使用的版本es6.8.12 filebeat 轻量级的数据收集工具 …ELKElasticSearch存储Logstash收集Kibana展示 版本较多使用时需要版本匹配还需要和mysql版本匹配elastic官网给了版本对应关系
本次使用的版本es6.8.12 filebeat 轻量级的数据收集工具
ElasticSearch为文档搜索产生的 分布式文档搜索lucene单线程搜索的组合 ElasticSearch 除了java也支持python
0.作用
大数据时代产生的应用 1.分布式存储hdfs 2.分布式计算 离线计算MapReduce、hive 实时计算spark、Flink 3.分布式搜索引擎ElasticSearch
海量数据、近实时处理
1. 核心概念
IndexTypeDocument 对应到数据库 数据库databaseIndex 表tableType 一条记录rowDocument
Index下面可以存储不同的type但是大部分要相同type是作为一个字段存储的7.0之后不建议使用) 8.0之后一个index只能存储相同 type 的数据
shardreplica hdfs的存储是物理切块block primary shard 切片存储 replica shard 容错存储每个切片都有一个容错副本 切片自己和容错存在不同的服务器节点上部署集群
2. 下载安装
windows版本 bin目录下elasticsearch.bat点击启动
3. es的基本操作
Elasticsearch提供了基于JSON的DSL来定义查询 DSL语法 常用指令1 常用指令2
获取所有_cat命令
curl -X GET localhost:9200/_cat
检查集群健康状况
curl -X GET localhost:9200/_cat/health?vepoch: 时间戳的 Unix 时间戳格式表示快照生成的时间。 timestamp: 可读性更强的时间戳格式表示快照生成的时间08:06:34。 cluster: Elasticsearch 集群的名称这里是 “es-cluster”。 status: 集群的健康状态这里是 “yellow”。Elasticsearch 集群状态通常有三种green绿色健康yellow黄色部分健康red红色不健康。“yellow” 状态表示集群中的某些副本不可用但主分片是可用的。 node.total: 集群中节点的总数这里是 1 个节点。 node.data: 充当数据节点的节点数这里是 1 个节点。 shards: 集群中分片的总数这里是 98 个分片。 pri: 主分片primary shard的数量这里是 98 个主分片。 relo: 正在进行重新定位的分片数量这里是 0。 init: 初始化的分片数量这里是 0。 unassign: 未分配的分片数量这里是 27。 pending_tasks: 挂起的任务数这里是 0。 max_task_wait_time: 最大任务等待时间这里是没有具体数值。 active_shards_percent: 活动分片的百分比这里是 78.4%。这表示在集群中有 78.4% 的分片是活动的而剩下的可能是不可用或者正在恢复的。 查看es节点信息
curl -X GET localhost:9200/_cat/nodes?vip: 节点的IP地址这里是192.168.52.11。 heap.percent: 节点的堆内存使用百分比这里是67%。 ram.percent: 节点的系统内存使用百分比这里是98%。 cpu: 节点的CPU使用率这里是10%。 load_1m: 1分钟负载平均值这里是0.69。 load_5m: 5分钟负载平均值这里是0.36。 load_15m: 15分钟负载平均值这里是0.50。 node.role: 节点的角色这里是“表示这是一个主节点master node。 master: 指示该节点是否是主节点这里是”“表示它是主节点。 name: 节点的名称这里是node-1”。 查看es指定节点信息
curl -X GET localhost:9200/_nodes/node-1?prettytrue4. 索引
查看es中所有的索引
curl -X GET localhost:9200/_cat/indices?vhealth: 索引的健康状态这里是 “yellow”。Elasticsearch 索引的健康状态有三种green绿色健康yellow黄色部分健康red红色不健康。“yellow” 状态表示索引的某些分片处于未分配状态但主分片是可用的。 status: 索引的状态这里是 “open”。这表示索引处于打开状态可以进行读取和写入操作。 index: 索引的名称这里是 “nginx-access-log-2023.09.13”。 uuid: 索引的唯一标识符。 pri: 主分片primary shard的数量这里是 1 个主分片。 rep: 副本分片replica shard的数量这里也是 1 个副本分片。 docs.count: 索引中文档的总数这里是 20。 docs.deleted: 索引中已删除的文档数量这里是 0。 store.size: 索引的存储大小这里是 34.1KB。 pri.store.size: 主分片的存储大小这里也是 34.1KB。 创建索引
curl -X PUT localhost:9200/索引名字查询索引
curl -X GET localhost:9200/索引名字删除索引
curl -X DELETE localhost:9200/索引名字更新索引
覆盖更新
curl -X DELETE localhost:9200/索引名字局部更新
# 追加新增字段
POST /data/_bulk
{update:{_id:1}}
{doc:{title:this is java and elasticsearch blog}}聚合分析
分组 count 用字符串分组需要指定fileddatetrue
条件判断 平均数求和
4. es的扩容实现
垂直扩容节点扩容 水平扩容添加新节点 水平扩容用的比较多
5. 常见报错
点击跳转
