个人网站多少钱一年,大淘客怎么做网站,视频拍摄方法有哪些,公司网站被百度转码了ElasticSearch 概述
ElasticSearch 是一个开源的高扩展的分布式全文检索引擎#xff0c;它可以近乎实时的存储、检索数据#xff1b;本身扩展性很好#xff0c;可以扩展到上百台服务器#xff0c;处理 PB 级别#xff08;大数据时代#xff09;的数据。ES 也使用 Java 开…ElasticSearch 概述
ElasticSearch 是一个开源的高扩展的分布式全文检索引擎它可以近乎实时的存储、检索数据本身扩展性很好可以扩展到上百台服务器处理 PB 级别大数据时代的数据。ES 也使用 Java 开发并使用 Lucene 作为其核心来实现所有索引和搜索的功能但是它的目的是通过简单的 RestFul API 来隐藏 Lucene 的复杂性从而让全文检索变得简单。
所以ElasticSearch 的监控显得尤为重要可以帮助我们进行性能优化、资源管理、容量规划、故障检测和预防及时发现和解决问题确保系统的高效和稳定运行。
实时性ElasticSearch 能够实时地存储、检索和分析数据使得用户能够快速获得最新的搜索结果和分析数据分布式ElasticSearch 采用分布式架构能够水平扩展处理 PB 级结构化或非结构化数据同时具有高可用性和容错性多样化的搜索和分析功能ElasticSearch 支持全文搜索、结构化查询、过滤、地理空间查询和复杂的分析功能。
观测云
观测云是一个统一实时监测平台它提供全面的系统可观测性解决方案帮助用户快速实现对云平台、云原生、应用及业务的监控需求。观测云的核心功能包括基础设施监测日志采集和分析用户访问监测RUM应用性能监测APM服务可用性监测拨测安全巡检智能监控等等。
DataKit 提供 ElasticSearch 指标和日志的采集安装好 DataKit 之后开通 ElasticSearch 采集器即可采集 ElasticSearch 指标和日志到观测云。
部署 DataKit
登录观测云控制台点击「集成」 -「DataKit」 - 「Linux」拷贝第 2 步中的安装命令。 安装完成后DataKit 会提示您使用 datakit monitor 来检查 DataKit 的运行状态如下图所示 采集器配置
指标采集配置 Tips: ElasticSearch 版本 6.0.0 适用于虚拟机部署的 ElasticSearch 监控使用主机安装方式安装 DataKit 后在 /usr/local/datakit/conf.d/db 目录下复制 elasticsearch.conf.sample 为 elasticsearch.conf。
# 根据实际情况进行修改如果有账号密码可进行如下配置
servers [http://user:passlocalhost:9200]
# 若账号密码有特殊字符也可以在这里添加账号密码# HTTP Basic Authenticationusername xxxpassword yyy# 重启DK
datakit service -R日志采集配置
采集 ElasticSearch 的日志可在 elasticsearch.conf 中 将 files 打开并写入 ElasticSearch 日志文件的绝对路径。
[[inputs.elasticsearch]]...
[inputs.elasticsearch.log]
files [/path/to/your/file.log]开启日志采集以后默认会产生日志来源source为 elasticsearch 的日志。
执行 datakit monitor 显示如下 关键指标
指标描述单位status_code集群状态countos_cpu_percent集群CPU使用率countos_mem_used_percent集群内存使用率countjvm_mem_heap_used_percent集群堆内存使用率countnumber_of_data_nodes数据节点countnumber_of_pending_tasks待处理任务数countactive_primary_shards活跃主分片countactive_shards活跃分片countinitializing_shards初始化中分片countrelocating_shards迁移中的分片countindices_lifecycle_error_count错误状态索引countunassigned_shards未分配的分片countprimaries_docs_count主分片文档数量countprimaries_docs_deleted主分片已删除文档数量counttotal_docs_count文档数量counttotal_docs_deleted已删除文档数量counttotal_flush_total_time_in_millisflush总时间mstotal_refresh_totalflush总数counttotal_store_size_in_bytes存储大小Btotal_merges_current_docs当前正在运行的文档合并数counttotal_merges_total_docs合并文档的总数counttotal_indexing_index_current当前正在运行的索引操作数counttotal_indexing_index_total索引操作的总数counttotal_search_query_current当前查询数counttotal_search_query_total总查询数counttotal_search_query_time_in_millis执行查询操作花费时间mstotal_search_fetch_time_in_millis执行获取操作花费时间ms
视图
登录观测云控制台点击「场景」 -「新建仪表板」模板库系统视图中输入 “ElasticSearch ” 选择“ElasticSearch 监控视图”点击“确定”。 监控器
查询耗时过长 当前文档存储空间不足 集群状态异常 查询拒绝率过高 总结
通过观测云监控 ElasticSearch 关键指标可以帮助我们优化查询、提前容量规划及告警及时响应和处理出现的各种问题同时对于系统优化和业务开展提供了数据支撑。
