如何网站关键词优化,idc机房托管,互动交流平台,代理公司注册企业Prometheus 监控系统
//Prometheus 概述#xff1a; Prometheus 是一个开源的服务监控系统和时序数据库#xff0c;其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件 Prometheus server 会定期从静态配置的监控目标或者基于服务发现自动配置的目标中进行…Prometheus 监控系统
//Prometheus 概述 Prometheus 是一个开源的服务监控系统和时序数据库其提供了通用的数据模型和快捷数据采集、存储和查询接口。它的核心组件 Prometheus server 会定期从静态配置的监控目标或者基于服务发现自动配置的目标中进行拉取数据新拉取到的数据会持久化到存储设备当中。
每个被监控的主机都可以通过专用的 exporter 程序提供输出监控数据的接口它会在目标处收集监控数据并暴露出一个 HTTP 接口供 Prometheus server 查询Prometheus 通过基于 HTTP 的 pull 的方式来周期性的采集数据。 如果存在告警规则则抓取到数据之后会根据规则进行计算满足告警条件则会生成告警并发送到 Alertmanager 完成告警的汇总和分发。 当被监控的目标有主动推送数据的需求时可以以 Pushgateway 组件进行接收并临时存储数据然后等待 Prometheus server 完成数据的采集。
任何被监控的目标都需要事先纳入到监控系统中才能进行时序数据采集、存储、告警和展示监控目标可以通过配置信息以静态形式指定也可以让 Prometheus 通过服务发现的机制进行动态管理。 Prometheus 能够直接把 API Server 作为服务发现系统使用进而动态发现和监控集群中的所有可被监控的对象。 Prometheus 官网地址https://prometheus.io
Prometheus github 地址https://github.com/prometheus //TSDB 作为 Prometheus 的存储引擎完美契合了监控数据的应用场景 ●存储的数据量级十分庞大 ●大部分时间都是写入操作 ●写入操作几乎是顺序添加大多数时候数据都以时间排序 ●很少更新数据大多数情况在数据被采集到数秒或者数分钟后就会被写入数据库 ●删除操作一般为区块删除选定开始的历史时间并指定后续的区块。很少单独删除某个时间或者分开的随机时间的数据 ●基本数据大一般超过内存大小。一般选取的只是其一小部分且没有规律缓存几乎不起任何作用 ●读操作是十分典型的升序或者降序的顺序读 ●高并发的读操作十分常见 //Prometheus 的特点 ●多维数据模型由度量名称和键值对标识的时间序列数据 时间序列数据按照时间顺序记录系统、设备状态变化的数据每个数据称为一个样本服务器指标数据、应用程序性能监控数据、网络数据等都是时序数据
●内置时间序列Time Series数据库Prometheus 外置的远端存储通常会用InfluxDB、OpenTSDB 等
●promQL 一种灵活的查询语言可以利用多维数据完成复杂查询
●基于 HTTP 的 pull拉取方式采集时间序列数据
●同时支持 PushGateway 组件收集数据
●通过静态配置或服务发现发现目标
●支持作为数据源接入 Grafana //Prometheus 的生态组件 Prometheus 负责时序型指标数据的采集及存储但数据的分析、聚合及直观展示以及告警等功能并非由 Prometheus Server 所负责。 Prometheus 生态圈中包含了多个组件其中部分组件可选 1Prometheus server服务核心组件采用 pull 方式采集监控数据通过 http 协议传输存储时间序列数据基于“告警规则”生成告警通知。 Prometheus server 由三个部分组成RetrievalStoragePromQL ●Retrieval负责在活跃的 target 主机上抓取监控指标数据。 ●Storage存储主要是把采集到的数据存储到磁盘中。默认为 15 天。 ●PromQL是 Prometheus 提供的查询语言模块。
2Client Library: 客户端库目的在于为那些期望原生提供 Instrumentation 功能的应用程序提供便捷的开发途径用于基于应用程序内建的测量系统。
3Exporters指标暴露器负责收集不支持内建 Instrumentation 的应用程序或服务的性能指标数据并通过 HTTP 接口供 Prometheus Server 获取。 换句话说Exporter 负责从目标应用程序上采集和聚合原始格式的数据并转换或聚合为 Prometheus 格式的指标向外暴露。 常用的 Exporters ●Node-Exporter用于收集服务器节点的物理指标状态数据如平均负载、CPU、内存、磁盘、网络等资源信息的指标数据需要部署到所有运算节点。 指标详细介绍https://github.com/prometheus/node_exporter
●mysqld-exporter/nginx-exporter
●Kube-State-Metrics为 Prometheus 采集 K8S 资源数据的 exporter通过监听 APIServer 收集 kubernetes 集群内资源对象的状态指标数据例如 pod、deployment、service 等等。同时它也提供自己的数据主要是资源采集个数和采集发生的异常次数统计。 需要注意的是 kube-state-metrics 只是简单的提供一个 metrics 数据并不会存储这些指标数据所以可以使用 Prometheus 来抓取这些数据然后存储 主要关注的是业务相关的一些元数据比如 Deployment、Pod、副本状态等调度了多少个 replicas 现在可用的有几个多少个 Pod 是 running/stopped/terminated 状态Pod 重启了多少次有多少 job 在运行中。
●cAdvisor用来监控容器内部使用资源的信息比如 CPU、内存、网络I/O、磁盘I/O 。
●blackbox-exporter监控业务容器存活性。
4Service Discovery服务发现用于动态发现待监控的 TargetPrometheus 支持多种服务发现机制文件、DNS、Consul、Kubernetes 等等。 服务发现可通过第三方提供的接口Prometheus 查询到需要监控的 Target 列表然后轮询这些 Target 获取监控数据。该组件目前由 Prometheus Server 内建支持
5Alertmanager是一个独立的告警模块从 Prometheus server 端接收到 “告警通知” 后会进行去重、分组并路由到相应的接收方发出报警 常见的接收方式有电子邮件、钉钉、企业微信等。 Prometheus Server 仅负责生成告警指示具体的告警行为由另一个独立的应用程序 AlertManager 负责告警指示由 Prometheus Server 基于用户提供的告警规则周期性计算生成Alertmanager 接收到 Prometheus Server 发来的告警指示后基于用户定义的告警路由向告警接收人发送告警信息。
6Pushgateway类似一个中转站Prometheus 的 server 端只会使用 pull 方式拉取数据但是某些节点因为某些原因只能使用 push 方式推送数据 那么它就是用来接收 push 而来的数据并暴露给 Prometheus 的 server 拉取的中转站。 可以理解成目标主机可以上报短期任务的数据到 Pushgateway然后 Prometheus server 统一从 Pushgateway 拉取数据。
7Grafana是一个跨平台的开源的度量分析和可视化工具可以将采集的数据可视化的展示并及时通知给告警接收方。其官方库中具有丰富的仪表盘插件。 //Prometheus 的工作模式 ●Prometheus Server 基于服务发现Service Discovery机制或静态配置获取要监视的目标Target并通过每个目标上的指标 exporter 来采集Scrape指标数据
●Prometheus Server 内置了一个基于文件的时间序列存储来持久存储指标数据用户可使用 PromQL 接口来检索数据也能够按需将告警需求发往 Alertmanager 完成告警内容发送
●一些短期运行的作业的生命周期过短难以有效地将必要的指标数据供给到 Server 端它们一般会采用推送Push方式输出指标数据 Prometheus 借助于 Pushgateway 接收这些推送的数据进而由 Server 端进行抓取 //Prometheus 的工作流程 1Prometheus 以 Prometheus Server 为核心用于收集和存储时间序列数据。Prometheus Server 从监控目标中通过 pull 方式拉取指标数据或通过 pushgateway 把采集的数据拉取到 Prometheus server 中。 2Prometheus server 把采集到的监控指标数据通过 TSDB 存储到本地 HDD/SSD 中。 3Prometheus 采集的监控指标数据按时间序列存储通过配置报警规则把触发的告警通知发送到 Alertmanager。 4Alertmanager 通过配置报警接收方发送报警到邮件、钉钉或者企业微信等。 5Prometheus 自带的 Web UI 界面提供 PromQL 查询语言可查询监控数据。 6Grafana 可接入 Prometheus 数据源把监控数据以图形化形式展示出。 //Prometheus 的局限性 ●Prometheus 是一款指标监控系统不适合存储事件及日志等它更多地展示的是趋势性的监控而非精准数据
●Prometheus 认为只有最近的监控数据才有查询的需要其本地存储的设计初衷只是保存短期例如一个月数据因而不支持针对大量的历史数据进行存储 若需要存储长期的历史数据建议基于远端存储机制将数据保存于 InfluxDB 或 OpenTSDB 等系统中
●Prometheus 的集群机制成熟度不高可基于 Thanos 或 Cortex 实现 Prometheus 集群的高可用及联邦集群。 ------------------------------ 部署 Prometheus ------------------------------ //Prometheust Server 端安装和相关配置 1上传 prometheus-2.35.0.linux-amd64.tar.gz 到 /opt 目录中并解压 systemctl stop firewalld setenforce 0
cd /opt/ tar xf prometheus-2.35.0.linux-amd64.tar.gz mv prometheus-2.35.0.linux-amd64 /usr/local/prometheus
cat /usr/local/prometheus/prometheus.yml | grep -v ^# global: #用于prometheus的全局配置比如采集间隔抓取超时时间等 scrape_interval: 15s #采集目标主机监控数据的时间间隔默认为1m evaluation_interval: 15s #触发告警生成alert的时间间隔默认是1m # scrape_timeout is set to the global default (10s). scrape_timeout: 10s #数据采集超时时间默认10s
alerting: #用于alertmanager实例的配置支持静态配置和动态服务发现的机制 alertmanagers: - static_configs: - targets: # - alertmanager:9093
rule_files: #用于加载告警规则相关的文件路径的配置可以使用文件名通配机制 # - first_rules.yml # - second_rules.yml
scrape_configs: #用于采集时序数据源的配置 # The job name is added as a label jobjob_name to any timeseries scraped from this config. - job_name: prometheus #每个被监控实例的集合用job_name命名支持静态配置static_configs和动态服务发现的机制*_sd_configs # metrics_path defaults to /metrics metrics_path: /metrics #指标数据采集路径默认为 /metrics # scheme defaults to http. static_configs: #静态目标配置固定从某个target拉取数据 - targets: [localhost:9090]
2配置系统启动文件启动 Prometheust cat /usr/lib/systemd/system/prometheus.service EOF [Unit] DescriptionPrometheus Server Documentationhttps://prometheus.io Afternetwork.target
[Service] Typesimple ExecStart/usr/local/prometheus/prometheus \ --config.file/usr/local/prometheus/prometheus.yml \ --storage.tsdb.path/usr/local/prometheus/data/ \ --storage.tsdb.retention15d \ --web.enable-lifecycle ExecReload/bin/kill -HUP $MAINPID Restarton-failure
[Install] WantedBymulti-user.target EOF
3启动 systemctl start prometheus systemctl enable prometheus
netstat -natp | grep :9090
浏览器访问http://192.168.80.30:9090 访问到 Prometheus 的 Web UI 界面 点击页面的 Status - Targets如看到 Target 状态都为 UP说明 Prometheus 能正常采集到数据 http://192.168.80.30:9090/metrics 可以看到 Prometheus 采集到自己的指标数据其中 Help 字段用于解释当前指标的含义Type 字段用于说明数据的类型 ------------------------------ 部署 Exporters ------------------------------ //部署 Node Exporter 监控系统级指标 1上传 node_exporter-1.3.1.linux-amd64.tar.gz 到 /opt 目录中并解压 cd /opt/ tar xf node_exporter-1.3.1.linux-amd64.tar.gz mv node_exporter-1.3.1.linux-amd64/node_exporter /usr/local/bin
2配置启动文件 cat /usr/lib/systemd/system/node_exporter.service EOF [Unit] Descriptionnode_exporter Documentationhttps://prometheus.io/ Afternetwork.target
[Service] Typesimple ExecStart/usr/local/bin/node_exporter \ --collector.ntp \ --collector.mountstats \ --collector.systemd \ --collector.tcpstat
ExecReload/bin/kill -HUP $MAINPID Restarton-failure
[Install] WantedBymulti-user.target EOF
3启动 systemctl start node_exporter systemctl enable node_exporter
netstat -natp | grep :9100
浏览器访问http://192.168.80.30:9100/metrics 可以看到 Node Exporter 采集到的指标数据
常用的各指标 ●node_cpu_seconds_total ●node_memory_MemTotal_bytes ●node_filesystem_size_bytes{mount_pointPATH} ●node_system_unit_state{name} ●node_vmstat_pswpin系统每秒从磁盘读到内存的字节数 ●node_vmstat_pswpout系统每秒钟从内存写到磁盘的字节数
更多指标介绍https://github.com/prometheus/node_exporter
4修改 prometheus 配置文件加入到 prometheus 监控中 vim /usr/local/prometheus/prometheus.yml #在尾部增加如下内容 - job_name: nodes metrics_path: /metrics static_configs: - targets: - 192.168.80.30:9100 - 192.168.80.11:9100 - 192.168.80.12:9100 labels: service: kubernetes 5重新载入配置 curl -X POST http://192.168.80.30:9090/-/reload 或 systemctl reload prometheus 浏览器查看 Prometheus 页面的 Status - Targets //监控 MySQL 配置示例 #在 MySQL 服务器上操作 1上传 mysqld_exporter-0.14.0.linux-amd64.tar.gz 到 /opt 目录中并解压 cd /opt/ tar xf mysqld_exporter-0.14.0.linux-amd64.tar.gz mv mysqld_exporter-0.14.0.linux-amd64/mysqld_exporter /usr/local/bin/
2配置启动文件 cat /usr/lib/systemd/system/mysqld_exporter.service EOF [Unit] Descriptionmysqld_exporter Documentationhttps://prometheus.io/ Afternetwork.target
[Service] Typesimple ExecStart/usr/local/bin/mysqld_exporter --config.my-cnf/etc/my.cnf
ExecReload/bin/kill -HUP $MAINPID Restarton-failure
[Install] WantedBymulti-user.target EOF
3修改 MySQL 配置文件 vim /etc/my.cnf [client] ...... hostlocalhost userexporter passwordabc123
4授权 exporter 用户 mysql -uroot -pabc123 GRANT PROCESS, REPLICATION CLIENT, SELECT ON *.* TO exporterlocalhost IDENTIFIED BY abc123;
5重启服务 systemctl restart mysqld systemctl start mysqld_exporter systemctl enable mysqld_exporter
netstat -natp | grep :9104
#在 Prometheus 服务器上操作 1修改 prometheus 配置文件加入到 prometheus 监控中 vim /usr/local/prometheus/prometheus.yml #在尾部增加如下内容 - job_name: mysqld metrics_path: /metrics static_configs: - targets: - 192.168.80.15:9104 labels: service: mysqld 2重新载入配置 curl -X POST http://192.168.80.30:9090/-/reload 或 systemctl reload prometheus 浏览器查看 Prometheus 页面的 Status - Targets //监控 Nginx 配置示例 #在 Nginx 服务器上操作 下载 nginx-exporter 地址https://github.com/hnlq715/nginx-vts-exporter/releases/download/v0.10.3/nginx-vts-exporter-0.10.3.linux-amd64.tar.gz 下载 nginx 地址http://nginx.org/download/ 下载 nginx 插件地址https://github.com/vozlt/nginx-module-vts/tags
1解压 nginx 插件 cd /opt tar xf nginx-module-vts-0.1.18.tar.gz mv nginx-module-vts-0.1.18 /usr/local/nginx-module-vts
2安装 Nginx yum -y install pcre-devel zlib-devel openssl-devel gcc gcc-c make useradd -M -s /sbin/nologin nginx
cd /opt tar xf nginx-1.18.0.tar.gz
cd nginx-1.18.0/ ./configure --prefix/usr/local/nginx \ --usernginx \ --groupnginx \ --with-http_stub_status_module \ --with-http_ssl_module \ --add-module/usr/local/nginx-module-vts
make make install
3修改 nginx 配置文件启动 nginx vim /usr/local/nginx/conf/nginx.conf http { vhost_traffic_status_zone; #添加 vhost_traffic_status_filter_by_host on; #添加开启此功能在 Nginx 配置有多个 server_name 的情况下会根据不同的 server_name 进行流量的统计否则默认会把流量全部计算到第一个 server_name 上 ...... server { ...... } server { vhost_traffic_status off; #在不想统计流量的 server 区域可禁用 vhost_traffic_status listen 8080; allow 127.0.0.1; allow 192.168.80.30; #设置为 prometheus 的 ip 地址 location /nginx-status { stub_status on; access_log off; } location /status { vhost_traffic_status_display; vhost_traffic_status_display_format html; } } }
#假如 nginx 没有规范配置 server_name 或者无需进行监控的 server 上那么建议在此 vhost 上禁用统计监控功能。否则会出现 127.0.0.1、hostname 等的域名监控信息。
ln -s /usr/local/nginx/sbin/nginx /usr/local/sbin/ nginx -t
cat /lib/systemd/system/nginx.service EOF [Unit] Descriptionnginx Afternetwork.target
[Service] Typeforking PIDFile/usr/local/nginx/logs/nginx.pid ExecStart/usr/local/nginx/sbin/nginx ExecReload/bin/kill -s HUP $MAINPID ExecStop/bin/kill -s QUIT $MAINPID PrivateTmptrue
[Install] WantedBymulti-user.target EOF
systemctl start nginx systemctl enable nginx 浏览器访问http://192.168.80.15:8080/status 可以看到 Nginx Vhost Traffic Status 的页面信息 4解压 nginx-exporter启动 nginx-exporter cd /opt/ tar -zxvf nginx-vts-exporter-0.10.3.linux-amd64.tar.gz mv nginx-vts-exporter-0.10.3.linux-amd64/nginx-vts-exporter /usr/local/bin/
cat /usr/lib/systemd/system/nginx-exporter.service EOF [Unit] Descriptionnginx-exporter Documentationhttps://prometheus.io/ Afternetwork.target
[Service] Typesimple ExecStart/usr/local/bin/nginx-vts-exporter -nginx.scrape_urihttp://localhost:8080/status/format/json
ExecReload/bin/kill -HUP $MAINPID Restarton-failure
[Install] WantedBymulti-user.target EOF
systemctl start nginx-exporter systemctl enable nginx-exporter
netstat -natp | grep :9913
#在 Prometheus 服务器上操作 1修改 prometheus 配置文件加入到 prometheus 监控中 vim /usr/local/prometheus/prometheus.yml #在尾部增加如下内容 - job_name: nginx metrics_path: /metrics static_configs: - targets: - 192.168.80.15:9913 labels: service: nginx 2重新载入配置 curl -X POST http://192.168.80.30:9090/-/reload 或 systemctl reload prometheus 浏览器查看 Prometheus 页面的 Status - Targets ------------------------------ 部署 Grafana 进行展示 ------------------------------ 1下载和安装 下载地址https://grafana.com/grafana/download https://mirrors.bfsu.edu.cn/grafana/yum/rpm/
yum install -y grafana-7.4.0-1.x86_64.rpm
systemctl start grafana-server systemctl enable grafana-server
netstat -natp | grep :3000
浏览器访问http://192.168.80.30:3000 默认账号和密码为 admin/admin
2配置数据源 Configuration - Data Sources - Add data source - 选择 Prometheus HTTP - URL 输入 http://192.168.80.30:9090 点击 Save Test
点击 上方菜单 DashboardsImport 所有默认模板 Dashboards - Manage 选择 Prometheus 2.0 Stats 或 Prometheus Stats 即可看到 Prometheus job 实例的监控图像
3导入 grafana 监控面板 浏览器访问https://grafana.com/grafana/dashboards 在页面中搜索 node exporter 选择适合的面板点击 Copy ID 或者 Download JSON
在 grafana 页面中 Create - Import 输入面板 ID 号或者上传 JSON 文件点击 Load即可导入监控面板 ------------------------------ 部署 Prometheus 服务发现 ------------------------------ //基于文件的服务发现 基于文件的服务发现是仅仅略优于静态配置的服务发现方式它不依赖于任何平台或第三方服务因而也是最为简单和通用的实现方式。 Prometheus Server 会定期从文件中加载 Target 信息文件可使用 YAML 和 JSON 格式它含有定义的 Target 列表以及可选的标签信息。
1创建用于服务发现的文件在文件中配置所需的 target cd /usr/local/prometheus mkdir targets
vim targets/node-exporter.yaml - targets: - 192.168.80.30:9100 - 192.168.80.15:9100 labels: app: node-exporter job: node vim targets/mysqld-exporter.yaml - targets: - 192.168.80.30:9104 - 192.168.80.15:9104 labels: app: mysqld-exporter job: mysqld
#修改 prometheus 配置文件发现 target 的配置定义在配置文件的 job 之中 vim /usr/local/prometheus/prometheus.yml ...... scrape_configs: - job_name: nodes file_sd_configs: #指定使用文件服务发现 - files: #指定要加载的文件列表 - targets/node*.yaml #文件加载支持通配符 refresh_interval: 2m #每隔 2 分钟重新加载一次文件中定义的 Targets默认为 5m - job_name: mysqld file_sd_configs: - files: - targets/mysqld*.yaml refresh_interval: 2m systemctl reload prometheus 浏览器查看 Prometheus 页面的 Status - Targets //基于 Consul 的服务发现 Consul 是一款基于 golang 开发的开源工具主要面向分布式服务化的系统提供服务注册、服务发现和配置管理的功能。 提供服务注册/发现、健康检查、Key/Value存储、多数据中心和分布式一致性保证等功能。
下载地址https://www.consul.io/downloads/
1部署 Consul 服务 cd /opt/ unzip consul_1.9.2_linux_amd64.zip mv consul /usr/local/bin/
#创建 Consul 服务的数据目录和配置目录 mkdir /var/lib/consul-data mkdir /etc/consul/
#使用 server 模式启动 Consul 服务 consul agent \ -server \ -bootstrap \ -ui \ -data-dir/var/lib/consul-data \ -config-dir/etc/consul/ \ -bind192.168.80.30 \ -client0.0.0.0 \ -nodeconsul-server01 /var/log/consul.log
#查看 consul 集群成员 consul members
2在 Consul 上注册 Services #在配置目录中添加文件 vim /etc/consul/nodes.json { services: [ { id: node_exporter-node01, name: node01, address: 192.168.80.30, port: 9100, tags: [nodes], checks: [{ http: http://192.168.80.30:9100/metrics, interval: 5s }] }, { id: node_exporter-node02, name: node02, address: 192.168.80.15, port: 9100, tags: [nodes], checks: [{ http: http://192.168.80.15:9100/metrics, interval: 5s }] } ] }
#让 consul 重新加载配置信息 consul reload
浏览器访问http://192.168.80.30:8500
3修改 prometheus 配置文件 vim /usr/local/prometheus/prometheus.yml ...... - job_name: nodes consul_sd_configs: #指定使用 consul 服务发现 - server: 192.168.80.30:8500 #指定 consul 服务的端点列表 tags: #指定 consul 服务发现的 services 中哪些 service 能够加入到 prometheus 监控的标签 - nodes refresh_interval: 2m systemctl reload prometheus 浏览器查看 Prometheus 页面的 Status - Targets
#让 consul 注销 Service consul services deregister -idnode_exporter-node02
#重新注册 consul services register /etc/consul/nodes.json //基于 Kubernetes API 的服务发现 基于 Kubernetes API 的服务发现机制支持将API Server 中 Node、Service、Endpoint、Pod 和 Ingress 等资源类型下相应的各资源对象视作 target 并持续监视相关资源的变动
●Node、Service、Endpoint、Pod 和 Ingress 资源分别由各自的发现机制进行定义
●负责发现每种类型资源对象的组件在 Prometheus 中称为一个 role
●支持在集群上基于 DaemonSet 控制器部署 node-exporter 后发现各 Node 节点也可以通过 kubelet 来作为 Prometheus 发现各 Node 节点的入口 #基于 Kubernetes 发现机制的部分配置参数 # The API server addresses. If left empty, Prometheus is assumed to run inside of the cluster and will discover API servers automatically and use the pods # CA certificate and bearer token file at /var/run/secrets/kubernetes.io/serviceaccount/. [ api_server: host ]
# The Kubernetes role of entities that should be discovered. One of endpoints, service, pod, node, or ingress. role: string
# Optional authentication information used to authenticate to the API server. # Note that basic_auth, bearer_token和bearer_token_file 等认证方式互斥 [ bearer_token: secret ] [ bearer_token_file: filename ]
# TLS configuration. tls_config: # CA certificate to validate API server certificate with. [ ca_file: filename ]
# Certificate and key files for client cert authentication to the server. [ cert_file: filename ] [ key_file: filename ]
# ServerName extension to indicate the name of the server. [ server_name: string ]
# Optional namespace discovery. If omitted, all namespaces are used. namespaces: names: [ - string ]
