苏州市建设局招标网站首页,淄博网站优化首选公司,808影院网,陈林设计事务所前言
作为一名云原生工程师#xff0c;如何将支持标准可观测性协议的中间件快速接入观测云呢#xff1f;答案是只需要三步。
首先#xff0c;需要确定您要观测的中间件类型。支持标准可观测性协议中间件可通过观测云的 DataKit 采集到中间件的关键指标。有些中间件自带可观…前言
作为一名云原生工程师如何将支持标准可观测性协议的中间件快速接入观测云呢答案是只需要三步。
首先需要确定您要观测的中间件类型。支持标准可观测性协议中间件可通过观测云的 DataKit 采集到中间件的关键指标。有些中间件自带可观测会提供相应的端口和 /metrics 对外提供指标。有些中间件需要启动 exporter通过 exporter 对外暴露 metrics。其次安装 DataKit。再开通 Prom 采集器。Prometheus 提供了一种规范的方式来收集中间件的指标DataKit 内置了 Prom 采集器在不安装 Prometheus 的情况下只需要在采集器配置文件中指定 metrics 的 url 可以轻松采集到中间件的指标。最后可视化指标数据。通过「观测云」-「场景」-「仪表板」-「新建仪表板」即可实现指标的可视化观测云内置了多种中间件的仪表板支持时序图、概览图、饼图、矩形树图、蜂窝图等几十种可视化图表。图表中通过简单 DQL 查询直接选择指标来展示数据。
下面以 HBase 为案例来快速接入观测云。HBase 是 JAVA 开发的分布式开源数据库自身不提供 metrics需要借助 JMX exporter来暴露指标。JMXJava Management Extensions用于 Java 程序扩展监控和管理项。为应用程序植入观测功能的框架提供了一种简单的、标准的可观测的方式。JMX 最常用的场景就是暴露 Java 程序指标任何 Java 程序都可开启 JMX。观测云的 DataKit 支持直接采集 JMX 暴露的指标。 环境版本
CentOS 7.9DataKit 1.5.6JDK 1.8.0_341HBase 2.4.16
前置条件
您需要先创建一个观测云账号已安装 HBase 2.4.16 (二进制安装路径是 /opt/soft/hbase-2.4.16)
操作步骤
1 配置 HBase
1.1 下载 JMX exporter
下载 jmx_prometheus_javaagent-0.17.2.jar解压放到 HBase 的 bin 目录。 本示例目录是 /opt/soft/hbase-2.4.16/bin/jmx_prometheus_javaagent-0.17.2.jar
1.2 配置 HBase
新建 /opt/soft/hbase-2.4.16/conf/hbase_jmx_config.yaml
rules:
- pattern: .*修改 /opt/soft/hbase-2.4.16/conf/hbase-env.sh配置对外暴露端口 30001。 export HBASE_MASTER_OPTS -javaagent:/opt/soft/hbase-2.4.16/bin/jmx_prometheus_javaagent-0.17.2.jar30001:/opt/soft/hbase-2.4.16/conf/hbase_jmx_config.yaml
export HBASE_REGIONSERVER_OPTS-javaagent:/opt/soft/hbase-2.4.16/bin/jmx_prometheus_javaagent-0.17.2.jar30001:/opt/soft/hbase-2.4.16/conf/hbase_jmx_config.yaml1.3 重启 HBase
cd /opt/soft/hbase-2.4.16/bin
./stop-hbase.sh
./start-hbase.sh执行如下命令验证是否可以输出指标。
curl http://localhost:30001/metrics2 采集指标
2.1 安装 DataKit
登录「观测云」-「集成」-「DataKit」-「Linux」在第二步中点击右边的「复制图标」在 Linux 主机上安装 DataKit。 2.2 开启采集器
开通 prom 采集器比较方便只需复制 prom.conf.sample 文件改成以 .conf 扩展名的文件再配置待采集的 url。
cd /usr/local/datakit/conf.d/prom
cp prom.conf.sample prom_hbase.conf编辑 prom_hbase.confurls 中配置 HBase 指标的地址 http://localhost:30001/metrics。
由于 HBase 指标有 untyped 类型而默认配置只采集 counter 和gauge 类型的指标这里需要设置 metric_types [] 采集全部类型指标。 重启 DataKit让新的采集器生效。
systemctl restart datakit2.3 查看指标
登录「观测云」- 「指标」查看采集到的指标。
以 Hadoop_HBase_numRegionServers 指标为例观测云默认会把第一个下划线前面的 Hadoop 作为指标集第一个下划线后面的 HBase_numRegionServers 作为指标。
# TYPE Hadoop_HBase_numRegionServers untyped
Hadoop_HBase_numRegionServers{nameMaster,subServer,} 1.0在「指标分析」中选择 Hadoop 指标集再选 HBase_numRegionServers 指标即可可视化该指标。 在「指标管理」中可查看具体的指标集名称。 在 Hadoop 指标集中可以看到 host 标签可以用做该标签做下拉框。 3 视图制作
登录「观测云」-「场景」-「仪表板」-「新建仪表板」输入 HBase 点「确定」新建仪表板。 点击 HBase 视图中的「新建视图变量」-「添加视图变量」数据链路选 DQL变量查询输入 show_tag_value(from[Hadoop],keyin[host])其中 Hadoop 是指标集host 是指标集中的标签。变量名输入 “host”显示名输入“主机”这样就制作了“主机”下拉框。 在 HBase 视图中拖一个“时序图”简单查询表达式选择“指标”指标集选择“Hadoop”指标选择 HBase_numRegionServers。再点击「添加筛选」图标再选择“host”和“#{host}”这为了与主机下拉框做联动。左边选择“面积图”图表标题输入“Region Servers”。自此“Region Servers”时序图制作完成。 根据同样的方式制作其它图表制作完成后点击主机下拉框选择对应主机展示的即是该主机上部署的 HBase 的指标视图。
