青岛网站建设要多少钱,门户网站规划,天津大型网站建设报价公司,如何建设一个企业网站7、监控和报警
Doris 可以使用 Prometheus 和 Grafana 进行监控和采集#xff0c;官网下载最新版即可。
Prometheus 官网下载#xff1a;https://prometheus.io/download/
Grafana 官网下载#xff1a;https://grafana.com/grafana/download
Doris 的监控数据通过 FE 和…7、监控和报警
Doris 可以使用 Prometheus 和 Grafana 进行监控和采集官网下载最新版即可。
Prometheus 官网下载https://prometheus.io/download/
Grafana 官网下载https://grafana.com/grafana/download
Doris 的监控数据通过 FE 和 BE 的 http 接口向外暴露。监控数据以 key-value 的文本形式对外展现。每个 key 还可能有不同的 Label 加以区分。当用户搭建好 Doris 后可以在浏览器通过以下接口访问监控数据.
Frontend: fe_host:fe_http_port/metrics如 http://zuomm01:8030/metrics
Backend: be_host:be_web_server_port/metrics如 http://zuomm01:8040/metrics
整个监控架构如下图 7.1、prometheus
1、上传 prometheus-2.26.0.linux-amd64.tar.gz并进行解压 tar -zxvf prometheus-2.26.0.linux-amd64.tar.gz 2、配置 promethues.yml
配置两个 targets 分别配置 FE 和 BE,并且定义 labels 和 groups 指定组。如果有多个集群则再加 -job_name 标签,进行相同配置
vi prometheus.yml
scrape_configs: - job_name: prometheus_dorisstatic_configs:- targets: [zuomm01:8030,zuomm02:8030,zuomm03:8030]labels:group: fe- targets: [zuomm01:8040,zuomm02:8040,zuomm03:8040]labels:group: be3、启动 prometheus
nohup /opt/app/prometheus-2.26.0.linux-amd64/prometheus --web.listen-address0.0.0.0:8181 该命令将后台运行 Prometheus并指定其 web 端口为 8181。启动后即开始采集数据并将数据存放在 data 目录中。
4、访问
http://zuomm01:8181
点击导航栏中Status - Targets可以看到所有分组 Job 的监控主机节点。正常情况下所有节点都应为 UP表示数据采集正常。点击某一个 Endpoint即可看到当前的监控数值。
7.2、grafana
1、上传 grafana-7.5.2.linux-amd64.tar.gz并进行解压
tar -zxvf grafana-7.5.2.linux-amd64.tar.gz 2、配置 conf/defaults.ini
vi defaults.ini
http_addr zuomm01
http_port 81823、启动
nohup /opt/app/grafana-7.5.2/bin/grafana-server 通过浏览器访问http://zuomm01:8182配置数据源 Prometheus 账号密码都是 admin 添加数据源在齿轮那边 添加普罗米修斯 添加 dashboard
模板下载地址https://grafana.com/grafana/dashboards/9734/revisions
上传准备好的 doris-overview_rev4.json
找到manager 导入下载得doris模板 8、备份Backup和恢复Restore
Doris 支持将当前数据以文件的形式通过 broker 备份到远端存储系统中。之后可以通过恢复命令从远端存储系统中将数据恢复到任意 Doris 集群。通过这个功能Doris支持将数据定期的进行快照备份。也可以通过这个功能在不同集群间进行数据迁移
8.1、备份原理
备份操作是将指定表或分区的数据直接以 Doris 存储的文件的形式上传到远端仓库中进行存储。当用户提交 Backup 请求后系统内部会做如下操作 1、快照及快照上传
快照阶段会对指定的表或分区数据文件进行快照。之后备份都是对快照进行操作。在快照之后对表进行的更改、导入等操作都不再影响备份的结果。快照只是对当前数据文件产生一个硬链耗时很少。快照完成后会开始对这些快照文件进行逐一上传。快照上传由各个 Backend 并发完成。
2、元数据准备及上传 数据文件快照上传完成后Frontend 会首先将对应元数据写成本地文件然后通过broker 将本地元数据文件上传到远端仓库。完成最终备份作业。
8.2、恢复Restore原理
恢复操作需要指定一个远端仓库中已存在的备份数据然后将这个备份的内容恢复到本地集群中。当用户提交 Restore 请求后系统内部会做如下操作 1、在本地创建对应的元数据 这一步首先会在本地集群中创建恢复对应的表分区等结构。创建完成后该表可见但是不可访问。
2、本地 snapshot 这一步是将上一步创建的表做一个快照。这其实是一个空快照因为刚创建的表是没有数据的其目的主要是在 Backend 上产生对应的快照目录用于之后接收从远端仓库下载的快照文件。
3、下载快照 远端仓库中的快照文件会被下载到对应的上一步生成的快照目录中。这一步由各个Backend 并发完成。
4、生效快照 快照下载完成后我们要将各个快照映射为当前本地表的元数据。然后重新加载这些快照使之生效完成最终的恢复作业。
重点说明
1、备份恢复相关的操作目前只允许拥有 ADMIN 权限的用户执行。 2、一个 Database 内只允许有一个正在执行的备份或恢复作业。 3、备份和恢复都支持最小分区Partition级别的操作当表的数据量很大时建议按分区分别执行以降低失败重试的代价。
8.3、备份示例
1、创建一个远端仓库路径
-- 1.启动hdfs
-- 2.启动brokerCREATE REPOSITORY hdfs_test_backup -- 远端仓库的名字
WITH BROKER broker_name
ON LOCATION hdfs://linux01:8020/tmp/doris_backup -- 存储的路径
PROPERTIES ( username root, password
) ;2、执行备份
BACKUP SNAPSHOT [db_name].{snapshot_name}
TO repository_name
ON ( -- 表里面的哪些数据 table_name [PARTITION (p1, ...)], ...
)
PROPERTIES (keyvalue, ...);3、查看备份任务
SHOW BACKUP from test \G;mysql SHOW BACKUP from test \G;
*************************** 1. row ***************************JobId: 13300SnapshotName: event_info_log_snapshotDbName: testState: FINISHEDBackupObjs: [default_cluster:test.event_info_log]CreateTime: 2022-11-27 21:29:56
SnapshotFinishedTime: 2022-11-27 21:30:00UploadFinishedTime: 2022-11-27 21:30:06FinishedTime: 2022-11-27 21:30:13UnfinishedTasks: Progress: TaskErrMsg: Status: [OK]Timeout: 86400
1 row in set (0.02 sec)4、查看远端仓库镜像
SHOW SNAPSHOT ON repo_name [WHERE SNAPSHOT snapshot [AND TIMESTAMP
backup_timestamp]]; mysql SHOW SNAPSHOT ON hdfs_test_backup;
------------------------------------------------------
| Snapshot | Timestamp | Status |
------------------------------------------------------
| event_info_log_snapshot | 2022-11-27-21-29-56 | OK |
------------------------------------------------------5、取消备份
CANCEL BACKUP FROM test; 8.4、恢复示例
将之前通过 BACKUP 命令备份的数据恢复到指定数据库下。该命令为异步操作。提交成功后需通过 SHOW RESTORE 命令查看进度。
仅支持恢复 OLAP 类型的表支持一次恢复多张表这个需要和你对应的备份里的表一致
说明
1、同一数据库下只能有一个正在执行的 BACKUP 或 RESTORE 任务。
2、ON 子句中标识需要恢复的表和分区。如果不指定分区则默认恢复该表的所有分区。所指定的表和分区必须已存在于仓库备份中
3、可以通过 AS 语句将仓库中备份的表名恢复为新的表。但新表名不能已存在于数据库中。分区名称不能修改。
4、可以将仓库中备份的表恢复替换数据库中已有的同名表但须保证两张表的表结构完全一致。表结构包括表名、列、分区、Rollup 等等。
5、可以指定恢复表的部分分区系统会检查分区 Range 或者 List 是否能够匹配。
6、PROPERTIES 目前支持以下属性
“backup_timestamp” “2018-05-04-16-45-08”指定了恢复对应备份的哪个时间版本,必填。该信息可以通过 SHOW SNAPSHOT ON 仓库名称; 语句获得。“replication_num” “3”指定恢复的表或分区的副本数。默认为 3。若恢复已存在的表或分区则副本数必须和已存在表或分区的副本数相同。同时必须有足够的host 容纳多个副本。“timeout” “3600”任务超时时间默认为一天。单位秒。
从 example_repo 中恢复备份 snapshot_1 中的表 backup_tbl 到数据库 example_db1时间版本为 “2021-05-04-16-45-08”。恢复为 1 个副本
-- 创建表
create table event_info
(
user_id varchar(20),
event_id varchar(20),
event_action varchar(20),
event_time datetime
)
DUPLICATE KEY(user_id)
DISTRIBUTED BY HASH(user_id) BUCKETS 1;-- 指定哪个数据库里面的哪一个快招表的名字
RESTORE SNAPSHOT test.event_info_log_snapshot
-- 从哪个仓库中的哪一个快照中
FROM hdfs_test_backup -- 仓库名字
ON ( event_info_log ) -- 对应需要的那一张表
PROPERTIES
(
-- 指定时间版本backup_timestamp2022-11-27-21-29-56
); 查看恢复任务
mysql SHOW RESTORE from test \G;
*************************** 1. row ***************************JobId: 13316Label: event_info_log_snapshotTimestamp: 2022-11-27-21-29-56DbName: default_cluster:testState: FINISHEDAllowLoad: falseReplicationNum: 3ReplicaAllocation: tag.location.default: 3ReserveReplica: false
ReserveDynamicPartitionEnable: falseRestoreObjs: {name: event_info_log_snapshot,database: test,backup_time: 1669555796781,content: ALL,olap_table_list: [{name: event_info_log,partition_names: [event_info_log]}],view_list: [],odbc_table_list: [],odbc_resource_list: []
}CreateTime: 2022-11-27 21:55:27MetaPreparedTime: 2022-11-27 21:55:28SnapshotFinishedTime: 2022-11-27 21:55:31DownloadFinishedTime: 2022-11-27 21:55:37FinishedTime: 2022-11-27 21:55:43UnfinishedTasks: Progress: TaskErrMsg: Status: [OK]Timeout: 86400
1 row in set (0.01 sec)取消恢复
CANCEL RESTORE FROM db_name;8.5、删除远端仓库
DROP REPOSITORY repo_name; 删除仓库仅仅是删除该仓库在 Doris 中的映射不会删除实际的仓库数据。删除后可以再次通过指定相同的 broker 和 LOCATION 映射到该仓库。
原文https://mp.weixin.qq.com/s/C9P8Zoyw6MdTt9BNEcL0MA
