游戏网站wordpress,网上注册公司官网入口,网页平面设计教学,佛山北京网站建设公司哪家好简介#xff1a; MaxCompute作业日常监控与运维实践
监控项目作业超时运行
案例一
专用于业务团队取数的project_A #xff0c;基本都是手动跑SQL查询#xff0c;每个作业执行基本不会很长时间#xff0c;由于目前使用的是包年包月计算资源#xff0c;为了防止单个作业…简介 MaxCompute作业日常监控与运维实践
监控项目作业超时运行
案例一
专用于业务团队取数的project_A 基本都是手动跑SQL查询每个作业执行基本不会很长时间由于目前使用的是包年包月计算资源为了防止单个作业长期占用资源需要对作业进行超时监控。假设对于project_A的SQL作业只要某个作业运行时长等待时间真正运行时间超过15分钟则视为异常用时作业需介入检查。 监控配置
1. 登录[云监控控制台](https://cloudmonitor.console.aliyun.com/)。
2. 在左侧导航栏单击报警服务 报警规则。
3. 在报警规则页面的阈值报警页签单击创建报警规则。
4. 单击创建报警规则。
5. 在创建报警规则页面基于场景配置报警规则相关信息详细参数配置请参见[创建阈值报警规则](https://help.aliyun.com/document_detail/103072.html)。配置报警联系人详情请参见[创建报警联系人或报警联系组](https://help.aliyun.com/document_detail/104004.html)。 资源范围选择项目名称并在下方项目名称中指定需要监控的项目project_A 。规则描述即选择监控指标如此案例我们针对项目下所有作业 监控则选择作业运行时长类型。最大值大于等于15*60900秒即配置作业运行时长超过15分钟则触发告警注意单位为秒。通知方式可以选择短信邮件钉钉机器人 (Warning)以便快速从各个通道获取告警另外告警接收人要注意一定要配置好具体人员避免接收的人员不是负责此业务的人员。告警处理收到单个job的超时告警考虑是否单个作业本身问题可以通过[MaxCompute管家的作业运维管理](https://help.aliyun.com/document_detail/198711.html?spma2c4g.11186623.6.1026.25656a2coeGp9Z)-高级查询单独搜索这个instance id:在结果列表里可以看到作业的基本信息可以点击Logview查看详情如是否是长尾、是否是作业查询量本身就非常大等经过判断后可以考虑是否让job继续运行若不能继续运行则kill掉。若一直是等待资源状态那么可以到“作业快照”中查看当前时刻对应资源组的作业负载情况是否是有其他项目作业占满长期占满资源等。 收到多个job超时告警或者持续单个不同的job超时告警可以考虑是否是资源不足大量作业在等待资源可以在MaxCompute管家作业快照里查看对应资源组此刻正在运行作业负载情况人工介入该kill作业的kull作业该扩容的扩容等。
案例二
生产项目project_B 有跑MaxCompute的SQL、spark等类型任务所有生产任务都比较重要正常情况下再大的任务执行时间等待时间真正运行时间不会超过1个小时考虑到spark有流式作业存在一个job拉起会很长时间也是正常现象因此对于本生产项目可以对SQL类型作业进行监控超时情况以便尽快介入检查。
监控配置
1. 登录[云监控控制台](https://cloudmonitor.console.aliyun.com/)。
2. 在左侧导航栏单击报警服务 报警规则。
3. 在报警规则页面的阈值报警页签单击创建报警规则。
4. 单击创建报警规则。
5. 在创建报警规则页面基于场景配置报警规则相关信息详细参数配置请参见[创建阈值报警规则](https://help.aliyun.com/document_detail/103072.html)。配置报警联系人详情请参见[创建报警联系人或报警联系组](https://help.aliyun.com/document_detail/104004.html)。 资源范围选择项目名称并在下方项目名称中指定需要监控的项目project_B 。规则描述即选择监控指标如此案例我们针对项目下所有作业 监控则选择作业运行时长类型。最大值大于等于60*603600秒即配置作业运行时长超过1个小时则触发告警注意单位为秒。通知方式可以选择短信邮件钉钉机器人 (Warning)以便快速从各个通道获取告警另外告警接收人要注意一定要配置好具体人员避免接收的人员不是负责此业务的人员。告警处理
收到告警后您可以通过[MaxCompute管家的作业运维管理](https://help.aliyun.com/document_detail/198711.html?spma2c4g.11186623.6.1026.25656a2coeGp9Z)-高级查询单独搜索对应的job在结果列表中可先判断是否还是等待资源状态若是则可以通过作业快照查看此刻对应资源组作业运行情况是否资源紧张若不是可以点击Logview查看详细信息是否长尾等。判断作业的合理性决定是否继续运行或者kill掉。若您是通过DataWorks使用MaxCompute也可以通过DataWorks的[智能监控](https://help.aliyun.com/document_detail/138162.html?spma2c4g.11186623.6.1074.f4352d21zjMF73)配置自定义监控规则进行作业超时监控。DataWorks上还可以针对具体调度节点进行监控监控的指标也更加丰富。 需要注意的是如果作业一直为运行状态触发告警的job如果一直处在running状态那么只要满足告警周期规则会持续发出告警直到job运行完成成功或失败。如果遇到需要放行继续运行的job告警周期又短可能会频繁收到告警因此在配置规则时告警周期需要合理配置。 查看某时段发起的作业执行情况
日常数据开发过程中需要对自己负责的作业进行运维管理如查看当天发起的作业执行情况有哪些作业失败要查看失败原因等。
通过[MaxCompute管家的作业运维管理](https://help.aliyun.com/document_detail/198711.html?spma2c4g.11186623.6.1026.25656a2coeGp9Z)可以查看如下图 选择需要查看具体发起作业的时间段选择状态cancelled即为失败状态点开高级查询输入提交人目前只支持精准匹配需要带上ALIYUN$或RAM$前缀进行搜索。在结果列表里可以快速获取一些基础信息但是要查看具体失败原因还需要点击Logview通过Logview日志查看详情包括查看对应跑的什么脚本、返回的失败信息等。 需要注意的是如果是通过DataWorks发起的作业且项目的“MaxCompute访问者身份”选择的是阿里云主账号的话那么项目的所有提交人都会是主账号因此就不适合通过“提交人”进行过滤只能按其他粒度进行过滤。 查看某时刻包年包月资源组作业负载
作业资源运维人员管理计算资源的分配如收到开发人员反馈当前大量作业等待资源通过MaxCompute管家概览页的“CU资源使用趋势”查看对应资源组的负载线图点击具体时间点查看对应时刻作业快照 如果对应资源组是完全独享型所有自定义配额组预留CU都是最大值最小值选择具体的资源组进行查看这样更有针对性。点击曲线图上对应时刻进入此刻的作业快照列表查看当前运行的作业资源占用情况。在结果列表中再对CUP使用占比进行从高到低排序看是否是某个或某几个作业长时间占用大量资源针对性对这些作业进行处理。如果资源组是共享型自定义配额组预留CU最大值最小值,那么可以直接默认查看所有资源组的CU资源使用趋势这样进入快照列表中看所有资源的作业列表对CUP使用占比进行从高到低排序可以看到具体哪些作业在哪个资源组抢占了大量资源进而针对性的处理作业或者调整资源组比如业务优先级低的项目所在资源组最大值可以分配小一些以免抢占高优先级项目所属资源组的资源。针对资源组的分配可以参考[包年包月资源隔离](https://help.aliyun.com/document_detail/197810.html?spma2c4g.11186623.6.1153.11fe32c0myBda4)、[包年包月资源分时配额](https://help.aliyun.com/document_detail/194065.html?spma2c4g.11186623.6.1152.542b274biJDwSm)。 查看某作业执行相关信息
在做费用审计、资源审计等,获取到了某个job的instance id需要找到提交人或者查看具体是执行了什么脚本等。 案例如使用按量计费资源对SQL进行费用审计发现有某个或某几个作业费用异常需要知道是谁执行的执行的sql是什么。
1. 通过[MaxCompute管家的作业运维管理](https://help.aliyun.com/document_detail/198711.html?spma2c4g.11186623.6.1026.25656a2coeGp9Z)-高级查询单独搜索对应的job,因为是SQL消费审计作业一定是成功状态所以选择terminated状态。
2. 在结果列表中查看信息 若提交人为子账号则可直接找对应子账号负责人进行自检。若提交人为主账号且有DataWorks节点ID非空则大概可以判断是通过DataWorks调度发起的生产节点可以到DataWorks 运维中心[查看周期任务](https://help.aliyun.com/document_detail/137787.html?spma2c4g.11174283.6.1064.1be52b65CcPWWn)搜索节点找到对应“责任人”让责任人自检。若提交人为主账号且DataWorks节点ID为空此类比较难以判断责任人可以通过点击查看Logview获取具体的query线下寻找跑过此query的提交人。需要注意的是Logview一般保留时长为7天超过7天可以尝试通过[information schema-TASKS_HISTORY](https://help.aliyun.com/document_detail/135433.html?spma2c4g.11186623.6.1032.7ea65856ZU3E4x#title-r2c-tak-zfi)获取作业信息。若作业是最近7天运行的作业责任人自检时也可以直接在结果列表里访问Logview进行查看。
原文链接
本文为阿里云原创内容未经允许不得转载。
