景点网站怎么做,教育培训网站建设方案模板下载,做公司网站页面,给六人游做网站开发的精彩视频回顾请点击#xff1a;MaxCompute管家详解 以下是直播内容精华整理#xff0c;主要包括以下四个方面#xff1a; 1.背景速览#xff1b; 2.功能介绍#xff1b; 3.案例讲解#xff1b; 4.新功能预告。 一、背景速览
MaxCompute#xff08;原ODPS#xff09;是…精彩视频回顾请点击MaxCompute管家详解 以下是直播内容精华整理主要包括以下四个方面 1.背景速览 2.功能介绍 3.案例讲解 4.新功能预告。 一、背景速览
MaxCompute原ODPS是一项大数据计算服务它能提供快速、完全托管的PB级数据仓库解决方案使用户可以经济并高效的分析处理海量数据。在购买了MaxCompute之后会有相当多而繁琐的管理和维护工作比如如何对项目进行更精细化的管理、如何将项目与配额进行关联等等而MaxCompute管家可以帮助用户更好地完成这些工作它是一个为用户提供作业信息查看、资源消耗查看涵盖CU资源和存储资源、项目查看及调整、配额组增删改查等涉及日常MaxCompute运维能力的管理平台。 目前全球包括美国、英国、德国、印度、日本、新加坡在内的18个国家或地区详情见官网购买了数加并购买MaxCompute”包年包月“的用户后期也会支持购买MaxCompute“按量付费“的用户可以使用MaxCompute管家功能且已经支持英文界面。MaxCompute管家的入口有两个1管理控制台图1和2数加控制台图2。需要注意的是从管理控制台和数加控制台进入MaxCompute管家页面时候需要先选择正确的MaxCompute对应区域。 图 1 MaxCompute管家入口1管理控制台 图 2 MaxCompute管家入口1管理控制台
二、功能介绍
当前管家主要针对MaxCompute中项目、配额以及作业三个核心模块来提供相应的支持。一项目 在项目列表页面可查看当前用户具备的预付费project的所有相关信息包括项目名称、所属dataworks工作空间、账号、配额组、已用存储、project默认预付费quota组调整如图3所示。这里需要注意项目名称和所属dataworks工作空间是两个概念不要混淆了。在项目列表页面点击项目名称会跳转到存储使用趋势的页面来查看项目存储使用的相关情况并且支持按时段搜索在存储水位曲线中还可以查看具体到某一个时段的详情最近1小时、最近6小时、最近12小时、最近1天、最近1周存储量每1个小时采集一次账号是指项目所属的一个访问身份点击配额组可以查看相应的配额使用情况在后面会重点进行介绍。除了以上操作之外管家还提供了一个对项目配额组进行修改的操作用户可以对项目所属的配额组进行修改更加方便管理。在将项目迁移到新的配额组之后如果原来的配额组没有被删除那么项目会沿用原来的配额组进行作业如果已经被删除就会使用新的配额组进行作业以此来达到资源的最大化利用。 图 3 项目列表页面
二配额 配额管理是MaxCompute的资源管理中的重点也是难点面对不同的业务需求用户也有不同的配额管理方式。配额组有4个比较重要的配置参数具体如下 1预留CU最小配额单个quota组分配资源的下限。 2预留CU最大配额单个quota组分配资源的上限。 3非预留CU最大配额单个quota组可使用弹性资源的上限。 4配额组标签标签主要是用于指定作业的配额组如果您的包年包月资源组设置多个二级Quota组可以在提交作业的时候指定作业运行的Quota组可以与project所属Quota组不同。这样设置能够更加灵活的设置和使用您的计算资源。大家也可以根据具体情况灵活设置标签。 在配额列表页面可查看当前用户具备的预付费project的相关信息包括配额组、CU最小配额、CU最大配额、弹性CU最大配额、配额组标签、涵盖项目个数、最近一次配额组操作状态等如图4所示。 图 4 配额列表页面
点击配额组中的某一配额组名称会跳转到相应的页面里面可以查看对应的资源使用情况比如预留CU资源使用趋势和非预留CU资源使用趋势如图5所示我们也可以查看不同时段的资源使用情况。除此之外还可以查看该配额组所包含的项目列表该处项目列表的详情如上文中图3所示的一样也可以进行相应的操作。 图 5 配额组详情
对配额组的操作主要有新建配额组、修改配额组和删除配额组。 1新建配额组 在新建配额组的是时候修改预留CU最小配额、预留CU最大配额、非预留CU最大配额以及标签单击执行完成修改即可。这里我们可以根据自己业务的需求来给配额组设置相应的名称。 2修改配额组 修改配额组的时候可以修改预留CU最小配额、预留CU最大配额、非预留CU最大配额以及标签然后单击执行即可完成修改。需要注意的是非预留CU最大配额即为包年包月里的非预留计算资源此功能仅中国站用户可以使用。另外这里需要需要注意的时候配额组的名称一旦建立就不能修改。 3删除配额组 删除功能相对比较简单就是在配额组不需要的时候删除相应的配额组即可。但是需要注意处于安全考虑没有涵盖项目的配额组可删除删除后的配额会归还至默认配额组而如果配额组的涵盖项目数不为0那么是无法删除的。三作业 在作业模块中我们支持当前的作业快照因此在默认状态下进入作业快照列表的时候展示的是当前的状态。在作业列表页面可以查看当前用户指定配额组下所有作业情况包括InstanceID、账号、项目名称、cpu使用占比(%)、内存使用占比(%)、提交时间、等待时长、运行时长、运行状态作业快照每2分钟采集1次。如果需要了解更多的关于作业的运行情况可以点击InstanceID查看对应的LogView它与作业是一对一的关系具体的可以查看官网关于LogView的说明。一般在需要对资源使用进行详细了解以优化资源配置的时候我们可以查看某一个作业的资源使用情况做到心中有数也方便对资源配置进行优化。 图 6 作业列表页面
三、案例讲解
在上文的基础上下面通过案例来进行具体分析如何更好的使用现有的功能来分配和管理资源让资源得到更有效的利用。首先我们需要了解几个关于配额的规则 1预留CU最大配额配置规则单个子组的最大CU要小于等于默认资源组的最大CU 2预留CU最小配额配置规则所有子组的最小CU之和要小于等于默认资源组的最小CU 3非预留CU最大配额配置规则所有子组的弹性最大CU之和要小于等于默认资源组的弹性最大CU 4配额组标签命名规则配额组标签只允许使用字母、数字、下划线不同配额组对应标签不要重名否则作业指定此重名标签将会随机调度到其中一个配额组配额组标签调度规则如果提交作业时设置的Quota Tag和某个配额组属性中的标签相等这个作业就会被优先调度到这个配额组中否则会被调度到所属Project指定的配额组中详细信息请参见官网Quota Tag描述。 在了解清楚了以上几个规则以后如果进行资源的分配呢我们以两个具体的问题来了解一下。一拿到资源如何配置? 首先我们要明白配置策略跟业务是密不可分的脱离了业务谈配置是不切实际的。一般来说在实际配置中我们有资源独享和资源共享两种资源配置策略。资源独享更偏向于重点确保的业务就是说那些一定要完成的和一定要保障到的业务而资源共享就没有那么苛刻的要求了大部分情况下我们都可以采用资源共享的形式来进行配置这样子就可以避免前置资源的浪费。 假设我们共有预留计算资源60CU非预留计算资源30CU由两个部门使用可以按照如下方式分配 1资源独享方式
这么划分意味着当A组哪怕没有资源使用时B组资源最多也只能用到20由最大CU限制10由弹性最大CU限制的资源反之亦然当B组没有资源使用的时候A组最多也只能使用3010CU的资源。这里需要注意默认的预付费Quota组预留最小CU和非预留最大CU最少也需要有1CU也就是说默认的预付费Quota组是一个天然的共享型的资源池。所以在业务上只需要资源独享配额时候就不要把项目迁移到默认的预付费Quota组而要去做自定义的资源独享组。 2资源共享方式
这么划分意味着当A组和B组资源均紧张时A组可以用到2010的资源B组可以用到3010的资源。当A组没有作业时B组最多可以用到6010的资源反之当B组没有资源时A组可以用到6010的资源。我们需要注意的是当采用资源共享方式如果B组没有作业A组分配了60预留最大CU10非预留最大CU的资源时之后B组突然有大量作业需要申请资源这时候需要调度器通知A组释放相应资源之后B组才能开始分配资源进行作业。二作业慢或者资源不足怎么办? 在实际业务中可能随着业务量的增加、作业的复杂度增大我们可能会遇到作业慢或者资源不足的情况。这里我们给出了三个解决方案 1优化作业代码 我们可通过快照作业的资源使用情况得到top消耗的作业并尝试进行优化可参考官网最佳实践来做相应调整。 2更换调度策略 若单个配额组资源不足但其他配额组有足够空闲资源时建议使用quota tag可调度到闲置配额组内进行资源周转或者调整内部配额组之间的资源上下限增加资源使用的灵活性或者通过切换project对应的quota组的方式进行重组式管理前提是取决于业务情况。 3扩容 若整体资源不足且其他待跑任务无重保诉求建议走非预留扩容若整体资源不足且有重保任务持续新增时建议走预留型扩容并已独享型模式配置或后付费采买。
四、新功能预告
本文所提到的功能只是MaxCompute管家所提供的功能中的一部分主要是面向初级用户后续将会有更多的功能对外开放也会分享更多的进阶版、高级版的功能来解决大家工作中的痛点。未来一段时间MaxCompute管家会有一些新功能与大家见面比如以下1资源概览页 资源概览页用来展示用户对应的”包年包月“付费模式下的整体CU使用量、CU资源使用趋势、存储资源使用趋势方便用户更快速、更便捷的了解当前的资源使用情况。2历史作业快照 历史作业快照支持按时间搜索历史作业快照便于用户对历史作业的资源使用情况的追述。3终止作业 支持作业owner小批量终止作业同时支持终止作业历史追述。4分时配额 针对于部分用户作业有时段性的要求增加了分时配额支持用户对不同配额组进行分时段的动态配额调整便于用户对周期性任务调度的有效管理。
如果大家需要了解更多的关于MaxCompute管家的细节可以通过官网 - 大数据计算服务 · MaxCompute - 文档SDK - MaxCompute管家来查看相应的说明文档官方也会持续的进行迭代更新。
原文链接 本文为云栖社区原创内容未经允许不得转载。
