杭州网站建设市场,手机网站开发在pc端,Wordpress可以做门户,seo对企业网站运营有何意义本文于2019年7月16日完成#xff0c;发布在个人博客网站上。 作业#xff0c;比如提交一个hive脚本到计算平台上运行#xff0c;这个脚本宏观上称为一个作业。 任务#xff0c;比如mapper#xff0c;reducer等。 资源#xff0c;比如CPU时间#xff0c;内存#xff0c;…本文于2019年7月16日完成发布在个人博客网站上。 作业比如提交一个hive脚本到计算平台上运行这个脚本宏观上称为一个作业。 任务比如mapperreducer等。 资源比如CPU时间内存硬盘IO网络IO墙钟等。
期望计算平台提供的信息比如
当前有哪些作业在运行。作业占用的资源。作业总共使用了哪些运算节点。指定的作业使用了哪些节点分别占用了多少资源。每个节点上分配了哪些任务分别占用了多少资源。每个作业有多少stage分别有多少任务各占用多少资源。各分类的排名。各个mapperreducer读入的数据量输出的数据量。数据表的访问频率访问数据量。SQL的执行计划。
监控和通知比如
针对上述信息例行发送指标值。针对上述信息定义阈值当超出阈值发送给指定的群组。针对上述信息提供趋势图供指定人查看。运行时占用资源多的作业执行计划输入数据量输出数据量等。
日常工作中需要回答的问题
计算平台的资源使用情况有什么变化变化趋势怎么样。计算平台的资源使用情况是否合理。计算平台是否需要扩容。任务的数量近期是否有什么变化。任务处理的数据量输出的数据量是否有什么变化变化的特点是什么是否合乎业务特点。任务占用的资源是否有什么变化变化的特点是什么。任务运行时stagemapperreducer的数量使用的资源等是否有什么变化变化的特点是什么。对于给定的某个作业占用的资源是否充足或者过多。对于给定的某个作业对应的代码是否需要优化优化空间有多大。
分配资源的原则充分利用资源比如
重点业务优先保障。非重点业务合理安排调度启动时间控制等待时间和墙钟时间。监测资源瓶颈避免争用。制定扩容计划及时实施。
有了上述数据就有了调整资源的依据减少无效的沟通提高生活质量。
