优秀的移动网站,正规网站建设的公司,网站开发大概多少钱,建设局网站首页我们很荣幸能够见证Hadoop十年从无到有#xff0c;再到称王。感动于技术的日新月异时#xff0c;让我们再来看看关于Hadoop的精华问答。1Q#xff1a;默认情况下#xff0c;各个节点的负载不均衡#xff08;任务数目不同#xff09;#xff0c;有的节点很多任务在跑再到称王。感动于技术的日新月异时让我们再来看看关于Hadoop的精华问答。1Q默认情况下各个节点的负载不均衡任务数目不同有的节点很多任务在跑有的没有任务怎样让各个节点任务数目尽可能均衡呢A 默认情况下资源调度器处于批调度模式下即一个心跳会尽可能多的分配任务这样优先发送心跳过来的节点将会把任务领光前提任务数目远小于集群可以同时运行的任务数量为了避免该情况发生可以按照以下说明配置参数如果采用的是fair scheduler可在yarn-site.xml中将参数yarn.scheduler.fair.max.assign设置为1默认是-1,如果采用的是capacity scheduler默认调度器则不能配置目前该调度器不带负载均衡之类的功能。当然从hadoop集群利用率角度看该问题不算问题因为一般情况下用户任务数目要远远大于集群的并发处理能力的也就是说通常情况下集群时刻处于忙碌状态没有节点一直空闲着。2Q某个节点上任务数目太多资源利用率太高怎么控制一个节点上的任务数目?A一个节点上运行的任务数目主要由两个因素决定一个是NodeManager可使用的资源总量一个是单个任务的资源需求量比如一个NodeManager上可用资源为8 GB内存8 cpu单个任务资源需求量为1 GB内存1cpu则该节点最多运行8个任务。NodeManager上可用资源是由管理员在配置文件yarn-site.xml中配置的相关参数如下yarn.nodemanager.resource.memory-mb总的可用物理内存量默认是8096yarn.nodemanager.resource.cpu-vcores总的可用CPU数目默认是8对于MapReduce而言每个作业的任务资源量可通过以下参数设置mapreduce.map.memory.mb物理内存量默认是1024mapreduce.map.cpu.vcoresCPU数目默认是1默认情况各个调度器只会对内存资源进行调度不会考虑CPU资源你需要在调度器配置文件中进行相关设置。3Q如何设置单个任务占用的内存量和CPU数目A对于MapReduce而言每个作业的任务资源量可通过以下参数设置mapreduce.map.memory.mb物理内存量默认是1024mapreduce.map.cpu.vcoresCPU数目默认是1需要注意的是默认情况各个调度器只会对内存资源进行调度不会考虑CPU资源你需要在调度器配置文件中进行相关设置。4Q用户给任务设置的内存量为1000MB为何最终分配的内存却是1024MBA为了易于管理资源和调度资源Hadoop YARN内置了资源规整化算法它规定了最小可申请资源量、最大可申请资源量和资源规整化因子如果应用程序申请的资源量小于最小可申请资源量则YARN会将其大小改为最小可申请量也就是说应用程序获得资源不会小于自己申请的资源但也不一定相等如果应用程序申请的资源量大于最大可申请资源量则会抛出异常无法申请成功规整化因子是用来规整化应用程序资源的应用程序申请的资源如果不是该因子的整数倍则将被修改为最小的整数倍对应的值公式为ceil(a/b)*b其中a是应用程序申请的资源b为规整化因子。以上介绍的参数需在yarn-site.xml中设置相关参数如下yarn.scheduler.minimum-allocation-mb最小可申请内存量默认是1024yarn.scheduler.minimum-allocation-vcores最小可申请CPU数默认是1yarn.scheduler.maximum-allocation-mb最大可申请内存量默认是8096yarn.scheduler.maximum-allocation-vcores最大可申请CPU数默认是4对于规整化因子不同调度器不同具体如下FIFO和Capacity Scheduler规整化因子等于最小可申请资源量不可单独配置。Fair Scheduler规整化因子通过参数yarn.scheduler.increment-allocation-mb和yarn.scheduler.increment-allocation-vcores设置默认是1024和1。通过以上介绍可知应用程序申请到资源量可能大于资源申请的资源量比如YARN的最小可申请资源内存量为1024规整因子是1024如果一个应用程序申请1500内存则会得到2048内存如果规整因子是512则得到1536内存。5Q我们使用的是Fairscheduler配置了多个队列当用户提交一个作业指定的队列不存在时Fair Scheduler会自动创建一个新队列而不是报错比如报错队列XXX不存在如何避免这种情况发生A在yarn-site.xml中设置yarn.scheduler.fair.allow-undeclared-pools将它的值配置为false默认是true。小伙伴们冲鸭后台留言区等着你关于Hadoop今天你学到了什么还有哪些不懂的除此还对哪些话题感兴趣快来留言区打卡啦留言方式打开第XX天答……同时欢迎大家搜集更多问题投稿给我们风里雨里留言区里等你~福利1、扫描添加小编微信备注“姓名公司职位”加入【云计算学习交流群】和志同道合的朋友们共同打卡学习2、公众号后台回复白皮书获取IDC最新数据白皮书整理资料推荐阅读开了个会破局企业云通信华为加速 Buff 开发者没有一家公司可以逃避边缘计算 | 技术头条她高中发明著名算法保送清华姚班斯坦福 AI 实验室负责人高徒 | 人物志GitHub 日收 12,000 星微软新命令行工具引爆程序员圈华为员工年薪 200 万真相让人心酸天才程序员25 岁进贝尔实验室32 岁创建信息论 琥珀 极客宝宝 5天前安全顾问反水成黑客, 靠瞎猜盗得5000万美元的以太币, 一个区块链大盗的另类传奇人造器官新突破美国科学家3D打印出会“呼吸”的肺 | Science真香朕在看了
