字体样式 网站,layui 网站建设模板,一流的网站建设案例,域名代备案服务一、经典MapReduce的作业运行机制 如下图是经典MapReduce作业的工作原理#xff1a; 1.1 经典MapReduce作业的实体 经典MapReduce作业运行过程包含的实体#xff1a; 客户端#xff0c;提交MapReduce作业。JobTracker#xff0c;协调作业的运行。JobTracker是一个Java应用程…一、经典MapReduce的作业运行机制 如下图是经典MapReduce作业的工作原理 1.1 经典MapReduce作业的实体 经典MapReduce作业运行过程包含的实体 客户端提交MapReduce作业。JobTracker协调作业的运行。JobTracker是一个Java应用程序它的主类是JobTracker。 TaskTracker运行作业划分后的任务。TaskTracker是Java应用程序它的主类是TaskTracker。分布式文件系统一般为HDFS用来在其他实体间共享作业文件。1.2 经典MapReduce作业的运行过程 1. 作业提交 客户端运行MapReduce作业步骤1向JobTracker请求一个新的作业ID通过调用JobTracker的getNewJobId()方法获取步骤2将运行作业所需的资源包括作业JAR文件、配置文件和计算所得的输入分片复制到一个以ID命名的JobTracker的文件系统中步骤3告知JobTracker作业准备执行通过调用JobTracker的submitJob()方法实现步骤42. 作业初始化 JobTracker收到对其submitJob()方法的调用后会把此调用放入一个内部队列中交由作业调度器进行调度并对其进行初始化步骤5。初始化包括创建一个表示正在运行作业的对象用于封装任务和记录信息以便跟踪任务的状态和进程。作业调度器从共享文件系统中获取客户端已经计算好的输入分片步骤6。为每个分片创建一个map任务创建的reduce任务由Job的mapred.reduce.tasks属性决定以及新建作业创建和作业清理的任务。3. 任务分配 TaskTracker定期向JobTracker发生“心跳heartbeat”表名TaskTracker是否存活同时保持两者之间的通信步骤7JobTracker为TaskTracker分配任务对于map任务jobtracker会考虑tasktracker的网络位置选取一个距离其输入分片文件最近的tasktracker对于reduce任务jobtracker会从reduce任务列表中选取下一个来执行。4. 任务执行 从HDFS中把作业的JAR文件复制到TaskTracker所在的文件系统实现JAR文件本地化同时TaskTracker将应用程序所需的全部文件从分布式缓存复制到本地磁盘步骤8并且为任务新建一个本地工作目录把JAR文件中的内容解压到这个文件夹下然后新建一个TaskRunner实例运行该任务。5. 进度和状态更新 任务在运行时对其进度progress即任务完成百分比的保持跟踪。6. 作业完成 将作业的状态设置为“成功”并且清空JobTracker作业的工作状态也指示TaskTracker清空作业的工作状态如删除中间输出。二、Yarn上MapReduce作业运行机制 如图为Yarn中MapReduce作业的工作原理 2.1 Yarn上的MapReduce作业的实体 主要包括以下几个实体 提交MapReduce作业的客户端ResourceManagerYarn资源管理器负责协调集群上计算资源的分配NodeManagerYarn节点管理器负责启动和监视集群中机器上的计算容器containerMRAPPMasterMapReduce应用程序MRAppMaster负责协调运行MapReduce作业的任务。它和MapReduce任务在容器中运行这些容器由资源管理器分配并由节点管理器进行管理分布式文件系统一般为HDFS用来与其他实体间共享作业文件2.2 Yarn中MapReduce作业的运行过程 1. 作业提交 客户端运行MapReduce作业步骤1客户端向ResourceManager请求新的作业IDResourceManager收到请求后返回一个ApplicationID步骤2客户端检查作业的的输出说明计算输入分片并将作业运行所需的资源包括作业jar文件、配置文件和分片信息复制到HDFS步骤3告知ResourceManager作业准备执行并调用ResourceManager上的submitApplication( )方法提交作业步骤42. 作业初始化 资源管理器收到应用提交请求后便将请求传递给调度器Scheduler调度器分配一个容器然后ResourceManager在NodeManager的管理下在容器中启动应用程序的master进程步骤5(a)和5(b)对作业进行初始化创建对象以保持对作业进度的跟踪步骤6MRAppMaster接受来自共享文件系统HDFS的在客户端计算的输入分片步骤7 3. 任务分配 MRAppMaster为作业中的所有map任务和reduce任务向ResourceManager请求容器步骤84. 任务执行 一旦ResourceManager的调度器为任务分配了容器MRAppMaster就通过与NodeManager通信来启动容器步骤9(a)和9(b)任务在运行之前需要将任务所需的资源本地化包括作业的配置、JAR文件和所有来自分布式缓存的文件步骤10运行map任务或reduce任务步骤115. 进度和状态更新 任务每三秒钟通过umbilical接口向ApplicationMaster汇报自己的进度和状态包含计数器方便ApplicationMaster随时掌握各个任务的运行状态。6. 作业完成 作业完成后ApplicationMaster和任务容器清理其工作状态ApplicationMaster向ResourceManager注销并关闭自己。 【参考链接】 [1] Asu_PC, MR1和MR2的工作原理. [2] Tom Wbite, 《Hadoop权威指南》转载于:https://www.cnblogs.com/walker-/p/9751398.html
