五金制品东莞网站建设,微信公众号制作平台,成都网站设计公司排名,帮别人做数学题赚钱的网站1、per job mode#xff1a; 对于yarn-per-job模式调度的过程#xff1a; 1、资源调度#xff1a; 1、因为是yarn模式#xff0c;所以客户端会向ResourceManager申请资源#xff0c;申请容器负责来启动ApplicationManager 2、此时ResourceManager接受到客户端的请求#…1、per job mode 对于yarn-per-job模式调度的过程 1、资源调度 1、因为是yarn模式所以客户端会向ResourceManager申请资源申请容器负责来启动ApplicationManager 2、此时ResourceManager接受到客户端的请求就会分配一个nodemanager去启动ApplicationMaster就是Flink中的JobManager 2、任务调度 3、当Application启动过后客户端就会在本地创建DataFlow并提交到JobManager上 4、JobManager就会根据任务所需要的资源的大小去向ResourceManager上申请资源 5、ResourceManager将空闲的NodeManager分配出来用于启动TaskManager 6、JobManager将Task任务提交到TaskManager上去执行。
2、application mode 对于application mode模式调度的过程 1、资源调度 1、因为是yarn模式所以客户端会向ResourceManager申请资源申请容器负责来启动ApplicationManager 2、此时ResourceManager接受到客户端的请求就会分配一个nodemanager去启动ApplicationMaster就是Flink中的JobManager 2、任务调度 3、当Application启动过后此时与yarn-per-job模式不同的是会在JobManager上创建DataFlow 4、JobManager就会根据任务所需要的资源的大小去向ResourceManager上申请资源 5、ResourceManager将空闲的NodeManager分配出来用于启动TaskManager 6、JobManager将Task任务提交到TaskManager上去执行。
在flink中的任务调度是分开会先去对资源进行调度然会再去申请资源去执行任务
这两种模式中最重要的区别就是main函数启动的位置不同Flink任务调度的过程是将本地的代码构建成DataFlow图然后提交到JobManager上面对于per job mode来说是在本地创建DataFlow然而对于application mode是在JobManager上创建DataFlow这就是二者最主要的区别。
