厦门网站流量优化价格,怎样用vps做网站,网站网络投票建设步骤,徐州网站开发兼职简介 本系列是flink源码分析的第二个系列#xff0c;上一个《flink源码分析之集群与资源》分析集群与资源#xff0c;本系列分析功能组件#xff0c;kubeclient#xff0c;rpc#xff0c;心跳#xff0c;高可用#xff0c;slotpool#xff0c;rest#xff0c;metrics上一个《flink源码分析之集群与资源》分析集群与资源本系列分析功能组件kubeclientrpc心跳高可用slotpoolrestmetricsfuture。 本文解释slot管理组件严格来说slot管理组件不属于功能组件而是业务组件包括slotpool和slotmanage资源消费者申请到资源后在本地管有资源slot避免资源管理器异常导致作业运行失败同时资源管理器不可用也不会影响作业的继续执行只有资源不足时才会导致作业执行失败。 slot管理组件也是实现声明式资源管理核心值得我们细细分析。本文分析slotpool组件的分配/申请资源slotpool组件II 分析声明式资源管理
slotpool组件 上图是slotpool组件的类图
slotpool组件负责对接资源管理器分配和申请资源 - allocatePhysicalSlot 分配资源申请可用资源后对资源分配 - requestNewAllocatedSlot 请求待定资源/新资源
slotpool组件也是flink声明式资源管理的核心
下面详细介绍slotpool组件的资源分配申请资源和声明式管理资源
分配可用资源(simple allocator)
用户提交作业分发器接收并分发作业到作业管理器调度器确定所需资源申请资源检查当前可用资源是否足够如果不足请求新资源动态增加资源若足够分配资源给任务。
分配还有另一个实现slot sharing有比较复杂的资源分配策略分配策略跟本文主题无关因此选了比较简单simple allocator DeclarativeSlotPoolBridge桥接 声明式资源池DeclarativeSlotPool用声明式SlotPool实现SlotPool为了简化描述下面描述不区分DeclarativeSlotPoolBridge和DeclarativeSlotPool
1. 调度器调用PhysicalSlotProvider的allocatePhysicalSlot分配资源
2. allocatePhysicalSlot首先tryAllocateFromAvailable从当前可用资源分配若当前可用资源不够请求新资源
3. tryAllocateFromAvailable调用DeclarativeSlotPoolBridge的 getAvailableSlotsInformation获取资源池的可用资源其实际最终调用AllocatedSlotPool的getFreeSlotsInformation并组装为SlotInfoAndResources该类组合了SlotInfo和ResourceProfile前者是分配信息后者是资源信息
4. SlotSelectionStrategy选择策略在可用资源选择一个最合适的目前基于位置策略
5. 选出最合适的资源后PhysicalSlotProvider调用DeclarativeSlotPoolBridge的allocateAvailableSlot分配资源该方法不是实际分配资源而是调用DeclarativeSlotPool的 increaseResourceRequirementsBy增加资源请求(声明)该方法触发异步处理资源请求3.1 notifyNewResourceRequirements深入分析
6. 最后保留资源真正的分配在处理资源请求保留资源AllocatedSlotPool的reserveFreeSlot登记已分配资源AllocatedSlot
7. 最后调整资源保留不一定是最终分配最终分配后调整实际资源情况
最后分析一下 notifyNewResourceRequirements
3.1 notifyNewResourceRequirements
notifyNewResourceRequirements类型Consumer函数方法
图1 上图是notifyNewResourceRequirements设置和调用的方法函数是怎么设置
图2 图1是图2的 connect调用设置模板S即service属性
设置方法是哪里调起 1.ResourceManagerLeaderListener监听资源管理器选主获取新主节点的地址
2.ResourceManagerLeaderListener通知JobMaster调用JobMaster的notifyOfNewResourceManagerLeader方法
3.notifyOfNewResourceManagerLeader启动rpc(重新)连接
4. rpc连接后触发onRegistrationSuccess事件方法然后 DeclarativeSlotPoolService的connectToResourceManager方法而后者即图1设置Conumer 总结请求新资源主要是调用资源管理器的declareRequiredResources方法该方法用 ResourceManagerLeaderListener和DeclareResourceRequirementServiceConnectionManager绕一下是为了适应分布式环境下资源管理器上线下线主节点选举后获取新主的地址重新连接后设置ResourceManagerGateway。
请求新资源(request new slots)
请求新资源是分配资源的延申当前没有足够的可用资源调度器请求新的资源 类图跟申请和分配资源基本相同场景实现由相同的类实现
1. 调度器在分配资源没有获得足够可用资源
调用SlotPool的requestNewAllocatedSlot请求新的资源这里的SlotPool是DeclarativeSlotPoolBridge桥接 DeclarativeSlotPool实现的SlotPool实现声明式管理的资源池下面不区分两者
2. DeclarativeSlotPoolBridge调用 increaseResourceRequirementsBy增加资源请求触发检查资源请求
