成都网站建设企业,网站建设需要多少人员,wordpress置顶文章顺序,中国工业品网文章目录 物理执行图一、Task二、ResultPartition三、ResultSubpartition四、InputGate五、InputChannel 物理执行图
JobManager根据ExecutionGraph对作业进行调度#xff0c;并在各个TaskManager上部署任务。这些任务在TaskManager上的实际执行过程就形成了物理执行图。物理… 文章目录 物理执行图一、Task二、ResultPartition三、ResultSubpartition四、InputGate五、InputChannel 物理执行图
JobManager根据ExecutionGraph对作业进行调度并在各个TaskManager上部署任务。这些任务在TaskManager上的实际执行过程就形成了物理执行图。物理执行图并不是一个具体的数据结构而是描述了流处理任务在集群中的实际执行情况。 它包含的主要抽象概念有Task、ResultPartition、ResultSubpartition、InputGate、InputChannel。 一、Task
Execution被调度后在分配的 TaskManager 中启动对应的 Task。Task 包裹了具有用户执行逻辑的 operator。 一个作业可以被划分为多个Task并在不同的Task上并行执行。每个Task由一个或多个子任务Subtask组成每个子任务在一个TaskSlot中运行。Task主要负责接收输入数据执行数据转换和计算并将结果发送到下游的算子中。
在Flink中Task的执行由TaskExecutor来负责。Task.doRun()方法是引导Task初始化并执行其相关代码的核心方法。它会构造并实例化Task的可执行对象即AbstractInvokable。AbstractInvokable.invoke()方法的执行过程中如果正常执行完毕会输出ResultPartition缓冲区数据关闭缓冲区并标记Task为Finished如果因为取消操作导致退出会标记Task为CANCELED并关闭用户代码如果执行过程中抛出异常会标记Task为FAILED关闭用户代码并记录异常如果执行过程中JVM抛出错误会强制终止虚拟机并退出当前进程。
二、ResultPartition
ResultPartition代表由一个Task生成的数据并与ExecutionGraph中的IntermediateResultPartition一一对应。它实际上是一个缓存池里面保存的是经过序列化之后的节点计算结果。每个ResultPartition包含多个ResultSubPartition其数目由下游消费Task的数量和DistributionPattern来决定。ResultSubPartition是ResultPartition的一个子分区真正持有缓冲区Buffer。
写入ResultPartition的操作由ResultPartition的add方法实现。此外在shuffle阶段ResultPartition的选择由ChannelSelector负责它决定了序列化后的record应该写入哪个ResultSubPartition。
ResultPartition在Flink的物理执行图中扮演着重要角色它确保了数据在Task之间的正确流动和传输是构建高效、可靠数据流处理应用的关键组件之一。
三、ResultSubpartition
ResultSubpartition是ResultPartition的一个子分区用于存储和传输数据。每个ResultPartition包含多个ResultSubpartition其数量由下游消费Task的数量和DistributionPattern决定。这种设计有助于并行处理数据提高处理效率。
ResultSubpartition负责接收上游Task生成的数据并将其缓存起来以便下游Task消费。同时ResultSubpartition还负责数据的序列化、反序列化和传输确保数据在不同Task之间的正确流动。
根据数据类型和传输需求Flink提供了不同类型的ResultSubpartition实现。例如PipelinedSubpartition是基于内存的管道模式的结果子分区适用于低延迟的数据传输场景BoundedBlockingSubpartition中是以阻塞的方式传输的即数据先被写入然后再被消费。这种机制确保了数据的有序性和一致性避免了数据在传输过程中的丢失或乱序问题。
在Flink的物理执行图中ResultSubpartition与InputGate和InputChannel紧密相关。每个InputGate消费一个或多个ResultPartition而每个InputGate又包含一个或多个InputChannel。InputChannel与ResultSubpartition一对一地相连即一个InputChannel接收一个ResultSubpartition的输出。这种设计使得数据能够按照预定的路径在Task之间流动实现分布式数据流处理。
总的来说ResultSubpartition是Flink数据流处理中的关键组件它负责数据的存储、传输和消费确保数据在不同Task之间的正确流动和高效处理。
创建ResultPartition、ResultSubpartition的相关源码 public ResultPartition create(String taskNameWithSubtaskAndId,int partitionIndex,ResultPartitionID id,ResultPartitionType type,int numberOfSubpartitions,int maxParallelism,SupplierWithExceptionBufferPool, IOException bufferPoolFactory) {BufferCompressor bufferCompressor null;if (type.supportCompression() batchShuffleCompressionEnabled) {bufferCompressor new BufferCompressor(networkBufferSize, compressionCodec);}ResultSubpartition[] subpartitions new ResultSubpartition[numberOfSubpartitions];final ResultPartition partition;if (type ResultPartitionType.PIPELINED|| type ResultPartitionType.PIPELINED_BOUNDED|| type ResultPartitionType.PIPELINED_APPROXIMATE) {final PipelinedResultPartition pipelinedPartition new PipelinedResultPartition(taskNameWithSubtaskAndId,partitionIndex,id,type,subpartitions,maxParallelism,partitionManager,bufferCompressor,bufferPoolFactory);for (int i 0; i subpartitions.length; i) {if (type ResultPartitionType.PIPELINED_APPROXIMATE) {subpartitions[i] new PipelinedApproximateSubpartition(i, configuredNetworkBuffersPerChannel, pipelinedPartition);} else {subpartitions[i] new PipelinedSubpartition(i, configuredNetworkBuffersPerChannel, pipelinedPartition);}}partition pipelinedPartition;} else if (type ResultPartitionType.BLOCKING|| type ResultPartitionType.BLOCKING_PERSISTENT) {if (numberOfSubpartitions sortShuffleMinParallelism) {partition new SortMergeResultPartition(taskNameWithSubtaskAndId,partitionIndex,id,type,subpartitions.length,maxParallelism,batchShuffleReadBufferPool,batchShuffleReadIOExecutor,partitionManager,channelManager.createChannel().getPath(),bufferCompressor,bufferPoolFactory);} else {final BoundedBlockingResultPartition blockingPartition new BoundedBlockingResultPartition(taskNameWithSubtaskAndId,partitionIndex,id,type,subpartitions,maxParallelism,partitionManager,bufferCompressor,bufferPoolFactory);initializeBoundedBlockingPartitions(subpartitions,blockingPartition,blockingSubpartitionType,networkBufferSize,channelManager,sslEnabled);partition blockingPartition;}} else if (type ResultPartitionType.HYBRID_FULL|| type ResultPartitionType.HYBRID_SELECTIVE) {partition new HsResultPartition(taskNameWithSubtaskAndId,partitionIndex,id,type,subpartitions.length,maxParallelism,batchShuffleReadBufferPool,batchShuffleReadIOExecutor,partitionManager,channelManager.createChannel().getPath(),networkBufferSize,HybridShuffleConfiguration.builder(numberOfSubpartitions,batchShuffleReadBufferPool.getNumBuffersPerRequest()).setSpillingStrategyType(type ResultPartitionType.HYBRID_FULL? HybridShuffleConfiguration.SpillingStrategyType.FULL: HybridShuffleConfiguration.SpillingStrategyType.SELECTIVE).build(),bufferCompressor,bufferPoolFactory);} return partition;}四、InputGate
InputGate是对数据输入的封装与JobGraph中的JobEdge一一对应。每个InputGate消费一个或多个ResultPartition这些ResultPartition代表上游Task生成的数据。InputGate的主要作用是管理和控制数据的流入确保数据能够按照正确的顺序和方式被Task所消费。
InputGate由多个InputChannel构成每个InputChannel与ExecutionGraph中的ExecutionEdge以及ResultSubpartition一一对应。这意味着每个InputChannel负责接收一个ResultSubpartition的输出从而实现了数据的精确传递和接收。
在Flink的物理执行过程中InputGate和InputChannel起着至关重要的作用。它们不仅负责数据的接收和传递还参与了数据的序列化和反序列化过程确保数据在不同Task之间的正确流动。此外InputGate和InputChannel还提供了对数据传输的控制和优化功能可以根据实际需求调整数据传输的策略和方式。
总的来说Flink的InputGate通过对数据输入的封装和管理实现了数据的精确传递和高效处理。
五、InputChannel
InputChannel是数据输入通道的关键组件它位于InputGate之下与ExecutionGraph中的ExecutionEdge以及ResultSubpartition一对一地相连。每个InputChannel负责接收一个ResultSubpartition的输出确保数据从上游Task正确地流向下游Task。
根据消费的ResultPartition的位置InputChannel有两种不同的实现LocalInputChannel和RemoteInputChannel。LocalInputChannel用于处理本地数据交换即数据在同一TaskManager的不同Task之间传输而RemoteInputChannel则负责远程数据交换即数据在不同TaskManager的Task之间传输。这种设计使得Flink能够灵活地处理分布式环境中的数据流动。
此外还有一个名为UnknownInputChannel的实现类它作为尚未确定ResultPartition位置的情况下的占位符。在实际执行过程中UnknownInputChannel最终会被更新为LocalInputChannel或RemoteInputChannel以反映实际的数据传输路径。
InputChannel在Flink的数据流处理中扮演着重要角色。它不仅是数据传输的通道还参与数据的序列化和反序列化过程确保数据在传输过程中的完整性和一致性。同时InputChannel与InputGate和ResultSubpartition的紧密协作使得Flink能够高效地处理大规模、高吞吐量的数据流。
总结来说Flink InputChannel负责数据的接收、传输和序列化确保数据在不同Task之间的正确流动。通过LocalInputChannel和RemoteInputChannel的不同实现Flink能够处理各种分布式场景下的数据交换需求。
