建设网站公司联系方式,万能图片编辑器,devexpress网站开发,公司核名查询系统Flink系列之#xff1a;监控反压 一、反压二、Task 性能指标三、示例四、反压状态 Flink Web 界面提供了一个选项卡来监控正在运行 jobs 的反压行为。
一、反压
如果你看到一个 task 发生 反压警告#xff08;例如#xff1a; High#xff09;#xff0c;意味着它生产数… Flink系列之监控反压 一、反压二、Task 性能指标三、示例四、反压状态 Flink Web 界面提供了一个选项卡来监控正在运行 jobs 的反压行为。
一、反压
如果你看到一个 task 发生 反压警告例如 High意味着它生产数据的速率比下游 task 消费数据的速率要快。 在工作流中数据记录是从上游向下游流动的例如从 Source 到 Sink。反压沿着相反的方向传播沿着数据流向上游传播。
以一个简单的 Source - Sink job 为例。如果看到 Source 发生了警告意味着 Sink 消费数据的速率比 Source 生产数据的速率要慢。 Sink 正在向上游的 Source 算子产生反压。
二、Task 性能指标
TaskSubTask的每个并行实例都可以用三个一组的指标评价
backPressuredTimeMsPerSecondsubtask 被反压的时间idleTimeMsPerSecondsubtask 等待某类处理的时间busyTimeMsPerSecondsubtask 实际工作时间 在任何时间点这三个指标相加都约等于1000ms。
这些指标每两秒更新一次上报的值表示 subtask 在最近两秒被反压或闲或忙的平均时长。 当你的工作负荷是变化的时需要尤其引起注意。比如一个以恒定50%负载工作的 subtask 和另一个每秒钟在满负载和闲置切换的 subtask 的busyTimeMsPerSecond值相同都是500ms。
在内部反压根据输出 buffers 的可用性来进行判断的。 如果一个 task 没有可用的输出 buffers那么这个 task 就被认定是在被反压。 相反如果有可用的输入则可认定为闲置
三、示例
WebUI 集合了所有 subTasks 的反压和繁忙指标的最大值并在 JobGraph 中将集合的值进行显示。除了显示原始的数值tasks 也用颜色进行了标记使检查更加容易。 闲置的 tasks 为蓝色完全被反压的 tasks 为黑色完全繁忙的 tasks 被标记为红色。 中间的所有值都表示为这三种颜色之间的过渡色
四、反压状态
在 Job Overview 旁的 Back Pressure 选项卡中你可以找到更多细节指标。 如果你看到 subtasks 的状态为 OK 表示没有反压。HIGH 表示这个 subtask 被反压。状态用如下定义
OK: 0% 反压比例 10%LOW: 10% 反压比例 50%HIGH: 50% 反压比例 100%
除此之外你还可以找到每一个 subtask 被反压、闲置或是繁忙的时间百分比。
