网站开发企业培训,10个著名摄影网站,阿里云 安装wordpress,东营智能网站设计简介#xff1a; 本文由阿里巴巴技术专家景丽宁#xff08;砚田#xff09;分享#xff0c;主要介绍如何迁移Flink任务到实时计算 Flink 中来。 通常用户在线下主要使用 Flink run#xff0c;这会造成一些问题#xff0c;比如#xff1a;同一个配置因版本而变化#xf… 简介 本文由阿里巴巴技术专家景丽宁砚田分享主要介绍如何迁移Flink任务到实时计算 Flink 中来。 通常用户在线下主要使用 Flink run这会造成一些问题比如同一个配置因版本而变化无法快速切换不同版本无法从之前的作业恢复。 那么如何从线下迁移到线上呢本文将通过下面四部分来向大家介绍。 一、如何迁移从 Flink run 到流计算平台
如下图的线下命令如何迁移到线上。首先打开 VVP UI添加基础配置主要包括作业名称、Jar URI、一些主要参数和并行度。还可以点击高级配置配置更多信息。 比如高级配置里的行为配置分为三部分升级策略、初始状态和恢复策略。升级策略一般选择Stateless初始状态选择Running恢复策略选择Latest State。 升级策略选择Stateless表示针对已经在运行的作业编辑并保存配置后会直接把原作业停掉然后重新启动一个更新的作业选择Stateble针对正在运行的作业做配置编辑并保存的话作业会先做一次Savepoint然后加载新的配置并使用该 Savepoint启动新的作业。 恢复策略选择LatestSavepoint是指作业在暂停情况下如果再启动将使用最新的Savepoint启动。 上面介绍的是 Flink 配置中比较重要的部分下面图片显示的是另外一部分可以设置Checkpoint间隔等的配置接下来是资源配置。日志配置部分可以选择日志保存位置方便日后如果作业出现问题可以方便的排查问题。 Flink 作业配置完成并启动运行后如果出现异常可以通过运行事件查看运行情况和问题。也可以打开 Flink UI的Job Manager查看日志情况。 二、多Jar情况下用户如何添加其他依赖的Jar
一些用户有自定义依赖且无法通过 fat jar 解决问题。举个例子A用户有自己的main Jar和一些其他的Jar这些Jar的应用场景不一样那么首先需要在资源管理页面上传Jar包上传完成之后就可以在页面使用该文件。 上传后再到高级配置中找到“额外依赖的Jar”下拉并选择刚刚上传的Jar 包就可以了。 三、用户如何通过配置文件定义作业
在资源管理里上传文件然后在高级配置里选添加依赖选择需要的依赖。如果启动函数里main class是需要读取某个文件先通过依赖添加文件然后再根据提示的方式读取文件。
以上两个方式是放置用户Jar的方式jar 和其他文件都可以在这里存放。
四、如何复用原来的state加速作业恢复
如果在运行作业时发现问题一般情况下是停下来然后找到问题修复后再重启。用户需要在创建的时候指定 Checkpoint 需要的 OSS。 如果开启了Checkpoint后续作业就可以直接从Checkpoint中恢复。 首先确认高级配置中恢复策略选择LatestState或LatestSavepoint。在这个前提下可以暂停作业千万不要停止作业暂停会触发Savepoint当再次点击启动时会从这次Savepoint点恢复。 打开 Flink UI 然后点击作业快照在作业快照中可以查看 Flink Checkpoint指标里面会显示Restore的次数和最后一次Restore的地址等信息可确定作业是从最新的 State 恢复。 当作业正在运行想对当前作业进项拷贝如何操作呢在作业控制页面点击Checkpoint找到历史快照并点击其对应的最右侧的“从该快照复制作业”那么就完成了把当前作业复制的操作复制内容包括正在运行作业的Jar 包配置等。点击启动后可以从作业快照中查看到新作业是从上个作业最近的一次Savepoint中复制启动的。
作者景丽宁砚田
原文链接
本文为阿里云原创内容未经允许不得转载
