网站500兆空间多少钱,静态网站模板源码下载,wordpress支付宝个人,网站开发申请微信支付背景
flink的状态清理之前一直都是通过处理函数的ontimer设置定时器的方式清理掉那些无用的状态#xff0c;但是这种方式容易出错而且代码也不优雅#xff0c;使用flink提供的状态ttl的方式可以解决这个问题
flink键值分区状态ttl设置
文件系统/基于内存的状态后端的ttl设…背景
flink的状态清理之前一直都是通过处理函数的ontimer设置定时器的方式清理掉那些无用的状态但是这种方式容易出错而且代码也不优雅使用flink提供的状态ttl的方式可以解决这个问题
flink键值分区状态ttl设置
文件系统/基于内存的状态后端的ttl设置
StateTtlConfig ttlConfig StateTtlConfig.newBuilder(Time.days(7))// 状态过期的时间,这个状态会在最近一次状态被访问的时间(读和写都算被访问)或者只是最近一次更新/创建状态的时间之后N天后过期.setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite)//OnCreateAndWrite表示在最后一次状态更新/创建后开始计时过期即可删除OnReadAndWrite表示在最后一次访问状态后开始计时过期即可删除.setStateVisibility(StateTtlConfig.StateVisibility.NeverReturnExpired)//过期后但是状态被真正删除时返回的状态值,NeverReturnExpired表示状态一旦过期即使后端状态系统没有删除这个状态也是返回空值,ReturnExpiredIfNotCleanedUp表示虽然状态过期但是如果状态后端还没有清理那么就返回状态的值.cleanupFullSnapshot()//表示生成保存点或者检查点时会把过期状态剔除这样从保存点或者检查点恢复时过期的状态就会被剔除注意仅仅设置这个标志状态后端并不会把当前过期的状态清除除非从检查点或者保存点中恢复.cleanupIncrementally(10, false)// 文件系统状态后端/内存状态后端独有的配置表示第一个参数表示当有状态访问发生时检查的状态个数发现有过期的就删除第二个参数表示是否在处理记录的时候也会触发状态检查和清理逻辑,.build();注意点当没有状态访问或者是记录处理的时候是不会触发状态清理的也就是如果比如凌晨你的系统根本没有任何记录处理或者状态访问操作那么状态是不会被自动清理的相当于状态清理的触发并不是定时任务的而是需要触发源的
基于rockdb的状态后端的ttl设置
StateTtlConfig ttlConfig StateTtlConfig.newBuilder(Time.days(7))// 状态过期的时间,这个状态会在最近一次状态被访问的时间(读和写都算被访问)或者只是最近一次更新/创建状态的时间之后N天后过期.setUpdateType(StateTtlConfig.UpdateType.OnCreateAndWrite)//OnCreateAndWrite表示在最后一次状态更新/创建后开始计时过期即可删除OnReadAndWrite表示在最后一次访问状态后开始计时过期即可删除.setStateVisibility(StateTtlConfig.StateVisibility.NeverReturnExpired)//过期后但是状态被真正删除时返回的状态值,NeverReturnExpired表示状态一旦过期即使后端状态系统没有删除这个状态也是返回空值,ReturnExpiredIfNotCleanedUp表示虽然状态过期但是如果状态后端还没有清理那么就返回状态的值.cleanupFullSnapshot()//表示生成保存点或者检查点时会把过期状态剔除这样从保存点或者检查点恢复时过期的状态就会被剔除注意仅仅设置这个标志状态后端并不会把当前过期的状态清除除非从检查点或者保存点中恢复.cleanupInRocksdbCompactFilter(1000)// rockdb状态后端在定时对状态进行压缩的时候会顺带着清理过期状态这个数值代表每访问多少个状态就获取当前时间检查一次状态的过期情况.build();以上就是基于ttl的状态过期设置另外我们也可以自己通过定时器的方式实现显式的状态删除
