php网站开发流程,心跳直播视频免费下载,广州网站关键排名,结构优化flinkcdc同步完全量数据就不同步增量数据了
使用flinkcdc同步mysql数据#xff0c;使用的是全量采集模型 startupOptions(StartupOptions.earliest()) 全量阶段同步完成之后#xff0c;发现并不开始同步增量数据#xff0c;原因有以下两个#xff1a;
原因1#xff1a; …flinkcdc同步完全量数据就不同步增量数据了
使用flinkcdc同步mysql数据使用的是全量采集模型 startupOptions(StartupOptions.earliest()) 全量阶段同步完成之后发现并不开始同步增量数据原因有以下两个
原因1
1.mysql中对应的数据库没有开启binlog 在/etc/my.cnf配置文件中在[ mysqld ]添加以下内容
[mysqld]#数据库id
server-id1
##启动Binlog该参数的值会作为binlog的文件名前缀
log-binmysql-bin
##binlog类型maxwell要求为row类型
binlog_formatrow
##启动binlog的数据库需根据实际情况修改配置
binlog-do-dbstudent
binlog-do-dbeasypm
然后重启数据库 执行命令
sudo systemctl restart mysqld原因2
和checkpoint有关 1.没有开启ck 2.ck的时间过长 测试阶段可以把ck的时间设置的非常短 env.enableCheckpointing(1000L, CheckpointingMode.EXACTLY_ONCE);//头和头的之间env.getCheckpointConfig().setMinPauseBetweenCheckpoints(1000L);//头和尾3.ck的路径收到损坏删除对应的ck路径下的内容即可
