【flink cdc binlong读取失败问题】

Caused by: java.lang.IllegalStateException: The connector is trying to read binlog starting at 
Struct{version=1.9.8.Final,connector=mysql,name=mysql_binlog_source,ts_ms=1727168892425,db=,server_id=0,file=mysql-bin.038040,pos=3109668,row=0},
but this is no longer available on the server. Reconfigure the connector to use a snapshot when needed.

环境:
flink:1.14.2
cdc:2.3.0

在这里插入图片描述
在百度中,大多数出现的原因,都是在说,binlog不存在或数据被迁移,又或者是binlog的清理策略问题,但是我检查了正式binlog过期策略是符合规范的,挂的时间间隔,并不会超过过期时间,并且数据增长的量不大,binlog也不至于不至于超过30%的数据量。
第一次尝试是切断了算子链,把每个写入任务各自归并到task中,结果还行,隔了好久才挂。
第二次尝试是发现github中,有一个类似的报错,并把它归并为bug,在2.4.0版本中修复了,上了一版后,没有发现挂的情况
在这里https://github.com/apache/flink-cdc/issues/2476插入图片描述

Logo

汇聚全球AI编程工具,助力开发者即刻编程。

更多推荐