Flink Job 更换线上逻辑的方案
一、背景目前实时计算的流程是通过把业务表的binlog同步kafka,flink job 根据具体逻辑对数据流进行处理,并sink到统计结果表。那么,在产品调整统计逻辑或者代码有bug需要修改flink job逻辑时,如果修改逻辑需要影响到历史数据时,需要对sink表进行清空,重新把flink jo
一、背景目前实时计算的流程是通过把业务表的binlog同步kafka,flink job 根据具体逻辑对数据流进行处理,并sink到统计结果表。那么,在产品调整统计逻辑或者代码有bug需要修改flink job逻辑时,如果修改逻辑需要影响到历史数据时,需要对sink表进行清空,重新把flink jo
Flink 入门指北名称解释何为 Flink ?Apache Flink 是一个开源流处理框架,用于在无界和有界数据流上进行有状态计算。何为有界无界?有界的数据就像罐装水,水的体积是确定的,而无界的数据就像自来水,水是源源不断的。有界的数据可以用批处理的方式来计算,无界的数据需要用流处理的方式来处理