汇合kafka connect hdfs sink连接器延迟

是kafka connect每次都以如此快的速度编写数据,还是它已经将数据存储在hdfs中,并根据连接器属性将其移动到主题目录?

两者都有它是一个Kafka用户,在内存中进行缓冲,并在HDFS上写入预写日志这个 +tmp 文件夹保存临时文件,这些文件被“压缩”到更大的hdfs文件中,并与kafka consumer offset commit一起移动到最终位置。

计算此操作的延迟

您可以使用在代理和连接实例上启用了监视侦听器的控制中心。

否则,可以在cli中描述consumer组,以便连接器看到consumer延迟。

如果我停止并删除/topics和/temp中的topic目录并重新触发同一个topic,它将再次从Kafka中提取数据

高达某个版本的hdfs connect, I believe it resumed from offsets stored in HDFS . 为了在任何其他卡夫卡使用者中从头重新启动,必须删除或重置使用者组。

如果删除了topic目录,那么hdfs中没有连接引用的其他位置,因此没有备份。