代码之家  ›  专栏  ›  技术社区  ›  ccshih

卡夫卡未知\u生产者\u ID异常

  •  1
  • ccshih  · 技术社区  · 8 年前

    UNKNOWN_PRODUCER_ID

    2018-06-25 10:31:38.329  WARN 1 --- [-1-1_0-producer] o.a.k.clients.producer.internals.Sender  : [Producer clientId=default-groupz-7bd94946-3bc0-4400-8e73-7126b9b9c0d4-StreamThread-1-1_0-producer, transactionalId=default-groupz-1_0] Got error produce response with correlation id 1996 on topic-partition default-groupz-mplat-five-minute-stat-urlCount-counts-store-changelog-0, retrying (2147483646 attempts left). Error: UNKNOWN_PRODUCER_ID
    

    参考官方文件:

    如果代理找不到 例如,如果制作人的记录被删除,可能会发生这种情况 因为它们的保留时间已经过去了。曾经的最后记录 producerId将被删除,生产者的元数据将从 broker和producer的future appends将返回此异常。

    1 回复  |  直到 8 年前
        1
  •  2
  •   Dmitry Minkovsky    7 年前

    你可能正在经历 https://issues.apache.org/jira/browse/KAFKA-7190

    当streams应用程序的通信量很少时,使用者清除可能会删除 即使是生产者发送的最后一条消息(即生产者发送的所有消息) 这个生产者已经被消费和承诺),因此,经纪人 将删除该制作者的ID。下次当该制作者尝试 此错误是可重试的:生产者只需获取一个新的生产者id,然后 重试,然后这次它会成功。

    这一问题也正在进行跟踪 https://cwiki.apache.org/confluence/display/KAFKA/KIP-360%3A+Improve+handling+of+unknown+producer

        2
  •  1
  •   Community Mohan Dere    6 年前

    1. 由于达到保留时间,日志段被删除。
    2. 由于设置控制的不活动,生产者状态可能会过期 默认为7天

    因此,如果您的Kafka是<2.4,您可以通过增加主题日志的保留时间(考虑到您的系统允许)来解决此问题(例如30天),并增加 设置(24天)直到 KIP-360 发布时间:

    事务id过期女士=207360000

    推荐文章