代码之家  ›  专栏  ›  技术社区  ›  Warsame

confluent-3.2.0 S3连接器默认分区设置

  •  0
  • Warsame  · 技术社区  · 9 年前

    当前显示:(Amazon S3>bucket name>topics>test>partition=0)

    谢谢你的帮助, 瓦尔萨马

    1 回复  |  直到 7 年前
        1
  •  0
  •   Randall Hauch    9 年前

    如中所述 documentation ,连接器有一个可插入的分区器和一个内置的 TimeBasedPartitioner 它可以根据摄取时间对数据进行分区。各种 partitioner configuration parameters DailyPartitioner 基于时间的分区器 这会产生一个路径结构,如 /year=2017/month=12/day=07

    如果这些都不起作用,您总是可以选择实现自定义 Partitioner 基于时间的分区器 类(或其任何子类),如果这更容易的话。