代码之家  ›  专栏  ›  技术社区  ›  Olahzzz

如何在linux中将kafka用户日志写入文件

  •  0
  • Olahzzz  · 技术社区  · 5 年前

    但当我执行“echo‘test’|>>text.txt”时,会生成一个文件。

    请帮忙。

    ./kafka-console-consumer.sh --bootstrap-server server1.server.com:9092, server2.server.com:9092, server3.server.com:9092 --topic MY-SAMPLE-TOPIC >> my_log_file.txt
    
    1 回复  |  直到 5 年前
        1
  •  0
  •   OneCricketeer Gabriele Mariotti    5 年前

    你应该用卡夫卡连接。。。控制台使用者在不给使用者组的情况下不会跟踪偏移量

    bin/connect-standalone config/connect-standalone.properties config/file-sink.properties 
    
        2
  •  0
  •   OneCricketeer Gabriele Mariotti    5 年前

    默认情况下,kafka-console-consumer.sh从最新偏移量读取数据。因此,您必须在kafka控制台使用者工作期间继续发送数据。如果您想从头开始阅读,可以使用此命令(它将处理多达100条消息,因为 --max-messages 参数):

    ./kafka-console-consumer.sh --bootstrap-server server1.server.com:9092, server2.server.com:9092, server3.server.com:9092 --from-beginning --max-messages 100 --topic MY-SAMPLE-TOPIC >> my_log_file.txt
    

    --offset x --partition y 从特定偏移量使用的参数。