通过公共IP将Logstash连接到Azure中的Kafka

我无法将Logstash连接到在Azure中运行的Kafka实例。我的卡夫卡主机有一个静态公共IP地址。如果我在同一个子网中插入一个日志存储机器并将两者连接起来,一切都会正常工作。但是,当我试图通过公共IP地址向kafka实例发送数据时,我收到了错误。例如,尝试将我的Logstash实例从主页连接到Azure云环境。

以下是相关的配置文件和我尝试过的内容:

日志存储输出:

  kafka {
    bootstrap_servers => "my public ip:9092"
    codec => json
    topic_id => "tagger"
  }

在继续之前,netcat验证了我确实可以到达卡夫卡上的端口,其间没有防火墙阻止连接。

这是我的卡夫卡 服务器属性 根据其他答案中的类似问题,使用我尝试过的设置归档。

#--------------------------------------------------------#
#Logstash says: Sending batch to Kafka failed. Will retry after a delay. {:batch_size=>1, :failures=>1, :sleep=>0.01}
#advertised.listeners=PLAINTEXT://10.10.100.4:9092
#listeners=PLAINTEXT://10.10.100.4:9092
#--------------------------------------------------------#
#Logstash says: Sending batch to Kafka failed. Will retry after a delay. {:batch_size=>1, :failures=>1, :sleep=>0.01}
#advertised.listeners=PLAINTEXT://10.10.100.4:9092
#listeners=PLAINTEXT://0.0.0.0:9092
#--------------------------------------------------------#
#Logstash says: Error while fetching metadata with correlation id 1 : {tagger=LEADER_NOT_AVAILABLE}
#advertised.listeners=PLAINTEXT://publicip:9092
#listeners=PLAINTEXT://0.0.0.0:9092
#--------------------------------------------------------#
#Logstash says: Error while fetching metadata with correlation id 1 : {tagger=LEADER_NOT_AVAILABLE}
#advertised.listeners=PLAINTEXT://publicip:9092,SEC://10.10.100.4:9093
#listeners=PLAINTEXT://0.0.0.0:9092,SEC://10.10.100.4:9093
#--------------------------------------------------------#
#Logstash says: Error while fetching metadata with correlation id 1 : {tagger=LEADER_NOT_AVAILABLE}
advertised.listeners=PLAINTEXT://publicip:9092
advertised.hostname=dnsname.com

最后,以下是我在Azure环境中的同一个子网中运行Logstash和Kafka时使用的配置:

listeners=PLAINTEXT://10.10.100.4:9092,SSL://10.10.100.4:9093
advertised.listeners=PLAINTEXT://10.10.100.4:9092,SSL://10.10.100.4:9093

这快把我逼疯了,谢谢你在我继续寻找的时候提供的帮助