代码之家 › 专栏 › 技术社区 › Gary

Kafka中多个连接到不同主题的连接器将转到同一节点

apache-kafka-connect apache-kafka

0

Gary · 技术社区 · 8 年前

我已经在kafka connect中创建了两个kafka连接器,它们使用相同的连接器类,但是有不同的主题。

当我在节点上启动流程时,两个连接器最终都会在此流程上创建任务。但是,我希望一个节点只处理一个连接器/主题。如何将主题/连接器限制为单个节点我在connect-distributed.properties中看不到进程可以指定使用哪个连接器的任何配置。

谢谢

1 回复 | 直到 8 年前

1

0

Robin Moffatt 8 年前

分布式模式下的kafka connect可以作为一个或多个集群运行工人 . 每个工人可以运行多个任务是的。取决于有多少 连接器 和工人你在跑步,你会有任务在同一条路上跑工人是的。这是一个深思熟虑的想法,卡夫卡连接将为你管理你的任务和工作量,跨越现有的工人。

如果要隔离处理,可以在同一台计算机(确保使用不同的REST端口)或不同的计算机上作为单独的连接群集运行Kafka Connect。

有关更多信息,请参见 architecture 和 config 有关配置单独群集的步骤。请注意,集群实际上可以是一个单独的工作机,但是在发生故障时没有任何冗余。