代码之家 › 专栏 › 技术社区 › BARATH

为什么卡夫卡连接重量轻?

apache-kafka-connect apache-nifi spark-streaming streaming apache-kafka

BARATH · 技术社区 · 7 年前

我一直在与卡夫卡连接,火花流,nifi与卡夫卡流数据。

我知道与其他技术不同,kafka connect不是一个单独的应用程序,它是kafka的一个工具。

在分布式模式下,所有技术都通过底层任务或线程实现并行性是什么使卡夫卡在与卡夫卡打交道时更有效?为什么称之为“轻量化”?

1 回复 | 直到 7 年前

OneCricketeer Gabriele Mariotti 7 年前

它的效率和轻量级是因为它使用了内置的kafka协议,并且不需要外部系统,如yarn。虽然可以说在Mesos/Kubernetes/Docker中部署Connect更好/更容易,但它不是必需的

connect API也由核心Kafka开发人员维护,而不是那些只想简单集成到另一个工具中的人例如,上次我检查时,NiFi无法访问Kafka消息时间戳与使用合流认证连接器相比,在其他工具中处理avro模式注册表似乎是一个后遗症。

推荐文章

Vaibhav Sharma · 使用Servlet连接KafkaProducer

7 年前

Evaldas Buinauskas · Kafka Connect将JSON字符串转换为实际JSON

7 年前

Nandish Kotadia · 我可以编写自定义kafka connect转换来将JSON转换为AVRO吗?

7 年前

Cody Ferguson · PubSub-Kafka连接节点连接文件结束异常

7 年前

Jaime Caffarel Daniel Koverman · kafka SourceTask类的poll()方法是否线程安全?

7 年前

Warsame · confluent-3.2.0 S3连接器默认分区设置

8 年前

Prajakta Kulkarni · 如何从flink访问/读取卡夫卡主题数据?

8 年前

Renukaradhya · Kafka Connect:在分布式模式下创建新连接器就是创建新组

8 年前

LaserJesus · 为什么Kafka分布式连接器在我创建它的节点被杀死时死亡?

8 年前

Rushabh Shah · 如何在Windows 7上使用Kafka Connect,因为我看不到独立连接或分布式连接。kafka 2.10.0.1中/bin/Windows文件夹下的bat?

8 年前