代码之家 › 专栏 › 技术社区 › BARATH

为什么卡夫卡连接重量轻?

apache-kafka-connect apache-nifi spark-streaming streaming apache-kafka

BARATH · 技术社区 · 6 年前

我一直在与卡夫卡连接,火花流,nifi与卡夫卡流数据。

我知道与其他技术不同,kafka connect不是一个单独的应用程序,它是kafka的一个工具。

在分布式模式下,所有技术都通过底层任务或线程实现并行性是什么使卡夫卡在与卡夫卡打交道时更有效?为什么称之为“轻量化”?

1 回复 | 直到 6 年前

OneCricketeer Gabriele Mariotti 6 年前

它的效率和轻量级是因为它使用了内置的kafka协议,并且不需要外部系统,如yarn。虽然可以说在Mesos/Kubernetes/Docker中部署Connect更好/更容易,但它不是必需的

connect API也由核心Kafka开发人员维护,而不是那些只想简单集成到另一个工具中的人例如,上次我检查时,NiFi无法访问Kafka消息时间戳与使用合流认证连接器相比,在其他工具中处理avro模式注册表似乎是一个后遗症。

推荐文章

Gorgeo · Netty framework-多端口侦听

7 年前

user1305398 · 流式Rest Api—以数据块的形式从restful Api以流的形式向客户端发送数据

7 年前

Yitian Zhang · 打开Heron UI非常慢

7 年前

user9404403 · 如何在writeStream中访问ArrayType中的元素?

7 年前

Mohammed Zubair Khan · 如何创建一个随着数据负载增加而自我复制的微服务?

7 年前

Urs Meili · WCF NetTcp绑定-将传输模式从缓冲更改为流

7 年前

Mahsa Hassankashi · 如何通过sys读取Python中的两个不同文件。标准DIN

7 年前

searain · 在流数据仍在缓冲区中时复制bigquery表

7 年前

Pliny · FFMPEG交互式模式帮助选项

7 年前

JeyPay · PiCamera流媒体

7 年前