代码之家 › 专栏 › 技术社区 › Richard Deurwaarder

ApacheFlink端到端测试如何终止输入源

data-stream end-to-end flink-streaming apache-flink integration-testing

Richard Deurwaarder · 技术社区 · 6 年前

我在批处理中使用了ApacheFlink已有一段时间了,但现在我们要将这个批处理作业转换为流式作业。我遇到的问题是如何运行端到端测试。

它是如何在批量作业中工作的

在使用批处理时,我们使用黄瓜创建了端到端测试。

流作业中的问题

我们希望对流式处理作业执行类似的操作,但流式处理作业并未真正完成。

所以:

我们可以在每次测试后等待5秒钟,并假设所有内容都已处理完毕,但这会大大降低速度。

问题:

在流式Flink作业上运行端到端测试而不强制在X秒后终止Flink作业的一些方法或最佳实践是什么?

1 回复 | 直到 6 年前

David Anderson 6 年前

大多数Flink数据流源如果从有限的输入中读取数据,则会在到达末尾时注入一个值为long.max_值的水印,之后作业将终止。

这个 Flink training exercises 演示一种对Flink作业进行端到端测试的方法。我建议克隆 github repo 看看测试是如何设置的。他们使用 custom source and sink 并重定向输入和输出进行测试。

这个主题在 documentation .

推荐文章

Ellen Spertus · 使用Scala访问HBase的推荐方法

7 年前

skrshn · JAVA尝试在Flink中创建Kafka使用者时出现lang.NoClassDefFoundError(CheckpointedRestoring)

7 年前

Daniel · 目录中的Apache Flink流文件

7 年前

Christos Hadjinikolis · Flink:执行管道java时出错。util。同时发生的TimeoutException:期货在[10000毫秒]后超时

7 年前

Mustafa · Apache Flink:自定义InputFormat仅以1的并行度运行

7 年前

Soheil Pourbafrani · Apache Flink-org的类文件。阿帕奇。弗林克。流式处理。api。斯卡拉。找不到数据流

7 年前

Jicaar · 一个卡夫卡制作人可以被多个接收器安全使用吗?

7 年前

Christos Hadjinikolis · Flink JobExecutionException:akka。客户超时

7 年前

Christos Hadjinikolis · Flink IOException:网络缓冲区数量不足

7 年前

Brutal_JL · flink ReduceFunction的默认触发器是什么?

7 年前