代码之家 › 专栏 › 技术社区 › user3692015

流处理如何处理历史聚合?

spark-streaming apache-flink apache-spark

0

user3692015 · 技术社区 · 3 年前

我有一个查询来汇总所有用户的历史成本,比如

select uid, sum(payments) from tb

表格 tb 包括2年的数据-假设如果你现在运行它,查询将计算2年的时间,而如果你在1年后运行它,它将涉及3年的数据。。。

有可能把这个历史总结得简明扼要吗?标准方法是什么?

此外如果查询太复杂而无法重写,是否可以在没有任何“中间”结果的情况下对此查询应用流处理?

感谢您提前提供的帮助。

0 回复 | 直到 3 年前

1

0

Martijn Visser 3 年前

从Flink的角度来看,这个查询没有错。在流模式下,它将无限期运行,并且只创建一个变更日志流作为输出。您可以在 Continuous Queries Flink的动态表部分。