代码之家 › 专栏 › 技术社区 › user3692015

流处理如何处理历史聚合?

spark-streaming apache-flink apache-spark

user3692015 · 技术社区 · 3 年前

我有一个查询来汇总所有用户的历史成本,比如

select uid, sum(payments) from tb

表格 tb 包括2年的数据-假设如果你现在运行它,查询将计算2年的时间,而如果你在1年后运行它,它将涉及3年的数据。。。

有可能把这个历史总结得简明扼要吗?标准方法是什么?

此外如果查询太复杂而无法重写,是否可以在没有任何“中间”结果的情况下对此查询应用流处理?

感谢您提前提供的帮助。

0 回复 | 直到 3 年前

Martijn Visser 2 年前

从Flink的角度来看,这个查询没有错。在流模式下,它将无限期运行,并且只创建一个变更日志流作为输出。您可以在 Continuous Queries Flink的动态表部分。

推荐文章

xiang qi · 结构化流媒体程序无法连续运行。运行几分钟后,打印[INFO]StateStore:57

2 年前

user3692015 · 流处理如何处理历史聚合?

3 年前

data_pikachu · 班级组织。阿帕奇。hadoop。财政司司长。s3a。啊。尝试从Spark在S3存储桶上写入数据时,未找到IAMInstanceCredentialsProvider

4 年前

sharon gur · Kafka spark同步流处理作业

8 年前

vijay · Spark streaming作业日志大小溢出

8 年前

Pawan · Spark Streaming中setJars()方法的输入应该是什么

8 年前

Frank · Spark Streaming kafka偏移量管理

8 年前

a.moussa · 线程“main”java中出现异常。lang.NoClassDefFoundError:org/apache/spark/streaming/StreamingContext

8 年前

Francesco · 在Spark Streaming中将StreamingContext与接收器分离

8 年前

maxness · Spark将Kafka输入流另存为Json文件

8 年前