flink在批处理模式下会即时减少吗

窗口函数可以是ReduceFunction、FoldFunction或 窗口函数。前两个可以更有效地执行(参见 状态大小部分),因为Flink可以增量聚合 每个窗口到达时的元素。

这是否适用于批处理模式?在下面的示例中,我从cassandra读取了约36go的数据,但我预计减少的输出会小得多(~0.5go)。运行这个作业需要flink将整个输入存储在内存中,还是只需迭代它就足够了

DataSet<MyRecord> input = ...;
DataSet<MyRecord> sampled = input
        .groupBy(MyRecord::getSampleKey)
        .reduce(MyRecord::keepLast);