代码之家 › 专栏 › 技术社区 › Ged

foreachRDD何时返回N个RDD?

spark-streaming

Ged · 技术社区 · 8 年前

根据36421619,对Spark Streaming中的foreachRDD进行了一些讨论。尽管如此,读这篇散文时我还是觉得答案不够清楚。这就是。。。

我注意到,最常见的用例似乎是持久化到外部存储。这似乎是大多数输出操作的指南。我不知怎么错过了什么。

1 回复 | 直到 8 年前

Ged 8 年前

仅限窗口操作,否则1个微批次=1个RDD。

推荐文章

xiang qi · 结构化流媒体程序无法连续运行。运行几分钟后,打印[INFO]StateStore:57

2 年前

user3692015 · 流处理如何处理历史聚合?

3 年前

data_pikachu · 班级组织。阿帕奇。hadoop。财政司司长。s3a。啊。尝试从Spark在S3存储桶上写入数据时,未找到IAMInstanceCredentialsProvider

4 年前

sharon gur · Kafka spark同步流处理作业

8 年前

vijay · Spark streaming作业日志大小溢出

8 年前

Pawan · Spark Streaming中setJars()方法的输入应该是什么

8 年前

Frank · Spark Streaming kafka偏移量管理

8 年前

a.moussa · 线程“main”java中出现异常。lang.NoClassDefFoundError:org/apache/spark/streaming/StreamingContext

8 年前

Francesco · 在Spark Streaming中将StreamingContext与接收器分离

8 年前

maxness · Spark将Kafka输入流另存为Json文件

8 年前