代码之家 › 专栏 › 技术社区 › Naveen Cotha

Apache Spark上具有错误架构的Readstream正在重试1830次

spark-structured-streaming apache-spark-sql apache-spark

Naveen Cotha · 技术社区 · 7 年前

在Spark结构化流媒体中,当来自S3的传入记录与我使用的模式不匹配时 .schema(..)

1 回复 | 直到 7 年前

Naveen Cotha 7 年前

在我的例子中,s3对象是一个json数组,结果表明spark-s3 json阅读器将数组的每个条目作为spark dataframe中的一条单独记录进行处理。因此,s3对象有1830个项,这就是为什么同一个s3对象迭代1830个项时出现错误的原因。然而,我找不到任何关于这种行为的官方文件。

推荐文章

maximodesousadias · 如何根据条件删除日期后的记录

2 年前

Joe Bloggr · 如何将Dataframe类型的函数参数传递给SparkSQL查询

2 年前

Shankar Panda · 如何从org.apache.spark.sql获取密钥。在scala中键入列并将其放入列表变量中?

2 年前

Aaron Brazier · 连接2个pyspark数据帧并继续运行窗口sum和max

2 年前

user23358051 · 火花顺序优化规则

2 年前

Tristpost · 如何从我自己的Java Stream将CSV数据最好地加载到Apache Spark数据帧中?

2 年前

David Cunningham · Pyspark结构化流媒体-来自以前记录的数据

2 年前

Surender Raja · 对case语句的pyspark查询引发错误

2 年前

ConfusedDeveloper · 取消查看SPARK SQL中的列组

2 年前

nfsp412 · 当我使用spark-sql时,将出现此错误

2 年前