如何改进将数千个微小的JSON文件加载到Spark数据框中?

我有大约30000个非常小的JSON文件,我正试图从一个安装的S3桶中加载到一个Spark数据框中。据报道 here 和 here 可能存在性能问题,并被描述为 Hadoop Small Files Problem . 与之前报告的不同,我不会递归到目录中(因为我的所有JSON文件都在一个子文件夹中)。加载JSON文件的代码如下所示。

val df = spark
  .read
  .option("multiline", "true")
  .json("/mnt/mybucket/myfolder/*.json")
  .cache

到目前为止,我的工作似乎“停滞不前”。我看到两个阶段。

• 作业0,阶段0:列出叶文件和目录
• 作业1,阶段1:val df=spark.read.option(“多行”,“…”

Job 0, Stage 0 相当快,不到1分钟。 Job 1, Stage 1 但是,要花很长时间才能出现(失去时间跟踪,但在两个时间之间,我们谈的是20多分钟),当它确实出现在Jobs用户界面上时,它似乎被“卡住”(15多分钟后,我仍在等待报告任何进展)。有趣的是, 作业0,阶段0 有200个任务(我看到有7个执行者被使用),以及 工作1,阶段1 只有一个任务(似乎只有一个节点/执行器被使用!)多浪费啊!).

是否有任何方法可以使加载30000个文件的速度更快或更高的性能这一看似简单的步骤?

我想的是简单地将这些文件“合并”为大文件;例如,将1000个JSON文件合并为30个大文件(使用 NDJSON )但是,我对这种方法持怀疑态度,因为合并文件(比如使用python)本身可能需要很长时间(类似于本机Linux) ls 这个目录中的命令需要很长时间才能返回);而且,这种方法可能会破坏端到端集群计算的目的(不是很优雅)。