Pyspark:如何将spark数据帧转换为json并保存为json文件?

为 pyspark 您可以直接将您的数据帧存储到json文件中,不需要将datafram转换为json。

df_final.coalesce(1).write.format('json').save('/path/file_name.json')

仍然需要将datafram转换为json,然后才能使用 df_final.toJSON() .

collect 然后用 json.dump :

import json
collected_df = df_final.collect()
with open(data_output_file + 'createjson.json', 'w') as outfile:
    json.dump(data, outfile)

如果您想使用spark将结果作为json文件处理,我认为您的输出模式在hdfs中是正确的。

我假设您遇到了这样一个问题,即使用以下命令无法顺利地从普通python脚本中读取数据:

with open('data.json') as f:
  data = json.load(f)

您应该尝试逐行读取数据:

data = []
with open("data.json",'r') as datafile:
  for line in datafile:
    data.append(json.loads(line))

你可以用 pandas

df = pd.DataFrame(data)