熊猫df.to\拼花地板写入多个较小的文件

我最后使用了Dask:

import dask.dataframe as da

ddf = da.from_pandas(df, chunksize=5000000)
save_dir = '/path/to/save/'
ddf.to_parquet(save_dir)

这将保存到内部的多个拼花文件中 save_dir ,其中每个子数据帧的行数是 chunksize . 根据您的数据类型和列数,您可以对此进行调整,使文件达到所需的大小。

另一种选择是使用 partition_cols 中的选项 pyarrow.parquet.write_to_dataset() :

import pyarrow.parquet as pq
import numpy as np

# df is your dataframe
n_partition = 100
df["partition_idx"] = np.random.choice(range(n_partition), size=df.shape[0])
table = pq.Table.from_pandas(df, preserve_index=False)
pq.write_to_dataset(table, root_path="{path to dir}/", partition_cols=["partition_idx"])