代码之家 › 专栏 › 技术社区 › Eghbal

使用延迟(DASK)读取大型CSV文件

dask-delayed dask csv pandas python

Eghbal · 技术社区 · 7 年前

我在用 delayed 要读取许多大型CSV文件:

import pandas as pd

def function_1(x1, x2):         
    df_d1 = pd.read_csv(x1)
    # Some calculations on df_d1 using x2.
    return df_d1

def function_2(x3):         
    df_d2 = pd.read_csv(x3)
    return df_d2

def function_3(df_d1, df_d2):         
    # some calculations and merging data-sets (output is "merged_ds").
    return merged_ds

function_1 :导入数据集1并进行一些计算。
function_2 :导入数据集2。
function_3 :合并数据集和一些计算。

接下来,我使用循环调用这些函数 延迟 作用我有很多CSV文件,每个文件都超过500MB。这是使用DASK执行任务的合适程序吗( 延迟 )?

1 回复 | 直到 7 年前

mdurant 7 年前

是的,请继续并延迟您的功能,并将其提交给Dask。记忆最沉重的可能是 function_3 你可能想考虑一下你能在内存中保存多少个——使用分布式调度器来控制你拥有多少个工人和线程以及它们各自的内存限制。 https://distributed.readthedocs.io/en/latest/local-cluster.html

最后,你我肯定不想回来最终合并的数据帧肯定不适合内存:您可能想在它们上面进行聚合或写入其他文件。

推荐文章

Bo Qiang · 使用dask对非常大的数据进行排序?

8 年前

Minsky · 对于具有Dask阵列和/或h5py的环路

8 年前

rth · Dask中具有可重用自定义图的机会缓存

8 年前

morganics · 删除Dask中的空分区

8 年前

Pablo · 使用dask。纸袋从\u序列计算核密度估计

8 年前

Magnus Berg Sletfjerding · Dask的imread返回MemoryError-在导入时更改块大小

8 年前

thebeancounter · python dask数据帧将元组列拆分为两列

8 年前

thebeancounter · python dask数据帧-连接groupby。将输出应用于单个数据帧

8 年前

Julian C · dask按聚合正确使用

8 年前

vva · 如何使用Dask在yarn上运行并行python作业?

8 年前