代码之家 › 专栏 › 技术社区 › Ajay V

python多处理内存溢出

multiprocessing parallel-processing python

Ajay V · 技术社区 · 8 年前

简言之,我有一个(1000 x 500000)矩阵,我需要逐行排序,理想情况下..并行处理应该可以工作,但是python中的多处理模块似乎在每次生成进程时都复制整个矩阵,从而导致RAM溢出。如何解决这个问题。。?

def sort_parallel(n):
    y[n].sort(key=lambda y:-y[1])

if __name__ == '__main__':
    pool = Pool(processes=2)  
    pool.apply(sort_parallel,range(0,len(y)))
    pool.close()    
    pool.join()

1 回复 | 直到 8 年前

Kevin He 8 年前

我相信在这种情况下,python多处理模块将通过复制函数中的所有变量来捕获函数的闭包。

有几种方法可以解决这个问题,但是您需要将每一行(或行的索引)传递给每个线程,以避免复制整个数组。同时,您需要建立一种机制,以便在完成对每个线程的排序后存储/修改整个数组。您可以使用文件,也可以引用 this question 对于多处理中的共享对象。

推荐文章

davidalayachew · 为什么我的文件有竞争条件,即使我使用了StandardOpenOption。同步?

1 年前

Anshuman Sinha · 使用OCR将多个img文件多重处理为文本

2 年前

Rishab · 在并行Java中运行函数

2 年前

Ahmed El-Gabbas · 在函数内运行时,仅将特定对象导出到处理节点

2 年前

Deep · 当您并行化代码时,如何保存两个独立的CSV?

2 年前

Setu · MPI代码的哪些部分是复制的,哪些是共享的?

2 年前

Alexander Obidiegwu · 多处理代码在while循环中不起作用

2 年前

heyula · 如何在mpi中定义本地数组?

2 年前

Rebel · 如何以最有效的方式加速和并行化以下matlab代码?

3 年前

Kaushik Ghosh · 最佳方法在PySpark中遍历数据帧的行

3 年前