在Jupyter Windows上使用池并行读取多个文件需要花费很长时间:

我想读取22个文件(存储在硬盘上),每个文件大约有300000行存储在一个单独的文件中 pandas 数据帧。我的代码可以在15-25分钟内完成。我最初的想法是:我应该使用更多的CPU来加快速度。( 如果我在这里是错的,请纠正我,如果所有CPU都不能同时从同一硬盘读取数据,但是,在这种情况下,我们可以假定以后数据可能出现在不同的硬盘上,因此这个练习仍然有用 )

我发现很少有像这样的帖子 this 和 this 并尝试了下面的代码。

import os
import pandas as pd
from multiprocessing import Pool

def read_psv(filename):
    'reads one row of a file (pipe delimited) to a pandas dataframe'
    return pd.read_csv(filename,
                       delimiter='|',
                       skiprows=1, #need this as first row is junk
                       nrows=1, #Just one row for faster testing                    
                       encoding = "ISO-8859-1", #need this as well                       
                       low_memory=False
                      )



files = os.listdir('.') #getting all files, will use glob later
df1 = pd.concat((read_psv(f) for f in files[0:6]), ignore_index=True, axis=0, sort=False) #takes less than 1 second

pool = Pool(processes=3)
df_list = pool.map(read_psv, files[0:6]) #takes forever
#df2 =  pd.concat(df_list, ignore_index=True) #cant reach this 

这需要花费很长时间(超过30-60分钟,但在我结束这个过程时没有完成)。我也经历过 similar question like mine 但是没有用。

编辑: 我在窗户上用jupyter。