python中稀疏矩阵的并行计算

这件衣服很适合你 multiprocessing.Pool .

创建numpy数组,然后尽可能创建一个2元组迭代器 i 和 j 价值观例如 itertools.combinations .

In [1]: import itertools

In [7]: list(itertools.combinations(range(4), 2))                                                        
Out[7]: [(0, 1), (0, 2), (0, 3), (1, 2), (1, 3), (2, 3)]

(应该使用向量的长度作为参数 range 当然可以。)

编写以下函数:

def worker(pair):
    i, j = pair
    rv = False
    if f(X[i],X[j]) < T:
       rv = True
    return (i, j, rv)

Pool ,然后跑 imap_unordered :

p = multiprocessing.Pool()
for i, j, result in p.imap_unordered(worker, itertools.combinations(range(len(X)), 2)):
    if result:
        print('Good pair:', i, j)
        # do something with the results...

这将运行与CPU内核数量相同的工作线程。

所以显然SciPy已经足够好了。

full_dist_mat = spatial.distance.squareform( spatial.distance.pdist(vects2, metric='cosine'))

它已经得到了优化。在jupyter实验室用Macbook pro运行2000 vectors需要1.3秒。