Python中的并行性

一般来说,您描述的是CPU限制的计算。这不是Python的强项。历史上,两者都不是多重处理。

主流Python解释器中的线程被可怕的全局锁控制。新的 multiprocessing API解决了这个问题,并提供了一个带有管道和队列等的工作池抽象。

您可以使用 C Cython ,并使用Python作为胶水。

新的(2.6) multiprocessing 吉尔 问题。它还抽象掉了一些本地/远程问题,因此稍后可以选择在本地运行代码还是分散在集群上运行代码。我在上面链接的文档是一个很好的咀嚼,但应该提供一个良好的基础开始。

Ray

并行化Python函数的最基本策略是用 @ray.remote 装饰工。然后可以异步调用它。

import ray
import time

# Start the Ray processes (e.g., a scheduler and shared-memory object store).
ray.init(num_cpus=8)

@ray.remote
def f():
    time.sleep(1)

# This should take one second assuming you have at least 4 cores.
ray.get([f.remote() for _ in range(4)])

您还可以使用 actors 装饰工。

# This assumes you already ran 'import ray' and 'ray.init()'.

import time

@ray.remote
class Counter(object):
    def __init__(self):
        self.x = 0

    def inc(self):
        self.x += 1

    def get_counter(self):
        return self.x

# Create two actors which will operate in parallel.
counter1 = Counter.remote()
counter2 = Counter.remote()

@ray.remote
def update_counters(counter1, counter2):
    for _ in range(1000):
        time.sleep(0.25)
        counter1.inc.remote()
        counter2.inc.remote()

# Start three tasks that update the counters in the background also in parallel.
update_counters.remote(counter1, counter2)
update_counters.remote(counter1, counter2)
update_counters.remote(counter1, counter2)

# Check the counter values.
for _ in range(5):
    counter1_val = ray.get(counter1.get_counter.remote())
    counter2_val = ray.get(counter2.get_counter.remote())
    print("Counter1: {}, Counter2: {}".format(counter1_val, counter2_val))
    time.sleep(1)

它有许多优点 multiprocessing

• 同样的代码运行在单个多核机器和大型集群上。
• 在同一台机器上的进程之间使用 shared memory and efficient serialization .
• Python classes (using actors) .
• 错误消息传播得很好。

Ray 是我一直在帮助开发的一个框架。

类似的结果可以通过 parallel python 另外,它还设计用于集群。

根据需要处理多少数据以及要使用多少CPU/机器,在某些情况下,最好用C编写一部分数据(如果要使用jython/IronPython,则用Java/C)

从中获得的加速可能比在8个cpu上并行运行更有助于提高性能。