多处理-线程池内存泄漏?

我正在观察我无法向自己解释的记忆用法。下面我提供了一个实际代码的精简版本,它仍然显示了这种行为。本规范旨在实现以下目的:

以1000行为一块读取文本文件。每行都是一个句子。把这1000句话分成4个生成器。将这些生成器传递到线程池,并在250个句子上并行运行特征提取。 在我的实际代码中,我从整个文件的所有句子中积累特性和标签。 现在出现了一个奇怪的问题:内存被分配,但即使不累积这些值,也不会再次释放!我想这和线程池有关。总占用的内存量取决于为任何给定的单词提取多少特性。我在这里用 range(100) . 看看:

from sys import argv
from itertools import chain, islice
from multiprocessing import Pool
from math import ceil


# dummyfied feature extraction function
# the lengt of the range determines howmuch mamory is used up in total,
# eventhough the objects are never stored
def features_from_sentence(sentence):
    return [{'some feature'  'some value'} for i in range(100)], ['some label' for i in range(100)]


# split iterable into generator of generators of length `size`
def chunks(iterable, size=10):
    iterator = iter(iterable)
    for first in iterator:
        yield chain([first], islice(iterator, size - 1))


def features_from_sentence_meta(l):
    return list(map (features_from_sentence, l))


def make_X_and_Y_sets(sentences, i):
    print(f'start: {i}')
    pool = Pool()
    # split sentences into a generator of 4 generators
    sentence_chunks = chunks(sentences, ceil(50000/4))
    # results is a list containing the lists of pairs of X and Y of all chunks
    results = map(lambda x : x[0], pool.map(features_from_sentence_meta, sentence_chunks))
    X, Y = zip(*results)
    print(f'end: {i}')
    return X, Y


# reads file in chunks of `lines_per_chunk` lines
def line_chunks(textfile, lines_per_chunk=1000):
    chunk = []
    i = 0
    with open(textfile, 'r') as textfile:
        for line in textfile:
            if not line.split(): continue
            i+=1
            chunk.append(line.strip())
            if i == lines_per_chunk:
                yield chunk
                i = 0
                chunk = []
        yield chunk

textfile = argv[1]

for i, line_chunk in enumerate(line_chunks(textfile)):
    # stop processing file after 10 chunks to demonstrate
    # that memory stays occupied (check your system monitor)
    if i == 10:
        while True:
            pass
    X_chunk, Y_chunk = make_X_and_Y_sets(line_chunk, i)

我用来调试的文件有50000行非空行,这就是为什么我在一个地方使用硬编码50000的原因。如果您想使用同一个文件,为了您的方便,他是一个链接:

https://www.dropbox.com/s/v7nxb7vrrjim349/de_wiki_50000_lines?dl=0

现在,当您运行这个脚本并打开系统监视器时,您将观察到内存已用完,并且使用情况一直持续到第10个块,在那里我人为地进入一个无止境的循环,以证明内存仍在使用中,即使我从未存储任何东西。

你能解释一下为什么会这样吗?我似乎对多处理池的使用方式有所遗漏。