代码之家 › 专栏 › 技术社区 › Kernel

重新加载同一文件时,内存使用率会增加

scipy numpy python-3.x python

Kernel · 技术社区 · 8 年前

每次加载npy文件时,内存使用量都会增加。下面的小示例说明了这个问题。

import numpy as np
X = np.random.randn(10000,10000)
np.save('tmp.npy',X)

y=np.load('tmp.npy')

我发现了与npz文件完全相似的问题 here 你知道吗?

1 回复 | 直到 8 年前

John Zwinck 8 年前

前提是有缺陷的:加载文件时内存使用量确实会暂时增加,第二次甚至第三次可能会再次增加,但最终垃圾收集器将运行并释放内存。

如果不想等待不确定的时间来回收内存,可以在需要回收内存时显式强制垃圾收集器运行:

import gc
gc.collect()

如果不再需要数据,也可以在加载数组后显式删除该数组:

del y

但是,如果您不做这两件事,只是一遍又一遍地加载相同的数据,内存使用量就不会永远增长——在某个时候,垃圾收集器会运行,内存使用量就会减少。这是自动发生的,你通常不需要担心。

推荐文章

Redshoe · 当执行numpy.genfromtxt()时,python是否会读取文件的所有行?

1 年前

unfolx · numpy数组不等式的执行时间

1 年前

mchaudh4 · 用numpy表示三对角矩阵

1 年前

Geremia · 2D NumPy数组+1D数组?

1 年前

LMC · Numpy数组布尔索引以获取包含元素

1 年前

HJA24 · 根据条件用值正向填充Numpy矩阵/掩码

1 年前

alpelito7 · 如何只获取numpy数组中每个递增值的第一次出现?

1 年前

Amarth Gûl · 找到一组向量的最近收敛点

1 年前

Mr. W · numpy.divide是函数、类还是其他什么?

1 年前

Mr. W · 为什么numpy.array在编辑内部数据时如此缓慢?

1 年前