代码之家  ›  专栏  ›  技术社区  ›  user121

为什么在Python中,赋值操作仍然为大型数组提供MemoryError?

  •  0
  • user121  · 技术社区  · 8 年前

    我有一个大阵列 K (29000 x 29000):

    K= numpy.random.random((29000, 29000))
    

    我想在K上应用以下操作:

    output = K* (1.5 - 0.5 * K* K)
    

    尝试阻止' MemoryError “,我正在按照这篇文章的答案进行计算 thread .

    然而,当我尝试对大型数组执行如下赋值操作时,仍然会得到 内存错误 :

    K *= 1.5 - 0.5 * K * K
    

    欢迎任何帮助。

    注意:这不是一篇重复的文章。对此有一个建议 post 使用cython。但我正在寻找可能不依赖Cython的替代解决方案。

    1 回复  |  直到 8 年前
        1
  •  5
  •   user6655984 user6655984    8 年前

    您可以在块中进行赋值,例如1000行。这样创建的额外阵列将是阵列大小的1/29,并且让for循环运行29次应该不会有太大的速度问题。典型的内存/速度权衡。

    block = 1000          # the size of row blocks to use 
    K = np.random.random((29000, 29000))
    for i in range(int(np.ceil(K.shape[0] / block))):
        K[i*block:(i+1)*block, :] *= 1.5 - 0.5 * K[i*block:(i+1)*block, :]**2
    

    由于人们对较小矩阵的性能存在一些担忧,下面对这些矩阵进行测试:

    block = 1000
    K = np.arange(9).astype(np.float).reshape((3, 3))
    print(1.5 * K - 0.5 * K**3)
    for i in range(int(np.ceil(K.shape[0] / block))):
        K[i*block:(i+1)*block_size, :] *= 1.5 - 0.5 * K[i*block:(i+1)*block_size, :]**2
    print(K)
    

    这张照片

    [[   0.    1.   -1.]
     [  -9.  -26.  -55.]
     [ -99. -161. -244.]]
    

    两次