有没有一种方法可以降低scipy/numpy精度以减少内存消耗?

在Scipy的fft函数中似乎没有任何函数可以执行此操作(请参见 http://www.astro.rug.nl/efidad/scipy.fftpack.basic.html )

除非您能够为python找到定点fft库,否则您想要的函数不太可能存在,因为您的本地硬件浮点格式是128位。看起来您可以使用rfft方法只获取fft的实值组件(无阶段),这样可以节省一半的RAM。

我在交互式python中运行了以下内容:

>>> from numpy import *
>>>  v = array(10000*random.random([512,512,512]),dtype=int16)
>>> shape(v)
(512, 512, 512)
>>> type(v[0,0,0])
<type 'numpy.int16'>

此时,python的rss(常驻集大小)为265MB。

f = fft.fft(v)

在这一点上,python 2.3gb的rss。

>>> type(f)
<type 'numpy.ndarray'>
>>> type(f[0,0,0]) 
<type 'numpy.complex128'>
>>> v = []

在这一点上,RSS下降到2.0GB,因为我已经释放了V。

使用“fft.rfft(v)”计算实际值只会得到1.3GB RSS。(几乎是预期的一半)

做:

>>> f = complex64(fft.fft(v))

这是两个世界中最糟糕的,因为它首先计算了complex128版本(2.3gb),然后将其复制到complex64版本(1.3gb),这意味着我的机器上的峰值RSS为3.6GB,然后又稳定到1.3gb。

我认为,如果你有4GB内存,这一切都会正常工作(就像它对我一样)。怎么了?

scipy 0.8对几乎所有的fft代码都有单一的精度支持(代码已经在主干中,所以如果现在需要这个特性,可以从svn安装scipy)。