简单程序:
import tensorflow
import time
time.sleep(5)
python进程占用1.5GB的虚拟内存(commit charge,或process Hacker 2中的“专用字节”)。如果我注释掉“import tensorflow”行,内存使用量将下降到9MB。tensorflow的实际工作集只有115MB,但虚拟内存的使用仍然令人担忧。
我正在使用ProcessPoolExecutor生成十几个或更多的工作进程,在16核CPU上并行训练许多小模型,因此python的内存使用量真的增加了。
有没有办法限制导入tensorflow对RAM的影响?
是否有一种不同的方案,可以使用多个CPU核并行训练多个模型,从而提高效率?
有没有机会使用像IronPython和tensorflow这样的自由线程python实现,让线程利用多个内核,并避免处理开销?
