Python Pickle在Windows上失败,但在Mac上工作

我有课 MyClass 定义于 my_module . 类名 他有办法 pickle_myself 这会对相关类的实例进行pickle处理:

def pickle_myself(self, pkl_file_path):
    with open(pkl_file_path, 'w+') as f:
        pkl.dump(self, f, protocol=2)

我已经确定了 my_模块 在 PYTHONPATH .在翻译中,执行 __import__('my_module') 很好:

>>> __import__('my_module')
<module 'my_module' from 'A:\my_stuff\my_module.pyc'>

然而,当最终加载文件时,我得到:

File "A:\Anaconda\lib\pickle.py", line 1128, in find_class
  __import__(module)
ImportError: No module named my_module

我已经确定了一些事情:

• 我还没有改变 my_module.py ( Python pickling after changing a module's directory )

• 我试着用 dill 相反,但仍然会得到相同的错误( More on python ImportError No module named )

编辑——再现错误的玩具示例:

这个例子本身就是一堆文件。

首先,我们有一个模块 ball (存储在名为 ball.py ):

class Ball():
    def __init__(self, ball_radius):
        self.ball_radius = ball_radius

    def say_hello(self):
        print "Hi, I'm a ball with radius {}!".format(self.ball_radius)

然后,我们有了模块 test_environment :

import os
import ball
#import dill as pkl
import pickle as pkl

class Environment():
    def __init__(self, store_dir, num_balls, default_ball_radius):
        self.store_dir = store_dir
        self.balls_in_environment = [ball.Ball(default_ball_radius) for x in range(num_balls)]

    def persist(self):
        pkl_file_path = os.path.join(self.store_dir, "test_stored_env.pkl")

        with open(pkl_file_path, 'w+') as f:
            pkl.dump(self, f, protocol=2)

然后,我们有一个模块,它具有创建环境、持久化环境和加载环境的功能,名为 make_persist_load :

import os
import test_environment
#import pickle as pkl
import dill as pkl


def make_env_and_persist():
    cwd = os.getcwd()

    my_env = test_environment.Environment(cwd, 5, 5)

    my_env.persist()

def load_env(store_path):
    stored_env = None

    with open(store_path, 'rb') as pkl_f:
        stored_env = pkl.load(pkl_f)

    return stored_env

然后我们有一个脚本来把所有的东西放在一起 test_serialization.py :

import os
import make_persist_load

MAKE_AND_PERSIST = True
LOAD = (not MAKE_AND_PERSIST)

cwd = os.getcwd()
store_path = os.path.join(cwd, "test_stored_env.pkl")

if MAKE_AND_PERSIST == True:
    make_persist_load.make_env_and_persist()

if LOAD == True:
    loaded_env = make_persist_load.load_env(store_path)

为了便于使用这个玩具示例, I have put it all up on in a Github repository that simply needs to be cloned into your directory of choice. .请看 README 包含说明,我也在这里复制:

说明:

1) 将存储库克隆到目录中。

2) 将存储库目录添加到PYTHONPATH。

3) 打开 测试_序列化。py ,并设置变量 MAKE_AND_PERSIST 到 True .在解释器中运行脚本。

4) 关闭上一个解释器实例,然后启动一个新实例。在里面 测试_序列化。py 改变 让你和你坚持下去 到 False ,这将以编程方式设置 LOAD 到 符合事实的 .在解释器中运行脚本,导致 ImportError: No module named test_environment .

5) 默认情况下,测试设置为使用dill,而不是pickle。为了改变这一点,进入 test_environment.py 和 make_persist_load.py ,以根据需要更改导入。

编辑:切换到dill'0.2.5后。dev0', dill.detect.trace(True) 输出

C2: test_environment.Environment
# C2
D2: <dict object at 0x000000000A9BDAE8>
C2: ball.Ball
# C2
D2: <dict object at 0x000000000AA25048>
# D2
D2: <dict object at 0x000000000AA25268>
# D2
D2: <dict object at 0x000000000A9BD598>
# D2
D2: <dict object at 0x000000000A9BD9D8>
# D2
D2: <dict object at 0x000000000A9B0BF8>
# D2
# D2

编辑: 这个玩具示例在Mac/Ubuntu上运行时效果非常好(例如,类似Unix的系统?)。它只在Windows上失败。