是否有可能以编程方式构造Python堆栈帧并在代码中的任意点开始执行?

普通python发行版中包含的expat-python绑定正在以编程方式构建堆栈框架。但请注意,它依赖于未记录的私有API。

http://svn.python.org/view/python/trunk/Modules/pyexpat.c?rev=64048&view=auto

你通常想要的是延续,我认为这已经是这个问题的一个标签。

如果你有能力处理系统中的所有代码,你可能想试试 这样做,而不是处理解释器堆栈内部。我不确定这会多么容易坚持下去。

http://www.ps.uni-sb.de/~duchier/python/continuations.html

在实践中,我会构建您的工作流引擎,以便您的脚本将动作对象提交给管理器。经理可以在任何时候对这一系列行动进行梳理,并允许 加载它们并再次开始执行(通过恢复提交操作)。

换句话说:创建自己的应用程序级堆栈。

如果你不介意完全转向另一个python发行版,那么无堆栈python可能是最好的。 stackless 可以序列化 一切 dill ,可以序列化 几乎 python中的任何东西。

>>> import dill
>>> 
>>> def foo(a):
...   def bar(x):
...     return a*x
...   return bar
... 
>>> class baz(object):
...   def __call__(self, a,x):
...     return foo(a)(x)
... 
>>> b = baz()
>>> b(3,2)
6
>>> c = baz.__call__
>>> c(b,3,2)
6
>>> g = dill.loads(dill.dumps(globals()))
>>> g
{'dill': <module 'dill' from '/Library/Frameworks/Python.framework/Versions/7.2/lib/python2.7/site-packages/dill-0.2a.dev-py2.7.egg/dill/__init__.pyc'>, 'c': <unbound method baz.__call__>, 'b': <__main__.baz object at 0x4d61970>, 'g': {...}, '__builtins__': <module '__builtin__' (built-in)>, 'baz': <class '__main__.baz'>, '_version': '2', '__package__': None, '__name__': '__main__', 'foo': <function foo at 0x4d39d30>, '__doc__': None}

迪尔把它的类型登记到 pickle 注册表,所以如果你有一些使用 泡菜 而且你无法真正编辑它,那么只需导入dill就可以神奇地使其工作,而无需与第三方代码进行猴痘匹配。

这是 dill 为整个口译员会议做好准备。..

>>> # continuing from above
>>> dill.dump_session('foobar.pkl')
>>>
>>> ^D
dude@sakurai>$ python
Python 2.7.5 (default, Sep 30 2013, 20:15:49) 
[GCC 4.2.1 (Apple Inc. build 5566)] on darwin
Type "help", "copyright", "credits" or "license" for more information.
>>> import dill
>>> dill.load_session('foobar.pkl')
>>> c(b,3,2)
6

莳萝 也有 some good tools 用于帮助您了解代码失败时导致酸洗失败的原因。

您还问它在哪里用于保存解释器状态?

IPython 可以使用 莳萝 将解释器会话保存到文件中。 https://nbtest.herokuapp.com/github/ipython/ipython/blob/master/examples/parallel/Using%20Dill.ipynb

klepto 用途 莳萝 支持内存、磁盘或数据库缓存,以避免重新计算。 https://github.com/uqfoundation/klepto/blob/master/tests/test_cache_info.py

mystic 用途 莳萝 通过保存正在进行的优化器的状态来保存大型优化作业的检查点。 https://github.com/uqfoundation/mystic/blob/master/tests/test_solver_state.py

还有其他几个包使用 莳萝 保存对象或会话的状态。

您可以通过抛出异常并在回溯中后退一帧来获取现有的堆栈帧。问题是没有提供在代码块的中间(frame.f_tlasti)恢复执行的方法。

可恢复异常是一个非常有趣的语言概念,尽管很难想出一种合理的方式,让它们与Python现有的try/finally和块进行交互。

目前,正常的做法是简单地使用线程在控制器的单独上下文中运行工作流。(或者协程/greenlets,如果你不介意的话)。

使用标准CPython时,由于堆栈中C和Python数据的混合,这很复杂。重建调用堆栈需要同时重建C堆栈。这真的把它放在了一个太硬的篮子里,因为它可能会将实现与特定版本的CPython紧密结合。

无堆栈Python允许对小任务进行酸洗,这提供了开箱即用所需的大部分功能。

我也有同样的问题要解决。我想知道最初的海报决定做什么。

stackless声称,只要没有相关的“阻塞”C堆栈(阻塞是我的措辞选择),它就可以阻塞小任务。

我可能会使用eventlet并找出一些清理“状态”的方法,但我真的不想写一个显式的状态机。。

使用怎么样 joblib ?

我不太确定这是你想要的,但它似乎符合有一个可以持久化哪些阶段的工作流程的想法。Joblib的用例似乎是为了避免重新计算,我不确定这是你在这里想要做的还是更复杂的事情?