有没有一种简单的方法来pickle python 函数（或以其他方式序列化其代码）？

Question

我正在尝试通过网络连接传输函数（使用 asyncore）。 有没有一种简单的方法来序列化 python 函数（至少在这种情况下不会有副作用）以进行这样的传输？

我理想地希望有一对类似于这些的函数：

def transmit(func):
    obj = pickle.dumps(func)
    [send obj across the network]

def receive():
    [receive obj from the network]
    func = pickle.loads(s)
    func()

Answer 1

cloud 包（pip install cloud）可以pickle任意代码，包括依赖项。 请参阅https://stackoverflow.com/a/16891169/1264797。

Answer 2

code_string = '''
def foo(x):
    return x * 2
def bar(x):
    return x ** 2
'''

obj = pickle.dumps(code_string)

现在

exec(pickle.loads(obj))

foo(1)
> 2
bar(3)
> 9

Answer 3

Cloudpickle 可能就是您正在寻找的。
Cloudpickle描述如下：

cloudpickle 对于使用 Python 的集群计算特别有用
代码可能通过网络传送以在远程主机上执行
接近数据。

使用示例：

def add_one(n):
  return n + 1

pickled_function = cloudpickle.dumps(add_one)
pickle.loads(pickled_function)(42)

Answer 4

您可以这样做：

def fn_generator():
    def fn(x, y):
        return x + y
    return fn

现在，transmit(fn_generator()) 将发送 fn(x,y) 的实际定义，而不是对模块名称的引用。

您可以使用相同的技巧通过网络发送课程。

Answer 5

该模块使用的基本功能涵盖了您的查询，此外您还可以通过网络获得最佳压缩； 请参阅指导源代码：

y_serial.py 模块 :: 用 SQLite 仓库 Python 对象

“序列化 + 持久化 :: 用几行代码，将 Python 对象压缩并注释到 SQLite 中；然后按时间顺序检索它们，无需任何 SQL。大多数数据库存储无模式数据的有用“标准”模块。”

http://yserial.sourceforge.net

Answer 6

这是一个帮助器类，您可以使用它来包装函数以使它们可挑选。 已经提到的关于 marshal 的注意事项将适用，但我们会尽可能使用 pickle。 不努力在序列化过程中保留全局变量或闭包。

    class PicklableFunction:
        def __init__(self, fun):
            self._fun = fun

        def __call__(self, *args, **kwargs):
            return self._fun(*args, **kwargs)

        def __getstate__(self):
            try:
                return pickle.dumps(self._fun)
            except Exception:
                return marshal.dumps((self._fun.__code__, self._fun.__name__))

        def __setstate__(self, state):
            try:
                self._fun = pickle.loads(state)
            except Exception:
                code, name = marshal.loads(state)
                self._fun = types.FunctionType(code, {}, name)

Answer 7

您可以序列化函数字节码，然后在调用者上重建它。 marshal 模块可用于序列化代码对象，然后将其重新组装为一个函数。 即：

import marshal
def foo(x): return x*x
code_string = marshal.dumps(foo.__code__)

然后在远程进程中（传输 code_string 之后）：

import marshal, types

code = marshal.loads(code_string)
func = types.FunctionType(code, globals(), "some_func_name")

func(10)  # gives 100

一些注意事项：

• marshal 的格式（与此相关的任何 python 字节码）在主要 python 版本之间可能不兼容。

• 仅适用于 cpython 实现。

• 如果函数引用您需要获取的全局变量（包括导入的模块、其他函数等），您也需要序列化它们，或者在远程端重新创建它们。 我的示例只是为其提供了远程进程的全局命名空间。

• 您可能需要做更多的事情来支持更复杂的情况，例如闭包或生成器函数。

Answer 8

查看 Dill，它扩展了 Python 的 pickle 库以支持更多类型，包括函数

>>> import dill as pickle
>>> def f(x): return x + 1
...
>>> g = pickle.dumps(f)
>>> f(1)
2
>>> pickle.loads(g)(1)
2

：还支持对函数闭包中的对象的引用：

>>> def plusTwo(x): return f(f(x))
...
>>> pickle.loads(pickle.dumps(plusTwo))(1)
3

Answer 9

最简单的方法可能是 inspect.getsource(object) （请参阅 inspect module)，它返回一个带有函数或方法源代码的字符串。

Answer 10

Pyro 能够为您执行此操作。

Answer 11

这完全取决于您是否在运行时生成该函数：

如果您这样做 - inspect.getsource(object) 将不适用于动态生成的函数，因为它从 .py 获取对象的源 文件，因此只有在执行之前定义的函数才能作为源进行检索。

如果你的函数无论如何都放在文件中，为什么不让接收者访问它们并只传递模块和函数名称。

我能想到的动态创建函数的唯一解决方案是在传输之前将函数构造为字符串，传输源，然后在接收方使用 eval() 它。

编辑：marshal 解决方案看起来也很聪明，不知道你可以序列化其他内置的东西

Answer 12

在现代 Python 中，您可以 pickle 函数和许多变体。 考虑到这一点，

import pickle, time
def foobar(a,b):
    print("%r %r"%(a,b))

您可以pickle它，

p = pickle.dumps(foobar)
q = pickle.loads(p)
q(2,3)

您也可以pickle闭包，

import functools
foobar_closed = functools.partial(foobar,'locked')
p = pickle.dumps(foobar_closed)
q = pickle.loads(p)
q(2)

即使闭包使用局部变量，

def closer():
    z = time.time()
    return functools.partial(foobar,z)
p = pickle.dumps(closer())
q = pickle.loads(p)
q(2)

但如果您使用内部函数关闭它，它将失败

def builder():
    z = 'internal'
    def mypartial(b):
        return foobar(z,b)
    return mypartial
p = pickle.dumps(builder())
q = pickle.loads(p)
q(2)

并出现错误

pickle.PicklingError：无法 pickle：未找到 __ main __.mypartial

使用 Python 2.7 和 3.6 进行测试