copy.deepcopy 与 pickle

Question

我有一个小部件的树结构，例如集合包含模型，模型包含小部件。我想复制整个集合，与“pickle 和 de-pickle”对象相比，copy.deepcopy 更快，但用 C 编写的 cPickle 更快，所以

1. 为什么我不应该(我们）总是使用 cPickle 而不是 deepcopy？
2. 还有其他复制替代方案吗？因为pickle比deepcopy慢，但cPickle更快，所以deepcopy的C实现可能会是胜利者

示例测试代码：

import copy
import pickle
import cPickle

class A(object): pass

d = {}
for i in range(1000):
    d[i] = A()

def copy1():
    return copy.deepcopy(d)

def copy2():
    return pickle.loads(pickle.dumps(d, -1))

def copy3():
    return cPickle.loads(cPickle.dumps(d, -1))

时间：

>python -m timeit -s "import c" "c.copy1()"
10 loops, best of 3: 46.3 msec per loop

>python -m timeit -s "import c" "c.copy2()"
10 loops, best of 3: 93.3 msec per loop

>python -m timeit -s "import c" "c.copy3()"
100 loops, best of 3: 17.1 msec per loop

Answer 1

问题是，pickle+unpickle 可以更快（在 C 实现中），因为它比 deepcopy 不太通用：许多对象可以深度复制，但不能 pickle。例如，假设您的类 A 更改为...：

class A(object):
  class B(object): pass
  def __init__(self): self.b = self.B()

现在，copy1 仍然可以正常工作（A 的复杂性减慢了速度，但绝对不会阻止它）； copy2 和 copy3 中断，堆栈跟踪的末尾显示...：

  File "./c.py", line 20, in copy3
    return cPickle.loads(cPickle.dumps(d, -1))
PicklingError: Can't pickle <class 'c.B'>: attribute lookup c.B failed

即，pickling 始终假设类和函数是其模块中的顶级实体，因此“按名称”腌制它们——深度复制绝对不会做出这样的假设。

因此，如果您遇到“某种深度复制”的速度绝对至关重要的情况，那么每一毫秒都很重要，并且您想利用您知道适用于您正在复制的对象的特殊限制，例如那些进行酸洗的对象适用的，或者喜欢其他形式的序列化和其他快捷方式的人，无论如何都可以继续 - 但如果你这样做，你必须意识到你正在限制你的系统永远受到这些限制，并非常清楚地记录设计决策和明确是为了未来维护者的利益。

对于正常情况，如果您想要通用性，请使用 deepcopy！-)

Answer 2

您应该使用深度复制，因为它使您的代码更具可读性。使用序列化机制复制内存中的对象至少会让阅读您代码的其他开发人员感到困惑。使用深度复制还意味着您可以获得深度复制未来优化的好处。

优化的第一条规则：不要。

Answer 3

cPickle 并不总是比 deepcopy() 更快。虽然 cPickle 可能总是比 pickle 快，但它是否比 deepcopy 快取决于

• 要复制的结构的大小和嵌套级别、
• 所包含对象的类型以及
• pickle 字符串表示形式的大小。

如果某些东西可以被pickle，那么它显然可以被深度复制，但相反的情况并非如此：为了pickle某些东西，它需要完全序列化；深度复制则不是这种情况。特别是，您可以通过复制内存中的结构（考虑扩展类型）来非常有效地实现 __deepcopy__ ，而无需将所有内容保存到磁盘。 （想想挂起到 RAM 与挂起到磁盘。）

满足上述条件的一个众所周知的扩展类型可能是 ndarray，事实上，它可以作为您的示例的一个很好的反例。观察：使用d = numpy.arange(100000000)，您的代码会给出不同的运行时：

In [1]: import copy, pickle, cPickle, numpy

In [2]: d = numpy.arange(100000000)

In [3]: %timeit pickle.loads(pickle.dumps(d, -1))
1 loops, best of 3: 2.95 s per loop

In [4]: %timeit cPickle.loads(cPickle.dumps(d, -1))
1 loops, best of 3: 2.37 s per loop

In [5]: %timeit copy.deepcopy(d)
1 loops, best of 3: 459 ms per loop

如果__deepcopy__未实现，则copy和pickle 共享通用基础设施（参见 copy_reg 模块，在 pickle 和 deepcopy 之间的关系)。

Answer 4

更快的方法是从一开始就避免复制。你提到你正在做渲染。为什么需要复制对象？

Answer 5

简短且有点晚：

• 如果您无论如何都必须 cPickle 一个对象，您不妨使用 cPickle 方法来深度复制（但记录），

例如您可能会考虑：

def mydeepcopy(obj):
    try:
       return cPickle.loads(cPickle.dumps(obj, -1))
    except PicklingError:
       return deepcopy(obj)