cPickle - 酸洗同一对象的不同结果

Question

有谁能够解释一下代码片段？

我已经运行了代码，确实评论所说的是真的。不过我想了解为什么这是真的，即为什么 cPickle 根据引用方式为同一对象输出不同的值。

和引用计数有关系吗？如果是这样，这不是某种错误 - 即腌制和反序列化的对象将具有异常高的引用计数，并且实际上永远不会被垃圾收集？

Answer 1

无法保证看似相同的物体会产生相同的泡菜串。

pickle 协议是一个虚拟机，而 pickle 字符串是该虚拟机的程序。对于给定的对象，存在多个pickle字符串（=程序），它们将准确地重建该对象。

举一个例子：

>>> from cPickle import dumps
>>> t = ({1: 1, 2: 4, 3: 6, 4: 8, 5: 10}, 'Hello World', (1, 2, 3, 4, 5), [1, 2, 3, 4, 5])
>>> dumps(({1: 1, 2: 4, 3: 6, 4: 8, 5: 10}, 'Hello World', (1, 2, 3, 4, 5), [1, 2, 3, 4, 5]))
"((dp1\nI1\nI1\nsI2\nI4\nsI3\nI6\nsI4\nI8\nsI5\nI10\nsS'Hello World'\np2\n(I1\nI2\nI3\nI4\nI5\ntp3\n(lp4\nI1\naI2\naI3\naI4\naI5\nat."
>>> dumps(t)
"((dp1\nI1\nI1\nsI2\nI4\nsI3\nI6\nsI4\nI8\nsI5\nI10\nsS'Hello World'\n(I1\nI2\nI3\nI4\nI5\nt(lp2\nI1\naI2\naI3\naI4\naI5\natp3\n."

两个 pickle 字符串在 p 操作码的使用方面有所不同。该操作码采用一个整数参数，其功能如下：

  name='PUT'    code='p'   arg=decimalnl_short

  Store the stack top into the memo.  The stack is not popped.

  The index of the memo location to write into is given by the newline-
  terminated decimal string following.  BINPUT and LONG_BINPUT are
  space-optimized versions.

长话短说，两个 pickle 字符串基本上是等价的。

我还没有试图确定生成的操作码差异的确切原因。这很可能与被序列化的对象的引用计数有关。然而，很明显的是，这样的差异不会对重建的物体产生影响。

Answer 2

它正在查看来自 cPickle 源的引用计数：

if (Py_REFCNT(args) > 1) {
    if (!( py_ob_id = PyLong_FromVoidPtr(args)))
        goto finally;

    if (PyDict_GetItem(self->memo, py_ob_id)) {
        if (get(self, py_ob_id) < 0)
            goto finally;

        res = 0;
        goto finally;
    }
}

pickle 协议必须处理对同一对象的多个引用的pickle。为了防止在 depickle 时重复对象，它使用了备忘录。备忘录基本上将索引映射到各种对象。 pickle 中的 PUT (p) 操作码将当前对象存储在此备忘录字典中。

然而，如果一个对象只有一个引用，则没有理由将其存储在备忘录中，因为不可能需要再次引用它，因为它只有一个引用。因此，cPickle 代码此时会检查引用计数以进行一些优化。

所以是的，它是引用计数。但这不是问题。 unpickled 的对象将具有正确的引用计数，当引用计数为 1 时，它只会产生稍短的 pickle。

现在，我不知道你在做什么，你关心这个。但你真的不应该假设对同一个对象进行酸洗总是会得到相同的结果。如果不出意外的话，我希望字典会给你带来问题，因为键的顺序是未定义的。除非你有 python 文档保证每次 pickle 都是相同的，否则我强烈建议你不要依赖它。