允许在 python、pypar 和 mpich2 中对 shelve 对象进行 pickle

Question

我有一些遗留的 python 代码，使用 pypar 和 mpich2 在多个节点之间传输数据。由于某种原因，数据保存在架子中，并且 pypar 希望对架子进行 pickle 以将其发送到其他节点。不允许酸洗货架。所以我想从搁置转换为可以通过 pypar 发送的东西，在发送到其他节点之前将其腌制。有什么建议吗？我可以将 shelve 转换为 json 并对其进行 pickle 吗？

Answer 1

尝试将架子转换为 dict()，然后对其进行腌制：

sdb = shelve.open('foo.db')
sdb['abc'] = {'a': 1, 'b': 2}
tmp = cPickle.dumps(dict(sdb), 2)
print cPickle.loads(tmp)
{'abc': {'a': 1, 'b': 2}}

更新：（回复评论中的问题）：dict 可以复制来自任何映射对象的键值，因此如果该对象实现了 keys 和 __getitem__ 方法，它将起作用。由于 shelve 是一个映射对象，因此 dict 复制构造函数可以从 shelve 读取键值，然后您可以 pickle 生成的 dict 并将其发送到其他主机。

下面的示例显示了复制对象所需的最小接口 dict：

class Foo(object):

    def __init__(self):
        self.value = 0

    def keys(self):
        return ['a', 'b']

    def __getitem__(self, key):
        v = self.value
        self.value += 1
        return self.value

foo = Foo()
print dict(foo)
print dict(foo)

输出

{'a': 1, 'b': 2}
{'a': 3, 'b': 4}

Update：要将 dict 的内容添加回架子，请使用 update() ：

d = {'a': 1, 'b': 2}
s = shelve.open('foo.db')
s.update(d)
print s
{'a': 1, 'b': 2}

Answer 2

@samplebias 的建议< /a> 将你的 shelve 对象转换为 dict 将会起作用。

但是，（这可能不太可能，但是）考虑到您的数据已经搁置到数据库文件中，可能值得检查让其他节点从搁置文件加载数据是否更快进行 MPI 发送。我假设所有节点都可以访问相同的文件系统，因为您使用 MPI 运行它们。

老实说，我希望 MPI 发送速度更快，尤其是在共享内存系统上运行时，因为许多 MPI 实现将回退到内存副本。然而，一旦将发送的重新酸洗和取消酸洗的开销包括在内，比赛可能会很接近！

我怀疑这将取决于您运行它的节点数量以及您的通信模式。