当前位置：文江博客话题详情

Python 中 pickle 的常见用例

发布于 2024-09-13 15:43:35 字数 150 浏览 7 评论 0原文

我查看了 pickle 文档，但我不明白 pickle 在哪里很有用。

pickle 的一些常见用例有哪些？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

匿名。 2024-09-20 15:43:35

我遇到的一些用途：

1）将程序的状态数据保存到磁盘，以便它可以在重新启动时从中断处继续（持久性）

2）在多核或分布式系统中通过 TCP 连接发送 python 数据（编组）

3）将Python对象存储在数据库中

4）将任意Python对象转换为字符串，以便它可以用作字典键（例如用于缓存和记忆）。

最后一个存在一些问题 - 两个相同的对象可以被 pickle 并导致不同的字符串 - 或者甚至同一对象被 pickle 两次可以有不同的表示。这是因为 pickle 可以包含引用计数信息。

为了强调 @lunaryorn 的评论 - 你永远不应该从不受信任的来源中解封字符串，因为精心制作的 pickle 可以在你的系统上执行任意代码。例如，请参阅 https://blog.nelhage.com/2011/03/exploiting-pickle /

回复收藏 0 原文

￡噩梦荏苒 2024-09-20 15:43:35

最小往返示例..

>>> import pickle
>>> a = Anon()
>>> a.foo = 'bar'
>>> pickled = pickle.dumps(a)
>>> unpickled = pickle.loads(pickled)
>>> unpickled.foo
'bar'

编辑：但是至于酸洗的现实示例问题，也许酸洗的最高级用法（您必须深入挖掘进入源代码）是 ZODB：
http://svn.zope.org/

另外，PyPI 提到了几个：
http://pypi.python.org/pypi?:action =search&term=pickle&submit=search

我个人见过几个通过网络发送 pickle 对象作为易于使用的网络传输协议的示例。

Minimal roundtrip example..

>>> import pickle
>>> a = Anon()
>>> a.foo = 'bar'
>>> pickled = pickle.dumps(a)
>>> unpickled = pickle.loads(pickled)
>>> unpickled.foo
'bar'

Edit: but as for the question of real-world examples of pickling, perhaps the most advanced use of pickling (you'd have to dig quite deep into the source) is ZODB:
http://svn.zope.org/

Otherwise, PyPI mentions several:
http://pypi.python.org/pypi?:action=search&term=pickle&submit=search

I have personally seen several examples of pickled objects being sent over the network as an easy to use network transfer protocol.

回复收藏 0 原文

风向决定发型 2024-09-20 15:43:35

Pickle 就像数据结构和类的“另存为..”和“打开..”。假设我想保存我的数据结构，以便它在程序运行之间保持不变。

保存：

with open("save.p", "wb") as f:    
    pickle.dump(myStuff, f)

加载：

try:
    with open("save.p", "rb") as f:
        myStuff = pickle.load(f)
except:
    myStuff = defaultdict(dict)

现在我不必再次从头开始构建 myStuff，而且我可以从上次中断的地方继续。

Pickle is like "Save As.." and "Open.." for your data structures and classes. Let's say I want to save my data structures so that it is persistent between program runs.

Saving:

with open("save.p", "wb") as f:    
    pickle.dump(myStuff, f)

Loading:

try:
    with open("save.p", "rb") as f:
        myStuff = pickle.load(f)
except:
    myStuff = defaultdict(dict)

Now I don't have to build myStuff from scratch all over again, and I can just pick(le) up from where I left off.

回复收藏 0 原文

撩起发的微风 2024-09-20 15:43:35

我在我的一个项目中使用过它。如果应用程序在工作期间终止（它执行了一项冗长的任务并处理了大量数据），我需要保存整个数据结构并在应用程序再次运行后重新加载它。我为此使用了 cPickle，因为速度至关重要，而且数据量非常大。

回复收藏 0 原文

一身仙ぐ女味 2024-09-20 15:43:35

Pickling对于分布式并行计算来说是绝对必要的。

假设您想使用 multiprocessing 进行并行映射缩减（或者使用 pyina)，那么您需要确保您想要跨并行资源映射的函数将被pickle。如果它没有 pickle，则无法将其发送到其他进程、计算机等上的其他资源。另请参阅这里是一个很好的例子。

为此，我使用 dill，它几乎可以序列化 python 中的任何内容。 Dill 还提供一些不错的工具来帮助您了解造成问题的原因当您的代码失败时，您的酸洗也会失败。

是的，人们使用选择来保存计算的状态，或者您的 ipython 会话，或者其他什么。

回复收藏 0 原文

原野 2024-09-20 15:43:35

对于初学者（就像我的情况一样），在阅读官方文档。这可能是因为文档暗示您已经知道序列化的全部目的。只有在阅读了序列化的一般描述之后，我才理解了这个模块的原因及其常见用途案例。此外，不考虑特定编程语言的序列化的广泛解释可能会有所帮助：
https://stackoverflow.com/a/14482962/4383472，什么是序列化？,
https://stackoverflow.com/a/3984483/4383472