有哪些可用的 Python 模块可用于保存和加载数据？

Question

StackOverflow 上有许多关于用于保存和加载数据的 Python 模块的零散帖子。

我本人熟悉 json 和 pickle 我也听说过 pytables 。可能还有更多。此外，每个模块似乎都适合特定的用途，并且有其自身的限制（例如，如果能够正常工作，则使用 pickle 加载大型列表或字典需要很长时间）。因此，最好对可能性有一个适当的概述。

那么您能否帮助提供用于保存和加载数据的模块的完整列表，并描述每个模块：

• 该模块的一般用途是什么、
• 它的限制、
• 为什么您会选择这个模块而不是其他模块？

Answer 1

元帅：

• 优点：

  • 可以读取和写入二进制格式的 Python 值。因此它比 pickle （基于字符的）快得多。

• 缺点：

  • 并非所有 Python 对象类型都受支持。一些不受支持的类型（例如内置函数的子类）似乎可以正确编组和解组
  • 并非旨在防止错误或恶意构建的数据。
  • Python 维护者保留在需要时以向后不兼容的方式修改编组格式的权利

---

shelve

• 优点：

  • 架子中的值本质上可以是任意 Python 对象

• 缺点：

  • 不支持对搁置对象的并发读/写访问

---

ZODB (由@Duncan建议）

• 专业：

  • 透明持久
  • 全面的交易支持
  • 可插拔存储
  • 可扩展架构

  优点

• 缺点

  • 不是标准库的一部分。
  • 无法（轻松）重新加载数据，除非用于持久化的原始Python对象模型可用（考虑版本困难和数据可移植性）

Answer 2

有一个标准 lib 数据持久性模块的概述。