对于大型词典来说，搁置太慢，我可以采取什么措施来提高性能？

Question

我正在使用 python 存储一个表，并且需要持久性。

本质上，我将表存储为数字的字典字符串。整个存储都是搁置的，

self.DB=shelve.open("%s%sMoleculeLibrary.shelve"%(directory,os.sep),writeback=True) 

我将writeback设置为True，因为我发现如果不这样做，系统往往会不稳定。

计算完成后，系统需要关闭数据库，并将其存储回来。现在数据库（表）大约有 540MB，并且需要很长时间。当表增长到大约 500MB 时，时间激增。但我需要一张更大的桌子。事实上我需要其中两个。

我可能使用了错误的坚持形式。我可以做什么来提高性能？

Answer 1

为了存储一个大型的 string : number 键值对字典，我建议使用 JSON 本机存储解决方案，例如 MongoDB。它有一个很棒的 Python API，Pymongo。 MongoDB 本身是轻量级的并且速度非常快，并且 json 对象本身就是 Python 中的字典。这意味着您可以使用 string 键作为对象 ID，从而实现压缩存储和快速查找。

作为代码多么简单的示例，请参阅以下内容：

d = {'string1' : 1, 'string2' : 2, 'string3' : 3}
from pymongo import Connection
conn = Connection()
db = conn['example-database']
collection = db['example-collection']
for string, num in d.items():
    collection.save({'_id' : string, 'value' : num})
# testing
newD = {}
for obj in collection.find():
    newD[obj['_id']] = obj['value']
print newD
# output is: {u'string2': 2, u'string3': 3, u'string1': 1}

您只需从 unicode 转换回来，这很简单。

Answer 2

根据我的经验，我建议使用 Python 附带的 SQLite3。它适用于更大的数据库和关键数字。数百万个密钥和千兆字节的数据不是问题。到那时，搁置就完全浪费了。此外，拥有单独的数据库进程也没有什么好处，它只是需要更多的上下文交换。在我的测试中，我发现在本地处理较大的数据集时，SQLite3 是首选。运行 mongo、mysql 或 postgresql 等本地数据库引擎不会提供任何附加价值，而且速度也较慢。

Answer 3

我认为您的问题是由于您使用了 writeback=True 所致。 文档说（重点是我的）：

由于 Python 语义，架子无法知道何时可变
持久字典条目被修改。默认修改对象
仅当分配给架子时才写入（参见示例）。如果
可选的 writeback 参数设置为 True，所有访问的条目都是
也缓存在内存中，并在sync()和close()上写回；这
可以更方便地改变持久化中的可变条目
字典，但是，如果访问许多条目，则可能会消耗大量资源
用于缓存的内存量，并且可以进行关闭操作
非常慢，因为所有访问的条目都被写回（没有办法
确定哪些访问的条目是可变的，哪些是可变的
实际上发生了突变）。

您可以避免使用 writeback=True 并确保数据仅写入一次（您必须注意后续修改将会丢失）。

如果您认为这不是正确的存储选项（在不知道数据如何构造的情况下很难说），我建议使用 sqlite3，它集成在 python 中（因此非常便携）并且具有非常好的性能。它比简单的键值存储要复杂一些。

请参阅其他答案以获取替代方案。

Answer 4

大了多少？访问模式是什么？您需要对其进行哪些类型的计算？

请记住，如果无论您如何操作都无法将表保留在内存中，那么您将会遇到一些性能限制。

您可能想考虑使用 SQLAlchemy，或者直接使用 bsddb 之类的东西，但这两种方法都会牺牲代码的简单性。但是，使用 SQL，您可以根据工作负载将部分工作卸载到数据库层。