Python 搁置 OutOfMemory 错误

Question

我有一些数据存储在我想要处理的数据库中。数据库访问速度非常慢，因此我决定在进行任何处理之前将所有数据加载到字典中。然而，由于存储的数据量巨大，我收到内存不足错误（我看到使用了超过 2 GB）。所以我决定使用磁盘数据结构，并发现使用 shelve 是一种选择。这就是我所做的（伪 python 代码）

def loadData():
    if (#dict exists on disk):
        d = shelve.open(name)
        return d
    else:
        d = shelve.open(name, writeback=True)
        #access DB and write data to dict
        # d[key] = value 
        # or for mutable values
        # oldValue = d[key]
        # newValue = f(oldValue)
        # d[key] = newValue 
        d.close()
        d = shelve.open(name, writeback=True)
        return d

我有几个问题，

1）我真的需要 writeBack=True 吗？它有什么作用？

2）我仍然遇到 OutofMemory 异常，因为我没有对数据写入磁盘的时间进行任何控制。我该怎么做？我尝试每隔几次迭代执行一次sync()，但这也没有帮助。

谢谢！

Answer 1

writeback=True 强制架子将曾经获取的任何项目保留在内存中，并在架子关闭时将它们写回。因此，它会消耗更多内存，并减慢关闭速度。

该参数的优点是，使用它，您不需要需要在注释中为可变项（其变异器是一个方法）显示的扭曲代码 - 就可以

shelf['foobar'].append(23)

工作（如果 shelf< /code> 是在启用回写的情况下打开的），假设键 'foobar' 处的项目当然是一个列表，而如果 < code>shelf 在没有写回的情况下打开 - 在后一种情况下，您实际上确实需要

thelist = shelf['foobar']
thelist.append(23)
shekf['foobar'] = thelist

按照评论的精神进行编码 - 这在风格上有点令人失望。

然而，由于您有内存问题，我绝对建议不要使用这个可疑的写回选项。我想我可以称其为“可疑”，因为我是提出并第一个实施它的人，但那是很多年前的事了，而且我大多后悔这样做了——它比它更容易造成混乱（正如你的 Q 所证明的那样）允许优雅和方便地移动最初编写的与字典一起使用的代码（这将使用第一个习惯用法，而不是第二个习惯用法，因此需要重写以便可以在没有回溯的情况下与架子一起使用）。啊，好吧，抱歉，这在当时看来确实是个好主意。

Answer 2

使用 sqlite3 模块可能是您的最佳选择。无论如何，您可能可以完全在内存中使用 sqlite，因为它的内存占用可能比使用 python 对象要小一些。无论如何，这通常是比使用 shelve 更好的选择； shelve 在下面使用 pickle，这很少是您想要的。

天哪，您可以将整个现有数据库转换为 sqlite 数据库。 sqlite 又好又快。