当前位置：文江博客话题详情

控制架子使用的内存

发布于 2024-12-05 21:43:19 字数 192 浏览 0 评论 0原文

我在Python中使用shelve来处理内存中装不下的巨大字典，并实现持久化。

在运行我的代码时，需要频繁检索和插入到字典中的随机位置，我注意到搁置仅使用了 4GB 可用内存的大约 3%。这导致我的代码运行速度变慢，因为需要从磁盘进行更多的读/写操作。

有什么方法可以让搁架使用更多的可用内存（比如~50%），从而使内存中的命中次数更高？

原文

分享到QQ

分享到微博

如果你对这篇内容有疑问，欢迎到本站社区发帖提问参与讨论，获取更多帮助，或者扫码二维码加入 Web 技术交流群。

发布评论

需要登录才能够评论，你可以免费注册一个本站的账号。

汹涌人海 2024-12-12 21:43:19

考虑与 Python 集成良好的 ZODB 或其他键值存储。任何可以搁置/腌制的对象都可以进入 ZODB。搁置模块似乎并不是为这种性能或一致性而设计的。

http://www.ibm.com/developerworks/aix/library/au- zodb/

您还可以使用 SQL 解决方案，使用 pickle 模块将该对象序列化为文本或反序列化为文本。它是 Shelve 和 ZODB 的核心。如果您确实喜欢冒险，可以尝试内存 SQLite 数据库。 SQLite 捆绑在 Python 中。

回复收藏 0 原文

厌倦 2024-12-12 21:43:19

我也强烈推荐 ZODB。您可以将搁置数据库移植到 ZODB 数据库，如下所示：

#!/usr/bin/env python
import shelve
import ZODB, ZODB.FileStorage
import transaction
from optparse import OptionParser
import os
import sys
import re

reload(sys)
sys.setdefaultencoding("utf-8")

parser = OptionParser()

parser.add_option("-o", "--output", dest = "out_file", default = False, help ="original shelve database filename")
parser.add_option("-i", "--input", dest = "in_file", default = False, help ="new zodb database filename")

parser.set_defaults()
options, args = parser.parse_args()

if options.in_file == False or options.out_file == False :
    print "Need input and output database filenames"
    exit(1)

db = shelve.open(options.in_file, writeback=True)
zstorage = ZODB.FileStorage.FileStorage(options.out_file)
zdb = ZODB.DB(zstorage)
zconnection = zdb.open()
newdb = zconnection.root()

for key, value in db.iteritems() :
    print "Copying key: " + str(key)
    newdb[key] = value

transaction.commit()

I also highly recommend ZODB. You can port your shelve database to a ZODB database like this:

#!/usr/bin/env python
import shelve
import ZODB, ZODB.FileStorage
import transaction
from optparse import OptionParser
import os
import sys
import re

reload(sys)
sys.setdefaultencoding("utf-8")

parser = OptionParser()

parser.add_option("-o", "--output", dest = "out_file", default = False, help ="original shelve database filename")
parser.add_option("-i", "--input", dest = "in_file", default = False, help ="new zodb database filename")

parser.set_defaults()
options, args = parser.parse_args()

if options.in_file == False or options.out_file == False :
    print "Need input and output database filenames"
    exit(1)

db = shelve.open(options.in_file, writeback=True)
zstorage = ZODB.FileStorage.FileStorage(options.out_file)
zdb = ZODB.DB(zstorage)
zconnection = zdb.open()
newdb = zconnection.root()

for key, value in db.iteritems() :
    print "Copying key: " + str(key)
    newdb[key] = value

transaction.commit()

回复收藏 0 原文

~没有更多了~