os.walk() 缓存/加速

Question

我有一个原型服务器 [0]，它为客户端 [0] 进行的每个查询执行 os.walk()[1]。

我目前正在研究以下方法：

• 将这些数据缓存在内存中，
• 加快查询速度，并
• 希望以后能够扩展到存储元数据和数据持久性。

我发现 SQL 对于树结构来说很复杂，所以我想我会在实际使用 SQLite 之前获取一些建议

是否有任何跨平台、可嵌入或可捆绑的非 SQL 数据库能够处理此类数据？

• 我有一个小的（10k-100k 文件）列表。
• 我的连接数量极少（可能 10-20 个）。
• 我也希望能够扩展以处理元数据。

[0] 服务器和客户端实际上是同一个软件，这是一个 P2P 应用程序，旨在通过本地可信网络共享文件，无需主服务器，使用 zeroconf 进行发现，并且对于几乎所有其他内容来说都是扭曲的

[1] 目前，在 10,000 个文件上使用 os.walk() 查询时间为 1.2 秒

以下是我的 Python 代码中执行步行操作的相关函数：

def populate(self, string):
    for name, sharedir in self.sharedirs.items():
        for root, dirs, files, in os.walk(sharedir):
            for dir in dirs:
                if fnmatch.fnmatch(dir, string):
                    yield os.path.join(name, *os.path.join(root, dir)[len(sharedir):].split("/"))
            for file in files:
                if fnmatch.fnmatch(file, string): 
                    yield os.path.join(name, *os.path.join(root, ile)[len(sharedir):].split("/"))

Answer 1

您不需要保留树结构 - 事实上，您的代码正在忙于将目录树的自然树结构分解为线性序列，所以为什么要从树重新启动下次？

看起来您需要的只是一个有序序列：

i   X    result of os.path.join for X

其中 X，一个字符串，命名文件或目录（您将它们视为相同），i 是一个逐渐递增的整数（以保留顺序），结果列，也是一个字符串，是 os.path.join(name, *os.path.join(root, &c) 的结果。

当然，这非常容易放入 SQL 表中要

第一次创建表，只需从填充函数中删除守卫 if fnmatch.fnmatch （和 string 参数），在操作系统之前产生目录或文件.path.join 结果，并使用 cursor.executemany 保存调用的 enumerate （或者，使用自增列，您可以选择使用）。 table，populate 本质上变成了 a:

select result from thetable where X LIKE '%foo%' order by i

其中 string 是 foo。

Answer 2

我一开始误解了这个问题，但我想我现在有了一个解决方案（并且与我的其他答案完全不同，需要一个新的答案）。基本上，您第一次在目录上运行 walk 时执行正常查询，但存储生成的值。第二次，您只需生成那些存储的值。我包装了 os.walk() 调用，因为它很短，但您可以轻松地将生成器包装为一个整体。

cache = {}
def os_walk_cache( dir ):
   if dir in cache:
      for x in cache[ dir ]:
         yield x
   else:
      cache[ dir ]    = []
      for x in os.walk( dir ):
         cache[ dir ].append( x )
         yield x
   raise StopIteration()

我不确定您的内存要求，但您可能需要考虑定期清理缓存。

Answer 3

你看过 MongoDB 吗？ mod_python 怎么样？ mod_python 应该允许您执行 os.walk() 并将数据存储在 Python 数据结构中，因为脚本在连接之间是持久的。