递归地使 Django 缓存中的路径失效

Question

我正在从 Django 缓存中删除单个路径，如下所示：

from models                   import Graph
from django.http              import HttpRequest
from django.utils.cache       import get_cache_key
from django.db.models.signals import post_save
from django.core.cache        import cache

def expire_page(path):
    request      = HttpRequest()
    request.path = path
    key          = get_cache_key(request)
    if cache.has_key(key):   
        cache.delete(key)

def invalidate_cache(sender, instance, **kwargs):
    expire_page(instance.get_absolute_url())

post_save.connect(invalidate_cache, sender = Graph)

这可行 - 但有没有办法递归删除？我的路径如下所示：

<前><代码>/graph/123 /图/123/2009-08-01/2009-10-21

每当保存id为“123”的图时，两条路径的缓存都需要失效。这可以做到吗？

Answer 1

您可能需要考虑采用分代缓存策略，它似乎适合您想要实现的目标。在您提供的代码中，您将为每个绝对网址存储一个“生成”编号。因此，例如，您将初始化“/graph/123”以使其具有一代，那么其缓存键将变为类似“/GENERATION/1/graph/123”。当您想要使该绝对 URL 的缓存过期时，您可以增加其生成值（在本例中为 2）。这样，下次有人去查找“/graph/123”时，缓存键就会变成“/GENERATION/2/graph/123”。这也解决了所有子页面过期的问题，因为它们应该引用与“/graph/123”相同的缓存键。

一开始理解起来有点棘手，但它是一种非常优雅的缓存策略，如果正确完成，意味着您永远不必从缓存中实际删除任何内容。有关详细信息，请参阅关于分代缓存的演示，适用于 Rails，但无论语言如何，概念都是相同的。

Answer 2

另一种选择是使用支持标记键和按标记逐出键的缓存。 Django 的内置缓存 API 不支持这种方法。但至少有一个缓存后端（不是 Django 本身的一部分）确实有支持。

DiskCache* 是 Apache2 许可的磁盘和文件支持的缓存库，用纯 Python 编写，与 Django 兼容。要在项目中使用 DiskCache，只需安装它并配置您的 CACHES 设置即可。

使用 pip 可以轻松安装：

$ pip install diskcache

然后配置您的 CACHES 设置：

CACHES = {
    'default': {
        'BACKEND': 'diskcache.DjangoCache',
        'LOCATION': '/tmp/path/to/directory/',
    }
}

缓存 set 方法通过可选的 tag 进行扩展关键字参数如下：

from django.core.cache import cache

cache.set('/graph/123', value, tag='/graph/123')
cache.set('/graph/123/2009-08-01/2009-10-21', other_value, tag='/graph/123')

diskcache.DjangoCache在内部使用 diskcache.FanoutCache 。相应的 FanoutCache 可通过 _cache 属性访问，并公开一个 evict 方法。简单地驱逐所有标记有 /graph/123 的键：

cache._cache.evict('/graph/123')

虽然访问下划线前缀的属性可能会感觉很尴尬，但 DiskCache 项目是稳定的，不太可能对 DjangoCache< /代码>实施。

Django 缓存基准 页面有讨论替代缓存后端。

• 免责声明：我是 DiskCache 项目的原作者。

Answer 3

查看 shutils.rmtree() 或 os.removedirs()。我想第一个可能就是你想要的。

根据几条评论进行更新：实际上，Django 缓存机制比仅使用 path 作为键更通用、更细粒度（尽管您可以在该级别使用它） ）。我们有一些页面有 7 或 8 个单独缓存的子组件，这些子组件根据一系列条件过期。我们的组件缓存名称反映了关键对象（或对象类），并用于识别某些更新时需要无效的内容。

我们所有的页面都有一个基于会员/非会员状态的整体缓存键，但这仅占页面的 95% 左右。另外 5% 可以根据每个成员进行更改，因此根本不会缓存。

如何遍历缓存以查找无效项目取决于缓存的实际存储方式。如果是文件，您可以简单地使用 glob 和/或递归目录删除，如果是其他机制，那么您将不得不使用其他机制。

我的回答以及其他人的一些评论试图说明的是，如何实现缓存失效与您如何使用/存储缓存密切相关。

第二次更新：@andybak：所以我猜你的评论意味着我所有的商业 Django 网站都会在火焰中爆炸？感谢您对此的提醒。我注意到您没有尝试回答该问题。

Knipknap 的问题是，他有一组缓存项，由于它们的名称，它们似乎是相关的并且处于层次结构中，但是缓存机制的密钥生成逻辑通过创建 MD5 哈希来删除该名称路径+varie_on。由于没有原始路径/参数的踪迹，您将不得不详尽地猜测所有可能的路径/参数组合，希望您能找到正确的组。我还有其他更有趣的爱好。

如果您希望能够根据路径和/或参数值的某种组合查找缓存项组，您必须使用可以直接进行模式匹配的缓存键或某些系统会保留此信息以供搜索时使用。

因为我们的需求与 OP 的问题不无关系，所以我们在 2 年前就控制了模板片段缓存，特别是密钥生成。它允许我们以多种方式使用正则表达式来有效地使相关缓存项组无效。我们还添加了可在 settings.py 中配置的默认超时和变化变量名称（在运行时解析），更改了名称和变量的顺序。因为总是必须覆盖默认超时来命名片段是没有意义的，使fragment_name可解析（即它可以是一个变量）以更好地与多级模板继承方案一起工作，以及其他一些事物。

我最初的答案（对于当前的 Django 来说确实是错误的）的唯一原因是因为我已经使用更健全的缓存键太久了，我真的忘记了我们放弃的简单机制。