跨版本的 App Engine Memcache 键前缀

Question

问候！

我有一个 Google App Engine 设置，其中 memcached 键以 os.environ['CURRENT_VERSION_ID'] 为前缀，以便在部署时生成新的缓存，而无需手动刷新缓存。

这一直工作得很好，直到开发需要同时运行应用程序的两个版本。当然，这会导致缓存不一致。

我现在正在寻找有关如何为键添加前缀的建议。本质上，需要有一个在部署任何版本时跨版本变化的变量。 （嗯，这不太理想，因为缓存完全被耗尽。）

我正在考虑以下可能性：

• 创建一个存储最新缓存前缀的RuntimeEnvironment实体。缺点：即使缓存，也会减慢每个请求的速度。不能缓存在内存中，只能缓存在memcached中，因为其他版本的部署可能会改变它。

• 使用每个实体的版本号。这产生了非常好的粒度，因为缓存可以为未修改的实体保持温暖。缺点是模型更改时我们需要推送到所有版本，我希望避免这种情况，以便在部署到生产之前测试模型更改。

• 忘记键前缀。键的全局命名空间。编写一个脚本以在每次部署时刷新缓存。这实际上看起来与第一个想法一样好，甚至更好：在两种情况下缓存都被完全耗尽，而这个避免了运行时实体的开销。

任何想法、不同的想法都非常感谢！

Answer 1

os.environ['CURRENT_VERSION_ID'] 值将与您的两个版本不同，因此您将为每个版本（实时版本和开发/测试版本）拥有单独的缓存。

所以，我假设您的问题是，当您“部署”版本时，您不希望使用开发/测试中的缓存？ （否则，就像 Nick 和 systempuntoout 一样，我很困惑）。

实现此目的的一种方法是使用缓存中的域/主机标头 - 因为这对于您的开发/实时版本是不同的。您可以通过执行以下操作来提取主机：

scheme, netloc, path, query, fragment = urlparse.urlsplit(self.request.url)

# Discard any port number from the hostname
domain = netloc.split(':', 1)[0]

这不会提供特别好的密钥，但它可能会执行您想要的操作（假设我理解正确）。

Answer 2

我对这个问题的措辞有点困惑。

我最终选择了每类属性的哈希值。以此类为例：

class CachedModel(db.Model):

  @classmethod
  def cacheVersion(cls):
    if not hasattr(cls, '__cacheVersion'):
      props = cls.properties()
      prop_keys = sorted(props.keys())
      fn = lambda p: '%s:%s' % (p, str(props[p].model_class))
      string = ','.join(map(fn, prop_keys))
      cls.__cacheVersion = hashlib.md5(string).hexdigest()[0:10]
    return cls.__cacheVersion

  @classmethod
  def cacheKey(cls, key):
    return '%s-%s' % (cls.cacheVersion(), str(key))

这样，当实体使用 cacheKey(...) 保存到 memcached 时，仅当实际类相同时，它们才会共享缓存。

这还有一个额外的好处，即推送不修改模型的更新，使该模型的所有缓存条目保持不变。换句话说，推送更新不再充当刷新缓存的作用。

这样做的缺点是每个 Web 应用实例都会对类进行一次哈希处理。

2011-3-9 更新：我更改为更复杂但更准确的获取版本的方式。结果使用 __dict__ 产生了错误的结果，因为它的 str 表示形式包含指针地址。这种新方法只考虑数据存储属性。

2011-3-14 更新：所以 python 的 hash(...) 显然不能保证在解释器运行之间相等。遇到奇怪的情况，不同的应用程序引擎实例看到不同的哈希值。现在使用 md5（比 sha1 更快，比 sha256 更快）。没有真正需要它是加密安全的。只需要一个好的 hashfn 即可。可能会改用更快的东西，但现在我宁愿没有错误。还确保对键进行排序，而不是对属性对象进行排序。