谷歌应用引擎 + Memcache如何从缓存中获取所有数据

Question

在我的系统中，我有一些寿命很短的数据，这意味着这些数据实际上仍然不会存在很长时间，但应该保留在数据存储中。 该数据还可以针对每个用户频繁地改变，例如每分钟改变一次。 潜在的用户数量可能足够大，我想通过使用 memcache 来加速这些数据的放入/获取过程，并延迟保留到大表。

只需通过键放置/获取对象就没有问题。但对于某些用例，我需要从仍然存在的缓存中检索所有数据，但 api 允许我仅通过键获取数据。因此，我需要有一些密钥持有者知道内存缓存内数据的所有密钥...但是任何对象都可能被驱逐，我需要从密钥的全局注册表中删除此密钥（但这样的侦听器在 GAE 中不起作用）。为了将所有这些对象存储在列表中，地图不适合我的解决方案，因为每个对象都应该有自己的驱逐时间...

有人可以推荐我应该以哪种方式移动吗？

Answer 1

听起来您真正想要做的是为您将保留的数据建立某种队列。对此，Memcache 不是一个好的选择，因为正如您所说，它不可靠（也不应该可靠）。也许使用任务队列会更好？

Answer 2

Memcache 并不是为详尽的访问而设计的，如果您需要它，您可能会以错误的方式使用它。 Memcache 是一个分片哈希表，因此实际上并不是为了枚举而设计的。

从您的描述中并不清楚您想要做什么，但听起来至少您需要重组数据，以便您在想要将其写入数据存储时知道预期的键。

Answer 3

由于我遇到了同样的问题，我可以通过构建一个装饰器函数并在其周围包装驱逐函数来解决这个问题，以便实体的密钥自动从内存缓存上的密钥目录/占位符中删除，即当您调用驱逐时。

像这样的事情：

def decorate_evict_decorator(key_prefix):

    def evict_decorator(evict):         
        def wrapper(self,entity_name_or_id):#use self if the function is bound to a class.
            mem=memcache.Client()
            placeholder=mem.get("placeholder")#could use gets with cas
            #{"placeholder":{key_prefix+"|"+entity_name:key_or_id}}
            evict(self,entity_name_or_id)
            del placeholder[key_prefix+"|"+entity_name]
            mem.set("placeholder",placeholder)
        return wrapper
    return evict_decorator


class car(db.Model):
    car_model=db.StringProperty(required=True)
    company=db.StringProperty(required=True)
    color=db.StringProperty(required=True)
    engine=db.StringProperty()

    @classmethod
    @decorate_evict_decorator("car")
    evict(car_model):
        #delete process

class engine(db.Model):
    model=db.StringProperty(required=True)
    cylinders=db.IntegerProperty(required=True)
    litres=db.FloatProperty(required=True)
    manufacturer=db.StringProperty(required=True)

    @classmethod
    @decorate_evict_decorator("engine")
    evict(engine_model):
        #delete process

您可以根据您的数据结构和流程对此进行改进。以及有关装饰器的更多信息。

您可能需要添加cron 使您的数据存储区定期与内存缓存同步。