使用 memcache 限制对数据库的写入量

Question

我正在尝试修改留言簿示例 ​​webapp 以减少数据库写入量。

我想要实现的是将所有留言簿条目加载到我已经完成的内存缓存中。

不过，我希望能够使用新的留言簿条目直接更新内存缓存，然后每 30 秒将所有更改作为批量 put.() 写入数据库。

有谁有我如何实现上述目标的例子吗？这真的会对我有帮助！

谢谢 ：）

Answer 1

这是丢失数据的秘诀。我很难相信留言簿会导致足够的写入活动成为一个问题。此外，由于内存缓存不可搜索，因此涉及的簿记工作会很棘手。

Answer 2

您想要实现的目标称为 后写式缓存，通常，以正确的方式实现它并不像乍看起来那么容易。据我所知，目前 Python 中还没有针对 Memcached/GAE 的现成解决方案，但您可以查看 Stockpyle< /a>.它具有一些基本功能 直写式缓存（请参阅 appengine.py 和 memcache.py），因此它可以作为您自己的解决方案的基础。

Answer 3

Memcache 是一种易失性存储，用于存储留言簿条目等有价值的数据；请记住，例如，在内存不足的情况下，内存缓存数据可能会被驱逐。

如果您的留言簿流量较高，并且您遇到写入数据存储区超时/争用问题，请尝试使用速率限制的另一种方法 taskqueue 以减慢对数据存储的写入次数。

1. 让用户编译留言簿条目
2. 通过 将每个数据条目传递到速率受限的任务队列deferred 库
3. 写入数据存储区

您可以在 queue.yaml 中定义低速率执行，放宽对数据存储区的写入，如下所示：

queue:
- name: relaxed-write
  rate: 1/s
  bucket_size: 1

每秒写入一次，您可能会得到一些零星的数据超时错误；在这种情况下，任务将再次执行，直到成功。