在 App Engine 上执行批量 db.delete，而不占用 CPU

Question

我们在 Google App Engine 上有一个相当大小的数据库 - 刚刚超过 50,000 个实体 - 我们希望从中清除陈旧数据。我们的计划是编写一个延迟任务来迭代我们不再需要的实体，并批量删除。

一个复杂的情况是，我们的实体也有我们也想清除的子实体——我们认为没问题；我们只需在数据存储中查询这些实体，并与父实体同时删除它们：

query = ParentKind.all()
query.count(100)
query.filter('bar =', 'foo')
to_delete = []
for entity in enumerate(query):
    to_delete.append(entity)
    to_delete.extend(ChildKindA.all().ancestor(entity).fetch(100))
    to_delete.extend(ChildKindB.all().ancestor(entity).fetch(100))
db.delete(to_delete)

我们限制自己一次只能删除 100 个 ParentKind 实体；每个 ParentKind 大约有 40 个子 ChildKindA 和 ChildKindB 实体，总共大约 4000 个实体。

这在当时看来是合理的，但我们运行了一批作为测试，结果查询运行了 9 秒，并在访问数据存储时花费了 1933 秒的计费 CPU 时间。

这看起来相当苛刻——每个实体 0.5 秒计费！ ——但我们并不完全确定我们做错了什么。仅仅是批次的大小吗？祖先查询是否特别慢？或者，删除（实际上是所有数据存储访问）是否像糖蜜一样慢？

更新

我们将查询更改为 keys_only，虽然这将运行一批的时间减少到 4.5 秒，但仍然花费了约 1900 秒的 CPU 时间。

接下来，我们将 Appstats 安装到我们的应用程序中（感谢 kevpie）并运行较小规模的批次 - 10 个父实体，总共约 450 个实体。以下是更新后的代码：

query = ParentKind.all(keys_only=True)
query.count(10)
query.filter('bar =', 'foo')
to_delete = []
for entity in enumerate(query):
    to_delete.append(entity)
    to_delete.extend(ChildKindA.all(keys_only=True).ancestor(entity).fetch(100))
    to_delete.extend(ChildKindB.all(keys_only=True).ancestor(entity).fetch(100))
db.delete(to_delete)

Appstats 的结果：

service.call           #RPCs  real time  api time
datastore_v3.RunQuery  22     352ms      555ms
datastore_v3.Delete    1      366ms      132825ms
taskqueue.BulkAdd      1      7ms        0ms

Delete 调用是操作中最昂贵的部分！

有办法解决这个问题吗？ Nick Johnson 提到，使用批量删除处理程序是目前最快的删除方法，但理想情况下我们不想删除某种类型的所有实体，而只想删除与我们的初始 bar = foo 匹配并且是其子级的实体代码>查询。

Answer 1

我们最近添加了一个批量删除处理程序，此处进行了记录。它采用最有效的方法进行批量删除，但仍会消耗 CPU 配额。

Answer 2

如果您想分散 CPU 消耗，可以创建一个 map reduce 作业。它仍然会迭代每个实体（这是映射器 API 的当前限制）。但是，您可以检查每个实体是否满足条件并当时删除。

要降低 CPU 使用率，请将映射器分配到已配置为比正常运行速度慢的任务队列。您可以将运行时间分散在几天内，而不会耗尽所有 CPU 配额。