Google App Engine 数据存储区中的批量更新

Question

对 Google App Engine 数据存储区中的实体执行批量更新的正确方法是什么？是否可以在不检索实体的情况下完成？

例如，GAE 相当于 SQL 中的以下内容：

UPDATE dbo.authors
SET    city = replace(city, 'Salt', 'Olympic')
WHERE  city LIKE 'Salt%';

Answer 1

没有直接翻译。数据存储实际上没有更新的概念；您所能做的就是用同一地址（键）的新实体覆盖旧实体。要更改实体，您必须从数据存储中获取它，在本地修改它，然后将其保存回来。

也没有与 LIKE 运算符等效的操作。虽然通过一些技巧可以进行通配符后缀匹配，但如果您想匹配“%Salt%”，则必须将每个实体读入内存并在本地进行字符串比较。

因此它不会像 SQL 那样干净或高效。这是大多数分布式对象存储的权衡，数据存储也不例外。

也就是说，映射器库可用于促进此类批量更新。按照示例并在您的 process 函数中使用类似的内容：

def process(entity):
  if entity.city.startswith('Salt'):
    entity.city = entity.city.replace('Salt', 'Olympic')
    yield op.db.Put(entity)

除了映射器之外，还有其他替代方案。最重要的优化技巧是批量更新；不要单独保存每个更新的实体。如果您使用映射器和yield put，则会自动处理。

Answer 2

不，如果不检索实体就无法完成此操作。

不存在“最大 1000 条记录限制”之类的东西，但是任何单个请求当然都有超时 - 如果您有大量实体需要修改，则简单的迭代可能会违反这一点。您可以通过将其拆分为多个操作并使用 查询游标，或者可能使用 MapReduce 框架。

Answer 3

您可以使用查询类 http://code.google.com/ appengine/docs/python/datastore/queryclass.html

 query = authors.all().filter('city >', 'Salt').fetch()
 for record in query:
   record.city = record.city.replace('Salt','Olympic')