GAE 数据存储上的架构迁移

Question

首先，这是我在 Stack Overflow 上的第一篇文章，所以请原谅任何新手的错误步骤。如果我可以更清楚地阐述我的问题，请告诉我。

我正在 Google App Engine 上运行一个大型应用程序，并且一直在添加新功能，这些功能迫使我修改旧数据类并添加新数据类。为了清理我们的数据库并更新旧条目，我一直在尝试编写一个脚本，该脚本可以迭代类的实例，进行更改，然后重新保存它们。问题是，当您对服务器的调用时间超过几秒时，Google App Engine 就会超时。

我已经为这个问题苦苦挣扎了好几个星期。我找到的最佳解决方案在这里：http ://code.google.com/p/rietveld/source/browse/trunk/update_entities.py?spec=svn427&r=427

我为自己的网站创建了该代码的一个版本，您可以看到这里：

def schema_migration (self, target, batch_size=1000):
    last_key = None
    calls = {"Affiliate": Affiliate, "IPN": IPN, "Mail": Mail, "Payment": Payment, "Promotion": Promotion}

    while True:
        q = calls[target].all()
        if last_key:
            q.filter('__key__ >', last_key)
        q.order('__key__')
        this_batch_size = batch_size

        while True:
            try:
                batch = q.fetch(this_batch_size)
                break
            except (db.Timeout, DeadlineExceededError):
                logging.warn("Query timed out, retrying")
                if this_batch_size == 1:
                    logging.critical("Unable to update entities, aborting")
                    return
                this_batch_size //= 2

        if not batch:
            break

        keys = None
        while not keys:
            try:
                keys = db.put(batch)
            except db.Timeout:
                logging.warn("Put timed out, retrying")

        last_key = keys[-1]
        print "Updated %d records" % (len(keys),)

奇怪的是，该代码对于具有 100 - 1,000 个实例的类来说效果非常好，并且脚本通常需要大约 10 秒。但是，当我尝试运行数据库中包含 100K 多个实例的类的代码时，脚本运行了 30 秒，然后我收到以下消息：

“错误：服务器错误

服务器遇到错误，无法完成您的请求。 如果问题仍然存在，请报告您的问题并提及此错误消息以及导致该错误的查询。""

知道为什么 GAE 在 30 秒后超时吗？我可以做什么来解决这个问题？

感谢您！ 凯勒

Answer 1

听声音你就遇到了第二个 DeadlineExceededError 。每个 AppEngine 请求只能运行 30 秒。当 DeadLineExceedError 被引发时，你的工作就是停止处理并清理，因为你已经没有时间了，下次它被引发时你将无法捕获它。

您应该考虑使用 Mapper API 将迁移分为批处理并使用任务队列运行每个批处理。

Answer 2

您的解决方案的第一步是迁移到使用 GAE 的任务队列。此功能将允许您对稍后进行的更多工作进行排队。

这实际上并不能立即解决问题，因为即使任务队列也仅限于很短的时间片。但是，您可以展开循环以一次处理数据库中的少量行。完成每个批次后，它可以检查它已经运行了多长时间，如果足够长，它可以在队列中启动一个新任务，以继续当前任务将停止的位置。

另一种解决方案是不迁移数据。改变实现逻辑，让每个实体都知道自己是否已经迁移。新创建的实体或更新的旧实体将采用新格式。由于 GAE 不要求实体具有所有相同的字段，因此您可以轻松地做到这一点，但在关系数据库上这是不切实际的。